Best practices voor sessiebeheer met de Prompt API

Thomas Steiner

Gepubliceerd: 27 januari 2025

Uitlegger	Web	Extensies	Chrome-status	Intentie
GitHub	In EPP	Oorsprong proef	Niet van toepassing	Niet van toepassing

Opmerking: de Prompt API is een ingebouwde AI API die het Chrome-team aan het verkennen is. U kunt het lokaal testen met uw apps door deel te nemen aan het vroege preview-programma , of in productie in uw Chrome-extensies door u aan te melden voor de Prompt API Origin-proefversie voor Chrome-extensies .

Een belangrijk kenmerk van de Prompt API zijn sessies. Ze laten je één of meerdere lopende gesprekken voeren met het AI-model, zonder dat het model de context van wat er gezegd wordt uit het oog verliest. Deze handleiding introduceert best practices voor sessiebeheer met het taalmodel.

Mogelijk wilt u sessiebeheer uitvoeren voor een of meer parallelle sessies als u een klassieke chatbot bouwt, waarbij één gebruiker interactie heeft met AI. Of, als u een klantrelatiebeheersysteem heeft waarbij één ondersteuningsagent meerdere klanten parallel behandelt en gebruik maakt van AI om de ondersteuningsagent te helpen de verschillende gesprekken bij te houden.

Initialiseer een sessie met een systeemprompt

Een systeemprompt stelt aan het begin de context van de sessie in. U kunt bijvoorbeeld de systeemprompt gebruiken om het model te vertellen hoe het moet reageren.

// Make this work in web apps and in extensions.
const aiNamespace = self.ai || chrome.aiOriginTrial || chrome.ai;
const languageModel = await aiNamespace.languageModel.create({
  systemPrompt: 'You are a helpful assistant and you speak like a pirate.',
});
console.log(await languageModel.prompt('Tell me a joke.'));
// 'Avast ye, matey! What do you call a lazy pirate?\n\nA **sail-bum!**\n\nAhoy
// there, me hearties!  Want to hear another one? \n'

Kloon een hoofdsessie

Als u een nieuwe sessie wilt starten nadat een sessie is beëindigd, of als u meerdere onafhankelijke gesprekken parallel wilt voeren, kunt u een hoofdsessie klonen.

De kloon neemt sessieparameters over, zoals temperature of topK , en eventuele sessie-interactiegeschiedenis. Dit is handig als u bijvoorbeeld de hoofdsessie hebt geïnitialiseerd met een systeemprompt. Op deze manier hoeft uw app dit werk maar één keer te doen: alle klonen nemen de systeemprompt van de hoofdsessie over.

// Make this work in web apps and in extensions.
const aiNamespace = self.ai || chrome.aiOriginTrial || chrome.ai;
const languageModel = await aiNamespace.languageModel.create({
  systemPrompt: 'You are a helpful assistant and you speak like a pirate.',
});

// The original session `languageModel` remains unchanged, and
// the two clones can be interacted with independently from each other.
const firstClonedLanguageModel = await languageModel.clone();
const secondClonedLanguageModel = await languageModel.clone();
// Interact with the sessions independently.
await firstClonedLanguageModel.prompt('Tell me a joke about parrots.');
await secondClonedLanguageModel.prompt('Tell me a joke about treasure troves.');
// Each session keeps its own context.
// The first session's context is jokes about parrots.
await firstClonedLanguageModel.prompt('Tell me another.');
// The second session's context is jokes about treasure troves.
await secondClonedLanguageModel.prompt('Tell me another.');

Een eerdere sessie herstellen

Met initiële aanwijzingen kunt u het model voorbereiden met een reeks voorbeeldaanwijzingen en antwoorden, om betere resultaten te genereren. Dit wordt vaak gebruikt bij n-shot prompting , om antwoorden te creëren die uw verwachtingen weerspiegelen.

Opmerking: er is een functieverzoek voor het correct herstellen van sessies , maar tot die tijd werkt dit creatieve gebruik van initiële prompts.

Als u lopende gesprekken met het model bijhoudt, kunt u deze oefening gebruiken om een ​​sessie te herstellen. Nadat een browser opnieuw is opgestart, kunt u uw gebruiker bijvoorbeeld helpen verder te gaan met het model vanaf het punt waar hij was gebleven. Eén benadering is het bijhouden van de sessiegeschiedenis in de lokale opslag.

// Make this work in web apps and in extensions.
const aiNamespace = self.ai || chrome.aiOriginTrial || chrome.ai;

// Restore the session from localStorage, or initialize a new session.
// The UUID is hardcoded here, but would come from a
// session picker in your user interface.
const uuid = '7e62c0e0-6518-4658-bc38-e7a43217df87';

function getSessionData(uuid) {
  try {
    const storedSession = localStorage.getItem(uuid);
    return storedSession ? JSON.parse(storedSession) : false;
  } catch {
    return false;
  }
}

let sessionData = getSessionData(uuid);

// Initialize a new session.
if (!sessionData) {
  // Get the current default parameters so they can be restored as they were,
  // even if the default values change in the future.
  const { defaultTopK, defaultTemperature } =
    await aiNamespace.languageModel.capabilities();
  sessionData = {
    systemPrompt: '',
    initialPrompts: [],
    topK: defaultTopK,
    temperature: defaultTemperature,
  };
}

// Initialize the session with the (previously stored or new) session data.
const languageModel = await aiNamespace.languageModel.create(sessionData);

// Keep track of the ongoing conversion and store it in localStorage.
const prompt = 'Tell me a joke';
try {
  const stream = languageModel.promptStreaming(prompt);
  let result = '';
  // You can already work with each `chunk`, but then store
  // the final `result` in history.
  for await (const chunk of stream) {
    // In practice, you'd render the chunk.
    console.log(chunk);
    result = chunk;
  }

  sessionData.initialPrompts.push(
    { role: 'user', content: prompt },
    { role: 'assistant', content: result },
  );

  // To avoid growing localStorage infinitely, make sure to delete
  // no longer used sessions from time to time.
  localStorage.setItem(uuid, JSON.stringify(sessionData));
} catch (err) {
  console.error(err.name, err.message);
}

Tip: Gebruik de Summarizer API, geïnitialiseerd met een type: 'headline' optieveld, om elke sessie automatisch een voor mensen leesbare sessietitel te geven.

Behoud het sessiequotum door de gebruiker het model te laten stoppen

Elke sessie heeft een contextvenster dat u kunt zien door toegang te krijgen tot de relevante velden maxTokens , tokensLeft en tokensSoFar van de sessie.

const { maxTokens, tokensLeft, tokensSoFar } = languageModel;

Wanneer dit contextvenster wordt overschreden, raakt de sessie de oudste berichten kwijt, wat ongewenst kan zijn omdat deze context belangrijk kan zijn geweest. Om de quota te behouden, als de gebruiker na het indienen van een prompt ziet dat een antwoord niet nuttig zal zijn, kunt u hem/haar toestaan ​​het taalmodel te laten stoppen met antwoorden door gebruik te maken van de AbortController .

Zowel de methoden prompt() als promptStreaming() accepteren een optionele tweede parameter met een signal , zodat de gebruiker de sessie kan stoppen.

const controller = new AbortController();
stopButton.onclick = () => controller.abort();

try {
  const stream = languageModel.promptStreaming('Write me a poem!', {
    signal: controller.signal,
  });
  for await (const chunk of stream) {
    console.log(chunk);
  }
} catch (err) {
  // Ignore `AbortError` errors.
  if (err.name !== 'AbortError') {
    console.error(err.name, err.message);
  }
}

Demo

Zie AI-sessiebeheer in actie in de demo van AI-sessiebeheer . Creëer meerdere parallelle gesprekken met de Prompt API, herlaad het tabblad of start zelfs uw browser opnieuw op en ga verder waar u was gebleven. Zie de broncode op GitHub .

Conclusies

Door AI-sessies zorgvuldig te beheren met deze technieken en best practices, kunt u het volledige potentieel van de Prompt API ontsluiten, waardoor efficiëntere, responsievere en gebruikersgerichte applicaties worden geleverd. U kunt deze benaderingen ook combineren, bijvoorbeeld door de gebruiker een herstelde eerdere sessie te laten klonen, zodat hij 'wat als'-scenario's kan uitvoeren.

Dankbetuigingen

Deze gids is beoordeeld door Sebastian Benz , Andre Bandarra , François Beaufort en Alexandra Klepper .