Prompt API ile oturum yönetimi için en iyi uygulamalar

Thomas Steiner

Yayınlanma tarihi: 27 Ocak 2025

Açıklayıcı	Web	Uzantılar	Chrome Durumu	Amaç
GitHub	EPP'de	Origin deneme sürümü	Geçerli değil	Geçerli değil

Not: Prompt API, Chrome ekibinin keşif aşamasında olduğu yerleşik bir yapay zeka API'sidir. Erken önizleme programına katılarak yerel olarak uygulamalarınızla veya Chrome uzantıları için Prompt API kaynak deneme sürümüne kaydolarak Chrome uzantılarınızda üretim sürümünde test edebilirsiniz.

İstem API'sinin önemli özelliklerinden biri oturumlardır. Bu özellikler, yapay zeka modeliyle devam eden bir veya daha fazla görüşme yapmanıza olanak tanır. Bu sırada model, söylenenlerin bağlamını kaybetmez. Bu kılavuzda, dil modeliyle oturum yönetimiyle ilgili en iyi uygulamalar tanıtılmaktadır.

Bir kullanıcının yapay zeka ile etkileşim kurduğu klasik bir chatbot oluşturuyorsanız bir veya daha fazla paralel oturum için oturum yönetimi yapabilirsiniz. Ya da bir müşteri temsilcisinin birden fazla müşteriyle paralel olarak ilgilendiği ve çeşitli görüşmeleri takip etmesine yardımcı olmak için yapay zekadan yararlandığı bir müşteri ilişkileri yönetimi sisteminiz varsa.

Sistem istemiyle oturum başlatma

Sistem istemi, oturumun bağlamını başlangıçta ayarlar. Örneğin, sisteme nasıl yanıt vermesi gerektiğini bildirmek için sistem isteminden yararlanabilirsiniz.

// Make this work in web apps and in extensions.
const aiNamespace = self.ai || chrome.aiOriginTrial || chrome.ai;
const languageModel = await aiNamespace.languageModel.create({
  systemPrompt: 'You are a helpful assistant and you speak like a pirate.',
});
console.log(await languageModel.prompt('Tell me a joke.'));
// 'Avast ye, matey! What do you call a lazy pirate?\n\nA **sail-bum!**\n\nAhoy
// there, me hearties!  Want to hear another one? \n'

Ana oturumu klonlama

Bir oturum sona erdikten sonra yeni bir oturum başlatmak veya paralel olarak birden fazla bağımsız görüşme yapmak istiyorsanız ana oturumu kopyalayabilirsiniz.

Klon, temperature veya topK gibi oturum parametrelerini ve tüm oturum etkileşim geçmişini devralır. Örneğin, ana oturumu bir sistem istemiyle başlattıysanız bu seçenek yararlı olur. Bu sayede, uygulamanızın bu işlemi yalnızca bir kez yapması gerekir. Tüm kopyalar, sistem istemini ana oturumdan devralır.

// Make this work in web apps and in extensions.
const aiNamespace = self.ai || chrome.aiOriginTrial || chrome.ai;
const languageModel = await aiNamespace.languageModel.create({
  systemPrompt: 'You are a helpful assistant and you speak like a pirate.',
});

// The original session `languageModel` remains unchanged, and
// the two clones can be interacted with independently from each other.
const firstClonedLanguageModel = await languageModel.clone();
const secondClonedLanguageModel = await languageModel.clone();
// Interact with the sessions independently.
await firstClonedLanguageModel.prompt('Tell me a joke about parrots.');
await secondClonedLanguageModel.prompt('Tell me a joke about treasure troves.');
// Each session keeps its own context.
// The first session's context is jokes about parrots.
await firstClonedLanguageModel.prompt('Tell me another.');
// The second session's context is jokes about treasure troves.
await secondClonedLanguageModel.prompt('Tell me another.');

Geçmiş bir oturumu geri yükleme

İlk istemler sayesinde, daha iyi sonuçlar elde etmek için modele bir dizi örnek istem ve yanıt verebilirsiniz. Bu yöntem, genellikle beklentilerinizi yansıtan yanıtlar oluşturmak için tek çekimli istemde kullanılır.

Not: Doğru oturum geri yükleme için bir özellik isteği var ancak o zamana kadar ilk istemlerin bu yaratıcı kullanımı işe yarayacaktır.

Modelle devam eden sohbetleri takip ediyorsanız oturumu geri yüklemek için bu yöntemi kullanabilirsiniz. Örneğin, bir tarayıcı yeniden başlatıldıktan sonra kullanıcınızın modelle etkileşimini bıraktığı yerden devam etmesine yardımcı olabilirsiniz. Bir yaklaşım, yerel depolama alanında oturum geçmişini takip etmektir.

// Make this work in web apps and in extensions.
const aiNamespace = self.ai || chrome.aiOriginTrial || chrome.ai;

// Restore the session from localStorage, or initialize a new session.
// The UUID is hardcoded here, but would come from a
// session picker in your user interface.
const uuid = '7e62c0e0-6518-4658-bc38-e7a43217df87';

function getSessionData(uuid) {
  try {
    const storedSession = localStorage.getItem(uuid);
    return storedSession ? JSON.parse(storedSession) : false;
  } catch {
    return false;
  }
}

let sessionData = getSessionData(uuid);

// Initialize a new session.
if (!sessionData) {
  // Get the current default parameters so they can be restored as they were,
  // even if the default values change in the future.
  const { defaultTopK, defaultTemperature } =
    await aiNamespace.languageModel.capabilities();
  sessionData = {
    systemPrompt: '',
    initialPrompts: [],
    topK: defaultTopK,
    temperature: defaultTemperature,
  };
}

// Initialize the session with the (previously stored or new) session data.
const languageModel = await aiNamespace.languageModel.create(sessionData);

// Keep track of the ongoing conversion and store it in localStorage.
const prompt = 'Tell me a joke';
try {
  const stream = languageModel.promptStreaming(prompt);
  let result = '';
  // You can already work with each `chunk`, but then store
  // the final `result` in history.
  for await (const chunk of stream) {
    // In practice, you'd render the chunk.
    console.log(chunk);
    result = chunk;
  }

  sessionData.initialPrompts.push(
    { role: 'user', content: prompt },
    { role: 'assistant', content: result },
  );

  // To avoid growing localStorage infinitely, make sure to delete
  // no longer used sessions from time to time.
  localStorage.setItem(uuid, JSON.stringify(sessionData));
} catch (err) {
  console.error(err.name, err.message);
}

İpucu: Her oturuma otomatik olarak okunabilir bir oturum başlığı vermek için type: 'headline' seçenek alanıyla başlatılan Summarizer API'yi kullanın.

Kullanıcının modeli durdurmasına izin vererek oturum kotasını koruma

Her oturumun, oturumun ilgili alanlarına (maxTokens, tokensLeft ve tokensSoFar) erişerek görebileceğiniz bir bağlam penceresi vardır.

const { maxTokens, tokensLeft, tokensSoFar } = languageModel;

Bu bağlam aralığı aşıldığında oturum en eski iletilerin izini kaybeder. Bu bağlam önemli olabileceğinden bu durum istenmeyebilir. Kotayı korumak için, kullanıcı bir istem gönderdikten sonra cevabın yararlı olmayacağını görürse AbortController kullanarak dil modelinin yanıt vermesini durdurmasına izin verin.

Hem prompt() hem de promptStreaming() yöntemleri, kullanıcının oturumu durdurmasına izin vermek için signal alanı içeren isteğe bağlı ikinci bir parametreyi kabul eder.

const controller = new AbortController();
stopButton.onclick = () => controller.abort();

try {
  const stream = languageModel.promptStreaming('Write me a poem!', {
    signal: controller.signal,
  });
  for await (const chunk of stream) {
    console.log(chunk);
  }
} catch (err) {
  // Ignore `AbortError` errors.
  if (err.name !== 'AbortError') {
    console.error(err.name, err.message);
  }
}

Demo

Yapay zeka oturumu yönetimi demosunda yapay zeka oturumu yönetiminin işleyiş şeklini görebilirsiniz. Prompt API ile birden fazla paralel sohbet oluşturun, sekmeyi yeniden yükleyin veya hatta tarayıcınızı yeniden başlatın ve kaldığınız yerden devam edin. GitHub'daki kaynak kodu inceleyin.

Sonuçlar

Bu teknikleri ve en iyi uygulamaları kullanarak yapay zeka oturumlarını dikkatli bir şekilde yöneterek Prompt API'nin tüm potansiyelinden yararlanabilir, daha verimli, duyarlı ve kullanıcı odaklı uygulamalar sunabilirsiniz. Bu yaklaşımları da birleştirebilirsiniz. Örneğin, kullanıcının geri yüklenen geçmiş bir oturumu klonlamasına izin vererek "ne olurdu?" senaryoları çalıştırabilir.

Teşekkür ederiz

Bu kılavuz, Sebastian Benz, Andre Bandarra, François Beaufort ve Alexandra Klepper tarafından incelendi.