Prompt API

Thomas Steiner

תאריך פרסום: 11 בנובמבר 2024

הסבר פיתוח אתרים תוספים סטטוס Chrome כוונת רכישה
GitHub תכונה ניסיונית ב-EPP מאחורי דגל גרסת מקור לניסיון לא רלוונטי לא רלוונטי

באמצעות Prompt API, אפשר לשלוח בקשות בשפה טבעית ל-Gemini Nano בדפדפן.

Prompt API זמין בגרסת מקור לניסיון לתוספים ל-Chrome. מפתחי אינטרנט יכולים להשתמש ב-API הניתוחי, שנועד ליצירת אב טיפוס ולגילוי תרחישים נוספים של שימוש, על ידי הצטרפות לתוכנית התצוגה המקדימה המוקדמת.

יש הרבה דרכים להשתמש ב-Prompt API בתוספים ל-Chrome. לדוגמה:

  • אירועים ביומן באופן מיידי. פיתוח תוסף ל-Chrome שחולץ באופן אוטומטי פרטי אירועים מדפי אינטרנט, כדי שמשתמשים יוכלו ליצור רשומות ביומן בכמה שלבים בלבד.
  • חילוץ חלק של אנשי קשר. תוכלו ליצור תוסף שיאחזר פרטים ליצירת קשר מאתרים, כדי שיהיה למשתמשים קל יותר ליצור קשר עם עסק או להוסיף פרטים לרשימת אנשי הקשר שלהם.
  • סינון דינמי של תוכן. ליצור תוסף ל-Chrome שינתח כתבות חדשותיות ויטשטש או יסתיר תוכן באופן אוטומטי על סמך נושאים שהמשתמשים מגדירים.

אלה רק כמה אפשרויות, אבל אנחנו סקרנים לראות מה יהיו התוצרים שלכם.

שנתחיל?

כדי להשתמש ב-Prompt API בתוספים ל-Chrome, מוסיפים את ההרשאה "aiLanguageModelOriginTrial" לקובץ manifest.json של התוסף, יחד עם כל ההרשאות האחרות שהתוסף עשוי להזדקק להן.

{
  "manifest_version": 3,
  "name": "YOUR_EXTENSION_NAME",
  "key": "YOUR_EXTENSION_KEY",
  "permissions": ["aiLanguageModelOriginTrial"]
}

כך מקבלים הרשאה זמנית, שתהיה בתוקף רק למשך תקופת הניסיון במקור. אם ה-API יושק, תצטרכו לעדכן את התוסף ולהעלות אותו מחדש, להסיר את ההרשאה שפג תוקפה ולהחליף אותה בהרשאות הסופיות.

בנוסף, מומלץ לשמור על עקביות במזהה התוסף על ידי הוספת המאפיין key למניפסט.

הצטרפות לגרסת הניסיון של המקור

כדי להוסיף את Prompt API לתוסף ל-Chrome:

  1. להצטרף לגרסת המקור לניסיון של Prompt API, שפועלת ב-Chrome מגרסה 131 עד 136.

  2. משתמשים בכתובת ה-URL של התוסף chrome-extension://YOUR_EXTENSION_ID בתור מקור האינטרנט. לדוגמה: chrome-extension://ljjhjaakmncibonnjpaoglbhcjeolhkk.

  3. מעדכנים את המניפסט כך שיוסיף את אסימון תקופת הניסיון כמערך.

    {
  "manifest_version": 3,
  "name": "YOUR_EXTENSION_NAME",
  "key": "YOUR_EXTENSION_KEY",
  "permissions": ["aiLanguageModelOriginTrial"],
  "trial_tokens": ["GENERATED_TOKEN"],
}

שימוש ב-Prompt API בתוספים

אחרי ששולחים בקשה לקבלת הרשאה לשימוש ב-Prompt API, אפשר לפתח את התוסף. יש שתי פונקציות תוסף שזמינות במרחב השמות chrome.aiOriginTrial.languageModel:

  • capabilities() כדי לבדוק מה המודל מסוגל לעשות ואם הוא זמין.
  • create() כדי להתחיל סשן של מודל שפה.

הורדת מודל

ב-Prompt API נעשה שימוש במודל Gemini Nano ב-Chrome. ה-API מובנה ב-Chrome, אבל המודל מוריד בנפרד בפעם הראשונה שתוסף משתמש ב-API.

כדי לבדוק אם המודל מוכן לשימוש, צריך להפעיל את הפונקציה chrome.aiOriginTrial.languageModel.capabilities() האסינכרונית. הפונקציה מחזירה אובייקט AILanguageModelCapabilities עם שדה available שיכול לקבל שלושה ערכים אפשריים:

  • 'no': הדפדפן הנוכחי תומך ב-Prompt API, אבל אי אפשר להשתמש בו כרגע. יכולות להיות לכך כמה סיבות, למשל אם אין מספיק מקום פנוי בכונן להורדת המודל.
  • 'readily': הדפדפן הנוכחי תומך ב-Prompt API, וניתן להשתמש בו באופן מיידי.
  • 'after-download': הדפדפן הנוכחי תומך ב-Prompt API, אבל קודם צריך להוריד את המודל.

כדי להפעיל את הורדת המודל וליצור את הסשן של מודל השפה, צריך להפעיל את הפונקציה chrome.aiOriginTrial.languageModel.create() האסינכרונית. אם התשובה להודעה capabilities() היא 'after-download', מומלץ להאזין לעדכון על התקדמות ההורדה. כך תוכלו להודיע למשתמש אם ההורדה נמשכת זמן רב.

const session = await chrome.aiOriginTrial.languageModel.create({
  monitor(m) {
    m.addEventListener("downloadprogress", (e) => {
      console.log(`Downloaded ${e.loaded} of ${e.total} bytes.`);
    });
  },
});

יכולות המודל

הפונקציה capabilities() גם מאפשרת לכם לדעת מהן היכולות של מודל השפה. בנוסף ל-available, באובייקט AILanguageModelCapabilities שנוצר יש גם את השדות הבאים:

  • defaultTopK: ערך ברירת המחדל של top-K (ברירת המחדל: 3).
  • maxTopK: הערך של ה-K העליון (8).
  • defaultTemperature: טמפרטורת ברירת המחדל (1.0). ערך הטמפרטורה צריך להיות בין 0.0 ל-2.0.
await chrome.aiOriginTrial.languageModel.capabilities();
// {available: 'readily', defaultTopK: 3, maxTopK: 8, defaultTemperature: 1}

יצירת סשן

אחרי שמוודאים שאפשר להריץ את Prompt API, יוצרים סשן באמצעות הפונקציה create(), שמאפשרת להציג בקשה למודל באמצעות הפונקציות prompt() או promptStreaming().

התאמה אישית של הסשן

אפשר להתאים אישית כל סשן באמצעות topK ו-temperature באמצעות אובייקט אופציונלי של אפשרויות. ערכי ברירת המחדל של הפרמטרים האלה מוחזרים מ-chrome.aiOriginTrial.languageModel.capabilities().

const capabilities = await chrome.aiOriginTrial.languageModel.capabilities();
// Initializing a new session must either specify both `topK` and
// `temperature` or neither of them.
const slightlyHighTemperatureSession = await chrome.aiOriginTrial.languageModel.create({
  temperature: Math.max(capabilities.defaultTemperature * 1.2, 2.0),
  topK: capabilities.defaultTopK,
});

אובייקט האפשרויות האופציונלי של הפונקציה create() מקבל גם שדה signal, שמאפשר להעביר AbortSignal כדי להשמיד את הסשן.

const controller = new AbortController();
stopButton.onclick = () => controller.abort();

const session = await chrome.aiOriginTrial.languageModel.create({
  signal: controller.signal,
})
הנחיות מערכת

באמצעות הנחיות המערכת, אפשר לספק למודל השפה הקשר מסוים.

const session = await chrome.aiOriginTrial.languageModel.create({
  systemPrompt: 'You are a helpful and friendly assistant.',
});
await session.prompt('What is the capital of Italy?');
// 'The capital of Italy is Rome.'

הנחיות ראשוניות

באמצעות הנחיות ראשוניות, אפשר לספק למודל השפה הקשר לגבי אינטראקציות קודמות. לדוגמה, כדי לאפשר למשתמש להמשיך סשן ששמור אחרי הפעלה מחדש של הדפדפן.

const session = await chrome.aiOriginTrial.languageModel.create({
  initialPrompts: [
    { role: 'system', content: 'You are a helpful and friendly assistant.' },
    { role: 'user', content: 'What is the capital of Italy?' },
    { role: 'assistant', content: 'The capital of Italy is Rome.'},
    { role: 'user', content: 'What language is spoken there?' },
    { role: 'assistant', content: 'The official language of Italy is Italian. [...]' }
  ]
});

מגבלות של פעילות באתר

לכל סשן של מודל שפה יש מספר מקסימלי של אסימונים שהוא יכול לעבד. אפשר לבדוק את השימוש ואת ההתקדמות לקראת המגבלה הזו באמצעות המאפיינים הבאים באובייקט הסשן:

console.log(`${session.tokensSoFar}/${session.maxTokens}
(${session.tokensLeft} left)`);

שמירת נתונים בסשן

בכל סשן מתבצע מעקב אחרי ההקשר של השיחה. האינטראקציות הקודמות נלקחות בחשבון באינטראקציות עתידיות עד שחלון ההקשר של הסשן מתמלא.

const session = await chrome.aiOriginTrial.languageModel.create({
  systemPrompt: 'You are a friendly, helpful assistant specialized in clothing choices.'
});

const result1 = await session.prompt(
  'What should I wear today? It is sunny. I am unsure between a t-shirt and a polo.'
);
console.log(result1);

const result2 = await session.prompt(
  'That sounds great, but oh no, it is actually going to rain! New advice?'
);
console.log(result2);

שכפול סשן

כדי לחסוך במשאבים, אפשר לשכפל סשן קיים באמצעות הפונקציה clone(). המערכת מאפסת את ההקשר של השיחה, אבל ההנחיה הראשונית או ההנחיות של המערכת יישארו ללא שינוי. הפונקציה clone() מקבלת אובייקט אופציונלי של אפשרויות עם שדה signal, שמאפשר להעביר AbortSignal כדי להשמיד את הסשן שהועתק.

const controller = new AbortController();
stopButton.onclick = () => controller.abort();

const clonedSession = await session.clone({
  signal: controller.signal,
});

הנחיה למודל

אפשר להנחות את המודל באמצעות הפונקציות prompt() או promptStreaming().

פלט ללא סטרימינג

אם אתם מצפים לתוצאה קצרה, תוכלו להשתמש בפונקציה prompt() שמחזירה את התגובה ברגע שהיא זמינה.

// Start by checking if it's possible to create a session based on the
// availability of the model, and the characteristics of the device.
const {available, defaultTemperature, defaultTopK, maxTopK } =
  await chrome.aiOriginTrial.languageModel.capabilities();

if (available !== 'no') {
  const session = await chrome.aiOriginTrial.languageModel.create();

  // Prompt the model and wait for the whole result to come back.
  const result = await session.prompt('Write me a poem!');
  console.log(result);
}

פלט בסטרימינג

אם התגובה צפויה להיות ארוכה יותר, כדאי להשתמש בפונקציה promptStreaming() שמאפשרת להציג תוצאות חלקיות כשהן מגיעות מהמודל.

const {available, defaultTemperature, defaultTopK, maxTopK } =
  await chrome.aiOriginTrial.languageModel.capabilities();

if (available !== 'no') {
  const session = await chrome.aiOriginTrial.languageModel.create();

  // Prompt the model and stream the result:
  const stream = session.promptStreaming('Write me an extra-long poem!');
  for await (const chunk of stream) {
    console.log(chunk);
  }
}

הפונקציה promptStreaming() מחזירה ReadableStream שהקטעים שלו נבנים זה על גבי זה. לדוגמה, "Hello,", "Hello world,", "Hello world I am,", "Hello world I am an AI.". זו לא ההתנהגות הרצויה. אנחנו מתכוונים להתאים את ה-API לסטרימינג לפלטפורמות אחרות, שבהן הקטעים הם קטעים רצופים של סטרימינג ארוך אחד. כלומר, הפלט יהיה רצף כמו "Hello", " world", " I am", " an AI".

בינתיים, כדי להשיג את ההתנהגות הרצויה, אפשר להטמיע את הפעולות הבאות. האפשרות הזו פועלת גם עם ההתנהגות הרגילה וגם עם ההתנהגות הלא רגילה.

let result = '';
let previousChunk = '';

for await (const chunk of stream) {
  const newChunk = chunk.startsWith(previousChunk)
      ? chunk.slice(previousChunk.length) : chunk;
  console.log(newChunk);
  result += newChunk;
  previousChunk = chunk;
}
console.log(result);

הפסקת ההפעלה של הנחיה

גם prompt() וגם promptStreaming() מקבלים פרמטר שני אופציונלי עם שדה signal, שמאפשר להפסיק את ההפעלה של ההנחיות.

const controller = new AbortController();
stopButton.onclick = () => controller.abort();

const result = await session.prompt(
  'Write me a poem!',
  { signal: controller.signal }
);

סיום סשן

אם אתם לא צריכים יותר את הסשן, תוכלו להתקשר למספר destroy() כדי לפנות משאבים. כשסשן נהרס, אי אפשר להשתמש בו יותר וכל ביצוע מתמשך מבוטל. אם אתם מתכוונים להציג למודל הנחיות לעיתים קרובות, כדאי לשמור את הסשן כי יצירת סשן עשויה להימשך זמן מה.

await session.prompt(
  'You are a friendly, helpful assistant specialized in clothing choices.'
);

session.destroy();

// The promise is rejected with an error explaining that
// the session is destroyed.
await session.prompt(
  'What should I wear today? It is sunny and I am unsure
  between a t-shirt and a polo.'
);

הדגמה (דמו)

כדי לבדוק את Prompt API בתוספים ל-Chrome, צריך להתקין את תוסף הדגמה. קוד המקור של התוסף זמין ב-GitHub.

ממשק הדגמה ל-Prompt API

השתתפות ושיתוף משוב

אתם יכולים להתחיל לבדוק את Prompt API כבר עכשיו בתוספים שלכם ל-Chrome. לשם כך, תוכלו להצטרף לגרסת המקור לניסיון ולשתף את המשוב שלכם. המשוב שלכם יכול להשפיע ישירות על האופן שבו אנחנו מפתחים ומטמיעים גרסאות עתידיות של ה-API הזה, ושל כל ממשקי ה-API המובנים של AI.