תאריך פרסום: 14 במאי 2024, תאריך עדכון אחרון: 13 בנובמבר 2024
אנחנו מפתחים ממשקי API לפלטפורמות אינטרנט ותכונות דפדפן שנועדו לפעול עם מודלים של AI, כולל מודלים גדולים של שפה (LLM), שמוטמעים בדפדפן. כולל Gemini Nano, הגרסה היעילה ביותר של משפחת ה-LLM של Gemini, שנועדה לפעול באופן מקומי ברוב המחשבים המודרניים, כולל מחשבים נייחים ומחשבים ניידים. בעזרת AI מובנה, האתר או אפליקציית האינטרנט שלכם יכולים לבצע משימות מבוססות-AI בלי שתצטרכו לפרוס או לנהל מודלים משלכם של AI.
תלמדו על היתרונות של AI מובנה, על תוכנית ההטמעה שלנו ועל הדרכים שבהן תוכלו להפיק תועלת מהטכנולוגיה הזו.
היתרונות של AI מובנה למפתחי אתרים
בעזרת AI מובנה, הדפדפן מספק ומנהל מודלים של בסיס ומודלים של מומחים.
בהשוואה לפיתוח פתרון AI משלכם בצד הלקוח, ל-AI מובנה יש את היתרונות הבאים:
- קלות הפריסה: כשהדפדפן מפרסם את המודלים, הוא מתייחס ליכולות של המכשיר ומנהל את העדכונים של המודל. כלומר, אתם לא אחראים להורדה או לעדכון של מודלים גדולים ברשת. אתם לא צריכים לפתור בעיות של פינוי מקום באחסון, תקציב זיכרון בסביבת זמן ריצה, עלויות הצגה ואתגרים אחרים.
- גישה לשיפור המהירות באמצעות חומרה: סביבת זמן הריצה של ה-AI בדפדפן מבוצעת אופטימיזציה כדי לנצל את מלוא החומרה הזמינה, בין אם מדובר ב-GPU, ב-NPU או בחזרה ל-CPU. כתוצאה מכך, האפליקציה יכולה להציג את הביצועים הטובים ביותר בכל מכשיר.
היתרונות של הפעלה בצד הלקוח
כשמשתמשים בגישה מובנית של AI, קל מאוד לבצע משימות AI בצד הלקוח, וכתוצאה מכך יש יתרונות משמעותיים:
- עיבוד מקומי של מידע אישי רגיש: AI מצד הלקוח יכול לשפר את רמת הפרטיות. לדוגמה, אם אתם עובדים עם מידע אישי רגיש, תוכלו להציע למשתמשים תכונות AI עם הצפנה מקצה לקצה.
- חוויית משתמש מהירה: במקרים מסוימים, אם משמיטים את הנסיעה הלוך ושוב לשרת, אפשר להציע תוצאות כמעט מיידיות. AI בצד הלקוח יכול להוות את ההבדל בין תכונה קיימת לבין חוויית משתמש לא אופטימלית.
- גישה רחבה יותר ל-AI: המכשירים של המשתמשים יכולים לשאת חלק מעומס העיבוד בתמורה לגישה רחבה יותר לתכונות. לדוגמה, אם אתם מציעים תכונות AI פרימיום, תוכלו להציג תצוגה מקדימה של התכונות האלה באמצעות AI בצד הלקוח, כדי שלקוחות פוטנציאליים יוכלו לראות את היתרונות של המוצר שלכם, ללא עלות נוספת. הגישה המשולבת הזו יכולה גם לעזור לכם לנהל את עלויות ההסקה, במיוחד בתהליכי שימוש של משתמשים שמתרחשים בתדירות גבוהה.
- שימוש ב-AI במצב אופליין: המשתמשים יכולים לגשת לתכונות ה-AI גם כשאין חיבור לאינטרנט. פירוש הדבר הוא שהאתרים ואפליקציות האינטרנט שלכם יכולים לפעול כצפוי אופליין או עם קישוריות משתנה.
AI היברידי: בצד הלקוח ובצד השרת
AI בצד הלקוח יכול לטפל במגוון רחב של תרחישים לדוגמה, אבל לתרחישים מסוימים נדרשת תמיכה בצד השרת.
AI בצד השרת הוא פתרון מצוין למודלים גדולים, והוא יכול לתמוך במגוון רחב יותר של פלטפורמות ומכשירים.
כדאי לשקול גישה משולבת, בהתאם לגורמים הבאים:
- מורכבות: קל יותר לתמוך בתרחישי שימוש ספציפיים ופשוטים באמצעות AI במכשיר. בתרחישי שימוש מורכבים, מומלץ להטמיע בצד השרת.
- עמידות: שימוש בצד השרת כברירת מחדל, ושימוש במכשיר כשהמכשיר במצב אופליין או כשהחיבור לא יציב.
- מעבר חלק לחלופה: תהליך ההטמעה של דפדפנים עם AI מובנה ייקח זמן, יכול להיות שחלק מהמודלים לא יהיו זמינים, ויכול להיות שמכשירים ישנים או חלשים יותר לא יעמדו בדרישות החומרה להפעלה אופטימלית של כל המודלים. להציע למשתמשים האלה AI בצד השרת.
במודלים של Gemini, אפשר להשתמש בשילוב לקצה העורפי (עם Python, Go, Node.js או REST) או להטמיע באפליקציית האינטרנט באמצעות ערכת ה-SDK החדשה של Google AI ללקוח באינטרנט.
ארכיטקטורה וממשקי API של דפדפנים
כדי לתמוך ב-AI מובנה ב-Chrome, יצרנו תשתית לגישה למודלים בסיסיים ולמודלים של מומחים להרצה במכשיר. התשתית הזו כבר מאפשרת להשתמש בתכונות חדשניות בדפדפן, כמו עזרה בכתיבה.
אפשר לגשת ליכולות ה-AI המובנות בעיקר באמצעות ממשקי API למשימות, כמו Translator API או Summarizer API. ממשקי ה-API של המשימות נועדו להריץ הסקת מידע לפי המודל הטוב ביותר להקצאה.
ב-Chrome, ממשקי ה-API האלה מיועדים להפעלת היסק מול Gemini Nano עם כוונון מדויק או מודל מומחה. Gemini Nano תוכנן לפעול באופן מקומי ברוב המכשירים המודרניים, והוא מתאים במיוחד לתרחישי שימוש שקשורים לשפה, כמו סיכום, ניסוח מחדש או סיווג.
אנחנו מפתחים ממשקי API לניסוי, כמו Prompt API, כדי שתוכלו להתנסות באופן מקומי ולשתף תרחישים נוספים לשימוש.
בעתיד, יכול להיות שנציע ממשק API של LoRA לצורך חקירה, כדי לשפר את הביצועים של המודל המובנה על ידי שינוי המשקלים של המודל.
מתי כדאי להשתמש ב-AI מובנה
ריכזנו כאן כמה דרכים שבהן AI מובנה יכול להועיל לכם ולמשתמשים שלכם:
- צריכת תוכן שמועשרת באמצעות AI: כולל סיכום, תרגום, סיווג, אפיון וכספק ידע.
- יצירת תוכן בעזרת AI: למשל, עזרה בכתיבה, הגהה, תיקון שגיאות דקדוק ושינוי ניסוח.
המאמרים הבאים
כמה מממשקי ה-API המובנים של AI זמינים לבדיקה בתקופות ניסיון בגרסת המקור. ממשקי API לבדיקה וממשקי API אחרים בשלבים מוקדמים זמינים למשתתפים בתוכנית הבטא המוקדמת.
במדריך למתחילים בנושא Google AI JavaScript SDK מוסבר איך להשתמש ב-Gemini Pro בשרתים של Google עם האתרים והאפליקציות שלכם לאינטרנט.
גרסת טרום-השקה מוקדמת
אנחנו זקוקים למשוב שלכם כדי לעצב את ממשקי ה-API, לוודא שהם עומדים בדרישות של התרחישים לדוגמה שלכם ולשפר את הדיונים שלנו עם ספקי דפדפנים אחרים בנושא סטנדרטיזציה.
תוכלו להצטרף לתוכנית התצוגה המקדימה שלנו כדי לשלוח משוב על רעיונות מוקדמים של AI מובנה, ולגלות הזדמנויות לבדוק ממשקי API שנמצאים בתהליך פיתוח באמצעות יצירת אב טיפוס מקומי.
כדי לקבל התראות כשממשקי API חדשים יהיו זמינים, תוכלו להצטרף לקבוצת ההכרזות הציבוריות למפתחים של Chrome AI.