תאריך פרסום: 14 במאי 2024, תאריך עדכון אחרון: 13 בנובמבר 2024
כשאנחנו יוצרים תכונות עם מודלים של AI באינטרנט, אנחנו לרוב מסתמכים על פתרונות בצד השרת למודלים גדולים יותר. זה נכון במיוחד לגבי AI גנרטיבי, שבו גם המודלים הקטנים ביותר גדולים פי אלף מהגודל החציוני של דף אינטרנט. אותו הדבר נכון גם לתרחישים אחרים של שימוש ב-AI, שבהם המודלים יכולים לנוע בין עשרות למאות מגה-בייט. מאחר שהמודלים האלה לא משותפים בין אתרים, כל אתר צריך להוריד אותם בזמן טעינת הדף. זה לא מעשי למפתחים ולמשתמשים.
אנחנו מפתחים ממשקי API לפלטפורמות אינטרנט ותכונות דפדפן שנועדו לשלב מודלים של AI, כולל מודלים גדולים של שפה (LLM), ישירות בדפדפן. הגרסה היעילה ביותר של משפחת ה-LLM של Gemini היא Gemini Nano, שנועדה לפעול באופן מקומי ברוב המחשבים המודרניים, כולל מחשבים נייחים ומחשבים ניידים. בעזרת AI מובנה, האתר או אפליקציית האינטרנט שלכם יכולים לבצע משימות מבוססות-AI בלי שתצטרכו לפרוס או לנהל מודלים משלכם של AI.
כאן נסביר על היתרונות של AI מובנה, על תוכנית ההטמעה שלנו ועל הדרכים שבהן אפשר להפיק תועלת מהטכנולוגיה הזו.
גרסת טרום-השקה מוקדמת
אנחנו זקוקים למשוב שלכם כדי לעצב את ממשקי ה-API, לוודא שהם עומדים בדרישות של התרחישים לדוגמה שלכם ולשפר את הדיונים שלנו עם ספקי דפדפנים אחרים בנושא סטנדרטיזציה.
תוכלו להצטרף לתוכנית התצוגה המקדימה שלנו כדי לשלוח משוב על רעיונות מוקדמים של AI מובנה, ולגלות הזדמנויות לבדוק ממשקי API שנמצאים בתהליך פיתוח באמצעות יצירת אב טיפוס מקומי.
כדי לקבל התראות כשממשקי API חדשים יהיו זמינים, תוכלו להצטרף לקבוצת ההכרזות הציבוריות למפתחים של Chrome AI.
היתרונות של AI מובנה למפתחי אתרים
בעזרת AI מובנה, הדפדפן מספק ומנהל מודלים בסיסיים ומודלים של מומחים.
בהשוואה ליצירת AI משלכם בצד הלקוח, ל-AI המובנה יש את היתרונות הבאים:
- קלות הפריסה: כשהדפדפן מפרסם את המודלים, הוא מתייחס ליכולות של המכשיר ומנהל את העדכונים של המודל. כלומר, אתם לא אחראים להורדה או לעדכון של מודלים גדולים ברשת. אתם לא צריכים לפתור בעיות של פינוי מקום באחסון, תקציב זיכרון בסביבת זמן ריצה, עלויות הצגה ואתגרים אחרים.
- גישה לשיפור המהירות באמצעות חומרה: סביבת זמן הריצה של ה-AI בדפדפן מבוצעת אופטימיזציה כדי לנצל את מלוא החומרה הזמינה, בין אם מדובר ב-GPU, ב-NPU או בחזרה ל-CPU. כתוצאה מכך, האפליקציה יכולה להציג את הביצועים הטובים ביותר בכל מכשיר.
היתרונות של הפעלה בצד הלקוח
גישה מובנית ל-AI מאפשרת לבצע משימות AI בקלות בצד הלקוח, וכתוצאה מכך יש לה יתרונות משמעותיים:
- עיבוד מקומי של מידע אישי רגיש: AI מצד הלקוח יכול לשפר את רמת הפרטיות. לדוגמה, אם אתם עובדים עם מידע אישי רגיש, תוכלו להציע למשתמשים תכונות AI עם הצפנה מקצה לקצה.
- חוויית משתמש מהירה: במקרים מסוימים, אם תבטלו את הנסיעה הלוך ושוב לשרת, תוכלו להציע תוצאות כמעט מיידיות. AI בצד הלקוח יכול להוות את ההבדל בין תכונה קיימת לבין חוויית משתמש לא אופטימלית.
- גישה רחבה יותר ל-AI: המכשירים של המשתמשים יכולים לשאת חלק מעומס העיבוד בתמורה לגישה רחבה יותר לתכונות. לדוגמה, אם אתם מציעים תכונות AI פרימיום, תוכלו להציג תצוגה מקדימה של התכונות האלה באמצעות AI בצד הלקוח, כדי לאפשר ללקוחות פוטנציאליים לראות את היתרונות של המוצר שלכם, ללא עלות נוספת. הגישה המשולבת הזו יכולה גם לעזור לכם לנהל את עלויות ההסקה, במיוחד בתהליכי שימוש של משתמשים שמתרחשים בתדירות גבוהה.
- שימוש ב-AI במצב אופליין: המשתמשים יכולים לגשת לתכונות ה-AI גם כשאין חיבור לאינטרנט. פירוש הדבר הוא שהאתרים והאפליקציות שלכם יכולים לפעול כצפוי אופליין או עם קישוריות משתנה.
AI היברידי: בצד הלקוח ובצד השרת
AI בצד הלקוח יכול לטפל במגוון רחב של תרחישים לדוגמה, אבל יש מקרים מסוימים שבהם נדרשת תמיכה בצד השרת.
AI בצד השרת הוא פתרון מצוין למודלים גדולים, והוא יכול לתמוך במגוון רחב יותר של פלטפורמות ומכשירים.
כדאי לשקול גישה משולבת, בהתאם לגורמים הבאים:
- מורכבות: קל יותר לתמוך בתרחישי שימוש ספציפיים ופשוטים באמצעות AI במכשיר. בתרחישי שימוש מורכבים, מומלץ להטמיע בצד השרת.
- עמידות: שימוש בצד השרת כברירת מחדל, ושימוש במכשיר כשהמכשיר במצב אופליין או כשהחיבור לא יציב.
- מעבר חלק לחלופה: תהליך ההטמעה של דפדפנים עם AI מובנה ייקח זמן, יכול להיות שחלק מהמודלים לא יהיו זמינים, ומכשירים ישנים או חלשים יותר עשויים לא לעמוד בדרישות החומרה להפעלה אופטימלית של כל המודלים. להציע למשתמשים האלה AI בצד השרת.
במודלים של Gemini, אפשר להשתמש בשילוב לקצה העורפי (עם Python, Go, Node.js או REST) או להטמיע באפליקציית האינטרנט באמצעות ערכת ה-SDK החדשה של Google AI ללקוח באינטרנט.
ארכיטקטורה וממשקי API של דפדפנים
כדי לתמוך ב-AI מובנה ב-Chrome, יצרנו תשתית לגישה למודלים בסיסיים ומודלים של מומחים להרצה במכשיר. התשתית הזו כבר מאפשרת להשתמש בתכונות חדשניות בדפדפן, כמו עזרה בכתיבה.
אפשר לגשת ליכולות ה-AI המובנות בעיקר באמצעות ממשקי API למשימות, כמו Translator API או Summarizer API. ממשקי ה-API של המשימות נועדו להריץ הסקת מידע לפי המודל הטוב ביותר למטלה.
ב-Chrome, ממשקי ה-API האלה מיועדים להפעלת היסק מול Gemini Nano עם כוונון מדויק או מודל מומחה. Gemini Nano תוכנן לפעול באופן מקומי ברוב המכשירים המודרניים, והוא מתאים במיוחד לתרחישי שימוש שקשורים לשפה, כמו סיכום, ניסוח מחדש או סיווג.
אנחנו מספקים גם ממשקי API לניסוי, כמו Prompt API, כדי שתוכלו להתנסות באופן מקומי ולשתף תרחישים נוספים לשימוש.
בעתיד, יכול להיות שנציע ממשק LoRA API לצורך חקירה, כדי לשפר את הביצועים של המודל המובנה על ידי שינוי המשקלים של המודל.
מתי כדאי להשתמש ב-AI מובנה
ריכזנו כאן כמה דרכים שבהן AI מובנה יכול להועיל לכם ולמשתמשים שלכם:
- צריכת תוכן שמועשרת באמצעות AI: כולל סיכום, תרגום, סיווג, אפיון וכספק ידע.
- יצירת תוכן באמצעות AI: למשל, עזרה בכתיבה, הגהה, תיקון שגיאות דקדוק וניסוח מחדש.
המאמרים הבאים
כמה מממשקי ה-API המובנים של AI זמינים לבדיקה בתקופות ניסיון בגרסת המקור. ממשקי API לבדיקה וממשקי API אחרים בשלבים מוקדמים זמינים למשתתפים בתוכנית הבטא המוקדמת.
במדריך למתחילים ל-Google AI JavaScript SDK מוסבר איך להשתמש ב-Gemini Pro בשרתים של Google עם האתרים ואפליקציות האינטרנט שלכם.