סיכום של I/O 2024 בנושא AI באינטרנט: מודלים, כלים וממשקי API חדשים לאפליקציית האינטרנט הבאה שלכם

Jason Mayes
Alexandra Klepper
Alexandra Klepper
X GitHub LinkedIn

הרבה דברים השתנו AI באינטרנט בשנה האחרונה. למקרה שפספסתם, הרצנו ב-I/O 2024 על המודלים, הכלים וממשקי ה-API החדשים לאפליקציית האינטרנט הבאה שלכם.

טכנולוגיית Web AI היא קבוצה של טכנולוגיות וטכניקות לשימוש במודלים של למידת מכונה (ML), בצד הלקוח, בדפדפן אינטרנט שפועל במעבד (CPU) של מכשיר או ב-GPU. אפשר ליצור אותו באמצעות JavaScript וטכנולוגיות אינטרנט אחרות, כמו WebAssembly ו-WebGPU. הדבר שונה מ-AI בצד השרת או מ-Cloud AI, שבהם המודל מופעל בשרת והגישה אליו מתבצעת באמצעות API.

בשיחה הזו שיתפנו:

  • איך מריצים מודלים חדשים של שפה גדולה (LLM) בדפדפן, וההשפעה של הפעלת המודלים בצד הלקוח;
  • מבט אל העתיד של בלוקים חזותיים, כדי ליצור אב טיפוס מהר יותר.
  • ואיך מפתחי אתרים יכולים להשתמש ב-JavaScript ב-Chrome כדי לעבוד עם AI באינטרנט בקנה מידה נרחב.

מודלים גדולים של שפה (LLM) בדפדפן

Gemma Web הוא מודל פתוח חדש מבית Google שניתן לרוץ בדפדפן במכשיר של משתמש, המבוסס על אותם מחקר וטכנולוגיה שבהם השתמשנו כדי ליצור את Gemini.

השימוש ב-LLM במכשיר מאפשר חיסכון משמעותי בעלויות בהשוואה להפעלה בשרת בענן לצורך הסקת מסקנות, יחד עם שיפור פרטיות המשתמשים וזמן אחזור קצר יותר. הבינה המלאכותית הגנרטיבית בדפדפן עדיין נמצאת בשלבים הראשונים שלה, אבל ככל שהחומרה ממשיכה להשתפר (עם מעבד (CPU) ו-GPU RAM גבוהים יותר, אנחנו צופים שיהיו עוד דגמים זמינים.

עסקים יכולים לחשוב מחדש מה אפשר לעשות בדף אינטרנט, במיוחד בתרחישים לדוגמה ספציפיים למשימות, שבהם אפשר לכוונן את המשקל של מודלים גדולים יותר (2 עד 8 מיליארד פרמטרים) כך שיפעלו על חומרה לצרכנים.

Gemma 2B זמין להורדה בדגמי Kaggle ומגיע בפורמט שתואם ל-Web LLM inference API. ארכיטקטורות נתמכות אחרות כוללות את Microsoft Phi-2, Falcon RW 1B ו-Stable LM 3B, שאפשר להמיר לפורמט שמתאים לזמן הריצה באמצעות ספריית הממיר שלנו.

בניית אבות טיפוס מהירים יותר עם VisualBlocks

עם Visual Blocks, אפשר להריץ הערכת עומק בלקוח, בלי צורך בקוד.

אנחנו משתפים פעולה עם Hugging Face, שיצרנו 16 צמתים חדשים בהתאמה אישית עבור Visual Blocks. העדכון הזה כולל את Transformers.js ואת הסביבה העסקית הרחבה יותר של Hugging Faces ל-Visual Blocks.

שמונה מהצמתים החדשים האלה פועלים בצד הלקוח בצורה מלאה, בעזרת AI באינטרנט, כולל:

בנוסף, יש 7 משימות של למידת מכונה בצד השרת של Hugging Face שמאפשרות להריץ אלפי מודלים עם ממשקי API ב-Visual Blocks. כדאי לכם לעיין באוסף 'בלוקים ויזואליים של חיבוקים'.

איך משתמשים ב-JavaScript ל-AI באינטרנט בקנה מידה נרחב באמצעות Chrome

במכונות הקודמות, למשל ב-Gemma, המודל נטען ופועל בתוך דף האינטרנט עצמו. ב-Chrome אנחנו עובדים על טכנולוגיית AI מובנית במכשיר שמאפשרת לגשת למודלים באמצעות ממשקי API סטנדרטיים של JavaScript שספציפיים למשימה.

וזה לא הכול. בנוסף, ב-Chrome עדכנו את WebGPU עם תמיכה בערכי נקודות צפות של 16 ביט.

ל-WebAssembly יש הצעה חדשה, Memory64, שתתמוך באינדקסי זיכרון של 64 ביט, שיאפשרו לכם לטעון מודלים גדולים יותר של AI מבעבר.

מתחילים לבדוק מודלים של AI לאינטרנט באמצעות דפדפן Chrome ללא GUI

מעכשיו אפשר לבדוק AI בצד הלקוח (או כל אפליקציה שזקוקה לתמיכה ב-WebGL או ב-WebGPU) באמצעות Headless Chrome, ולהשתמש במעבדי GPU בצד השרת לצורך האצה, כמו NVIDIA T4 או P100. למידע נוסף:

זכרו, כשאתם משתפים את מה שאתם יוצרים, כדאי להוסיף #WebAI כדי שהקהילה הרחבה יותר תוכל לראות את העבודה שלכם. אתם יכולים לשתף את הממצאים וההצעות שלכם ב-X, ב-LinkedIn או בפלטפורמה החברתית שאתם מעדיפים.