過去一年來，Web AI 的許多變化。提醒您，我們在 2024 年 I/O 大會上曾與各位分享下一個網頁應用程式適用的新模型、工具和 API，如果您錯過相關資訊。
Web AI 是一套技術和技術，可使用機器學習 (ML) 模型，此模型是在用戶端於裝置 CPU 或 GPU 上執行的網路瀏覽器。這項功能可使用 JavaScript 和 WebAssembly 和 WebGPU 等其他網路技術建構。這與伺服器端 AI 或「Cloud AI」不同，後者是會在伺服器上執行模型，而且可透過 API 存取。
這場講座分享了：
- 如何在瀏覽器中執行我們全新的大型語言模型 (LLM)，以及在用戶端執行模型的影響
- 展望視覺模塊的未來，以便更快速地設計原型；
- 以及網頁程式開發人員如何在 Chrome 中使用 JavaScript 大規模與 Web AI 搭配運作
在瀏覽器中輸入 LLM
Gemma Web 是 Google 新推出的開放模型，採用建立 Gemini 的研究技術和技術，能在使用者裝置的瀏覽器中執行。
比起在雲端伺服器上執行 LLM，這類作業能大幅節省成本，而且還可改善使用者隱私並縮短延遲時間。瀏覽器中的生成式 AI 目前仍處於早期階段，但隨著硬體持續提升 (CPU 和 GPU RAM 數量持續提高)，我們預計日後有更多模型可供使用。
企業可以重新構思網頁功能，特別是針對工作特定用途，因為小型 LLM 的權重 (2 到 80 億個參數) 可以調整，以便在消費性硬體上執行。
Gemma 2B 可透過 Kaggle Models 下載，而且這個格式與 Web LLM 推論 API 相容。其他支援的架構包括 Microsoft Phi-2、Falcon RW 1B 和 Stable LM 3B，而您可以使用我們的轉換工具程式庫轉換成執行階段可用的格式。
運用視覺方塊快速建構原型
我們正在與 Hugging Face 合作，他們為視覺模塊建立了 16 個全新的自訂節點。這將 Transformers.js 和更廣泛的 Hugging Face 生態系統整合到 Visual Blocks 中。
有 8 個全新節點完全在用戶端執行，並採用 Web AI 技術，包括：
此外，還有七個來自 Hugging Face 的伺服器端機器學習工作，可讓您在 Visual Blocks 中使用 API 執行數千個模型。查看 Hugging Face Visual Blocks 集合。
在 Chrome 中使用 JavaScript 大規模執行 Web AI
在先前的例項中 (例如使用 Gemma)，系統會載入模型並在網頁本身中執行。Chrome 目前正在內建裝置端 AI 運作，因此您可以使用標準化的工作專屬 JavaScript API 存取模型。
除此之外，Chrome 也更新了 WebGPU，可支援 16 位元浮點值。
WebAssembly 提出新的提案 Memory64，可支援 64 位元記憶體索引，讓您可以載入比以往更大的 AI 模型。
開始使用無頭 Chrome 測試 Web AI 模型
您現在可以使用無頭 Chrome 測試用戶端 AI (或任何需要 WebGL 或 WebGPU 的應用程式)，同時利用伺服器端 GPU 加快速度，例如 NVIDIA T4 或 P100。瞭解詳情：
請記得，當您分享您建立的內容時，加上 #WebAI，讓廣大社群可以看到您的作品。歡迎透過 X、LinkedIn 或您偏好的社群平台分享您的調查結果和建議。