內建 AI

Kenji Baheux
Kenji Baheux
Alexandra Klepper
Alexandra Klepper
X GitHub LinkedIn

發布日期：2024 年 5 月 14 日，上次更新日期：2024 年 11 月 13 日

在網路上使用 AI 模型建構功能時，我們通常會使用伺服器端解決方案來處理大型模型。這一點在生成式 AI 的情況下尤其明顯，因為即使是最小的模型，其大小也比中位網頁大小大上約一千倍。其他 AI 用途也是如此，模型的大小可能介於 10 到 100 兆位元之間。由於這些模型不會在不同網站之間共用，因此每個網站都必須在網頁載入時下載這些模型。這對開發人員和使用者來說並不切合實際。

我們正在開發網頁平台 API 和瀏覽器功能，旨在將 AI 模型 (包括大型語言模型 (LLM)) 直接整合至瀏覽器。其中包括 Gemini Nano，這是 Gemini 系列 LLM 中最有效率的版本，可在大多數新型桌上型電腦和筆記型電腦上執行本機運算。有了內建 AI 技術，您的網站或網頁應用程式就能執行 AI 技術輔助的作業，不必部署或管理自己的 AI 模型。

瞭解內建 AI 的優點、我們的導入計畫，以及如何善用這項技術。

搶先體驗

我們需要您的意見來塑造 API，確保 API 可滿足您的用途，並在與其他瀏覽器供應商討論標準化時提供參考。

加入搶先預覽計畫，針對內建 AI 概念提供意見回饋，並透過本機原型設計，找出測試開發中的 API 的機會。

加入 Chrome AI 開發人員公開公告群組，即可在新的 API 推出時收到通知。

內建 AI 技術對網頁程式開發人員的好處

瀏覽器會透過內建 AI 提供及管理基礎和專家模型。

與自行建構用戶端 AI 相比，內建 AI 有以下優點：

  • 輕鬆部署：瀏覽器會在發布模型時考量裝置的功能，並管理模型的更新作業。也就是說，您不必負責透過網路下載或更新大型模型。您不必解決儲存空間淘汰、執行階段記憶體預算、服務成本和其他問題。
  • 存取硬體加速功能：瀏覽器的 AI 執行時間已經過最佳化，可充分利用可用的硬體，例如 GPU、NPU 或 CPU。因此，您的應用程式可以在每部裝置上獲得最佳效能。

執行用戶端的好處

有了內建 AI 方法，在用戶端執行 AI 作業就變得輕而易舉，進而帶來下列優點：

  • 機密資料的本機處理：用戶端 AI 可改善隱私權狀況。舉例來說，如果您要處理機密資料，可以為使用者提供端對端加密的 AI 功能。
  • 快速的使用者體驗：在某些情況下，捨棄與伺服器的來回通訊，可讓您提供幾乎即時的結果。用戶端 AI 技術可提供可行功能，或提供次佳的使用者體驗。
  • 擴大 AI 存取權：使用者的裝置可承擔部分處理負載，以便使用更多功能。舉例來說，如果您提供進階 AI 功能，可以透過用戶端 AI 預覽這些功能，讓潛在客戶瞭解產品的優點，而您也不必額外付費。這種混合方法也可協助您管理推論成本，特別是針對經常使用的使用者流程。
  • 離線 AI 使用情形：即使沒有網際網路連線，使用者仍可使用 AI 功能。這表示您的網站和網路應用程式可以在離線或網路連線不穩定的情況下正常運作。

混合式 AI：用戶端和伺服器端

雖然用戶端 AI 可處理多種用途，但仍有某些情況需要伺服器端支援。

伺服器端 AI 是大型模型的絕佳選擇，而且可支援更多平台和裝置。

您可以考慮採用混合方法，具體取決於：

  • 複雜度：特定且容易上手的用途更容易透過裝置端 AI 技術支援。如果用途複雜，請考慮採用伺服器端實作方式。
  • 彈性：預設使用伺服器端，當裝置離線或連線不穩定時，則使用裝置端。
  • 優雅的備用方案：採用內建 AI 的瀏覽器需要時間，部分模型可能無法使用，舊版或效能較低的裝置可能不符合執行所有模型的硬體需求。為這些使用者提供伺服器端 AI。

針對 Gemini 模型，您可以使用後端整合功能 (搭配 Python、Go、Node.js 或 REST)，也可以在網路應用程式中使用新的 Google AI 用戶端 SDK for Web 進行實作。

瀏覽器架構和 API

為支援 Chrome 內建的 AI 技術，我們建立了基礎架構，可存取基礎和專家模型，以便在裝置上執行。這項基礎架構已支援創新的瀏覽器功能，例如「幫我寫」。

您可以透過工作 API (例如 Translator API 或 Summarizer API) 存取內建 AI 功能。任務 API 的設計目的，是針對指派作業執行最佳模型的推論。

在 Chrome 中，這些 API 是為了針對 Gemini Nano 執行推論，並使用精細調整或專家模型。Gemini Nano 是專為在大多數新型裝置上執行而設計，最適合用於語言相關用途，例如摘要、改寫或分類。

我們也提供探索性 API (例如 提示 API)，讓您在本機進行實驗，並分享其他用途。

日後，我們可能會提供探索性 LoRA API，藉由調整模型的權重來改善內建模型的效能。

這張圖表說明網站或應用程式如何使用工作和探索性網路平台 API 存取 Chrome 內建的模型。

使用內建 AI 的時機

以下列舉內建 AI 技術可為您和使用者帶來的益處：

  • AI 強化內容消費行為：包括摘要、翻譯、分類、特徵化，以及知識提供者。
  • AI 輔助內容創作：例如撰文輔助、校對、文法校正和改寫。

後續步驟

您可以在來源試用中測試多個內建 AI API。搶先體驗計畫參與者可使用探索性 API 和其他早期 API。

請參閱 Google AI JavaScript SDK 快速入門指南，瞭解如何在 Google 伺服器上使用 Gemini Pro 搭配您的網站和網頁應用程式。