選擇用戶端 AI 的時機

Maud Nalpas
Maud Nalpas
Kenji Baheux
Kenji Baheux

發布日期:2024 年 5 月 14 日

用戶端 AI 推論會在裝置上執行,因此搭配任何現有的伺服器端設定,都能發揮極大的效用。內建 AI 是一種用戶端 AI,可將模型帶入瀏覽器,保護機密資料並縮短延遲時間。

  • 隱私權和安全性:用戶端 AI 可讓您在本機處理資料,這會大大影響您處理敏感資料的能力,並確保資料安全無虞。您可以為使用者提供端對端加密的 AI 功能。
  • 更高的可用性:用戶端 AI 可協助您為使用者提供更高的可用性。使用者的裝置可以承擔部分處理負載,以便更容易存取 AI 功能。如果您的產品提供進階服務,不妨考慮推出含有用戶端 AI 功能的免費層級,讓客戶一窺進階服務的內容。

執行用戶端 AI 無法完全取代及複製您在雲端執行的工作。畢竟伺服器功能強大,可容納大型複雜模型,快速提供結果。

但使用用戶端不一定是最佳選擇,因此在繼續說明之前,我們想提醒您一些最佳做法:

  1. 設計功能時,請納入完善的備用方案,並在目標裝置上執行基準測試。並非所有裝置都能充當 AI 大軍。
  2. 針對特定用途進行建構。用戶端 AI 最適合用於特定用途。這些模型本質上比伺服器端 AI 的模型小。將程序分解為指定步驟,並善用前置和後置處理,讓較小的模型仍能提供最佳回應。
  3. 針對下載規定制定策略。AI 模型可能會佔用大量行動數據和裝置儲存空間。請務必為使用者建構實用的功能,並採用負責的內容放送和快取策略。

提供意見

我們想瞭解您最感興趣的用途,以及對我們做法提供的意見。您可以提供意見回饋並加入搶先體驗方案,使用本機原型進行測試。

您的貢獻有助於我們將 AI 打造為強大且實用的工具,讓所有人都能使用。

開始使用 Chrome 內建的 AI API。