当我们使用 Web 上的 AI 模型构建特征时，我们通常依赖服务器端解决方案来构建更大的模型。对于生成式 AI 来说尤其如此，即使是最小的模型，也是网页大小中位数的约千倍。这同样适用于其他 AI 应用场景，其中模型的大小可能从数十兆字节到数百兆字节。
由于这些模型并非跨网站共享，因此每个网站都必须在网页加载时下载。对于开发者和用户而言，这是一个不切实际的解决方案
虽然服务器端 AI 是大型模型的绝佳选择，但设备端方法和混合方法各有巨大的优点。为了使这些方法可行，我们需要解决模型大小和模型交付问题。
因此，我们正在开发 Web 平台 API 和浏览器功能，旨在将 AI 模型（包括大语言模型 (LLM)）直接集成到浏览器中。其中包括 Gemini Nano，这是 Gemini 系列 LLM 中最高效的版本，旨在在大多数现代台式机和笔记本电脑上本地运行。借助内置 AI，您的网站或 Web 应用可以执行 AI 驱动的任务，而无需部署或管理其自己的 AI 模型。
了解内置 AI 的优势、我们的实现计划，以及如何利用这项技术。
抢先试用
我们需要您的意见来完善这些 API，确保它们能满足您的用例要求，并帮助我们与其他浏览器供应商进行标准化讨论。
加入我们的早期预览版计划，针对处于早期阶段的内置 AI 理念提供反馈，并探索通过本地原型设计测试正在开发中的 API 的机会。
加入 Chrome AI 开发者公告群组，即可在新 API 发布时收到通知。
内置 AI 为 Web 开发者带来的好处
借助内置 AI，浏览器可提供和管理基础模型和专家模型。
与在设备端 AI 中自行构建模型相比，内置 AI 具有以下优势：
- 易于部署：浏览器分发模型时，会考虑设备功能并管理模型的更新。这意味着，您无需负责通过网络下载或更新大型模型。您无需解决存储空间逐出、运行时内存预算、传送费用和其他难题。
- 使用硬件加速功能：浏览器的 AI 运行时经过优化，可以充分利用可用的硬件，无论是 GPU、NPU 还是回退到 CPU。因此，您的应用可以在每台设备上获得最佳性能。
在设备上运行的好处
使用内置 AI 方法，在设备上执行 AI 任务变得轻而易举，这反过来又具有以下优势：
- 本地处理敏感数据：设备端 AI 可以改进您的隐私保护故事。例如，如果您处理敏感数据，则可以通过端到端加密为用户提供 AI 功能。
- 流畅的用户体验：在某些情况下，无需往返于服务器，意味着您可以提供近乎即时的结果。设备端 AI 可能是可行功能与次优用户体验之间的区别。
- 对 AI 的访问权限更高：用户的设备可以承担一些处理负载，以换取对功能的更多访问权限。例如，如果您提供高级 AI 功能，则可以使用设备端 AI 来预览这些功能，以便潜在客户可以看到您产品的优势，而无需支付额外费用。这种混合方法还可以帮助您管理推断费用，尤其是针对常用用户流的推断费用。
- 离线使用 AI：即使没有互联网连接，您的用户也可以使用 AI 功能。这意味着您的网站和 Web 应用可以离线使用或采用可变连接方式，按预期运行。
混合 AI：设备端和服务器端
虽然设备端 AI 可以处理大量用例，但也有一些用例需要服务器端支持。
例如，您可能需要使用较大的模型或支持更广泛的平台和设备。
您可以考虑采用混合方法，但这要取决于以下因素：
- 复杂性：使用设备端 AI 更容易支持具体、易于理解的用例。对于复杂的用例，请考虑使用服务器端实现。
- 弹性：默认使用服务器端，在设备离线或连接不稳定时使用设备端。
- 安全回退：采用内置 AI 的浏览器需要一定的时间，某些型号可能不可用，而较旧或功能不太强大的设备可能无法满足硬件要求，无法以最佳方式运行所有模型。请为这些用户提供服务器端 AI。
对于 Gemini 模型，您可以使用后端集成（与 Python、Go、Node.js 或 REST），或者通过新的网页版 Google AI 客户端 SDK 在 Web 应用中实现。
浏览器架构和 API
为了支持 Chrome 中的内置 AI，我们打造了基础架构，以获取在设备端执行的基础模型和专家模型。此基础架构已在支持创新的浏览器功能（例如帮我写），并且很快就会支持用于设备端 AI 的 API。
您将主要通过任务 API 使用内置 AI 功能，例如翻译 API 或摘要 API。Task API 旨在根据最适合分配的模型进行推理。
在 Chrome 中，这些 API 旨在通过微调或专家模型针对 Gemini Nano 运行推断。作为设计，Gemini Nano 可在大多数现代设备上本地运行，最适合与语言相关的用例，例如摘要、重新表述或分类。
此外，我们还打算提供探索性 API，以便您可以在本地进行实验并分享更多用例。
例如，我们可能会提供：
- Prompt API：将以自然语言表示的任意任务发送到内置的大型语言模型（Chrome 中的 Gemini Nano）。
- 微调 (LoRA) API：通过低秩自适应微调来调整模型的权重，从而提高内置 LLM 在执行任务时的性能。
何时使用内置 AI
我们相信内置 AI 技术能为您和您的用户带来以下益处：
- 通过 AI 增强内容消费：包括摘要、翻译、回答有关某些内容的问题、分类和特征。
- AI 支持的内容创作：例如写作辅助、校对、语法更正和重新表述。
后续步骤
加入我们的早期预览版计划，体验处于早期阶段的内置 AI API。
在此期间，您可以参阅 Google AI JavaScript SDK 快速入门，了解如何将 Google 服务器上的 Gemini Pro 用于您的网站和 Web 应用。