当我们在网络上使用 AI 模型构建功能时，通常依赖服务器端解决方案来构建较大的模型。对于生成式 AI 来说尤其如此，因为即使是最小的模型，也比网页大小中间值大大约千倍。对于其他 AI 应用场景也是如此，在这些使用场景中，模型的大小可能从数十兆字节到数百兆字节不等。
由于这些模型不会在网站之间共享，因此每个网站都必须在网页加载时下载它们。对于开发者和用户而言
虽然服务器端 AI 是大型模型的绝佳选择，但设备端方法和混合方法各有优势。为使这些方法可行，我们需要解决模型大小和模型交付问题。
因此，我们正在开发各种 Web 平台 API 和浏览器功能，旨在将包括大语言模型 (LLM) 在内的 AI 模型直接集成到浏览器中。其中包括 Gemini Nano，它是 Gemini 系列 LLM 中最高效的版本，可在大多数现代台式机和笔记本电脑上本地运行。借助内置 AI，您的网站或 Web 应用可以执行 AI 赋能的任务，而无需部署或管理自己的 AI 模型。
探索内置 AI 的优势、我们的实现计划，以及如何利用此技术。
抢先试用
我们需要您的输入来塑造 API，确保它们满足您的用例，并为我们与其他浏览器供应商的讨论提供信息，以实现标准化。
欢迎加入我们的早期预览版计划，针对处于早期阶段的内置 AI 创意提供反馈，并探索通过本地原型设计测试正在开发的 API 的机会。
加入 Chrome AI 开发者公告群组，以便在新 API 推出时收到通知。
内置 AI 功能为 Web 开发者带来的好处
借助内置 AI，浏览器可以提供并管理基础模型和专家模型。
与自行设备端 AI 相比，内置 AI 具有以下优势：
- 易于部署：在浏览器分发模型时，浏览器会考虑设备的功能并管理模型的更新。这意味着，您无需负责通过网络下载或更新大型模型。您无需解决存储空间逐出、运行时内存预算、传送费用和其他难题。
- 使用硬件加速：浏览器的 AI 运行时经过优化，可充分利用可用硬件，无论是 GPU、NPU 还是回退到 CPU。因此，您的应用可以在每台设备上获得最佳性能。
在设备上运行的好处
有了内置的 AI 方法，在设备上执行 AI 任务变得轻而易举，这反过来又带来了以下优势：
- 对敏感数据的本地处理：设备端 AI 可以改善您的隐私故事。例如，如果您处理敏感数据，则可以通过端到端加密向用户提供 AI 功能。
- 流畅的用户体验：在某些情况下，无需往返服务器，即可提供近乎即时的结果。设备端 AI 可能是可行功能与次优用户体验之间的差异。
- 更好地利用 AI：用户的设备可以承担部分处理负载，以换取更多对功能的访问权限。例如，如果您提供高级 AI 功能，则可以使用设备端 AI 来预览这些功能，以便潜在客户能看到您产品的优势，而无需支付额外费用。这种混合方法还可以帮助您管理推理费用，尤其是在常用用户流中。
- 离线 AI 使用：即使在没有互联网连接的情况下，您的用户也可以使用 AI 功能。这意味着，您的网站和 Web 应用可以在离线或可变连接的情况下按预期运行。
混合 AI：设备端和服务器端
虽然设备端 AI 可以处理大量用例，但某些用例需要服务器端支持。
例如，您可能需要使用较大的模型或支持更广泛的平台和设备。
您可以考虑根据以下条件采用混合方法：
- 复杂性：通过设备端 AI 可以更轻松地支持具体、易于理解的用例。对于复杂的用例，请考虑服务器端实现。
- 弹性：默认使用服务器端，当设备离线或连接不稳定时在设备端使用。
- 安全回退：采用内置 AI 的浏览器需要一些时间，某些模型可能不可用，较旧或功能较低的设备可能无法满足以最佳方式运行所有模型的硬件要求。为这些用户提供服务器端 AI。
对于 Gemini 模型，您可以使用后端集成（与 Python、Go、Node.js 或 REST），或者使用新的 Google AI 客户端 SDK for Web 在 Web 应用中实现。
浏览器架构和 API
为了支持 Chrome 中的内置 AI，我们创建了基础架构来访问用于设备端执行的基础模型和专家模型。该基础架构已在为创新型浏览器功能（例如帮我写）提供支持，并且很快就会为设备端 AI 的 API 提供支持。
您将主要通过任务 API（例如翻译 API 或摘要 API）访问内置 AI 功能。Task API 旨在根据分配的最佳模型进行推理。
在 Chrome 中，这些 API 旨在通过微调或专家模型针对 Gemini Nano 运行推断。Gemini Nano 可在大多数现代设备上本地运行，非常适合与语言相关的应用场景，例如摘要、重新表述或分类。
此外，我们还打算提供探索性 API，以便您可以在本地进行实验并分享其他用例。
例如，我们可能会提供：
- Prompt API：将任意任务（以自然语言表示）发送到内置的大语言模型（Chrome 中的 Gemini Nano）。
- 微调 (LoRA) API：通过低排名自适应微调来调整模型的权重，从而提升内置 LLM 执行任务的性能。
何时使用内置 AI
我们预计内置 AI 可通过以下几种方式造福您和您的用户：
- AI 增强的内容消费：包括摘要、翻译、回答有关某些内容、分类和特征的问题。
- AI 支持的内容创建：例如撰写辅助、校对、语法更正和重新表述。
后续步骤
加入我们的早期预览版计划，试用处于早期阶段的内置 AI API。
在此期间，您可以参阅我们的 Google AI JavaScript SDK 快速入门，了解如何将 Google 服务器上的 Gemini Pro 与您的网站和 Web 应用搭配使用。