内置 AI

Kenji Baheux
Kenji Baheux
Alexandra Klepper
Alexandra Klepper
X GitHub LinkedIn

发布日期：2024 年 5 月 14 日

当我们在网络上使用 AI 模型构建功能时，通常依赖于服务器端 大型模型的解决方案。生成式 AI 尤其如此， 即使是最小的模型，规模也要比 网页大小中间值： 对于其他 AI 应用场景也是如此，在这些使用场景中，模型时长可能在 10 秒到 100 秒之间 MB。

由于这些模型不会在网站之间共享，因此每个网站都必须在网页加载时下载这些模型。对于 开发者和用户

虽然服务器端 AI 是大型模型的绝佳选择，但设备端 AI 和混合模型 方法都有自己的优势所在。为了让这些 方法可行，我们需要解决模型大小和模型交付问题。

因此，我们正在开发 Web 平台 API 和浏览器功能，旨在将 AI 模型（包括大语言模型 [LLM]）直接集成到浏览器中。这包括 Gemini Nano， Gemini LLM 系列最高效的版本，旨在在本地运行 大多数新型台式机和笔记本电脑上均可使用。借助内置 AI，您的网站或 Web 应用可以执行 AI 赋能的任务，而无需部署或管理 自己的 AI 模型。

了解内置 AI 的优势、我们的实施计划，以及如何利用这项技术。

抢先预览

我们需要您的宝贵意见来打造 API， 确保它们满足您的用例要求，并为我们与其他浏览器之间的讨论提供信息 供应商进行标准化处理

加入我们的抢先体验计划，针对处于早期阶段的内置 AI 创意提供反馈，并发现通过本地原型设计测试正在开发的 API 的机会。

加入 Chrome AI 开发者公告群组 以便在新 API 推出时收到通知。

内置 AI 为 Web 开发者带来的好处

借助内置 AI，您的浏览器可提供和管理基础模型和专家模型。

与自行实现设备端 AI 相比，内置 AI 具有以下优势：

  • 部署简单：在分发模型时，浏览器会考虑设备的功能并管理模型的更新。这意味着，您无需负责通过网络下载或更新大型模型。您无需解决存储空间驱逐、运行时内存预算、提取费用和其他问题。
  • 使用硬件加速：浏览器的 AI 运行时经过优化，可充分利用可用的硬件（无论是 GPU、NPU 还是回退到 CPU）。因此，您的应用可以在每部设备上实现最佳性能。

在设备端运行的好处

有了内置的 AI 方法，在设备上执行 AI 任务变得轻而易举， 这反过来又会带来以下好处：

  • 对敏感数据的本地处理：设备端 AI 可以提高您的 隐私故事。例如，如果您处理敏感数据，则可以通过端到端加密向用户提供 AI 功能。
  • 简洁的用户体验：在某些情况下，无需往返于 服务器意味着您可以提供近乎即时的结果。设备端 AI 可以决定一项功能是否可行，以及用户体验是否理想。
  • 更广泛地使用 AI：用户设备可以承担部分处理负载，以换取对更多功能的使用权限。例如，如果您 提供高级 AI 功能，那么您可以使用设备端 AI 功能来预览这些功能 这样潜在客户才能看到您产品的优势， 额外付费这种混合方法还有助于 尤其是在常用用户流中。
  • 离线 AI 使用：即使没有连接到互联网，用户也可以使用 AI 功能。这意味着您的网站和 Web 应用可以按预期运行 或网络连接多变时。

混合 AI：设备端和服务器端

虽然设备端 AI 可以处理大量应用场景， 需要服务器端支持的用例。

例如，您可能需要使用较大的模型或支持更广泛的 平台和设备

您可以考虑采用混合方法，具体取决于：

  • 复杂性：具体、易于使用的用例更易于通过 设备端 AI。对于复杂用例，请考虑服务器端实现。
  • 弹性：默认使用服务器端，当设备离线或连接不稳定时使用设备端。
  • 妥善回退：采用内置 AI 的浏览器需要时间，部分模型可能无法使用，并且旧款或性能较低的设备可能不符合运行所有模型的最佳硬件要求。优惠 服务器端 AI。

对于 Gemini 模型，您可以使用后端集成（使用 Python、Go、Node.js 或 REST），也可以使用新的 适用于 Web 的 Google AI 客户端 SDK 在 Web 应用中实现。

浏览器架构和 API

为了支持 Chrome 中的内置 AI，我们创建了基础架构，以便访问基础模型和专家模型以在设备上执行。这个基础架构已经 为创新的浏览器功能提供支持，例如 帮我写、 并且很快就会支持设备端 AI API。

您将主要通过任务 API 使用内置的 AI 功能，例如 translation API 或摘要 API。任务 API 旨在针对作业中的最佳模型运行推理。

在 Chrome 中，这些 API 旨在针对 Gemini Nano 运行推断， 微调模型或专家模型。可在大多数新型设备本地运行， Gemini Nano 最适合与语言相关的应用场景，例如总结、 重新表述或分类。

此外，我们还打算提供探索性 API，以便您在本地进行实验并分享更多用例。

例如，我们可能会提供：

  • Prompt API：将用自然语言表达的任意任务发送到内置的大型语言模型（Chrome 中的 Gemini Nano）。
  • Fine-tuning (LoRA) API：提升内置 LLM 执行任务的性能 调整模型的权重， 低排名自适应 微调。
此图演示了您的网站或应用如何使用任务 API 和探索性网络平台 API 访问 Chrome 内置的模型。

何时使用内置 AI

我们预计内置 AI 可通过以下几种方式造福您和您的用户：

  • AI 增强的内容消费：包括摘要、 翻译、 回答关于某些内容、分类和特征的问题。
  • AI 支持的内容创作：例如撰写协助、校对 语法更正和重新表述

后续步骤

加入我们的抢先试用计划， 试用处于早期阶段的内置 AI API。

与此同时，您可以参阅 Google AI JavaScript SDK 快速入门，了解如何在 Google 的服务器上将 Gemini Pro 与您的网站和 Web 应用搭配使用。