Maud Nalpas
Kenji Baheux
Alexandra Klepper
发布时间：2024 年 5 月 14 日
客户端 AI 推理在设备端进行，可与任何现有的服务器端设置搭配使用，效果非常强大。内置 AI 是一种客户端 AI，可将模型引入浏览器，保护敏感数据并缩短延迟时间。
- 隐私和安全：借助客户端 AI，您可以在本地处理数据，这对您处理敏感数据并确保其安全和隐私性的能力有很大影响。您可以向启用端到端加密功能的用户提供 AI 功能。
- 更高可用性：客户端 AI 可以帮助您为用户提供更高的可用性。用户的设备可以承担部分处理负载，以便更好地使用 AI 功能。如果您的产品提供付费服务，不妨考虑提供包含客户端 AI 功能的免费层级，以便客户大致了解付费服务的功能。
运行客户端 AI 无法完全取代和复制您在云端执行的工作。毕竟，服务器功能强大，能够存储大型复杂模型，并快速提供结果。
客户端并不总是正确的选择，因此在继续之前，我们想提醒您一些最佳实践：
- 设计具有平滑回退的功能，并在目标设备上运行基准测试。并非每部设备都能充当 AI 强大平台。
- 针对特定用例进行构建。客户端 AI 最适合特定用例。这些模型本身就比服务器端 AI 中通常使用的模型小。将流程细分为有针对性的步骤，并利用预处理和后处理，以便较小的模型仍能提供尽可能理想的回答。
- 对下载要求采取战略性做法。AI 模型可能很大，这可能会导致大量使用移动流量和设备存储空间。确保您为用户构建的实用功能，以及您采用的服务和缓存策略负责任。
分享反馈
我们希望了解您最感兴趣的用例，以及您对我们方法的反馈。您可以分享反馈并申请加入抢先体验计划，以便使用本地原型进行测试。
您的贡献有助于我们将 AI 打造成一款实用且强大的工具，让所有人都能受益。