Publié le 14 mai 2024, dernière mise à jour le 13 novembre 2024
Lorsque nous créons des fonctionnalités avec des modèles d'IA sur le Web, nous nous appuyons souvent sur des solutions côté serveur pour les modèles plus volumineux. Cela est particulièrement vrai pour l'IA générative, où même les plus petits modèles sont environ mille fois plus volumineux que la taille médiane d'une page Web. C'est également le cas pour d'autres cas d'utilisation de l'IA, où les modèles peuvent aller de 10 à 100 mégaoctets. Étant donné que ces modèles ne sont pas partagés entre les sites Web, chaque site doit les télécharger au chargement de la page. Ce n'est pas pratique pour les développeurs et les utilisateurs.
Nous développons des API de plate-forme Web et des fonctionnalités de navigateur conçues pour intégrer des modèles d'IA, y compris des grands modèles de langage (LLM), directement dans le navigateur. Cela inclut Gemini Nano, la version la plus efficace de la famille de LLM Gemini, conçue pour s'exécuter localement sur la plupart des ordinateurs de bureau et portables modernes. Grâce à l'IA intégrée, votre site Web ou votre application Web peut effectuer des tâches optimisées par l'IA sans avoir à déployer ni à gérer ses propres modèles d'IA.
Découvrez les avantages de l'IA intégrée, notre plan d'implémentation et comment vous pouvez exploiter cette technologie.
Obtenir un aperçu anticipé
Nous avons besoin de votre avis pour façonner les API, nous assurer qu'elles répondent à vos cas d'utilisation et informer nos discussions avec d'autres fournisseurs de navigateurs pour la normalisation.
Rejoignez notre programme en avant-première pour nous faire part de vos commentaires sur les idées d'IA intégrées en phase de développement et découvrir des opportunités de tester des API en cours de développement via le prototypage local.
Rejoignez le groupe d'annonces publiques pour les développeurs Chrome AI pour être averti lorsque de nouvelles API sont disponibles.
Avantages de l'IA intégrée pour les développeurs Web
Avec l'IA intégrée, votre navigateur fournit et gère des modèles fondamentaux et d'experts.
Par rapport à la création de votre propre IA côté client, l'IA intégrée offre les avantages suivants:
- Simplicité de déploiement: lorsque le navigateur distribue les modèles, il tient compte des fonctionnalités de l'appareil et gère les mises à jour du modèle. Cela signifie que vous n'êtes pas responsable du téléchargement ni de la mise à jour de grands modèles sur un réseau. Vous n'avez pas à résoudre les problèmes d'éviction de stockage, de budget de mémoire d'exécution, de coûts de diffusion et d'autres défis.
- Accès à l'accélération matérielle: l'environnement d'exécution de l'IA du navigateur est optimisé pour exploiter au mieux le matériel disponible, qu'il s'agisse d'un GPU, d'un NPU ou d'un CPU de secours. Par conséquent, votre application peut obtenir les meilleures performances sur chaque appareil.
Avantages de l'exécution côté client
Avec une approche d'IA intégrée, il devient facile d'effectuer des tâches d'IA côté client, ce qui offre les avantages suivants :
- Traitement local des données sensibles: l'IA côté client peut améliorer votre confidentialité. Par exemple, si vous travaillez avec des données sensibles, vous pouvez proposer des fonctionnalités d'IA aux utilisateurs avec le chiffrement de bout en bout.
- Expérience utilisateur rapide : dans certains cas, abandonner l'aller-retour vers le serveur vous permet d'offrir des résultats quasi instantanés. L'IA côté client peut faire la différence entre une fonctionnalité viable et une expérience utilisateur non optimale.
- Accès plus étendu à l'IA: les appareils de vos utilisateurs peuvent assumer une partie de la charge de traitement en échange d'un accès plus étendu aux fonctionnalités. Par exemple, si vous proposez des fonctionnalités d'IA premium, vous pouvez prévisualiser ces fonctionnalités avec l'IA côté client afin que les clients potentiels puissent voir les avantages de votre produit, sans frais supplémentaires pour vous. Cette approche hybride peut également vous aider à gérer les coûts d'inférence, en particulier pour les flux utilisateur fréquemment utilisés.
- Utilisation de l'IA hors connexion : vos utilisateurs peuvent accéder aux fonctionnalités d'IA même en l'absence de connexion Internet. Cela signifie que vos sites et applications Web peuvent fonctionner comme prévu hors connexion ou avec une connectivité variable.
IA hybride: côté client et côté serveur
Bien que l'IA côté client puisse gérer un large éventail de cas d'utilisation, certains nécessitent une prise en charge côté serveur.
L'IA côté serveur est une excellente option pour les grands modèles et peut prendre en charge un plus grand nombre de plates-formes et d'appareils.
Vous pouvez envisager une approche hybride, en fonction des éléments suivants:
- Complexité : les cas d'utilisation spécifiques et accessibles sont plus faciles à prendre en charge avec l'IA sur l'appareil. Pour les cas d'utilisation complexes, envisagez une implémentation côté serveur.
- Résistance : utilisez côté serveur par défaut et utilisez sur l'appareil lorsque l'appareil est hors connexion ou que la connexion est instable.
- Remplacement élégant: l'adoption des navigateurs avec IA intégrée prendra du temps, certains modèles peuvent ne pas être disponibles, et les appareils plus anciens ou moins puissants peuvent ne pas répondre aux exigences matérielles pour exécuter tous les modèles de manière optimale. Proposez-leur une IA côté serveur.
Pour les modèles Gemini, vous pouvez utiliser l'intégration backend (avec Python, Go, Node.js ou REST) ou implémenter dans votre application Web avec le nouveau SDK client Google AI pour le Web.
Architecture et API du navigateur
Pour prendre en charge l'IA intégrée dans Chrome, nous avons créé une infrastructure permettant d'accéder aux modèles de base et d'experts pour l'exécution sur l'appareil. Cette infrastructure alimente déjà des fonctionnalités de navigateur innovantes, telles que M'aider à écrire.
Vous pouvez accéder aux fonctionnalités d'IA intégrées principalement avec les API de tâche, telles que l'API Translator ou l'API Summarizer. Les API de tâche sont conçues pour exécuter une inférence sur le meilleur modèle pour l'attribution.
Dans Chrome, ces API sont conçues pour exécuter des inférences sur Gemini Nano avec un réglage fin ou un modèle d'expert. Conçu pour s'exécuter localement sur la plupart des appareils modernes, Gemini Nano est idéal pour les cas d'utilisation liés à la langue, tels que la synthèse, la reformulation ou la catégorisation.
Nous fournissons également des API exploratoires, telles que l'API Prompt, afin que vous puissiez effectuer des tests en local et partager des cas d'utilisation supplémentaires.
À l'avenir, nous pourrons proposer une API LoRA exploratoire pour améliorer les performances du modèle intégré en ajustant ses pondérations.
Quand utiliser l'IA intégrée ?
Voici quelques avantages que l'IA intégrée peut vous apporter, à vous et à vos utilisateurs:
- Consommation de contenus optimisée par l'IA: y compris le résumé, la traduction, la catégorisation, la caractérisation et la fourniture de connaissances.
- Création de contenu optimisée par l'IA: par exemple, l'aide à la rédaction, la relecture, la correction grammaticale et la reformulation.
Étape suivante
Plusieurs des API d'IA intégrées sont disponibles pour les tests dans les phases d'évaluation de l'origine. Les API exploratoires et d'autres API en phase de développement sont disponibles pour les participants au programme Preview anticipé.
Découvrez comment utiliser Gemini Pro sur les serveurs de Google avec vos sites Web et applications Web dans notre guide de démarrage rapide du SDK JavaScript de l'IA de Google.