Lorsque nous créons des fonctionnalités avec des modèles d'IA sur le Web, nous nous appuyons souvent sur des solutions côté serveur pour réaliser des modèles plus volumineux. Cela est particulièrement vrai pour l'IA générative, où même les plus petits modèles sont environ mille fois plus grands que la taille médiane d'une page Web. Il en va de même pour d'autres cas d'utilisation de l'IA, où les modèles peuvent aller de plusieurs dizaines à plusieurs centaines de mégaoctets.
Étant donné que ces modèles ne sont pas partagés entre les sites Web, chaque site doit les télécharger lors du chargement de la page. Cette solution n'est pas pratique pour les développeurs et les utilisateurs
Bien que l'IA côté serveur soit une excellente option pour les grands modèles, les approches hybrides et sur l'appareil présentent des avantages convaincants. Pour que ces approches soient viables, nous devons tenir compte de la taille et de la diffusion du modèle.
C'est pourquoi nous développons des API de plate-forme Web et des fonctionnalités de navigateur conçues pour intégrer des modèles d'IA, y compris les grands modèles de langage (LLM), directement dans le navigateur. Cela inclut Gemini Nano, la version la plus efficace de la famille de LLM Gemini, conçue pour s'exécuter en local sur la plupart des ordinateurs portables et de bureau. Grâce à l'IA intégrée, votre site Web ou votre application Web peut effectuer des tâches basées sur l'IA sans avoir à déployer ni à gérer ses propres modèles d'IA.
Découvrez les avantages de l'IA intégrée, notre plan de mise en œuvre et comment vous pouvez les exploiter.
Bénéficiez d'un aperçu en avant-première
Votre avis nous aidera à façonner les API, à nous assurer qu'elles répondent à vos cas d'utilisation et à alimenter nos discussions avec d'autres fournisseurs de navigateurs à des fins de standardisation.
Rejoignez notre programme en preview anticipé pour donner votre avis sur des idées d'IA intégrées à un stade précoce, et découvrir des opportunités de tester des API en cours de développement via le prototypage local.
Rejoignez le groupe d'annonces publiques des développeurs d'IA pour Chrome afin d'être averti lorsque de nouvelles API seront disponibles.
Avantages de l'IA intégrée pour les développeurs Web
Grâce à l'IA intégrée, votre navigateur fournit et gère des modèles de fondation et des modèles experts.
Par rapport à l'IA intégrée sur l'appareil, l'IA intégrée offre les avantages suivants:
- Facilité de déploiement: lorsque le navigateur distribue les modèles, il prend en compte les capacités de l'appareil et gère les mises à jour du modèle. Cela signifie que vous n'êtes pas responsable du téléchargement ni de la mise à jour de modèles volumineux sur un réseau. Vous n'avez pas à résoudre les problèmes d'éviction du stockage, de budget de mémoire d'exécution, de coûts de diffusion ni d'autres problèmes.
- Accès à l'accélération matérielle: l'environnement d'exécution de l'IA du navigateur est optimisé pour tirer le meilleur parti du matériel disponible, qu'il s'agisse d'un GPU, d'un NPU ou d'un retour au processeur. Par conséquent, votre application peut obtenir les meilleures performances sur chaque appareil.
Avantages de l’exécution sur l’appareil
Avec une approche d'IA intégrée, il devient facile d'effectuer des tâches d'IA sur l'appareil, ce qui offre les avantages suivants:
- Traitement local des données sensibles: l'IA sur l'appareil peut améliorer la confidentialité de vos données. Par exemple, si vous travaillez avec des données sensibles, vous pouvez proposer aux utilisateurs des fonctionnalités d'IA avec un chiffrement de bout en bout.
- Expérience utilisateur rapide: dans certains cas, la suppression de l'aller-retour vers le serveur signifie que vous pouvez proposer des résultats quasi instantanés. L'IA sur l'appareil peut faire la différence entre une fonctionnalité viable et une expérience utilisateur non optimale.
- Un meilleur accès à l'IA: les appareils de vos utilisateurs peuvent supporter une partie de la charge de traitement en échange d'un accès plus étendu aux fonctionnalités. Par exemple, si vous proposez des fonctionnalités d'IA premium, vous pouvez les prévisualiser avec l'IA sur l'appareil afin que les clients potentiels puissent voir les avantages de votre produit, sans frais supplémentaires pour vous. Cette approche hybride peut également vous aider à gérer les coûts d'inférence, en particulier pour les flux utilisateur fréquemment utilisés.
- Utilisation hors connexion de l'IA: vos utilisateurs peuvent accéder aux fonctionnalités d'IA même sans connexion Internet. Cela signifie que vos sites et vos applications Web peuvent fonctionner comme prévu hors connexion ou avec une connectivité variable.
IA hybride: sur l'appareil et côté serveur
Bien que l'IA sur l'appareil puisse gérer un large éventail de cas d'utilisation, certains nécessitent une prise en charge côté serveur.
Par exemple, vous devrez peut-être utiliser des modèles plus grands ou être compatibles avec un plus grand nombre de plates-formes et d'appareils.
Vous pouvez envisager des approches hybrides, qui dépendent des éléments suivants:
- Complexité:les cas d'utilisation spécifiques et accessibles sont plus faciles à prendre en charge avec l'IA sur l'appareil. Pour les cas d'utilisation complexes, envisagez une implémentation côté serveur.
- Résilience: utilisez par défaut côté serveur et sur l'appareil lorsque celui-ci est hors connexion ou que la connexion est instable.
- Remplacement progressif: l'adoption de navigateurs avec IA intégrée peut prendre du temps, certains modèles peuvent être indisponibles et des appareils plus anciens ou moins puissants peuvent ne pas répondre à la configuration matérielle requise pour exécuter tous les modèles de manière optimale. Proposez l'IA côté serveur à ces utilisateurs.
Pour les modèles Gemini, vous pouvez utiliser l'intégration backend (avec Python, Go, Node.js ou REST) ou l'implémenter dans votre application Web avec le nouveau SDK client Google AI pour le Web.
Architecture du navigateur et API
Pour prendre en charge l'IA intégrée dans Chrome, nous avons créé une infrastructure permettant d'accéder à des modèles de base et experts pour l'exécution sur l'appareil. Cette infrastructure alimente déjà des fonctionnalités de navigateur innovantes, telles que M'aider à écrire, et intégrera bientôt des API pour l'IA sur l'appareil.
Vous accéderez aux fonctionnalités d'IA intégrées principalement avec des API de tâches, telles qu'une API de traduction ou de synthèse. Les API de tâche sont conçues pour exécuter des inférences sur le meilleur modèle pour l'attribution.
Dans Chrome, ces API sont conçues pour exécuter des inférences sur Gemini Nano avec des réglages ou un modèle expert. Conçu pour s'exécuter localement sur la plupart des appareils modernes, Gemini Nano est idéal pour les cas d'utilisation liés au langage, tels que la synthèse, la reformulation ou la catégorisation.
En outre, nous prévoyons de fournir des API d'exploration afin que vous puissiez tester localement et partager des cas d'utilisation supplémentaires.
Nous pouvons par exemple fournir les informations suivantes:
- API Prompt: envoyez une tâche arbitraire exprimée en langage naturel au grand modèle de langage intégré (Gemini Nano dans Chrome).
- API d'affinage (LoRA): améliorez les performances du LLM intégré sur une tâche en ajustant les pondérations du modèle à l'aide d'un ajustement de rang faible.
Quand utiliser l'IA intégrée ?
Voici quelques avantages que l'IA intégrée peut vous apporter, à vous et à vos utilisateurs:
- Consommation de contenu optimisée par l'IA: comprend la synthèse, la traduction, ainsi que les réponses à des questions sur certains contenus, la catégorisation et la caractérisation.
- Création de contenu basée sur l'IA: aide à la rédaction, relecture, correction grammaticale et reformulation, par exemple.
Étapes suivantes
Rejoignez notre programme en preview anticipée pour tester des API d'IA intégrées en phase de démarrage.
En attendant, vous pouvez découvrir comment utiliser Gemini Pro sur les serveurs de Google avec vos sites Web et vos applications Web dans notre guide de démarrage rapide pour le SDK JavaScript de Google AI.