IA intégrée

Kenji Baheux
Kenji Baheux
Alexandra Klepper
Alexandra Klepper

Publié le 14 mai 2024, dernière mise à jour le 16 octobre 2024

Lorsque nous créons des fonctionnalités avec des modèles d'IA sur le Web, nous nous appuyons souvent sur des solutions côté serveur pour les modèles plus volumineux. Cela est particulièrement vrai pour l'IA générative, où même les plus petits modèles sont environ mille fois plus volumineux que la taille médiane d'une page Web. C'est également le cas pour d'autres cas d'utilisation de l'IA, où les modèles peuvent aller de 10 à 100 mégaoctets. Étant donné que ces modèles ne sont pas partagés entre les sites Web, chaque site doit les télécharger au chargement de la page. Ce n'est pas pratique pour les développeurs et les utilisateurs.

Nous développons des API de plate-forme Web et des fonctionnalités de navigateur conçues pour intégrer des modèles d'IA, y compris les grands modèles de langage (LLM), directement dans le navigateur. Cela inclut Gemini Nano, la version la plus efficace de la famille de LLM Gemini, conçue pour s'exécuter localement sur la plupart des ordinateurs de bureau et portables modernes. Grâce à l'IA intégrée, votre site Web ou votre application Web peut effectuer des tâches basées sur l'IA sans avoir à déployer ni à gérer ses propres modèles d'IA.

Découvrez les avantages de l'IA intégrée, notre plan de mise en œuvre et comment vous pouvez les exploiter.

Obtenir un aperçu anticipé

Votre avis nous aidera à façonner les API, à nous assurer qu'elles répondent à vos cas d'utilisation et à nos discussions avec d'autres fournisseurs de navigateurs à des fins de standardisation.

Rejoignez notre programme en avant-première pour nous faire part de vos commentaires sur les idées d'IA intégrées en phase de développement et découvrir des opportunités de tester des API en cours de développement via le prototypage local.

Rejoignez le groupe d'annonces publiques pour les développeurs Chrome AI pour être averti lorsque de nouvelles API sont disponibles.

Avantages de l'IA intégrée pour les développeurs Web

Avec l'IA intégrée, votre navigateur fournit et gère des modèles fondamentaux et d'experts.

Par rapport à la création de votre propre IA côté client, l'IA intégrée offre les avantages suivants :

  • Simplicité de déploiement : lorsque le navigateur distribue les modèles, il tient compte des fonctionnalités de l'appareil et gère les mises à jour du modèle. Cela signifie que vous n'êtes pas responsable du téléchargement ni de la mise à jour de modèles volumineux sur un réseau. Vous n'avez pas à résoudre les problèmes d'éviction de stockage, de budget de mémoire d'exécution, de coûts de diffusion et d'autres défis.
  • Accès à l'accélération matérielle : l'environnement d'exécution de l'IA du navigateur est optimisé pour exploiter au mieux le matériel disponible, qu'il s'agisse d'un GPU, d'un NPU ou d'un CPU de secours. Par conséquent, votre application peut obtenir les meilleures performances sur chaque appareil.

Avantages de l'exécution côté client

Avec une approche d'IA intégrée, il devient facile d'effectuer des tâches d'IA côté client, ce qui offre les avantages suivants :

  • Traitement local des données sensibles: l'IA côté client peut améliorer la confidentialité de vos données. Par exemple, si vous travaillez avec des données sensibles, vous pouvez proposer aux utilisateurs des fonctionnalités d'IA avec un chiffrement de bout en bout.
  • Expérience utilisateur rapide : dans certains cas, abandonner l'aller-retour vers le serveur vous permet d'offrir des résultats quasi instantanés. L'IA côté client peut faire la différence entre une fonctionnalité viable et une expérience utilisateur non optimale.
  • Un meilleur accès à l'IA: les appareils de vos utilisateurs peuvent supporter une partie de la charge de traitement en échange d'un accès plus étendu aux fonctionnalités. Par exemple, si vous proposez des fonctionnalités d'IA premium, vous pouvez prévisualiser ces fonctionnalités avec l'IA côté client afin que les clients potentiels puissent voir les avantages de votre produit, sans frais supplémentaires pour vous. Cette approche hybride peut également vous aider à gérer les coûts d'inférence, en particulier pour les flux utilisateur fréquemment utilisés.
  • Utilisation de l'IA hors connexion : vos utilisateurs peuvent accéder aux fonctionnalités d'IA même en l'absence de connexion Internet. Cela signifie que vos sites et vos applications Web peuvent fonctionner comme prévu hors connexion ou avec une connectivité variable.

IA hybride: côté client et côté serveur

Bien que l'IA côté client puisse gérer un large éventail de cas d'utilisation, certains nécessitent une compatibilité côté serveur.

L'IA côté serveur est une excellente option pour les grands modèles. Elle est compatible avec une plus grande variété de plates-formes et d'appareils.

Vous pouvez envisager une approche hybride, en fonction des éléments suivants :

  • Complexité : les cas d'utilisation spécifiques et accessibles sont plus faciles à prendre en charge avec l'IA sur l'appareil. Pour les cas d'utilisation complexes, envisagez une implémentation côté serveur.
  • Résistance : utilisez côté serveur par défaut et utilisez sur l'appareil lorsque l'appareil est hors connexion ou que la connexion est instable.
  • Remplacement élégant : l'adoption des navigateurs avec IA intégrée prendra du temps, certains modèles peuvent ne pas être disponibles, et les appareils plus anciens ou moins puissants peuvent ne pas répondre aux exigences matérielles pour exécuter tous les modèles de manière optimale. Proposez-leur une IA côté serveur.

Pour les modèles Gemini, vous pouvez utiliser l'intégration backend (avec Python, Go, Node.js ou REST) ou implémenter dans votre application Web avec le nouveau SDK client Google AI pour le Web.

Architecture du navigateur et API

Pour prendre en charge l'IA intégrée dans Chrome, nous avons créé une infrastructure permettant d'accéder aux modèles de base et d'experts pour l'exécution sur l'appareil. Cette infrastructure repose déjà sur des fonctionnalités de navigateur innovantes, telles que M'aider à écrire.

Vous pouvez accéder aux fonctionnalités d'IA intégrées principalement avec les API de tâche, telles que l'API Translator ou l'API Summarizer. Les API de tâche sont conçues pour exécuter une inférence sur le meilleur modèle pour l'attribution.

Dans Chrome, ces API sont conçues pour exécuter des inférences sur Gemini Nano avec des réglages ou un modèle expert. Conçu pour s'exécuter localement sur la plupart des appareils modernes, Gemini Nano est idéal pour les cas d'utilisation liés à la langue, tels que la synthèse, la reformulation ou la catégorisation.

Nous fournissons également des API d'exploration, telles que l'API Prompt, pour que vous puissiez effectuer des tests en local et partager des cas d'utilisation supplémentaires.

À l'avenir, nous pourrons proposer une API LoRA exploratoire pour améliorer les performances du modèle intégré en ajustant ses pondérations.

Ce diagramme montre comment votre site Web ou votre application peuvent utiliser des API de plate-forme Web exploratoire et de tâche pour accéder aux modèles intégrés à Chrome.

Quand utiliser l'IA intégrée ?

Voici quelques avantages que l'IA intégrée peut vous apporter, à vous et à vos utilisateurs :

  • Consommation de contenu optimisée par l'IA: comprend la synthèse, la traduction, la catégorisation, la caractérisation et en tant que fournisseur de connaissances.
  • Création de contenu optimisée par l'IA : par exemple, l'aide à la rédaction, la relecture, la correction grammaticale et la reformulation.

Étape suivante

Rejoignez notre programme en avant-première pour tester nos API d'IA intégrées.

L'API Language Detector est désormais disponible en version d'origine pour des tests supplémentaires.

Découvrez comment utiliser Gemini Pro sur les serveurs de Google avec vos sites Web et applications Web dans notre guide de démarrage rapide du SDK JavaScript de l'IA de Google.