IA integrada

Kenji Baheux

Alexandra Klepper

Fecha de publicación: 14 de mayo de 2024; Última actualización: 13 de noviembre de 2024

Cuando compilamos funciones con modelos de IA en la Web, a menudo usamos soluciones del servidor para modelos más grandes. Esto es especialmente cierto para la IA generativa, en la que incluso los modelos más pequeños son alrededor de mil veces más grandes que el tamaño promedio de una página web. Esto también es cierto para otros casos de uso de IA, en los que los modelos pueden variar de 10 a 100 megabytes. Como estos modelos no se comparten entre los sitios web, cada sitio debe descargarlos cuando se carga la página. Esto no es práctico para los desarrolladores ni los usuarios.

Estamos desarrollando APIs de plataformas web y funciones del navegador diseñadas para integrar modelos de IA, incluidos los modelos de lenguaje grandes (LLM), directamente en el navegador. Esto incluye Gemini Nano, la versión más eficiente de la familia de LLM de Gemini, diseñada para ejecutarse de forma local en la mayoría de las computadoras de escritorio y laptops modernas. Con la IA integrada, tu sitio web o aplicación web puede realizar tareas potenciadas por IA sin necesidad de implementar ni administrar sus propios modelos de IA.

Descubre los beneficios de la IA integrada, nuestro plan de implementación y cómo puedes beneficiarte de esta tecnología.

Importante: Esta implementación de IA integrada con Gemini Nano es un experimento y cambiará a medida que probemos y respondamos los comentarios.

Obtén una vista previa anticipada

Necesitamos tu entrada para dar forma a las APIs, asegurarnos de que cumplan con tus casos de uso y fundamentar nuestras conversaciones con otros proveedores de navegadores para la estandarización.

Únete a nuestro programa de versión preliminar anticipada para brindar comentarios sobre las ideas de IA integradas en etapa inicial y descubrir oportunidades para probar las APIs en curso a través de prototipado local.

Únete al grupo de anuncios públicos para desarrolladores de IA de Chrome para recibir notificaciones cuando estén disponibles nuevas APIs.

Beneficios de la IA integrada para desarrolladores web

Con la IA integrada, tu navegador proporciona y administra modelos fundamentales y de expertos.

Término clave: Los modelos de expertos se enfocan en un caso de uso específico, lo que genera un rendimiento y una calidad más altos. Los modelos no son como los LLM muy versátiles. Por ejemplo, se podría compilar una API de traducción con un modelo de experto que se enfoque en traducir contenido a idiomas nuevos. Los modelos de expertos suelen tener requisitos de hardware mínimos.

En comparación con la creación de tu propia IA del cliente, la IA integrada ofrece los siguientes beneficios:

• Facilidad de implementación: A medida que el navegador distribuye los modelos, tiene en cuenta la capacidad del dispositivo y administra las actualizaciones del modelo. Esto significa que no eres responsable de descargar ni actualizar modelos grandes a través de una red. No tienes que resolver la expulsión de almacenamiento, el presupuesto de memoria del entorno de ejecución, los costos de publicación y otros desafíos.
• Acceso a la aceleración de hardware: El entorno de ejecución de IA del navegador está optimizado para aprovechar al máximo el hardware disponible, ya sea una GPU, una NPU o la CPU. Por lo tanto, tu app puede obtener el mejor rendimiento en cada dispositivo.

Beneficios de ejecutar el código del cliente

Con un enfoque de IA integrado, realizar tareas de IA del cliente se vuelve trivial, lo que, a su vez, ofrece las siguientes ventajas:

• Procesamiento local de datos sensibles: La IA del cliente puede mejorar tu historia de privacidad. Por ejemplo, si trabajas con datos sensibles, puedes ofrecer funciones de IA a los usuarios con encriptación de extremo a extremo.
• Experiencia del usuario ágil: En algunos casos, si no realizas el recorrido de ida y vuelta al servidor, puedes ofrecer resultados casi instantáneos. La IA del cliente puede ser la diferencia entre una función viable y una experiencia del usuario poco óptima.
• Mayor acceso a la IA: Los dispositivos de tus usuarios pueden soportar parte de la carga de procesamiento a cambio de más acceso a las funciones. Por ejemplo, si ofreces funciones premium de IA, puedes obtener una vista previa de estas funciones con la IA del cliente para que los clientes potenciales puedan ver los beneficios de tu producto sin costo adicional. Este enfoque híbrido también puede ayudarte a administrar los costos de inferencia, en especial, en los flujos de usuarios que se usan con frecuencia.
• Uso de IA sin conexión: Los usuarios pueden acceder a las funciones de IA incluso cuando no hay conexión a Internet. Esto significa que tus sitios y apps web pueden funcionar como se espera, sin conexión o con conectividad variable.

IA híbrida: Del cliente y del servidor

Si bien la IA del cliente puede manejar una gran variedad de casos de uso, hay ciertos casos que requieren compatibilidad del servidor.

La IA del servidor es una excelente opción para modelos grandes y puede admitir una variedad más amplia de plataformas y dispositivos.

Puedes considerar un enfoque híbrido, según lo siguiente:

• Complejidad: Los casos de uso específicos y accesibles son más fáciles de admitir con la IA integrada en el dispositivo. Para casos de uso complejos, considera la implementación del servidor.
• Resiliencia: Usa el servidor de forma predeterminada y, luego, el dispositivo cuando este esté sin conexión o tenga una conexión inestable.
• Conmutación por error elegante: La adopción de navegadores con IA integrada llevará tiempo, es posible que algunos modelos no estén disponibles y que los dispositivos más antiguos o menos potentes no cumplan con los requisitos de hardware para ejecutar todos los modelos de manera óptima. Ofrece AI del servidor para esos usuarios.

En el caso de los modelos de Gemini, puedes usar la integración de backend (con Python, Go, Node.js o REST) o implementarlo en tu aplicación web con el nuevo SDK cliente de Google AI para la Web.

Arquitectura y APIs del navegador

Para admitir la IA integrada en Chrome, creamos una infraestructura para acceder a modelos de base y expertos para la ejecución en el dispositivo. Esta infraestructura ya está potenciando funciones innovadoras del navegador, como Ayúdame a escribir.

Puedes acceder a las funciones de IA integradas principalmente con APIs de tareas, como la API de Translator o la API de Summarizer. Las APIs de tareas están diseñadas para ejecutar inferencias en el mejor modelo para la tarea.

En Chrome, estas APIs se compilan para ejecutar inferencias en Gemini Nano con ajustes finos o un modelo experto. Gemini Nano, diseñado para ejecutarse de forma local en la mayoría de los dispositivos modernos, es mejor para casos de uso relacionados con el lenguaje, como el resumen, la reformulación o la categorización.

Término clave: El ajuste fino es una forma de mejorar de forma dinámica la capacidad de un modelo para realizar una tarea específica, sin tener que descargar un modelo nuevo para cada tarea.

También proporcionamos APIs exploratorias, como la API de Prompt, para que puedas experimentar de forma local y compartir casos de uso adicionales.

Importante: Las APIs exploratorias están diseñadas solo para prototipado local. Con estas APIs exploratorias, pretendemos solicitar comentarios, confirmar suposiciones y determinar qué APIs de tareas compilaremos en el futuro. Por lo tanto, es posible que estas APIs nunca se inicien.

En el futuro, es posible que ofrezcamos una API experimental de LoRA para mejorar el rendimiento del modelo integrado ajustando sus pesos.

En este diagrama, se muestra cómo tu sitio web o aplicación puede usar las APIs de la plataforma web exploratoria y de tareas para acceder a los modelos integrados en Chrome.

Cuándo usar la IA integrada

Estas son algunas de las formas en que la IA integrada puede beneficiarte a ti y a tus usuarios:

• Consumo de contenido mejorado con IA: Incluye la generación de resúmenes, la traducción, la categorización, la caracterización y el uso como proveedor de conocimiento.
• Creación de contenido con tecnología de IA: como asistencia para la escritura, revisión, corrección gramatical y reformulación.

¿Qué sigue?

Varias de las APIs de IA integradas están disponibles para probarlas en pruebas de origen. Las APIs exploratorias y otras APIs en etapa inicial están disponibles para los participantes del programa de versión preliminar anticipada.

Aprende a usar Gemini Pro en los servidores de Google con tus sitios web y apps web en nuestra guía de inicio rápido del SDK de JavaScript de la IA de Google.