IA integrada

Kenji Baheux

Alexandra Klepper

Publicado em 14 de maio de 2024 e atualizado pela última vez em 13 de novembro de 2024

Quando criamos recursos com modelos de IA na Web, geralmente usamos soluções do lado do servidor para modelos maiores. Isso é especialmente verdadeiro para a IA generativa, em que até mesmo os modelos menores são cerca de mil vezes maiores que o tamanho médio de uma página da Web. Isso também é verdade para outros casos de uso de IA, em que os modelos podem variar de 10 a 100 megabytes. Como esses modelos não são compartilhados entre sites, cada site precisa fazer o download deles no carregamento da página. Isso é impraticável para desenvolvedores e usuários.

Estamos desenvolvendo APIs da plataforma da Web e recursos do navegador projetados para integrar modelos de IA, incluindo modelos de linguagem grandes (LLMs), diretamente no navegador. Isso inclui o Gemini Nano, a versão mais eficiente da família de LLMs Gemini, projetada para ser executada localmente na maioria dos computadores desktop e laptops modernos. Com a IA integrada, seu site ou aplicativo da Web pode realizar tarefas com tecnologia de IA sem precisar implantar ou gerenciar os próprios modelos de IA.

Descubra os benefícios da IA integrada, nosso plano de implementação e como aproveitar essa tecnologia.

Importante: essa implementação de IA integrada com o Gemini Nano é um experimento e vai mudar conforme testamos e atendemos ao feedback.

Ter acesso antecipado

Precisamos da sua contribuição para moldar as APIs, garantir que elas atendam aos seus casos de uso e informar nossas discussões com outros fornecedores de navegadores para padronização.

Participe do nosso programa de pré-visualização para dar feedback sobre ideias de IA integradas em estágio inicial e descobrir oportunidades para testar APIs em andamento usando protótipos locais.

Participe do grupo de avisos públicos para desenvolvedores de IA do Chrome para receber notificações quando novas APIs estiverem disponíveis.

Benefícios da IA integrada para desenvolvedores da Web

Com a IA integrada, o navegador fornece e gerencia modelos de base e modelos de especialistas.

Termo-chave: modelos de especialistas se concentram em um caso de uso específico, resultando em maior performance e qualidade. Os modelos são diferentes dos LLMs muito versáteis. Por exemplo, uma API de tradução pode ser criada com um modelo de especialista focado em traduzir conteúdo para novos idiomas. Os modelos de especialistas tendem a ter requisitos de hardware baixos.

Em comparação com a criação da sua própria IA do lado do cliente, a IA integrada oferece os seguintes benefícios:

• Facilidade de implantação: à medida que o navegador distribui os modelos, ele considera a capacidade do dispositivo e gerencia as atualizações do modelo. Isso significa que você não é responsável por fazer o download ou atualizar modelos grandes em uma rede. Você não precisa resolver a exclusão de armazenamento, o orçamento de memória de execução, os custos de veiculação e outros desafios.
• Acesso à aceleração de hardware: o runtime de IA do navegador é otimizado para aproveitar ao máximo o hardware disponível, seja uma GPU, uma NPU ou a CPU. Assim, o app pode ter o melhor desempenho em cada dispositivo.

Benefícios da execução do cliente

Com uma abordagem de IA integrada, fica fácil realizar tarefas de IA do lado do cliente, o que oferece as seguintes vantagens:

• Processamento local de dados sensíveis: a IA do lado do cliente pode melhorar sua história de privacidade. Por exemplo, se você trabalha com dados sensíveis, pode oferecer recursos de IA aos usuários com criptografia de ponta a ponta.
• Experiência do usuário rápida: em alguns casos, a eliminação da ida e volta ao servidor significa que você pode oferecer resultados quase instantâneos. A IA do lado do cliente pode ser a diferença entre um recurso viável e uma experiência do usuário abaixo do ideal.
• Mais acesso à IA: os dispositivos dos usuários podem suportar parte da carga de processamento em troca de mais acesso aos recursos. Por exemplo, se você oferecer recursos de IA premium, poderá mostrar uma prévia deles com a IA do lado do cliente para que os clientes em potencial possam conferir os benefícios do seu produto sem custos adicionais. Essa abordagem híbrida também pode ajudar a gerenciar os custos de inferência, principalmente em fluxos de usuários usados com frequência.
• Uso de IA off-line: os usuários podem acessar os recursos de IA mesmo quando não há conexão à Internet. Isso significa que seus sites e apps da Web podem funcionar conforme o esperado off-line ou com conectividade variável.

IA híbrida: do lado do cliente e do servidor

Embora a IA do lado do cliente possa lidar com uma grande variedade de casos de uso, há casos que exigem suporte do lado do servidor.

A IA do lado do servidor é uma ótima opção para modelos grandes e pode ser usada em uma gama mais ampla de plataformas e dispositivos.

Você pode considerar uma abordagem híbrida, dependendo de:

• Complexidade:casos de uso específicos e acessíveis são mais fáceis de oferecer suporte com IA no dispositivo. Para casos de uso complexos, considere a implementação do lado do servidor.
• Resiliência: use do lado do servidor por padrão e use no dispositivo quando ele estiver off-line ou com uma conexão ruim.
• Fallback suave: a adoção de navegadores com IA integrada vai levar tempo. Alguns modelos podem estar indisponíveis, e dispositivos mais antigos ou menos potentes podem não atender aos requisitos de hardware para executar todos os modelos de maneira ideal. Ofereça IA no servidor para esses usuários.

Para modelos Gemini, é possível usar a integração de back-end (com Python, Go, Node.js ou REST) ou implementar no seu aplicativo da Web com o novo SDK do cliente da Google AI para Web.

Arquitetura do navegador e APIs

Para oferecer suporte à IA integrada no Chrome, criamos uma infraestrutura para acessar modelos básicos e avançados para execução no dispositivo. Essa infraestrutura já está alimentando recursos inovadores do navegador, como Quero ajuda para escrever.

É possível acessar os recursos de IA integrados principalmente com APIs de tarefas, como a API Translator ou a API Summarizer. As APIs de tarefas são projetadas para executar a inferência com o melhor modelo para a atribuição.

No Chrome, essas APIs são criadas para executar inferência no Gemini Nano com ajuste fino ou um modelo de especialista. Projetado para ser executado localmente na maioria dos dispositivos modernos, o Gemini Nano é ideal para casos de uso relacionados à linguagem, como resumo, reformulação ou categorização.

Termo-chave: ajuste fino é uma maneira de melhorar dinamicamente a capacidade de um modelo de realizar uma tarefa específica, sem precisar fazer o download de um novo modelo para cada tarefa.

Também estamos fornecendo APIs de exploração, como a API Prompt, para que você possa testar localmente e compartilhar outros casos de uso.

Importante: as APIs de exploração são destinadas apenas a protótipos locais. Com essas APIs exploratórias, pretendemos solicitar feedback, confirmar suposições e determinar quais APIs de tarefas vamos criar no futuro. Por isso, essas APIs podem nunca ser iniciadas.

No futuro, talvez ofereçamos uma API LoRA exploratória para melhorar a performance do modelo integrado ajustando os pesos do modelo.

Este diagrama demonstra como seu site ou app pode usar APIs de tarefas e de plataforma da Web para acessar modelos integrados ao Chrome.

Quando usar a IA integrada

Confira algumas maneiras de aproveitar a IA integrada:

• Consumo de conteúdo aprimorado por IA: incluindo resumo, tradução, categorização, caracterização e como provedor de conhecimento.
• Criação de conteúdo com tecnologia de IA: como assistência de escrita, revisão, correção gramatical e reformulação.

A seguir

Várias das APIs de IA integradas estão disponíveis para testes em testes de origem. APIs exploratórias e outras APIs em estágio inicial estão disponíveis para participantes do programa de prévias.

Aprenda a usar o Gemini Pro nos servidores do Google com seus sites e apps da Web no guia de início rápido do SDK para JavaScript da IA do Google.