IA integrada

Kenji Baheux

Alexandra Klepper

Publicado em 14 de maio de 2024 e atualizado pela última vez em 16 de outubro de 2024

Quando criamos recursos com modelos de IA na Web, geralmente contamos com soluções do lado do servidor para modelos maiores. Isso vale especialmente para a IA generativa, em que até mesmo os menores modelos são cerca de mil vezes maiores do que o tamanho médio de uma página da Web. Isso também é verdade para outros casos de uso de IA, em que os modelos podem variar de 10 a 100 megabytes. Como esses modelos não são compartilhados entre sites, cada site precisa fazer o download deles ao carregar a página. Isso é impraticável para desenvolvedores e usuários.

Estamos desenvolvendo APIs da plataforma da Web e recursos do navegador projetados para integrar modelos de IA, incluindo modelos de linguagem grandes (LLMs), diretamente no navegador. Isso inclui o Gemini Nano, a versão mais eficiente da família de LLMs Gemini, projetada para ser executada localmente na maioria dos computadores desktop e laptops modernos. Com a IA integrada, seu site ou aplicativo da Web pode realizar tarefas com tecnologia de IA sem precisar implantar ou gerenciar os próprios modelos de IA.

Descubra os benefícios da IA integrada, nosso plano de implementação e como você pode aproveitar essa tecnologia.

Importante: essa implementação de IA integrada com o Gemini Nano é um experimento e vai mudar conforme testamos e atendemos ao feedback.

Ter acesso antecipado

Precisamos da sua contribuição para moldar as APIs, garantir que elas atendam aos seus casos de uso e informar nossas discussões com outros fornecedores de navegadores para padronização.

Participe do nosso programa de pré-visualização para dar feedback sobre ideias de IA integradas em estágio inicial e descobrir oportunidades para testar APIs em andamento com prototipagem local.

Participe do grupo de avisos públicos para desenvolvedores de IA do Chrome para receber notificações quando novas APIs estiverem disponíveis.

Benefícios da IA integrada para desenvolvedores da Web

Com IA integrada, seu navegador fornece e gerencia modelos de fundação e modelos especializados.

Termo-chave :os modelos especialistas se concentram em um caso de uso específico, resultando em melhor desempenho e qualidade. Os modelos são diferentes dos LLMs muito versáteis. Por exemplo, uma API de tradução pode ser criada com um modelo especialista focado na tradução de conteúdo para novos idiomas. Os modelos de especialistas tendem a ter requisitos de hardware baixos.

Em comparação com a criação da sua própria IA do lado do cliente, a IA integrada oferece os seguintes benefícios:

• Facilidade de implantação: à medida que o navegador distribui os modelos, ele considera a capacidade do dispositivo e gerencia as atualizações do modelo. Isso significa que você não é responsável por fazer o download ou atualizar modelos grandes em uma rede. Você não precisa resolver a exclusão de armazenamento, o orçamento de memória de execução, os custos de veiculação e outros desafios.
• Acesso à aceleração de hardware: o runtime de IA do navegador é otimizado para aproveitar ao máximo o hardware disponível, seja uma GPU, uma NPU ou a CPU. Consequentemente, o app pode ter o melhor desempenho em cada dispositivo.

Benefícios da execução do cliente

Com uma abordagem de IA integrada, fica fácil realizar tarefas de IA do lado do cliente, o que oferece as seguintes vantagens:

• Processamento local de dados sensíveis: a IA do lado do cliente pode melhorar sua história de privacidade. Por exemplo, se você trabalha com dados sensíveis, pode oferecer recursos de IA aos usuários com criptografia de ponta a ponta.
• Experiência do usuário rápida: em alguns casos, a eliminação da ida e volta ao servidor significa que você pode oferecer resultados quase instantâneos. A IA do lado do cliente pode ser a diferença entre um recurso viável e uma experiência do usuário abaixo do ideal.
• Mais acesso à IA: os dispositivos dos usuários podem assumir parte da carga de processamento em troca de mais acesso aos recursos. Por exemplo, se você oferecer recursos de IA premium, poderá mostrar uma prévia deles com a IA do lado do cliente para que os clientes em potencial possam conferir os benefícios do seu produto sem custos adicionais. Essa abordagem híbrida também pode ajudar a gerenciar os custos de inferência, principalmente em fluxos de usuários usados com frequência.
• Uso de IA off-line: seus usuários podem acessar recursos de IA mesmo quando não há conexão de Internet. Isso significa que seus sites e apps da Web podem funcionar conforme o esperado off-line ou com conectividade variável.

IA híbrida: do lado do cliente e do servidor

Embora a IA do lado do cliente possa lidar com uma grande variedade de casos de uso, há casos que exigem suporte do lado do servidor.

A IA do lado do servidor é uma ótima opção para modelos grandes e pode ser usada em uma variedade maior de plataformas e dispositivos.

Você pode considerar uma abordagem híbrida, dependendo de:

• Complexidade: casos de uso específicos e acessíveis são mais fáceis de oferecer suporte com IA no dispositivo. Para casos de uso complexos, considere a implementação do lado do servidor.
• Resiliência: use o lado do servidor por padrão e use no dispositivo quando ele estiver off-line ou em uma conexão instável.
• Fallback suave: a adoção de navegadores com IA integrada vai levar tempo. Alguns modelos podem estar indisponíveis, e dispositivos mais antigos ou menos potentes podem não atender aos requisitos de hardware para executar todos os modelos de maneira ideal. Ofereça IA no servidor para esses usuários.

Para modelos Gemini, é possível usar a integração de back-end (com Python, Go, Node.js ou REST) ou implementar no seu aplicativo da Web com o novo SDK do cliente da Google AI para Web.

Arquitetura e APIs do navegador

Para oferecer suporte à IA integrada no Chrome, criamos uma infraestrutura para acessar modelos básicos e especializados para execução no dispositivo. Essa infraestrutura já está implementando recursos inovadores de navegador, como o Quero ajuda para escrever.

É possível acessar os recursos de IA integrados principalmente com APIs de tarefas, como a API Translator ou a API Summarizer. As APIs de tarefas são projetadas para executar a inferência com o melhor modelo para a atribuição.

No Chrome, essas APIs são criadas para executar inferência no Gemini Nano com ajustes ou um modelo especialista. Projetado para ser executado localmente na maioria dos dispositivos modernos, o Gemini Nano é ideal para casos de uso relacionados à linguagem, como resumo, reformulação ou categorização.

Termo-chave :ajuste fino é uma maneira de melhorar dinamicamente a capacidade de um modelo de executar uma tarefa específica, sem precisar fazer o download de um novo modelo para cada tarefa.

Também estamos fornecendo APIs de exploração, como a API Prompt, para que você possa testar localmente e compartilhar outros casos de uso.

Importante: as APIs de exploração são destinadas apenas a protótipos locais. Com essas APIs exploratórias, pretendemos solicitar feedback, confirmar suposições e determinar quais APIs de tarefas criaremos no futuro. Por isso, essas APIs podem nunca ser iniciadas.

No futuro, talvez ofereçamos uma API LoRA exploratória para melhorar a performance do modelo integrado ajustando os pesos do modelo.

Este diagrama demonstra como seu site ou app pode usar APIs de tarefas e de plataforma da Web para acessar modelos integrados ao Chrome.

Quando usar a IA integrada

Confira algumas maneiras de aproveitar a IA integrada:

• Consumo de conteúdo aprimorado por IA: incluindo resumo, tradução, categorização, caracterização e como provedor de conhecimento.
• Criação de conteúdo com tecnologia de IA: como assistência de escrita, revisão, correção gramatical e reformulação.

A seguir

Participe do nosso programa de prévia antecipada para testar nossas APIs de IA integradas.

A API Language Detector (link em inglês) agora está disponível em um teste de origem para mais testes.

Aprenda a usar o Gemini Pro nos servidores do Google com seus sites e apps da Web no nosso Guia de início rápido do SDK para JavaScript da IA do Google.