Publicado em 14 de maio de 2024
A inferência de IA do lado do cliente ocorre no dispositivo, o que pode ser incrivelmente poderoso com qualquer configuração do lado do servidor. A IA integrada é uma forma de IA do lado do cliente que traz modelos para o navegador, protegendo dados sensíveis e melhorando a latência.
- Privacidade e segurança: a IA do lado do cliente permite trabalhar com dados localmente, o que afeta muito sua capacidade de trabalhar com dados sensíveis e mantê-los seguros e particulares. Você pode oferecer recursos de IA aos usuários com criptografia de ponta a ponta.
- Maior disponibilidade: a IA do lado do cliente pode ajudar a alcançar maior disponibilidade para seus usuários. Os dispositivos dos usuários podem assumir parte da carga de processamento em troca de mais acesso aos recursos de IA. Se o produto oferece um serviço premium, considere um nível sem custo financeiro com recursos de IA do lado do cliente para ajudar os clientes a ter uma ideia do que o serviço premium oferece.
A execução da IA do lado do cliente não pode substituir e replicar completamente o trabalho que você faz na nuvem. Afinal, os servidores são incrivelmente poderosos e podem armazenar modelos grandes e complexos que geram resultados rapidamente.
O lado do cliente nem sempre é a escolha certa. Antes de continuar, queremos lembrar algumas práticas recomendadas:
- Projetar seus recursos com substitutos adequados e executar comparações em seus dispositivos de destino. Nem todos os dispositivos podem atuar como uma potência de IA.
- Crie para casos de uso específicos. A IA do lado do cliente funciona melhor para casos de uso específicos. Os modelos são inerentemente menores do que o que é normalmente encontrado na IA do lado do servidor. Divida seu processo em etapas específicas e use o pré-processamento e o pós-processamento para que modelos menores ainda possam oferecer a melhor resposta possível.
- Seja estratégico em relação aos requisitos de download. Os modelos de IA podem ser grandes, o que pode levar a um grande uso de dados móveis e armazenamento de dispositivos. Confira se você está criando um recurso útil para seus usuários e se tem uma estratégia responsável de exibição e armazenamento em cache.
Envie feedback
Queremos saber quais casos de uso mais lhe interessam e seu feedback sobre nossa abordagem. Você pode compartilhar feedback e solicitar participação no programa de pré-lançamento para testar com protótipos locais.
Sua contribuição pode nos ajudar a tornar a IA uma ferramenta poderosa e prática para todos.