Gepubliceerd: 14 mei 2024
Client-side AI-inferentie vindt plaats op het apparaat zelf, wat een enorm krachtige aanvulling kan zijn op een bestaande server-side configuratie. Ingebouwde AI is een vorm van client-side AI die modellen naar de browser brengt, waardoor gevoelige gegevens worden beschermd en de latentie wordt verbeterd.
- Privacy en beveiliging : Client-side AI stelt u in staat om lokaal met gegevens te werken, wat een grote invloed heeft op uw mogelijkheden om met gevoelige gegevens te werken en deze veilig en privé te houden. U kunt AI-functies aan gebruikers aanbieden met end-to-end-encryptie.
- Grotere beschikbaarheid : Client-side AI kan de beschikbaarheid voor uw gebruikers vergroten. De apparaten van uw gebruikers kunnen een deel van de verwerkingslast overnemen in ruil voor meer toegang tot AI-functies. Als uw product een premium service biedt, kunt u overwegen een gratis versie met client-side AI-functies aan te bieden, zodat uw klanten een indruk krijgen van wat de premium service te bieden heeft.
Het uitvoeren van AI aan de clientzijde kan het werk dat u in de cloud doet niet volledig vervangen of repliceren. Servers zijn immers ongelooflijk krachtig en in staat om grote, complexe modellen te draaien die snel resultaten leveren.
Client-side is niet altijd de juiste keuze, dus voordat we verdergaan, willen we u nog even herinneren aan een aantal goede praktijken:
- Ontwerp je functionaliteiten met soepele terugvalopties en voer benchmarks uit op je doelapparaten. Niet elk apparaat zal immers als een AI-krachtpatser kunnen functioneren.
- Ontwikkel voor specifieke gebruiksscenario's . Client-side AI werkt het beste voor specifieke toepassingen. De modellen zijn inherent kleiner dan wat je doorgaans in server-side AI aantreft. Deel je proces op in gerichte stappen en maak gebruik van voor- en nabewerking, zodat kleinere modellen toch de best mogelijke respons kunnen leveren.
- Wees strategisch met betrekking tot downloadvereisten . AI-modellen kunnen groot zijn, wat kan leiden tot een hoog verbruik van mobiele data en opslagruimte op apparaten. Zorg ervoor dat je een nuttige functie voor je gebruikers ontwikkelt en dat je een verantwoorde strategie hanteert voor het serveren en cachen van content.
Deel je feedback
We willen graag weten welke gebruiksscenario's u het meest interesseren en wat uw feedback is op onze aanpak. U kunt feedback geven en deelnemen aan het Early Preview Program om lokale prototypes te testen.
Jouw bijdrage kan ons helpen om van AI een krachtig, maar ook praktisch instrument voor iedereen te maken.
Ga aan de slag met de ingebouwde AI-API's in Chrome.