Ingebouwde AI

Kenji Baheux

Alexandra Klepper

Gepubliceerd: 14 mei 2024, Laatst bijgewerkt: 20 mei 2024

We ontwikkelen API's voor webplatformen en browserfuncties die zijn ontworpen om te werken met AI-modellen, expertmodellen en grote taalmodellen (LLM's) , die in de browser zijn gebouwd. Met ingebouwde AI kan uw website of webapplicatie AI-gestuurde taken uitvoeren, zonder dat u modellen hoeft te implementeren, beheren of zelf te hosten.

Ontdek de voordelen van ingebouwde AI, ons implementatieplan en hoe u deze tools zelf kunt gaan gebruiken.

Belangrijk: Chrome implementeert ingebouwde AI-API's met expertmodellen en Gemini Nano . We blijven het model aanpassen en verbeteren naarmate we het testen en feedback verwerken.

Als je nog niet bekend bent met AI op het web, lees dan onze woordenlijst en concepten over web-AI .

Voordelen van ingebouwde AI voor webontwikkelaars

Met ingebouwde AI biedt en beheert uw browser basis- en expertmodellen.

Kernbegrip: Expertmodellen richten zich op een specifiek gebruiksscenario, wat resulteert in hogere prestaties en kwaliteit. De Translator API werkt bijvoorbeeld met een expertmodel dat is gericht op het vertalen van content naar nieuwe talen. Expertmodellen hebben doorgaans lage hardwarevereisten.

Met ingebouwde AI maakt uw website via browser-API's verbinding met de lokale processor (CPU, GPU of NPU). Vervolgens communiceert de website met een lokaal model, dat een reactie terugstuurt. De API retourneert deze reactie.

De ingebouwde AI biedt de volgende voordelen:

• Implementatiegemak : De browser distribueert de modellen, rekening houdend met de mogelijkheden van het apparaat, en beheert updates. Dit betekent dat u niet verantwoordelijk bent voor het downloaden of bijwerken van grote modellen via een netwerk. U hoeft zich geen zorgen te maken over het vrijmaken van gegevens uit de opslag, het geheugenbudget tijdens de uitvoering, de serverkosten en andere uitdagingen.
• Toegang tot hardwareversnelling : De AI-runtime van de browser is geoptimaliseerd om het maximale uit de beschikbare hardware te halen, of dit nu een GPU, NPU of een terugval naar de CPU is. Hierdoor kan uw app op elk apparaat de beste prestaties behalen.

Voordelen van het uitvoeren aan de clientzijde

Met ingebouwde AI kunt u AI -bewerkingen aan de clientzijde uitvoeren, wat de volgende voordelen oplevert:

• Lokale verwerking van gevoelige gegevens : Client-side AI kan uw privacybeleid verbeteren. Als u bijvoorbeeld met gevoelige gegevens werkt, kunt u AI-functies aanbieden aan gebruikers met end-to-end-encryptie.
• Snelle gebruikerservaring : In sommige gevallen betekent het overslaan van de serveraanvraag dat je vrijwel direct resultaten kunt leveren. Client-side AI kan het verschil maken tussen een bruikbare functie en een suboptimale gebruikerservaring.
• Betere toegang tot AI : De apparaten van uw gebruikers kunnen een deel van de verwerkingslast overnemen in ruil voor meer toegang tot functies. Als u bijvoorbeeld premium AI-functies aanbiedt, kunt u deze functies met client-side AI laten zien, zodat potentiële klanten de voordelen van uw product kunnen ervaren zonder extra kosten voor u. Deze hybride aanpak kan u ook helpen de inferentiekosten te beheersen, met name bij veelgebruikte gebruikersstromen.
• Offline AI-gebruik : Uw gebruikers hebben toegang tot AI-functies, zelfs zonder internetverbinding. Dit betekent dat uw websites en webapplicaties naar behoren functioneren, ook offline of bij wisselende connectiviteit.

Hybride AI: client-side en server-side

Hoewel client-side AI een breed scala aan toepassingen aankan, vereisen sommige toepassingen server-side ondersteuning. Server-side AI is een uitstekende optie voor grote modellen en kan een breder scala aan platforms en apparaten ondersteunen.

U kunt een hybride aanpak overwegen als uw toepassing het volgende vereist:

• Complexiteit: Specifieke, toegankelijke gebruiksscenario's zijn gemakkelijker te ondersteunen met AI op het apparaat zelf. Voor complexere gebruiksscenario's kunt u een serverimplementatie overwegen.
• Veerkracht : Gebruik standaard de serverzijde en de lokale server wanneer het apparaat offline is of een instabiele verbinding heeft.
• Een soepele terugvaloptie : De acceptatie van browsers met ingebouwde AI zal tijd kosten, sommige modellen zijn mogelijk niet beschikbaar en oudere of minder krachtige apparaten voldoen mogelijk niet aan de hardwarevereisten om alle modellen optimaal te laten draaien. Bied server-side AI aan voor deze gebruikers.

Als u bijvoorbeeld de ingebouwde Prompt API gebruikt, is deze alleen beschikbaar in Chrome-extensies, op Windows, macOS en Linux. Om ervoor te zorgen dat al uw gebruikers kunnen profiteren van uw AI-functie, kunt u een hybride architectuur opzetten met Firebase AI Logic .

Toegang tot ingebouwde AI

Je hebt toegang tot de ingebouwde AI-functionaliteiten voornamelijk via taak-API's , zoals de Translator API of de Summarizer API. Taak-API's zijn ontworpen om inferentie uit te voeren met het beste model voor de betreffende opdracht, of dat nu een taalmodel of een expertmodel is.

Kernbegrip: Fine-tuning is een manier om het vermogen van een model om een ​​specifieke taak uit te voeren dynamisch te verbeteren, zonder dat er voor elke taak een nieuw model gedownload hoeft te worden.

Wanneer moet je de ingebouwde AI gebruiken?

Hieronder volgen enkele manieren waarop ingebouwde AI u en uw gebruikers van dienst kan zijn:

• Door AI ondersteunde contentconsumptie : inclusief samenvatting, vertaling, categorisatie, karakterisering en als kennisleverancier.
• Door AI ondersteunde contentcreatie : zoals schrijfbegeleiding, proeflezen, grammaticacorrectie en herformulering.

Een aantal van de ingebouwde AI-API's is beschikbaar in de stabiele versie van Chrome en in de Origin-proefversies. Experimentele API's en API's in een vroeg ontwikkelingsstadium zijn beschikbaar voor deelnemers aan het Early Preview Program (EPP) .

Bekijk een preview van nieuwe functies

We hebben uw input nodig om de API's vorm te geven zodat ze aansluiten bij uw specifieke behoeften, en om onze gesprekken met andere browserleveranciers over standaardisatie te ondersteunen.

Word lid van het EPP om feedback te geven op AI-ideeën in een vroeg stadium en ontdek mogelijkheden om API's in ontwikkeling te testen door middel van lokale prototyping.

Let op: Feedback geven via het EPP helpt ons de best mogelijke functies te ontwikkelen en richt zich op nog niet uitgebrachte tools in een vroeg ontwikkelingsstadium. Je kunt je aanmelden voor Origin-proeven of stabiele API's gebruiken zonder lid te worden van het EPP.

Standaardiseringsinspanning

We werken eraan om al deze API's te standaardiseren voor compatibiliteit tussen verschillende browsers.

De Language Detector API en Translator API zijn door de W3C WebML Working Group geaccepteerd. We hebben Mozilla en WebKit gevraagd naar hun standpunten over standaarden.

De Summarizer API, Writer API en Rewriter API zijn ook overgenomen door de W3C WebML Working Group. We hebben Mozilla en WebKit gevraagd naar hun standpunten over standaarden.