Integrierte KI

Kenji Baheux

Alexandra Klepper

Veröffentlicht am 14. Mai 2024, zuletzt aktualisiert am 20. Mai 2024

Wir entwickeln Webplattform-APIs und Browser funktionen, die mit KI-Modellen, Expertenmodellen und Large Language Models (LLMs) funktionieren, die im Browser erstellt wurden. Mit integrierter KI kann Ihre Website oder Webanwendung KI-gestützte Aufgaben ausführen, ohne dass Sie Modelle bereitstellen, verwalten oder selbst hosten müssen.

Hier erfahren Sie mehr über die Vorteile von integrierter KI, unseren Implementierungsplan und wie Sie diese Tools implementieren können.

Wichtig: In Chrome werden integrierte KI-APIs mit Expertenmodellen und Gemini Nano implementiert. Wir ändern und passen das Modell fortlaufend an, während wir es testen und Feedback verarbeiten.

Wenn Sie noch keine Erfahrung mit KI im Web haben, lesen Sie unser Glossar zu KI im Web und die entsprechenden Konzepte.

Vorteile von integrierter KI für Webentwickler

Mit integrierter KI stellt Ihr Browser Foundation und Expertenmodelle bereit und verwaltet sie.

**Wichtiger Begriff** :_Expertenmodelle_ konzentrieren sich auf einen bestimmten Anwendungsfall und liefern so eine höhere Leistung und Qualität. Die Translator API verwendet beispielsweise ein Expertenmodell, das darauf ausgelegt ist, Inhalte in neue Sprachen zu übersetzen. Expertenmodelle haben in der Regel geringe Hardwareanforderungen.

Mit integrierter KI stellt Ihre Website eine Verbindung zu Browser-APIs und dem lokalen Prozessor (CPU, GPU oder NPU) her. Anschließend kommuniziert sie mit einem lokalen Modell, das eine Antwort sendet. Die API gibt die Antwort zurück.

Integrierte KI bietet folgende Vorteile:

• Einfache Bereitstellung: Der Browser verteilt die Modelle unter Berücksichtigung der Gerätefunktionen und verwaltet Updates. Das bedeutet, dass Sie keine großen Modelle über ein Netzwerk herunterladen oder aktualisieren müssen. Sie müssen sich nicht um Probleme wie das Entfernen von Daten aus dem Speicher, das Budget für den Laufzeitspeicher und die Bereitstellungskosten kümmern.
• Zugriff auf Hardwarebeschleunigung: Die KI-Laufzeit des Browsers ist so optimiert, dass die verfügbare Hardware bestmöglich genutzt wird, unabhängig davon, ob eine GPU oder NPU verwendet wird oder auf die CPU zurückgegriffen wird. So kann Ihre App auf jedem Gerät die bestmögliche Leistung erzielen.

Vorteile der clientseitigen Ausführung

Mit integrierter KI können Sie KI-Aufgaben clientseitig, was folgende Vorteile bietet:

• Lokale Verarbeitung sensibler Daten: Clientseitige KI kann den Datenschutz verbessern. Wenn Sie beispielsweise mit sensiblen Daten arbeiten, können Sie Nutzern KI-Funktionen mit Ende-zu-Ende-Verschlüsselung anbieten.
• Schnelle Nutzererfahrung: In einigen Fällen können Sie fast sofort Ergebnisse liefern, wenn Sie die Roundtrips zum Server vermeiden. Clientseitige KI kann den Unterschied zwischen einer praktikablen Funktion und einer suboptimalen Nutzererfahrung ausmachen.
• Besserer Zugriff auf KI: Die Geräte Ihrer Nutzer können einen Teil der Verarbeitungslast übernehmen und so mehr Zugriff auf Funktionen ermöglichen. Wenn Sie beispielsweise Premium-KI-Funktionen anbieten, können Sie diese mit clientseitiger KI in der Vorschau präsentieren, damit potenzielle Kunden die Vorteile Ihres Produkts sehen können, ohne dass für Sie zusätzliche Kosten entstehen. Dieser Hybridansatz kann auch dazu beitragen, die Inferenzkosten zu senken, insbesondere bei häufig verwendeten Nutzerflows.
• Offline-KI-Nutzung: Ihre Nutzer können auf KI-Funktionen zugreifen, auch wenn keine Internetverbindung besteht. So können Ihre Websites und Webanwendungen wie erwartet offline oder mit variabler Verbindung funktionieren.

Hybride KI: clientseitig und serverseitig

Clientseitige KI kann zwar eine Vielzahl von Anwendungsfällen abdecken, für einige Anwendungsfälle ist jedoch serverseitige Unterstützung erforderlich. Serverseitige KI ist eine gute Option für große Modelle und kann eine größere Bandbreite an Plattformen und Geräten unterstützen.

Ein Hybridansatz kann sinnvoll sein, wenn Ihre Anwendung Folgendes erfordert:

• Komplexität:Spezifische, zugängliche Anwendungsfälle lassen sich einfacher mit On-Device-KI unterstützen. Für komplexe Anwendungsfälle sollten Sie die serverseitige Implementierung in Betracht ziehen.
• Resilienz: Verwenden Sie standardmäßig die serverseitige KI und On-Device-KI, wenn das Gerät offline ist oder eine instabile Verbindung hat.
• Graceful Fallback: Die Einführung von Browsern mit integrierter KI wird Zeit in Anspruch nehmen. Einige Modelle sind möglicherweise nicht verfügbar und ältere oder weniger leistungsstarke Geräte erfüllen möglicherweise nicht die Hardwareanforderungen, um alle Modelle optimal auszuführen. Bieten Sie diesen Nutzern serverseitige KI an.

Wenn Sie beispielsweise die integrierte Prompt API verwenden, ist die API nur in Chrome-Erweiterungen unter Windows, macOS und Linux verfügbar. Damit alle Ihre Nutzer von Ihrer KI-Funktion profitieren können, richten Sie eine hybride Architektur mit Firebase AI Logic ein.

Auf integrierte KI zugreifen

Sie können hauptsächlich über Aufgaben-APIs auf integrierte KI-Funktionen zugreifen, z. B. über die Translator API oder die Summarizer API. Aufgaben-APIs sind so konzipiert, dass sie Inferenzaufgaben mit dem besten Modell für die Aufgabe ausführen, unabhängig davon, ob es sich um ein Sprachmodell oder ein Expertenmodell handelt.

Wichtiger Begriff: Feinabstimmung ist eine Möglichkeit, die Fähigkeit eines Modells, eine bestimmte Aufgabe auszuführen, dynamisch zu verbessern, ohne für jede Aufgabe ein neues Modell herunterladen zu müssen.

Wann sollte integrierte KI verwendet werden?

Hier sind einige Möglichkeiten, wie Sie und Ihre Nutzer von integrierter KI profitieren können:

• KI-optimierter Content-Konsum: Dazu gehören Zusammenfassung, Übersetzung, Kategorisierung, Charakterisierung und die Nutzung als Wissensquelle.
• KI-gestützte Content-Erstellung: Dazu gehören Schreibhilfe, Korrekturlesen, Grammatikkorrektur und Umformulierung.

Mehrere der integrierten KI-APIs sind in der stabilen Chrome-Version und in Origin-Trials verfügbar. Explorative APIs und APIs in der frühen Entwicklungsphase sind für Teilnehmer des Early Preview Program (EPP) verfügbar.

Neue Funktionen in der Vorschau ansehen

Wir benötigen Ihr Feedback, um die APIs so zu gestalten, dass sie Ihre Anwendungsfälle erfüllen, und um unsere Gespräche mit anderen Browseranbietern zur Standardisierung zu unterstützen.

Nehmen Sie am EPP teil, um Feedback zu Ideen für integrierte KI in der frühen Entwicklungsphase zu geben und Möglichkeiten zu finden, APIs in der Entwicklung durch lokales Prototyping zu testen.

Hinweis: Wenn Sie über das EPP Feedback geben, können wir die bestmöglichen Funktionen entwickeln. Dabei konzentrieren wir uns auf noch nicht veröffentlichte Tools in der frühen Entwicklungsphase. Sie können sich für Origin-Trials registrieren oder stabile APIs verwenden, ohne am EPP teilzunehmen.

Standardisierungsaufwand

Wir arbeiten daran, alle diese APIs für die browserübergreifende Kompatibilität zu standardisieren.

Die Language Detector API und die Translator API wurden von der W3C WebML Working Group übernommen. Wir haben Mozilla und WebKit nach ihren Positionen zu den Standards gefragt.

Die Summarizer API, die Writer API und die Rewriter API wurden ebenfalls von der W3C WebML Working Group übernommen. Wir haben Mozilla und WebKit nach ihren Positionen zu den Standards gefragt.