Integrierte KI

Kenji Baheux

Alexandra Klepper

Wenn wir Features mit KI-Modellen im Web erstellen, verlassen wir uns bei größeren Modellen oft auf serverseitige Lösungen. Dies gilt insbesondere für Generative AI, bei der selbst die kleinsten Modelle etwa tausendmal größer als der durchschnittliche Webseitenumfang sind. Dies gilt auch für andere KI-Anwendungsfälle, bei denen die Modelle 10 bis 100 Megabyte reichen.

Da diese Modelle nicht über Websites hinweg genutzt werden, müssen sie von jeder Website beim Seitenaufbau heruntergeladen werden. Diese Lösung ist für Entwickler und Nutzer nicht praktikabel.

Während die serverseitige KI eine gute Option für große Modelle ist, haben On-Device- und Hybridansätze eigene überzeugende Vorteile. Um diese Ansätze umsetzbar zu machen, müssen wir uns mit der Modellgröße und der Modellbereitstellung befassen.

Aus diesem Grund entwickeln wir Webplattform-APIs und Browserfunktionen, mit denen sich KI-Modelle, einschließlich Large Language Models (LLMs), direkt in den Browser einbinden lassen. Dazu gehört unter anderem Gemini Nano, die effizienteste Version der LLMs-Familie von Gemini, die für die lokale Ausführung auf den meisten modernen Desktop- und Laptopcomputern entwickelt wurde. Mit integrierter KI kann Ihre Website oder Webanwendung KI-gestützte Aufgaben ausführen, ohne eigene KI-Modelle bereitstellen oder verwalten zu müssen.

Hier erfahren Sie mehr über die Vorteile der integrierten KI, unseren Implementierungsplan und darüber, wie Sie diese Technologie nutzen können.

Wichtig :Diese Implementierung der integrierten KI mit Gemini Nano ist ein Experiment und wird sich ändern, während wir das Feedback testen und darauf eingehen.

Frühzeitige Vorschau erhalten

Wir benötigen Ihr Feedback, um die APIs zu gestalten, dafür zu sorgen, dass sie Ihren Anwendungsfällen entsprechen, und um bei Gesprächen mit anderen Browseranbietern zur Standardisierung zu kommunizieren.

Nehmen Sie an unserem Early Preview-Programm teil, um Feedback zu integrierten KI-Ideen in einer frühen Phase zu geben und Möglichkeiten zu entdecken, laufende APIs durch lokales Prototyping zu testen.

Treten Sie der Gruppe für öffentliche Ankündigungen für Chrome-KI-Entwickler bei, um benachrichtigt zu werden, sobald neue APIs verfügbar sind.

Vorteile integrierter KI für Webentwickler

Mit integrierter KI stellt Ihr Browser Grundlagen- und Expertenmodelle bereit und verwaltet diese.

Wichtiger Begriff :Expertenmodelle konzentrieren sich auf einen bestimmten Anwendungsfall, was zu höherer Leistung und Qualität führt. Die Modelle unterscheiden sich von sehr vielseitigen LLMs. Beispielsweise kann eine Übersetzungs-API mit einem Expertenmodell erstellt werden, das sich auf die Übersetzung von Inhalten in neue Sprachen konzentriert. Expertenmodelle haben in der Regel geringe Hardwareanforderungen.

Verglichen mit der KI auf dem Gerät bietet die integrierte KI folgende Vorteile:

• Einfache Bereitstellung: Wenn der Browser die Modelle verteilt, berücksichtigt er die Fähigkeiten des Geräts und verwaltet Aktualisierungen des Modells. Das bedeutet, dass Sie nicht für das Herunterladen oder Aktualisieren großer Modelle über ein Netzwerk verantwortlich sind. Sie müssen sich keine Herausforderungen in Bezug auf die Speicherbereinigung, das Laufzeitarbeitsspeicherbudget, die Bereitstellungskosten und andere Herausforderungen stellen.
• Zugriff auf Hardwarebeschleunigung: Die KI-Laufzeit des Browsers ist so optimiert, dass die verfügbare Hardware – ob GPU, NPU oder Fallback auf die CPU – optimal genutzt werden kann. Daher kann deine App auf jedem Gerät die beste Leistung erzielen.

Vorteile der Ausführung auf dem Gerät

Mit einem integrierten KI-Ansatz wird es zum Kinderspiel, KI-Aufgaben direkt auf dem Gerät auszuführen, was wiederum folgende Vorteile bietet:

• Lokale Verarbeitung sensibler Daten: On-Device-KI kann Ihre Privacy Story verbessern. Wenn Sie beispielsweise mit sensiblen Daten arbeiten, können Sie Nutzern KI-Funktionen mit Ende-zu-Ende-Verschlüsselung anbieten.
• Atemberaubende Nutzererfahrung: In einigen Fällen bedeutet das, dass Sie ohne Umwege zum Server nahezu sofortige Ergebnisse liefern können. Die On-Device-KI kann den Unterschied zwischen einer realisierbaren Funktion und einer suboptimalen User Experience ausmachen.
• Besserer Zugriff auf KI: Die Geräte Ihrer Nutzer übernehmen einen Teil der Verarbeitungslast im Austausch für mehr Zugriff auf Funktionen. Wenn Sie beispielsweise Premium-KI-Funktionen anbieten, können Sie diese Funktionen mit On-Device-KI in der Vorschau anzeigen, sodass potenzielle Kunden die Vorteile Ihres Produkts sehen können, ohne dass Ihnen zusätzliche Kosten entstehen. Dieser hybride Ansatz kann Ihnen auch dabei helfen, Inferenzkosten zu verwalten, insbesondere bei häufig verwendeten Nutzerflüssen.
• KI-Offlinenutzung: Ihre Nutzer können auch ohne Internetverbindung auf KI-Funktionen zugreifen. Das bedeutet, dass Ihre Websites und Webanwendungen offline oder bei schwankender Konnektivität wie erwartet funktionieren können.

Hybride KI: auf dem Gerät und auf der Serverseite

Die On-Device-KI kann zwar eine Vielzahl von Anwendungsfällen verarbeiten, es gibt aber auch bestimmte Anwendungsfälle, die serverseitige Unterstützung erfordern.

Beispielsweise müssen Sie möglicherweise größere Modelle verwenden oder eine größere Auswahl an Plattformen und Geräten unterstützen.

Sie können in Abhängigkeit von folgenden Faktoren hybride Ansätze in Betracht ziehen:

• Komplexität:Die Unterstützung spezifischer, zugänglicher Anwendungsfälle ist mit On-Device-KI einfacher. Bei komplexen Anwendungsfällen sollten Sie die serverseitige Implementierung in Betracht ziehen.
• Robustheit: Verwenden Sie standardmäßig serverseitig und das Gerät auf dem Gerät, wenn das Gerät offline oder instabil ist.
• Ordnungsgemäßes Fallback: Die Einführung von Browsern mit integrierter KI dauert einige Zeit. Einige Modelle sind möglicherweise nicht verfügbar und ältere oder weniger leistungsstarke Geräte erfüllen möglicherweise nicht die Hardwareanforderungen für eine optimale Ausführung aller Modelle. Bieten Sie diesen Nutzern serverseitige KI an.

Für Gemini-Modelle können Sie die Back-End-Integration (mit Python, Go, Node.js oder REST) verwenden oder das neue Google AI Client SDK for Web in Ihrer Webanwendung implementieren.

Browserarchitektur und APIs

Zur Unterstützung der integrierten KI in Chrome haben wir eine Infrastruktur für den Zugriff auf Basis- und Expertenmodelle zur Ausführung auf dem Gerät erstellt. Diese Infrastruktur wird bereits für innovative Browserfunktionen wie Hilfe beim Verfassen genutzt und bald auch für APIs für On-Device-KI genutzt.

Sie greifen auf integrierte KI-Funktionen hauptsächlich über Aufgaben-APIs zu, z. B. eine Translation API oder eine Zusammenfassungs-API. Task APIs sind so konzipiert, dass das beste Modell für die Zuweisung Inferenz ausgeführt wird.

In Chrome wurden diese APIs entwickelt, um mit Feinabstimmungen oder einem Expertenmodell Inferenzen für Gemini Nano auszuführen. Gemini Nano wurde für die lokale Ausführung auf den meisten modernen Geräten entwickelt und eignet sich am besten für sprachbezogene Anwendungsfälle wie Zusammenfassung, Umformulierung oder Kategorisierung.

Wichtiger Begriff :Feinabstimmung ist eine Möglichkeit, die Fähigkeit eines Modells, eine bestimmte Aufgabe auszuführen, dynamisch zu verbessern, ohne für jede Aufgabe ein neues Modell herunterladen zu müssen.

Außerdem möchten wir explorative APIs anbieten, damit Sie lokal experimentieren und weitere Anwendungsfälle vorstellen können.

Wir können beispielsweise Folgendes zur Verfügung stellen:

• Prompt API: Sendet eine beliebige Aufgabe in natürlicher Sprache an das integrierte Large Language Model (Gemini Nano in Chrome).
• Fine-Tunning API (LoRA): Verbessern Sie die Leistung des integrierten LLM für eine Aufgabe, indem Sie die Gewichtungen des Modells durch die Feinabstimmung mit Low-Rank-Anpassung anpassen.

Wichtig :Explorative APIs sind nur für das lokale Prototyping vorgesehen. Mit diesen explorativen APIs möchten wir Feedback einholen, Annahmen bestätigen und bestimmen, welche Aufgaben-APIs wir in Zukunft erstellen. Daher werden diese APIs möglicherweise nie gestartet.

Dieses Diagramm zeigt, wie Ihre Website oder App mithilfe von Aufgaben- und explorativen Webplattform-APIs auf in Chrome integrierte Modelle zugreifen kann.

Wann die integrierte KI verwendet werden sollte

Hier sind einige Beispiele dafür, wie Sie und Ihre Nutzer von der integrierten KI profitieren können:

• KI-gestützte Inhaltsnutzung: Einschließlich Zusammenfassung, Übersetzung, Beantworten von Fragen zu bestimmten Inhalten, Kategorisierung und Charakterisierung.
• KI-gestützte Inhaltserstellung: Zum Beispiel Schreibhilfe, Korrekturlesen, Grammatikkorrektur und Umformulierung.

Nächste Schritte

Nehmen Sie an unserem Early Preview-Programm teil, um mit integrierten KI-APIs in der Frühphase zu experimentieren.

In der Zwischenzeit erfährst du in unserer Kurzanleitung für das Google AI JavaScript SDK, wie du Gemini Pro auf den Google-Servern mit deinen Websites und Webanwendungen verwenden kannst.