AI bawaan

Kenji Baheux

Alexandra Klepper

Dipublikasikan: 14 Mei 2024, Terakhir diperbarui: 13 November 2024

Saat membuat fitur dengan model AI di web, kita sering kali mengandalkan solusi sisi server untuk model yang lebih besar. Hal ini terutama berlaku untuk AI generatif, dengan bahkan model terkecil berukuran sekitar seribu kali lebih besar daripada ukuran halaman web median. Hal ini juga berlaku untuk kasus penggunaan AI lainnya, dengan model yang dapat berkisar dari 10 hingga 100 megabyte. Karena model ini tidak dibagikan di seluruh situs, setiap situs harus mendownloadnya saat halaman dimuat. Hal ini tidak praktis bagi developer dan pengguna.

Kami mengembangkan API platform web dan fitur browser yang dirancang untuk mengintegrasikan model AI, termasuk model bahasa besar (LLM), langsung ke browser. Ini mencakup Gemini Nano, versi paling efisien dari keluarga LLM Gemini, yang dirancang untuk berjalan secara lokal di sebagian besar komputer desktop dan laptop modern. Dengan AI bawaan, situs atau aplikasi web Anda dapat melakukan tugas yang didukung AI tanpa perlu men-deploy atau mengelola model AI-nya sendiri.

Temukan manfaat AI bawaan, rencana penerapan kami, dan cara Anda dapat memanfaatkan teknologi ini.

Penting: Penerapan AI bawaan dengan Gemini Nano ini adalah eksperimen dan akan berubah saat kami menguji dan menindaklanjuti masukan.

Dapatkan pratinjau awal

Kami memerlukan input Anda untuk membentuk API, memastikan API tersebut memenuhi kasus penggunaan Anda, dan memberi informasi tentang diskusi kami dengan vendor browser lain untuk standardisasi.

Bergabunglah dengan program pratinjau awal kami untuk memberikan masukan tentang ide AI bawaan tahap awal, dan temukan peluang untuk menguji API yang sedang dalam proses melalui pembuatan prototipe lokal.

Bergabunglah dengan grup pengumuman publik developer Chrome AI untuk mendapatkan notifikasi saat API baru tersedia.

Manfaat AI bawaan untuk developer web

Dengan AI bawaan, browser Anda menyediakan dan mengelola model dasar dan pakar.

Istilah Penting: Model pakar berfokus pada kasus penggunaan tertentu, sehingga menghasilkan performa dan kualitas yang lebih tinggi. Model ini tidak seperti LLM yang sangat fleksibel. Misalnya, API terjemahan dapat dibuat dengan model pakar yang berfokus pada menerjemahkan konten ke bahasa baru. Model pakar cenderung memiliki persyaratan hardware yang rendah.

Dibandingkan dengan membuat AI sisi klien Anda sendiri, AI bawaan menawarkan manfaat berikut:

• Kemudahan deployment: Saat mendistribusikan model, browser akan mempertimbangkan kemampuan perangkat dan mengelola update pada model. Artinya, Anda tidak bertanggung jawab untuk mendownload atau mengupdate model besar melalui jaringan. Anda tidak perlu mengatasi penghapusan penyimpanan, anggaran memori runtime, biaya penayangan, dan tantangan lainnya.
• Akses ke akselerasi hardware: Runtime AI browser dioptimalkan untuk memaksimalkan hardware yang tersedia, baik GPU, NPU, maupun kembali ke CPU. Akibatnya, aplikasi Anda dapat mendapatkan performa terbaik di setiap perangkat.

Manfaat menjalankan sisi klien

Dengan pendekatan AI bawaan, Anda dapat dengan mudah melakukan tugas AI sisi klien, yang pada akhirnya menawarkan keuntungan berikut:

• Pemrosesan lokal data sensitif: AI sisi klien dapat meningkatkan kualitas privasi Anda. Misalnya, jika Anda menangani data sensitif, Anda dapat menawarkan fitur AI kepada pengguna dengan enkripsi menyeluruh.
• Pengalaman pengguna yang cepat: Dalam beberapa kasus, dengan menghilangkan perjalanan bolak-balik ke server, Anda dapat menawarkan hasil yang hampir instan. AI sisi klien dapat menjadi perbedaan antara fitur yang layak dan pengalaman pengguna yang kurang optimal.
• Akses yang lebih besar ke AI: Perangkat pengguna Anda dapat memikul sebagian beban pemrosesan sebagai imbalan atas lebih banyak akses ke fitur. Misalnya, jika menawarkan fitur AI premium, Anda dapat melihat pratinjau fitur ini dengan AI sisi klien sehingga calon pelanggan dapat melihat manfaat produk Anda, tanpa biaya tambahan. Pendekatan campuran ini juga dapat membantu Anda mengelola biaya inferensi, terutama pada alur penggunaan yang sering digunakan.
• Penggunaan AI offline: Pengguna dapat mengakses fitur AI meskipun tidak ada koneksi internet. Artinya, situs dan aplikasi web Anda dapat berfungsi seperti yang diharapkan secara offline atau dengan konektivitas variabel.

AI Hybrid: Sisi klien dan sisi server

Meskipun AI sisi klien dapat menangani berbagai kasus penggunaan, ada kasus tertentu yang memerlukan dukungan sisi server.

AI sisi server adalah opsi yang bagus untuk model besar, dan dapat mendukung berbagai platform dan perangkat yang lebih luas.

Anda dapat mempertimbangkan pendekatan campuran, bergantung pada:

• Kompleksitas: Kasus penggunaan yang spesifik dan mudah dipahami lebih mudah didukung dengan AI di perangkat. Untuk kasus penggunaan yang kompleks, pertimbangkan penerapan sisi server.
• Ketahanan: Gunakan sisi server secara default, dan gunakan di perangkat saat perangkat offline atau koneksinya tidak stabil.
• Penggantian yang halus: Penerapan browser dengan AI bawaan akan memerlukan waktu, beberapa model mungkin tidak tersedia, dan perangkat yang lebih lama atau kurang canggih mungkin tidak memenuhi persyaratan hardware untuk menjalankan semua model secara optimal. Tawarkan AI sisi server untuk pengguna tersebut.

Untuk model Gemini, Anda dapat menggunakan integrasi backend (dengan Python, Go, Node.js, atau REST) atau menerapkannya di aplikasi web dengan SDK klien Google AI untuk Web yang baru.

Arsitektur dan API browser

Untuk mendukung AI bawaan di Chrome, kami membuat infrastruktur untuk mengakses model dasar dan pakar untuk eksekusi di perangkat. Infrastruktur ini sudah mendukung fitur browser inovatif, seperti Bantu tulis.

Anda dapat mengakses kemampuan AI bawaan terutama dengan API tugas, seperti Translator API atau Summarizer API. Task API dirancang untuk menjalankan inferensi terhadap model terbaik untuk tugas.

Di Chrome, API ini dibuat untuk menjalankan inferensi terhadap Gemini Nano dengan penyesuaian atau model pakar. Dirancang untuk berjalan secara lokal di sebagian besar perangkat modern, Gemini Nano paling cocok untuk kasus penggunaan terkait bahasa, seperti ringkasan, pernyataan ulang, atau kategorisasi.

Istilah Penting: Penyesuaian halus adalah cara untuk meningkatkan kemampuan model secara dinamis untuk melakukan tugas tertentu, tanpa harus mendownload model baru untuk setiap tugas.

Kami juga menyediakan API eksplorasi, seperti Prompt API, sehingga Anda dapat bereksperimen secara lokal dan membagikan kasus penggunaan tambahan.

Penting: API eksplorasi hanya ditujukan untuk pembuatan prototipe lokal. Dengan API eksplorasi ini, kami ingin meminta masukan, mengonfirmasi asumsi, dan menentukan API tugas yang akan kami buat di masa mendatang. Dengan demikian, API ini mungkin tidak pernah diluncurkan.

Di masa mendatang, kami dapat menawarkan API eksplorasi LoRA, untuk meningkatkan performa model bawaan dengan menyesuaikan bobot model.

Diagram ini menunjukkan cara situs atau aplikasi Anda dapat menggunakan API platform web eksplorasi dan tugas untuk mengakses model yang di-build ke dalam Chrome.

Kapan harus menggunakan AI bawaan

Berikut beberapa manfaat AI bawaan bagi Anda dan pengguna:

• Konsumsi konten yang ditingkatkan AI: Termasuk ringkasan, terjemahan, kategorisasi, karakterisasi, dan sebagai penyedia pengetahuan.
• Pembuatan konten yang didukung AI: Seperti bantuan penulisan, pemeriksaan tata bahasa, koreksi tata bahasa, dan penyusunan ulang kalimat.

Langkah berikutnya

Beberapa API AI bawaan tersedia untuk diuji dalam uji coba origin. API eksplorasi dan API tahap awal lainnya tersedia untuk peserta program pratinjau awal.

Pelajari cara menggunakan Gemini Pro di server Google dengan situs dan aplikasi web Anda di panduan memulai untuk Google AI JavaScript SDK.