Saat membuat fitur dengan model AI di web, kami sering kali mengandalkan solusi sisi server untuk model yang lebih besar. Hal ini terutama berlaku untuk AI generatif, ketika model terkecil pun berukuran sekitar seribu kali lebih besar dari ukuran halaman web median. Hal ini juga berlaku untuk kasus penggunaan AI lainnya, ketika model dapat berkisar dari ratusan hingga ratusan megabyte.
Karena model ini tidak dibagikan di seluruh situs, setiap situs harus mendownloadnya saat halaman dimuat. Ini adalah solusi tidak praktis untuk developer dan pengguna
Meskipun AI sisi server adalah opsi yang bagus untuk model besar, pendekatan di perangkat dan hybrid memiliki kelebihan yang menarik tersendiri. Agar pendekatan ini dapat diterapkan, kita perlu menangani ukuran model dan pengiriman model.
Itulah sebabnya kami mengembangkan API platform web dan fitur browser yang dirancang untuk mengintegrasikan model AI, termasuk model bahasa besar (LLM), langsung ke browser. Ini termasuk Gemini Nano, versi paling efisien dari rangkaian LLM Gemini, yang dirancang untuk berjalan secara lokal di sebagian besar komputer desktop dan laptop modern. Dengan AI bawaan, situs atau aplikasi web Anda dapat menjalankan tugas yang didukung teknologi AI tanpa perlu men-deploy atau mengelola model AI-nya sendiri.
Temukan manfaat AI bawaan, rencana penerapan kami, dan cara Anda dapat memanfaatkan teknologi ini.
Dapatkan pratinjau awal
Kami memerlukan input Anda untuk membentuk API, memastikan API tersebut memenuhi kasus penggunaan Anda, dan menginformasikan diskusi kami dengan vendor browser lain untuk standardisasi.
Ikuti program pratinjau awal kami untuk memberikan masukan tentang ide AI bawaan tahap awal, dan temukan peluang untuk menguji API yang sedang berlangsung melalui pembuatan prototipe lokal.
Bergabunglah dengan grup pengumuman publik developer AI Chrome untuk mendapatkan notifikasi saat API baru tersedia.
Manfaat AI bawaan untuk developer web
Dengan AI bawaan, browser Anda menyediakan serta mengelola model fondasi dan pakar.
Dibandingkan melakukannya sendiri, AI di perangkat menawarkan manfaat berikut:
- Kemudahan deployment: Saat browser mendistribusikan model, browser akan mempertimbangkan kemampuan perangkat dan mengelola update pada model. Artinya, Anda tidak bertanggung jawab untuk mendownload atau mengupdate model besar melalui jaringan. Anda tidak perlu mengatasi penghapusan penyimpanan, anggaran memori runtime, biaya penyaluran, dan tantangan lainnya.
- Akses ke akselerasi hardware: Runtime AI browser dioptimalkan untuk memaksimalkan hardware yang tersedia, baik itu GPU, NPU, maupun penggantian ke CPU. Dengan demikian, aplikasi Anda bisa mendapatkan performa terbaik di setiap perangkat.
Manfaat menjalankan di perangkat
Dengan pendekatan AI bawaan, melakukan tugas AI di perangkat menjadi mudah, yang kemudian menawarkan keuntungan berikut:
- Pemrosesan lokal data sensitif: AI di perangkat dapat meningkatkan kualitas cerita privasi Anda. Misalnya, jika Anda bekerja dengan data sensitif, Anda dapat menawarkan fitur AI kepada pengguna dengan enkripsi end-to-end.
- Pengalaman pengguna yang tajam: Dalam beberapa kasus, dengan mengecualikan perjalanan dua arah ke server, Anda dapat menawarkan hasil yang hampir instan. AI di perangkat dapat menjadi perbedaan antara fitur yang layak dan pengalaman pengguna yang kurang optimal.
- Akses yang lebih baik ke AI: Perangkat pengguna Anda dapat menanggung sebagian beban pemrosesan sebagai imbalan atas lebih banyak akses ke fitur. Misalnya, jika Anda menawarkan fitur AI premium, Anda dapat melihat pratinjau fitur ini dengan AI di perangkat sehingga calon pelanggan dapat melihat manfaat produk Anda, tanpa biaya tambahan. Pendekatan campuran ini juga dapat membantu Anda mengelola biaya inferensi, terutama pada alur penggunaan yang sering digunakan.
- Penggunaan AI offline: Pengguna Anda dapat mengakses fitur AI bahkan saat tidak ada koneksi internet. Artinya, situs dan aplikasi web Anda dapat berfungsi seperti yang diharapkan secara offline atau dengan konektivitas variabel.
Hybrid AI: Di perangkat dan sisi server
Meskipun AI di perangkat dapat menangani berbagai kasus penggunaan, ada kasus penggunaan tertentu yang memerlukan dukungan sisi server.
Misalnya, Anda mungkin perlu menggunakan model yang lebih besar atau mendukung berbagai platform dan perangkat.
Anda dapat mempertimbangkan pendekatan campuran, bergantung pada:
- Kompleksitas: Kasus penggunaan yang spesifik dan mudah dilakukan lebih mudah didukung dengan AI di perangkat. Untuk kasus penggunaan yang kompleks, pertimbangkan implementasi sisi server.
- Ketahanan: Gunakan sisi server secara default, dan gunakan di perangkat saat perangkat sedang offline atau dalam koneksi yang tidak stabil.
- Penggantian halus: Penerapan browser dengan AI bawaan akan memerlukan waktu, beberapa model mungkin tidak tersedia, dan perangkat yang lebih lama atau kurang canggih mungkin tidak memenuhi persyaratan hardware untuk menjalankan semua model secara optimal. Tawarkan AI sisi server untuk pengguna tersebut.
Untuk model Gemini, Anda dapat menggunakan integrasi backend (dengan Python, Go, Node.js, atau REST) atau menerapkannya di aplikasi web Anda dengan SDK klien AI Google untuk Web yang baru.
Arsitektur browser dan API
Untuk mendukung AI bawaan di Chrome, kami membuat infrastruktur guna mengakses model dasar dan model pakar untuk eksekusi di perangkat. Infrastruktur ini sudah mendukung fitur browser yang inovatif, seperti Bantu menulis, dan akan segera mendukung API untuk AI di perangkat.
Anda akan mengakses kemampuan AI bawaan, terutama dengan API tugas, seperti translation API atau API ringkasan. Task API dirancang untuk menjalankan inferensi terhadap model terbaik untuk penetapan.
Di Chrome, API ini dibuat untuk menjalankan inferensi terhadap Gemini Nano dengan penyesuaian atau model pakar. Dirancang untuk berjalan secara lokal di sebagian besar perangkat modern, Gemini Nano paling cocok untuk kasus penggunaan terkait bahasa, seperti perangkuman, pengaturan ulang, atau kategorisasi.
Selain itu, kami bermaksud menyediakan API eksploratif agar Anda dapat bereksperimen secara lokal dan membagikan kasus penggunaan tambahan.
Misalnya, kami dapat memberikan:
- Prompt API: Mengirim tugas arbitrer, yang dinyatakan dalam natural language, ke Model Bahasa Besar bawaan (Gemini Nano di Chrome).
- Fine-tuning (LoRA) API: Meningkatkan performa LLM bawaan pada tugas dengan menyesuaikan bobot model menggunakan penyelarasan Adaptasi Peringkat Rendah.
Kapan harus menggunakan AI bawaan
Berikut beberapa manfaat AI bawaan yang kami harapkan dapat bermanfaat bagi Anda dan pengguna Anda:
- Konsumsi konten yang ditingkatkan kualitasnya dengan AI: Termasuk perangkuman, terjemahan, menjawab pertanyaan tentang beberapa konten, kategorisasi, dan karakterisasi.
- Pembuatan konten yang didukung AI: Bantuan menulis, pemeriksaan tata bahasa, koreksi tata bahasa, dan penyusunan ulang kata.
Langkah selanjutnya
Bergabunglah dengan program pratinjau awal kami untuk bereksperimen dengan API AI bawaan tahap awal.
Sementara itu, Anda dapat mempelajari cara menggunakan Gemini Pro di server Google dengan situs dan aplikasi web Anda dalam panduan memulai untuk Google AI JavaScript SDK.