Dipublikasikan: 14 Mei 2024
Inferensi AI sisi klien terjadi di perangkat, yang dapat sangat canggih bersama dengan penyiapan sisi server yang ada. AI bawaan adalah salah satu bentuk AI sisi klien yang menghadirkan model ke browser, melindungi data sensitif, dan meningkatkan latensi.
- Privasi dan keamanan: AI sisi klien memungkinkan Anda menangani data secara lokal, yang sangat memengaruhi kemampuan Anda untuk menangani data sensitif dan menjaganya agar tetap aman dan bersifat pribadi. Anda dapat menawarkan fitur AI kepada pengguna dengan enkripsi end-to-end.
- Ketersediaan yang lebih besar: AI sisi klien dapat membantu mencapai ketersediaan yang lebih besar untuk pengguna Anda. Perangkat pengguna Anda dapat memikul sebagian beban pemrosesan sebagai imbalan untuk lebih banyak akses ke fitur AI. Jika produk Anda menawarkan layanan premium, Anda dapat mempertimbangkan paket gratis dengan fitur AI sisi klien untuk membantu pelanggan mendapatkan gambaran tentang apa yang disediakan layanan premium.
Menjalankan AI sisi klien tidak dapat sepenuhnya menggantikan dan mereplikasi pekerjaan yang Anda lakukan di cloud. Lagi pula, server sangat canggih dan dapat menyimpan model besar dan kompleks yang memberikan hasil dengan cepat.
Sisi klien tidak selalu merupakan pilihan yang tepat, jadi sebelum melanjutkan, kami ingin mengingatkan Anda tentang beberapa praktik terbaik:
- Buat desain fitur Anda dengan fallback halus dan jalankan benchmark di perangkat target Anda. Tidak semua perangkat akan dapat berfungsi sebagai mesin AI.
- Mem-build untuk kasus penggunaan tertentu. AI sisi klien berfungsi paling baik untuk kasus penggunaan tertentu. Model ini secara inheren lebih kecil daripada yang biasanya ditemukan di AI sisi server. Pecahkan proses Anda menjadi langkah-langkah yang ditargetkan dan manfaatkan pra- dan pasca-pemrosesan, sehingga model yang lebih kecil masih dapat memberikan respons terbaik.
- Bersikaplah strategis terkait persyaratan download. Model AI dapat berukuran besar, yang dapat menyebabkan penggunaan data seluler dan penyimpanan perangkat yang besar. Pastikan Anda mem-build fitur yang berguna bagi pengguna dan memiliki strategi penayangan dan penyimpanan dalam cache yang bertanggung jawab.
Beri masukan
Kami ingin mendengar kasus penggunaan yang paling menarik bagi Anda dan masukan Anda tentang pendekatan kami. Anda dapat memberikan masukan dan meminta untuk bergabung dalam program pratinjau awal untuk menguji dengan prototipe lokal.
Kontribusi Anda dapat membantu kami menjadikan AI sebagai alat yang efektif, namun praktis, bagi semua orang.