Web'deki yapay zeka modelleriyle özellik geliştirirken genellikle daha büyük modeller için sunucu tarafı çözümlerden yararlanırız. Bu durum özellikle, en küçük modellerin bile ortanca web sayfası boyutundan bin kat daha büyük olduğu üretken yapay zeka için geçerlidir. Bu durum, modellerin 10 ila 100 megabayt büyüklüğünde olabileceği diğer yapay zeka kullanım alanları için de geçerlidir.
Bu modeller web siteleri arasında paylaşılmadığından, sayfa yüklenirken her sitenin bunları indirmesi gerekir. Bu çözüm, geliştiriciler ve kullanıcılar için pratik olmayan
Sunucu tarafı yapay zeka büyük modeller için harika bir seçenek olsa da cihaz üzerinde ve karma yaklaşımların kendi ilgi çekici olumlu yanları vardır. Bu yaklaşımları uygulanabilir hale getirmek için model boyutuna ve model teslimatına dikkat etmemiz gerekir.
Bu nedenle, büyük dil modelleri (LLM) dahil olmak üzere yapay zeka modellerini doğrudan tarayıcıya entegre etmek için tasarlanmış web platformu API'leri ve tarayıcı özellikleri geliştiriyoruz. Bu model, Gemini LLM ailesinin en verimli sürümü olan, çoğu modern masaüstü ve dizüstü bilgisayarda yerel olarak çalışacak şekilde tasarlanan Gemini Nano'yu içerir. Web siteniz veya web uygulamanız, yerleşik AI sayesinde kendi AI modellerini dağıtmaya veya yönetmeye gerek kalmadan yapay zeka destekli görevleri gerçekleştirebilir.
Yerleşik yapay zekanın avantajlarını, uygulama planımızı ve bu teknolojiden nasıl yararlanabileceğinizi keşfedin.
Erken önizleme yapın
API'leri şekillendirmek, kullanım alanlarınızı yerine getirdiğinden emin olmak ve standartlaştırma amacıyla diğer tarayıcı tedarikçileriyle yaptığımız görüşmelerde bilgi sağlamak için geri bildirimlerinize ihtiyacımız var.
Erken aşamadaki yerleşik yapay zeka fikirleri hakkında geri bildirim sağlamak ve yerel prototip oluşturma yoluyla devam eden API'leri test etme fırsatlarını keşfetmek için erken önizleme programımıza katılın.
Yeni API'ler kullanıma sunulduğunda bildirim almak için Chrome AI geliştirici herkese açık duyurular grubuna katılın.
Yerleşik yapay zekanın web geliştiricileri için avantajları
Yerleşik yapay zeka sayesinde tarayıcınız, temel ve uzman modelleri sağlayıp yönetir.
Yerleşik yapay zeka, cihaz üzerinde yapay zeka ile kıyaslandığında aşağıdaki avantajları sunar:
- Dağıtım kolaylığı: Tarayıcı modelleri dağıtırken cihazın kapasitesini dikkate alır ve modelde yapılan güncellemeleri yönetir. Bu, bir ağ üzerinden büyük modelleri indirmekten veya güncellemekten sorumlu olmadığınız anlamına gelir. Depolama alanını çıkarma, çalışma zamanı bellek bütçesi, sunum maliyetleri ve diğer zorlukları çözmeniz gerekmez.
- Donanım hızlandırmaya erişim: Tarayıcının yapay zeka çalışma zamanı, GPU veya NPU gibi mevcut donanımlardan en iyi şekilde yararlanacak şekilde optimize edilmiştir. Aynı zamanda CPU'ya geri dönersiniz. Bunun sonucunda, uygulamanız her cihazda en iyi performansı elde edebilir.
Cihaz üzerinde çalıştırmanın avantajları
Yerleşik yapay zeka yaklaşımı sayesinde, yapay zeka görevlerini cihazda gerçekleştirmek önemsiz hale gelir. Bu da aşağıdaki olumlu yanları beraberinde getirir:
- Hassas verilerin yerel olarak işlenmesi: Cihaz üzerinde yapay zeka, gizlilik hikayenizi iyileştirebilir. Örneğin, hassas verilerle çalışıyorsanız uçtan uca şifreleme kullanan kullanıcılara AI özellikleri sunabilirsiniz.
- Hızlı kullanıcı deneyimi: Bazı durumlarda, sunucuya gidiş dönüşü iptal etmek neredeyse anında sonuçlar sunabileceğiniz anlamına gelir. Cihaz üzerinde yapay zeka, uygulanabilir bir özellik ile optimum olmayan bir kullanıcı deneyimi arasındaki fark olabilir.
- Yapay zekaya daha fazla erişim: Kullanıcılarınızın cihazları, özelliklere daha fazla erişim karşılığında işleme yükünün bir kısmını kaldırabilir. Örneğin, premium yapay zeka özellikleri sunuyorsanız bu özellikleri cihaz üzerinde yapay zeka ile önizleyebilirsiniz. Böylece potansiyel müşteriler ek ücret ödemeden ürününüzün avantajlarını görebilir. Bu karma yaklaşım, özellikle sık kullanılan kullanıcı akışlarındaki çıkarım maliyetlerini yönetmenize de yardımcı olabilir.
- Çevrimdışı yapay zeka kullanımı: Kullanıcılarınız, internet bağlantısı olmasa bile yapay zeka özelliklerine erişebilir. Diğer bir deyişle, siteleriniz ve web uygulamalarınız çevrimdışı veya değişken bağlantıyla beklendiği gibi çalışabilir.
Karma yapay zeka: Cihaz üzerinde ve sunucu tarafında
Cihaz üzerinde yapay zeka çok çeşitli kullanım alanlarını işleyebilir ancak sunucu tarafı desteği gerektiren belirli kullanım alanları vardır.
Örneğin, daha büyük modeller kullanmanız veya daha geniş bir platform ve cihaz yelpazesini desteklemeniz gerekebilir.
Şunlara dayalı karma yaklaşımları kullanmayı düşünebilirsiniz:
- Karmaşıklık: Cihaz üzerinde yapay zeka ile belirli ve ulaşılabilir kullanım alanlarının desteklenmesi daha kolaydır. Karmaşık kullanım durumları için sunucu tarafı uygulamayı tercih edebilirsiniz.
- Dayanıklılık: Varsayılan olarak sunucu tarafında kullanın ve cihaz çevrimdışıyken veya bağlantı geçici olduğunda cihaz üzerinde kullanın.
- Kolay geçiş: Yerleşik yapay zekaya sahip tarayıcıların benimsenmesi zaman alır, bazı modeller kullanılamayabilir ve eski veya daha az güçlü cihazlar tüm modelleri en iyi şekilde çalıştırmak için donanım gereksinimlerini karşılamayabilir. Bu kullanıcılar için sunucu tarafı yapay zeka sunun.
Gemini modellerinde arka uç entegrasyonunu (Python, Go, Node.js veya REST ile) kullanabilir ya da yeni Web için Google AI istemci SDK'sı ile web uygulamanıza uygulayabilirsiniz.
Tarayıcı mimarisi ve API'ler
Chrome'da yerleşik yapay zekayı desteklemek için cihaz üzerinde yürütmeyle ilgili temel ve uzman modellere erişecek bir altyapı oluşturduk. Şu anda Yazmama yardım et gibi yenilikçi tarayıcı özelliklerini destekleyen bu altyapı, yakında cihaz üzerinde yapay zeka için API'leri de destekleyecektir.
Yerleşik AI özelliklerine öncelikle çeviri API'si veya özetleme API'si gibi görev API'leriyle erişirsiniz. Görev API'leri, atama için en iyi modele göre çıkarım yapmak üzere tasarlanmıştır.
Chrome'da bu API'ler ince ayar veya uzman bir model kullanarak Gemini Nano'ya karşı çıkarım yapmak için tasarlanmıştır. Çoğu modern cihazda yerel olarak çalışacak şekilde tasarlanan Gemini Nano; özetleme, başka şekilde ifade etme veya sınıflandırma gibi dille ilgili kullanım alanları için idealdir.
Ayrıca, yerel denemeler yapabilmeniz ve ek kullanım alanları paylaşabilmeniz için keşif amaçlı API'ler de sağlamayı amaçlıyoruz.
Örneğin, aşağıdaki bilgileri sağlayabiliriz:
- Prompt API: Doğal dilde ifade edilen rastgele bir görevi, yerleşik Büyük Dil Modeli'ne (Chrome'daki Gemini Nano) gönderin.
- İnce ayar (LoRA) API'si: Düşük Sıralama Uyarlama ince ayarı ile modelin ağırlıklarını ayarlayarak yerleşik LLM'nin görevdeki performansını iyileştirin.
Yerleşik yapay zeka ne zaman kullanılır?
Yerleşik yapay zekanın size ve kullanıcılarınıza fayda sağlayabileceğini düşündüğümüz birkaç yöntemi aşağıda bulabilirsiniz:
- Yapay zeka destekli içerik tüketimi: Özetleme, çeviri, bazı içeriklerle ilgili soruları yanıtlama, sınıflandırma ve karakter belirleme özellikleri bulunur.
- Yapay zeka destekli içerik oluşturma: Yazma yardımı, gözden geçirme, dil bilgisi düzeltmesi ve başka şekilde ifade etme gibi.
Sırada ne var?
Erken aşamadaki yerleşik AI API'leriyle denemeler yapmak için erken önizleme programımıza katılın.
Bu sırada, Google AI JavaScript SDK hızlı başlangıç kılavuzumuzdan Gemini Pro'yu Google'ın sunucularında web siteleriniz ve web uygulamalarınızla nasıl kullanacağınızı öğrenebilirsiniz.