Yerleşik AI

Kenji Baheux

Alexandra Klepper

Yayınlanma tarihi: 14 Mayıs 2024, Son güncelleme tarihi: 13 Kasım 2024

Web'de yapay zeka modelleriyle özellik geliştirirken genellikle daha büyük modeller için sunucu tarafı çözümlere güveniriz. Bu durum özellikle en küçük modellerin bile ortalama web sayfası boyutundan yaklaşık bin kat daha büyük olduğu üretken yapay zeka için geçerlidir. Bu durum, modellerin 10 ila 100 megabayt arasında değişebileceği diğer yapay zeka kullanım alanları için de geçerlidir. Bu modeller web siteleri arasında paylaşılmadığından her sitenin sayfa yüklendiğinde bunları indirmesi gerekir. Bu durum geliştiriciler ve kullanıcılar için pratik değildir.

Büyük dil modelleri (LLM'ler) dahil olmak üzere yapay zeka modellerini doğrudan tarayıcıya entegre etmek için tasarlanmış web platformu API'leri ve tarayıcı özellikleri geliştiriyoruz. Bu kapsamda, Gemini LLM ailesinin en verimli sürümü olan ve en modern masaüstü ve dizüstü bilgisayarlarda yerel olarak çalışacak şekilde tasarlanmış Gemini Nano da yer alır. Yerleşik yapay zeka sayesinde web siteniz veya web uygulamanız, kendi yapay zeka modellerini dağıtmak ya da yönetmek zorunda kalmadan yapay zeka destekli görevleri gerçekleştirebilir.

Yerleşik yapay zekanın avantajlarını, uygulama planımızı ve bu teknolojiden nasıl yararlanabileceğinizi öğrenin.

Önemli: Gemini Nano'da yerleşik yapay zekanın bu uygulaması deneyseldir ve test edip geri bildirimleri ele aldıkça değişecektir.

Erken önizleme alın

API'leri şekillendirmek, kullanım alanlarınızı karşıladıklarından emin olmak ve standartlaştırmayla ilgili olarak diğer tarayıcı tedarikçileriyle yaptığımız görüşmeleri bilgilendirmek için görüşlerinize ihtiyacımız var.

Yerleşik yapay zeka fikirlerinin erken aşamaları hakkında geri bildirimde bulunmak ve yerel prototipleme aracılığıyla geliştirme aşamasındaki API'leri test etme fırsatlarını keşfetmek için erken önizleme programımıza katılın.

Yeni API'ler kullanıma sunulduğunda bildirim almak için Chrome AI geliştirici herkese açık duyurular grubuna katılın.

Web geliştiricileri için yerleşik yapay zekanın avantajları

Yerleşik yapay zeka sayesinde tarayıcınız temel ve uzman modelleri sağlar ve yönetir.

Anahtar Terim: Uzman modeller belirli bir kullanım alanına odaklanır ve daha yüksek performans ve kalite sağlar. Bu modeller, çok yönlü LLM'lerden farklıdır. Örneğin, içeriği yeni dillere çevirmeye odaklanan bir uzman modeliyle bir çeviri API'si oluşturulabilir. Uzman modellerinin donanım gereksinimleri genellikle düşüktür.

Yerleşik yapay zeka, kendi istemci tarafı yapay zekayı oluşturmaya kıyasla aşağıdaki avantajları sunar:

• Dağıtım kolaylığı: Tarayıcı, modelleri dağıtırken cihazın kapasitesini dikkate alır ve modeldeki güncellemeleri yönetir. Bu, büyük modelleri ağ üzerinden indirmekten veya güncellemekten sorumlu olmadığınız anlamına gelir. Depolama alanı çıkarma, çalışma zamanı bellek bütçesi, yayınlama maliyetleri ve diğer sorunları çözmeniz gerekmez.
• Donanım hızlandırmaya erişim: Tarayıcının yapay zeka çalışma zamanı, GPU, NPU veya CPU'ya geri dönme gibi mevcut donanımdan en iyi şekilde yararlanacak şekilde optimize edilmiştir. Sonuç olarak, uygulamanız her cihazda en iyi performansı elde edebilir.

İstemci tarafında çalıştırmanın avantajları

Yerleşik bir yapay zeka yaklaşımıyla, yapay zeka görevlerini istemci tarafında gerçekleştirmek çok kolay hale gelir. Bu da aşağıdaki avantajları sunar:

• Hassas verilerin yerel olarak işlenmesi: İstemci tarafı yapay zeka, gizlilik hikayenizi iyileştirebilir. Örneğin, hassas verilerle çalışıyorsanız uçtan uca şifreleme özelliğine sahip kullanıcılara yapay zeka özellikleri sunabilirsiniz.
• Hızlı kullanıcı deneyimi: Bazı durumlarda, sunucuya gidip gelme işlemini atlamak neredeyse anında sonuç sunabileceğiniz anlamına gelir. İstemci tarafı yapay zeka, uygulanabilir bir özellik ile optimal olmayan bir kullanıcı deneyimi arasındaki fark olabilir.
• Yapay zekaya daha fazla erişim: Kullanıcılarınızın cihazları, özelliklere daha fazla erişim karşılığında işlem yükünün bir kısmını üstlenebilir. Örneğin, premium yapay zeka özellikleri sunuyorsanız bu özellikleri istemci tarafı yapay zeka ile önizleyebilirsiniz. Böylece, potansiyel müşteriler ek maliyet ödemeden ürününüzün avantajlarını görebilir. Bu karma yaklaşım, özellikle sık kullanılan kullanıcı akışlarında çıkarım maliyetlerini yönetmenize de yardımcı olabilir.
• Çevrimdışı yapay zeka kullanımı: Kullanıcılarınız internet bağlantısı olmadığında bile yapay zeka özelliklerine erişebilir. Bu sayede siteleriniz ve web uygulamalarınız çevrimdışıyken veya değişken bağlantıyla beklendiği gibi çalışabilir.

Karma yapay zeka: İstemci tarafı ve sunucu tarafı

İstemci tarafı yapay zeka birçok kullanım alanını işleyebilir ancak sunucu tarafı desteği gerektiren belirli kullanım alanları vardır.

Sunucu tarafı yapay zeka, büyük modeller için mükemmel bir seçenektir ve daha geniş bir platform ve cihaz yelpazesini destekleyebilir.

Aşağıdakilere bağlı olarak karma bir yaklaşımı değerlendirebilirsiniz:

• Karmaşıklık: Belirli ve kolay anlaşılır kullanım alanlarının cihaz üzerinde yapay zeka ile desteklenmesi daha kolaydır. Karmaşık kullanım alanları için sunucu tarafı uygulamayı göz önünde bulundurun.
• Dayanıklılık: Varsayılan olarak sunucu tarafını kullanın ve cihaz çevrimdışıyken veya bağlantısı zayıfken cihaz üzerinde kullanın.
• Sorunsuz yedekleme: Yerleşik yapay zeka içeren tarayıcıların benimsenmesi zaman alacaktır. Bazı modeller kullanılamayabilir ve eski veya daha az güçlü cihazlar tüm modelleri optimum şekilde çalıştırmak için gereken donanım gereksinimlerini karşılamayabilir. Bu kullanıcılar için sunucu tarafı yapay zeka sunun.

Gemini modelleri için arka uç entegrasyonunu (Python, Go, Node.js veya REST ile) kullanabilir veya web uygulamanızda yeni Web için Google AI istemci SDK'sını uygulayabilirsiniz.

Tarayıcı mimarisi ve API'ler

Chrome'da yerleşik yapay zekayı desteklemek için cihaz üzerinde yürütme için temel ve uzman modellerine erişecek altyapı oluşturduk. Bu altyapı, Yazmama yardım et gibi yenilikçi tarayıcı özelliklerini zaten destekliyor.

Yerleşik yapay zeka özelliklerine öncelikle Translator API veya Summarizer API gibi görev API'leriyle erişebilirsiniz. Görev API'leri, atama için en iyi modele göre çıkarım yapmak üzere tasarlanmıştır.

Chrome'da bu API'ler, hassas ayar veya uzman modeliyle Gemini Nano'ya karşı çıkarım yürütmek için tasarlanmıştır. Çoğu modern cihazda yerel olarak çalışacak şekilde tasarlanan Gemini Nano, özetleme, yeniden ifade etme veya sınıflandırma gibi dil ile ilgili kullanım alanları için idealdir.

Anahtar Terim: İnce ayarlama, her görev için yeni bir model indirmek zorunda kalmadan bir modelin belirli bir görevi gerçekleştirme yeteneğini dinamik olarak iyileştirmenin bir yoludur.

Ayrıca, yerel olarak deneme yapabilmeniz ve ek kullanım alanları paylaşabilmeniz için Prompt API gibi keşif amaçlı API'ler de sağlıyoruz.

Önemli: Keşif API'leri yalnızca yerel prototipleme için tasarlanmıştır. Bu keşif API'leri sayesinde geri bildirim almak, varsayımları doğrulamak ve gelecekte hangi görev API'lerini geliştireceğimizi belirlemek istiyoruz. Bu nedenle, bu API'ler hiçbir zaman kullanıma sunulmayabilir.

Gelecekte, modelin ağırlıklarını ayarlayarak yerleşik modelin performansını iyileştirmek için keşif amaçlı bir LoRA API'si sunabiliriz.

Bu şema, web sitenizin veya uygulamanızın Chrome'a yerleşik modellere erişmek için görev ve keşif amaçlı web platformu API'lerini nasıl kullanabileceğini gösterir.

Yerleşik yapay zekayı ne zaman kullanmalısınız?

Yerleşik yapay zekanın size ve kullanıcılarınıza sağlayabileceği bazı avantajlar şunlardır:

• Yapay zeka destekli içerik tüketimi: Özetleme, çeviri, sınıflandırma, karakterizasyon ve bilgi sağlayıcı olarak kullanılabilir.
• Yapay zeka destekli içerik oluşturma: Yazma yardımı, gözden geçirme, dil bilgisi düzeltme ve yeniden ifade etme gibi özellikler.

Sırada ne var?

Yerleşik yapay zeka API'lerinden bazıları kaynak denemelerinde test edilebilir. Keşif API'leri ve erken aşamadaki diğer API'ler, erken önizleme programı katılımcılarına sunulur.

Google AI JavaScript SDK'sı için hızlı başlangıç kılavuzumuzda, Google'ın sunucularında web siteleriniz ve web uygulamalarınızla birlikte Gemini Pro'yu nasıl kullanacağınızı öğrenin.