Geçtiğimiz yıl Web Yapay Zeka konusunda çok şey değişti. Belki gözden kaçırdıysanız I/O 2024'te bir sonraki web uygulamanız için yeni modeller, araçlar ve API'ler hakkında konuşma yaptık.
Web AI, bir cihazın CPU veya GPU'su üzerinde çalışan bir web tarayıcısında, istemci tarafı makine öğrenimi (ML) modellerini kullanmak için kullanılan bir dizi teknoloji ve tekniktir. Bu özellik, JavaScript ve WebAssembly ve WebGPU gibi diğer web teknolojileriyle oluşturulabilir. Bu, modelin sunucuda yürütüldüğü ve bir API ile erişildiği sunucu tarafı yapay zeka ya da "Cloud AI"dan farklıdır.
Bu konuşmada şunları paylaştık:
- Yeni büyük dil modellerimizi (LLM) tarayıcıda çalıştırma ve modelleri istemci tarafında çalıştırmanın etkisi,
- Daha hızlı prototip oluşturmak için Görsel Blokların geleceğine bakış;
- Web geliştiricilerinin, Web AI ile geniş ölçekte çalışmak için Chrome'da JavaScript'i nasıl kullanabileceğini de açıklayalım.
Tarayıcıdaki LLM'ler
Google'ın yeni açık modeli Gemma Web, kullanıcının cihazındaki tarayıcıda çalıştırılabilir. Model, Gemini'ı oluşturmak için kullandığımız araştırma ve teknolojiyle geliştirilmiştir.
Çıkarım için bir bulut sunucusunda çalışmaya kıyasla LLM'nin cihaz üzerinde kullanılmasıyla ciddi maliyet tasarrufu, daha iyi kullanıcı gizliliği ve daha düşük gecikme sağlar. Tarayıcıdaki üretken yapay zeka hâlâ başlangıç aşamalarındadır ancak donanım gelişmeye devam ettikçe (daha yüksek CPU ve GPU RAM'i ile) daha fazla modelin kullanıma sunulmasını bekliyoruz.
İşletmeler, özellikle daha küçük LLM'lerin (2 ila 8 milyar parametre) ağırlıklarının tüketici donanımında çalışacak şekilde ayarlanabileceği göreve özgü kullanım alanları için bir web sayfasında neler yapabileceğinizi yeniden düşünebilir.
Gemma 2B, Kaggle modellerinde indirilebilir ve Web LLM çıkarım API'mizle uyumlu bir biçimde sunulur. Desteklenen diğer mimariler arasında dönüştürücü kitaplığımızı kullanarak çalışma zamanının kullanabileceği bir biçime dönüştürebileceğiniz Microsoft Phi-2, Falcon RW 1B ve Stable LM 3B yer alır.
Visual Blocks ile daha hızlı prototipler oluşturun
Görsel Bloklar için 16 adet yeni özel düğüm oluşturan Hugging Face ile birlikte çalışıyoruz. Böylece Transformers.js ve daha kapsamlı Hugging Face ekosistemini Görsel Bloklara getiriyoruz.
Bu yeni düğümlerin sekiz tanesi tamamen istemci tarafında çalışır ve Web AI ile birlikte çalışır. Bunlardan bazıları:
- Resim segmentasyonu
- Translation
- Jeton sınıflandırması
- Nesne algılama
- Metin sınıflandırma
- Arka plan kaldırma
- Derinlik tahmini
Ayrıca Hugging Face'te, Görsel Bloklar'da API'lerle binlerce model çalıştırmanızı sağlayan, sunucu tarafında yedi makine öğrenimi görevi bulunur. Sarsan Yüz Görsel Blokları koleksiyonuna göz atın.
Web AI için JavaScript'i Chrome ile geniş ölçekte kullanın
Gemma'da olduğu gibi önceki örneklerde, model web sayfasının kendisi içinde yüklenir ve çalıştırılır. Chrome, standartlaştırılmış, göreve özel JavaScript API'leriyle modellere erişebileceğiniz yerleşik, cihaz üzerinde yapay zeka üzerinde çalışmaktadır.
Hepsi bu değil. Chrome ayrıca WebGPU'yu 16 bit kayan nokta değerlerini destekleyecek şekilde güncelledi.
WebAssembly, 64 bit bellek dizinlerini destekleyen ve eskisinden daha büyük AI modelleri yüklemenize olanak tanıyacak Memory64 adlı yeni bir teklif sunuyor.
Gözetimsiz Chrome ile Web AI modellerini test etmeye başlayın
Artık Gözetimsiz Chrome'u kullanarak istemci tarafı AI'yı (veya WebGL ya da WebGPU desteğine ihtiyaç duyan herhangi bir uygulamayı) test edebilir ve NVIDIA T4 veya P100 gibi hızlandırma için sunucu tarafı GPU'lardan yararlanabilirsiniz. Daha fazla bilgi edinin:
- Google Colab'de çalıştırma
- Testlerle ilgili ayrıntılı incelemeyi okuyun
- Ayrıca, GitHub'daki örnek koda göz atın
Ürettiklerinizi paylaşırken daha geniş bir kitlenin çalışmalarınızı görebilmesi için #WebAI hashtag'ini eklemeyi unutmayın. Bulgularınızı ve önerilerinizi X, LinkedIn veya tercih ettiğiniz sosyal platformda paylaşın.