Yayınlanma tarihi: 21 Kasım 2024
Gemini API Geliştirici Yarışması'na gönderilen çok sayıda inanılmaz başvurunun ardından en iyi web uygulaması olarak ViddyScribe'ı seçtik.
ViddyScribe, Gemini'ın YouTube'da ve muhtemelen diğer platformlarda videoları daha erişilebilir hale getirmeye nasıl yardımcı olabileceğini gösteren bir örnektir. Bu araç, görme engelli kullanıcılara özel olarak hazırlanmış sesli açıklamalar oluşturur.
Özellikler ve Gemini'ın yetenekleri
ViddyScribe, kullanıcı odaklı tasarlanmış bir uygulama geliştirdi. Transkript ve sesli açıklamalar oluşturmak için halihazırda çeşitli çözümler olsa da ViddyScribe, belirli bir kitle (görme engelli kişiler) için hem hızlı sonuçlar hem de keyifli bir kullanıcı deneyimi sunan bir çıktı oluşturmaya öncelik verdi.
Videoların bu kitleye yönelik ek ayrıntılar sunmak için manuel olarak açıklama eklenmesi çok zaman alıyor ve genellikle ihmal ediliyor. ViddyScribe, Gemini'ı kullanarak metin dosyasına rastgele çerçeve açıklamaları eklemenin ötesine geçen özel bir çözüm oluşturmaya yardımcı oldu.
ViddyScribe, Gemini 1.5 Pro için soru dilini ve stilini düzenleyerek en iyi sonuçları almak üzere istem mühendisliği kullandı. Bu istemde, aşağıdakileri istemek için düşünce zinciri istemi kullanıldı:
- Videonun amacı ve bağlamı
- Videoya özel analiz ve yönergeler kullanılarak hazırlanmış sesli açıklamalar.
- Öngörülebilir ve tutarlı bir biçim için yeniden biçimlendirilmiş zaman damgaları ve açıklamalar.
Neden ViddyScribe'ı seçtik?
Gerçek bir kullanıcı sorununa zarif bir çözüm sunduğu için ViddyScribe'ı tercih ettik.
Piyasada sesli açıklamalar sunan başka uygulamalar olduğunu fark eden ekip, işitme ve görme engelli kullanıcıların ihtiyaçlarının tam olarak anlaşılmadığını düşündü. Bu geliştiriciler, sesli açıklama uygulamasında tam olarak neye ihtiyaç duyduklarını belirlemek için bu engellere sahip gerçek kişilerle birlikte çalıştı.
Engelli kullanıcıların deneyimleri büyük farklılıklar gösterebilir ve bazen bu kullanıcıların ihtiyaçları birbiriyle çelişebilir. Ayrıca, sesli açıklamalar bu videoları nöroçeşitliliği olan kişilerin ve video izlemek yerine transkript okumayı tercih eden diğer kullanıcıların erişimine de açabilir.
Geliştiricilerin ViddyScribe'ı geliştirmeye devam ederek gelecekte kitlesini ve özelliklerini nasıl genişleteceğini görmek için sabırsızlanıyoruz.
Yerleşik yapay zeka API'leriyle geliştirmeye devam edin
ViddyScribe, Gemini ile geliştirdiğiniz birçok harika uygulamadan yalnızca biriydi.
Yerleşik yapay zeka geliştiriyoruz: Büyük dil modelleri (LLM'ler) dahil olmak üzere yapay zeka modellerini doğrudan tarayıcıya entegre etmek için tasarlanmış web platformu API'leri ve tarayıcı özellikleri.
Güçlü web siteleri, web uygulamaları ve Chrome uzantıları oluşturmaya başlamak için kullanılabilir API'leri keşfedin.
Geliştirdiklerinizi @ChromiumDev adresinden veya LinkedIn'de Chrome for Developers ile paylaşın.