Pubblicato il 21 novembre 2024
Dopo aver ricevuto numerosi contributi incredibili per la Gemini API Developer Competition, abbiamo selezionato il vincitore per la migliore applicazione web: ViddyScribe.
ViddyScribe è un esempio di come Gemini possa contribuire a rendere i video più accessibili su YouTube e potenzialmente anche su altre piattaforme, generando descrizioni audio di qualsiasi video su misura per le persone con disabilità visive.
Funzionalità e capacità di Gemini
ViddyScribe ha creato un'applicazione progettata per mettere l'utente al primo posto. Sebbene esistano già diverse soluzioni per generare trascrizioni e descrizioni audio, ViddyScribe ha dato la priorità alla creazione di un output che privilegiasse sia risultati rapidi sia un'esperienza utente piacevole per un pubblico specifico: le persone con disabilità visive.
L'annotazione manuale dei video per offrire dettagli aggiuntivi a questo pubblico richiede troppo tempo e spesso viene trascurata. ViddyScribe ha utilizzato Gemini per creare una soluzione personalizzata che va oltre l'aggiunta di descrizioni di frame arbitrarie a un file di testo.
ViddyScribe ha utilizzato l'ingegneria dei prompt per ottenere i risultati migliori, curando il linguaggio e lo stile delle domande per Gemini 1.5 Pro. Questo prompt ha utilizzato il prompting chain-of-thought per richiedere:
- Scopo e contesto del video.
- Descrizioni audio personalizzate utilizzando linee guida e analisi specifiche per il video.
- Riformattazione di timestamp e descrizioni per un formato prevedibile e coerente.
Perché abbiamo scelto ViddyScribe
Abbiamo scelto ViddyScribe perché è una soluzione elegante a un problema reale degli utenti.
Sebbene abbiano trovato altre applicazioni sul mercato che forniscono descrizioni audio, hanno ritenuto che le esigenze delle persone sorde e con disabilità visive non fossero pienamente comprese. Questi sviluppatori hanno collaborato con persone reali con queste disabilità per determinare esattamente di cosa avessero bisogno in un'applicazione di descrizione audio.
L'esperienza delle persone con disabilità può variare notevolmente e, a volte, possono avere esigenze contrastanti. Inoltre, le descrizioni audio possono rendere questi video accessibili anche alle persone neurodivergenti e ad altre che preferiscono leggere una trascrizione anziché guardare un video.
Siamo entusiasti di vedere come gli sviluppatori continueranno a migliorare ViddyScribe, ampliando il pubblico e le funzionalità in futuro.
Continua a creare con le API integrate per l'AI
ViddyScribe è solo una delle tante fantastiche applicazioni che hai creato con Gemini.
Stiamo sviluppando l'AI integrata: API della piattaforma web e funzionalità del browser progettate per integrare i modelli di AI, inclusi i modelli linguistici di grandi dimensioni (LLM), direttamente nel browser.
Scopri le API disponibili per iniziare a creare siti web, applicazioni web ed estensioni Chrome potenti.
Condividi con noi ciò che crei su @ChromiumDev o con Chrome for Developers su LinkedIn.