Veröffentlicht am 21. November 2024
Nach zahlreichen beeindruckenden Einreichungen für den Gemini API Developer Competition haben wir den Gewinner für die beste Webanwendung ausgewählt: ViddyScribe.
ViddyScribe zeigt, wie Gemini dazu beitragen kann, Videos auf YouTube und darüber hinaus zugänglicher zu machen, indem Audiobeschreibungen für Videos generiert werden, die auf Menschen mit Sehbehinderungen zugeschnitten sind.
Funktionen und Gemini-Funktionen
ViddyScribe hat eine Anwendung entwickelt, bei der der Nutzer im Mittelpunkt steht. Es gibt bereits eine Reihe von Lösungen zum Generieren von Transkripten und Audiobeschreibungen. Bei ViddyScribe wurde jedoch Wert darauf gelegt, ein Ergebnis zu erzielen, bei dem sowohl schnelle Ergebnisse als auch eine angenehme Nutzererfahrung für eine bestimmte Zielgruppe im Vordergrund stehen: Menschen mit Sehbehinderungen.
Die manuelle Annotation von Videos, um zusätzliche Details für diese Zielgruppe bereitzustellen, ist zu zeitaufwendig und wird daher oft vernachlässigt. ViddyScribe hat Gemini verwendet, um eine benutzerdefinierte Lösung zu entwickeln, die mehr kann als nur beliebige Frame-Beschreibungen zu einer Textdatei hinzuzufügen.
ViddyScribe hat Prompt Engineering verwendet, um die besten Ergebnisse zu erzielen, und die Sprache und den Stil der Fragen für Gemini 1.5 Pro optimiert. Bei diesem Prompt wurde Chain-of-Thought Prompting verwendet, um Folgendes anzufordern:
- Zweck und Kontext des Videos.
- Benutzerdefinierte Audiobeschreibungen mit videospezifischen Analysen und Richtlinien.
- Neu formatierte Zeitstempel und Beschreibungen für ein vorhersehbares und einheitliches Format.
Warum wir uns für ViddyScribe entschieden haben
Wir haben uns für ViddyScribe entschieden, weil es eine elegante Lösung für ein echtes Nutzerproblem ist.
Die Entwickler haben zwar festgestellt, dass es auf dem Markt andere Anwendungen gibt, die Audiobeschreibungen anbieten, aber sie waren der Meinung, dass die Bedürfnisse von Menschen mit Hör- und Sehbehinderungen nicht vollständig verstanden wurden. Sie haben mit Menschen mit diesen Behinderungen zusammengearbeitet, um genau zu ermitteln, was sie von einer Anwendung für Audiobeschreibungen erwarten.
Die Erfahrungen von Menschen mit Behinderungen können sehr unterschiedlich sein und manchmal haben sie widersprüchliche Bedürfnisse. Darüber hinaus können Audiobeschreibungen diese Videos auch für Menschen mit Neurodiversität und andere zugänglich machen, die lieber ein Transkript lesen als ein Video ansehen.
Wir sind gespannt, wie Entwickler ViddyScribe weiter verbessern und die Zielgruppe und die Funktionen in Zukunft erweitern.
Mit integrierten KI-APIs weiterentwickeln
ViddyScribe war nur eine der vielen beeindruckenden Anwendungen, die Sie mit Gemini entwickelt haben.
Wir entwickeln integrierte KI: Webplattform-APIs und Browser funktionen, mit denen KI-Modelle, einschließlich Large Language Models (LLMs), direkt in den Browser eingebunden werden können.
Entdecken Sie die verfügbaren APIs, um leistungsstarke Websites, Webanwendungen und Chrome-Erweiterungen zu entwickeln.
Teilen Sie uns Ihre Entwicklungen unter @ChromiumDev mit oder teilen Sie sie auf LinkedIn mit Chrome for Developers.