公開日: 2024 年 11 月 21 日
Gemini API 開発者コンテストに数多くの素晴らしい作品が寄せられ、最優秀ウェブ アプリケーションとして ViddyScribe が選ばれました。
ViddyScribe は、Gemini が視覚障がいのあるユーザー向けにカスタマイズされた動画の音声解説を生成することで、YouTube やその他のプラットフォームで動画のアクセシビリティを高める方法を示しています。
機能と Gemini の機能
ViddyScribe は、ユーザー ファーストで設計されたアプリケーションを構築しました。文字起こしや音声解説を生成するソリューションはすでに多数存在しますが、ViddyScribe は、視覚障がいのあるユーザーという特定のユーザー層を対象に、迅速な結果と快適なユーザー エクスペリエンスの両方を優先した出力を生成することを重視しました。
この視聴者向けに動画を手動でアノテーションして詳細情報を追加するには時間がかかりすぎるため、多くの場合、無視されます。ViddyScribe は Gemini を使用して、テキスト ファイルに任意のフレームの説明を追加するだけでなく、拡張可能なカスタム ソリューションを作成しました。
ViddyScribe は、プロンプト エンジニアリングを使用して、Gemini 1.5 Pro に最適な結果を得るために、質問の言語とスタイルをキュレートしました。このプロンプトでは、Chain-of-Thought プロンプトを使用して、次のことをリクエストしています。
- 動画の目的とコンテキスト。
- 動画固有の分析とガイドラインを使用した、カスタマイズされた音声による説明。
- 予測可能で一貫性のある形式になるように、タイムスタンプと説明の形式を変更しました。
ViddyScribe を選んだ理由
ViddyScribe は、ユーザーが抱える実際の問題に対する優れたソリューションであるため、このサービスを選びました。
市場には音声解説を提供する他のアプリケーションがあるものの、聴覚障がい者や視覚障がい者のニーズが十分に理解されていないと感じていました。これらのデベロッパーは、こうした障がいのあるユーザーと協力して、音声解説アプリに何が必要かを正確に判断しました。
障がいのある方の経験は大きく異なる可能性があり、ニーズが競合することもあります。また、音声解説は、神経多様性を持つ人や、動画を視聴するよりも文字起こしを読むことを好む人にとっても、動画にアクセスしやすくします。
今後、デベロッパーが ViddyScribe をどのように強化し、視聴者と機能を拡大していくのかが楽しみです。
組み込み AI API で構築を続ける
ViddyScribe は、Gemini を使用して作成された数多くの優れたアプリケーションの 1 つにすぎません。
Google は、大規模言語モデル（LLM）などの AI モデルをブラウザに直接統合するために設計されたウェブ プラットフォーム API とブラウザ機能である組み込み AI を開発しています。
利用可能な API を確認して、強力なウェブサイト、ウェブ アプリケーション、Chrome 拡張機能の構築を始めましょう。
@ChromiumDev で作成したものを共有するか、LinkedIn の Chrome for Developers で共有してください。