منتشر شده: ۲۱ نوامبر ۲۰۲۴
پس از ارسالهای باورنکردنی متعدد به مسابقه توسعهدهندگان API Gemini ، برنده بهترین برنامه وب را انتخاب کردیم: ViddyScribe .
ViddyScribe با تولید توضیحات صوتی برای هر ویدیویی که متناسب با افراد کمبینا باشد، نشان میدهد که چگونه Gemini میتواند به دسترسیپذیرتر شدن ویدیوها در یوتیوب و احتمالاً فراتر از آن کمک کند.
ویژگیها و قابلیتهای Gemini
ViddyScribe یک اپلیکیشن طراحیشده توسط کاربر ساخته است. در حالی که در حال حاضر تعدادی راهکار برای تولید رونوشت و توضیحات صوتی وجود دارد، ViddyScribe اولویت خود را ایجاد خروجیای قرار داده است که هم نتایج سریع و هم تجربه کاربری دلپذیر را برای مخاطب خاص، یعنی افراد دارای اختلالات بینایی، در اولویت قرار دهد.
حاشیهنویسی دستی ویدیوها برای ارائه جزئیات بیشتر برای این مخاطب، زمان زیادی میبرد و اغلب نادیده گرفته میشود. ViddyScribe از Gemini برای کمک به ایجاد یک راهحل سفارشی استفاده کرد که فراتر از اضافه کردن برخی توضیحات فریم دلخواه به یک فایل متنی است.
ViddyScribe از مهندسی سریع برای دستیابی به بهترین نتایج استفاده کرد و زبان و سبک سوال را برای Gemini 1.5 Pro انتخاب کرد. این سوال از زنجیره فکری برای درخواست موارد زیر استفاده کرد:
- هدف و محتوای ویدیو.
- توضیحات صوتی متناسب با استفاده از تحلیلها و دستورالعملهای خاص ویدیو.
- مهرهای زمانی و توضیحات برای دستیابی به قالبی قابل پیشبینی و سازگار، مجدداً قالببندی شدند.
چرا ViddyScribe را انتخاب کردیم؟
ما ViddyScribe را انتخاب کردیم زیرا یک راه حل عالی برای یک مشکل واقعی کاربر بود.
در حالی که آنها دریافتند برنامههای دیگری در بازار وجود دارند که توصیفات صوتی ارائه میدهند، احساس کردند نیازهای افراد ناشنوا و کمبینا به طور کامل درک نشده است. این توسعهدهندگان با افراد واقعی که این معلولیتها را دارند، همکاری کردند تا دقیقاً مشخص کنند که آنها در یک برنامه توصیف صوتی به چه چیزی نیاز دارند.
تجربه افراد دارای معلولیت میتواند بسیار متفاوت باشد و گاهی اوقات، ممکن است نیازهای متضادی داشته باشند. علاوه بر این، توضیحات صوتی میتواند این ویدیوها را برای افرادی که از نظر عصبی متفاوت هستند و افرادی که ترجیح میدهند به جای تماشای ویدیو، متن را بخوانند، قابل دسترس کند.
ما مشتاقیم ببینیم که توسعهدهندگان چگونه به بهبود ViddyScribe ادامه میدهند و مخاطبان و قابلیتهای آن را در آینده گسترش میدهند.
با API های هوش مصنوعی داخلی به ساخت ادامه دهید
ViddyScribe تنها یکی از برنامههای شگفتانگیز بسیاری بود که شما با Gemini ساختید.
ما در حال توسعه هوش مصنوعی داخلی هستیم: APIهای پلتفرم وب و ویژگیهای مرورگر که برای ادغام مدلهای هوش مصنوعی، از جمله مدلهای زبان بزرگ (LLM)، مستقیماً در مرورگر طراحی شدهاند.
API های موجود را برای شروع ساخت وب سایت های قدرتمند، برنامه های وب و افزونه های کروم کشف کنید.
آنچه را که میسازید با ما در @ChromiumDev یا با Chrome for Developers در LinkedIn به اشتراک بگذارید.