เผยแพร่เมื่อ: 21 พฤศจิกายน 2024
หลังจากได้รับผลงานที่น่าทึ่งมากมายในการแข่งขันนักพัฒนา Gemini API เราได้ เลือกผู้ชนะสำหรับแอปพลิเคชันเว็บยอดเยี่ยมแล้ว: ViddyScribe
ViddyScribe เป็นตัวอย่างที่แสดงให้เห็นว่า Gemini ช่วยให้วิดีโอเข้าถึงได้มากขึ้นใน YouTube และแพลตฟอร์มอื่นๆ ได้อย่างไร โดยการสร้างเสียงบรรยายของวิดีโอที่ปรับให้เหมาะกับผู้ที่มีความบกพร่องทางการมองเห็น
ฟีเจอร์และความสามารถของ Gemini
ViddyScribe สร้างแอปพลิเคชันที่ออกแบบโดยคำนึงถึงผู้ใช้เป็นอันดับแรก แม้ว่าจะมีโซลูชันมากมายที่สร้างคำบรรยายแทนเสียงและเสียงบรรยายได้ แต่ ViddyScribe ให้ความสำคัญกับการสร้างเอาต์พุตที่ให้ผลลัพธ์รวดเร็วและมอบประสบการณ์การใช้งานที่น่าพึงพอใจแก่ผู้ชมเฉพาะกลุ่ม นั่นก็คือผู้ที่มีความบกพร่องทางการมองเห็น
การใส่คำอธิบายประกอบวิดีโอด้วยตนเองเพื่อให้รายละเอียดเพิ่มเติมแก่ผู้ชมกลุ่มนี้ใช้เวลานานเกินไปและมักถูกละเลย ViddyScribe ใช้ Gemini เพื่อช่วยสร้างโซลูชันที่กำหนดเองซึ่งขยายขีดความสามารถได้มากกว่าการเพิ่มคำอธิบายเฟรมแบบกำหนดเองลงในไฟล์ข้อความ
ViddyScribe ใช้การออกแบบพรอมต์ เพื่อให้ได้ผลลัพธ์ที่ดีที่สุด โดยปรับแต่งภาษาและรูปแบบคำถามสำหรับ Gemini 1.5 Pro. พรอมต์นี้ใช้การออกแบบพรอมต์แบบ Chain-of-Thought เพื่อขอข้อมูลต่อไปนี้
- วัตถุประสงค์และบริบทของวิดีโอ
- เสียงบรรยายที่ปรับให้เหมาะกับวิดีโอโดยใช้การวิเคราะห์และหลักเกณฑ์เฉพาะของวิดีโอ
- การจัดรูปแบบการประทับเวลาและคำอธิบายใหม่เพื่อให้มีรูปแบบที่คาดการณ์ได้และสอดคล้องกัน
เหตุผลที่เราเลือก ViddyScribe
เราเลือก ViddyScribe เนื่องจากเป็นโซลูชันที่ยอดเยี่ยมสำหรับปัญหาของผู้ใช้จริง
แม้ว่าพวกเขาจะพบว่ามีแอปพลิเคชันอื่นๆ ในตลาดที่ให้บริการเสียงบรรยาย แต่พวกเขารู้สึกว่าความต้องการของผู้ที่มีความบกพร่องทางการได้ยินและการมองเห็นยังไม่ได้รับการตอบสนองอย่างเต็มที่ นักพัฒนาแอปเหล่านี้จึงทำงานร่วมกับผู้ที่มีความบกพร่องดังกล่าวเพื่อระบุสิ่งที่พวกเขาต้องการในแอปพลิเคชันเสียงบรรยายอย่างแม่นยำ
ประสบการณ์ของผู้ที่มีความบกพร่องอาจแตกต่างกันไปอย่างมาก และบางครั้งพวกเขาก็อาจมีความต้องการที่ขัดแย้งกัน นอกจากนี้ เสียงบรรยายยังช่วยให้ผู้ที่มีความแตกต่างทางระบบประสาทและผู้ที่ต้องการอ่านคำบรรยายแทนเสียงมากกว่าดูวิดีโอสามารถเข้าถึงวิดีโอเหล่านี้ได้ด้วย
เรารู้สึกตื่นเต้นที่จะได้เห็นนักพัฒนาแอปปรับปรุง ViddyScribe ต่อไป รวมถึงขยายกลุ่มเป้าหมายและความสามารถในอนาคต
สร้างต่อไปด้วย AI API ในตัว
ViddyScribe เป็นเพียงหนึ่งในแอปพลิเคชันที่น่าทึ่งมากมายที่คุณสร้างขึ้นด้วย Gemini
เรากำลังพัฒนา AI ในตัว ซึ่งเป็น API ของแพลตฟอร์มเว็บและฟีเจอร์ ของเบราว์เซอร์ที่ออกแบบมาเพื่อผสานรวมโมเดล AI รวมถึงโมเดลภาษาขนาดใหญ่ (LLM) เข้ากับเบราว์เซอร์โดยตรง
สำรวจ API ที่พร้อมใช้งาน เพื่อเริ่มสร้าง เว็บไซต์ เว็บแอปพลิเคชัน และส่วนขยาย Chrome ที่มีประสิทธิภาพ
แชร์สิ่งที่คุณสร้างกับเราได้ที่ @ChromiumDev หรือแชร์กับ Chrome for Developers บน LinkedIn