หน้านี้อธิบายความแตกต่างระหว่างการสร้างวิดีโอที่ขับด้วยพรอมต์กับที่ขับด้วยเสียง เสียงแบบไหนใช้ได้ และวิธีผสมเสียงกับพรอมต์สั้นๆ เพื่อควบคุมผลลัพธ์
ขับด้วยพรอมต์ vs ขับด้วยเสียง ในการแปลงภาพเป็นวิดีโอพร้อมเสียง
โมเดลวิดีโอทั่วไปเก่งเรื่องทิวทัศน์และการเคลื่อนกล้องที่บรรยายด้วยคำพูด แต่ไม่รู้เลยว่าพยางค์จะลงเมื่อไร โมเดลที่ขับด้วยเสียงอ่านรูปคลื่นเสียง เสียงระเบิดทำให้ริมฝีปากปิด คำที่เน้นกระตุ้นการเน้นท่าทาง และช่วงหยุดทำให้ใบหน้าผ่อนลง ผลลัพธ์จึงซิงก์ตรงทุกเฟรม ซึ่งสำคัญมากกับคลิปที่มีคนพูดหรือร้องเพลงบนจอ
กับ OmniHuman 2 คุณยังใช้พรอมต์ได้ แต่พรอมต์มีหน้าที่กำหนดการแสดงและกล้อง ส่วนจังหวะมาจากเสียงทั้งหมด
เสียงแบบไหนใช้ได้
โมเดลออกแบบมาโดยยึดเสียงมนุษย์เป็นหลัก ผลลัพธ์ดีที่สุดมาจาก
- เสียงบรรยาย บทสัมภาษณ์ บทเรียน และช่วงต่างๆ ของพอดแคสต์
- การร้องเพลง ทั้งร้องเดี่ยว ร้องคู่ และร้องประสานเสียง
- บทสนทนาระหว่างสองคนขึ้นไปในเฟรมเดียวกัน
- เสียงสังเคราะห์ที่ส่งออกจากเครื่องมือแปลงข้อความเป็นเสียง
ผสมเสียงกับพรอมต์สั้นๆ
ใช้พรอมต์กับสิ่งที่เสียงสื่อไม่ได้ เช่น บุคคลมองไปทางไหน กล้องเคลื่อนอย่างไร ท่าทางไหนประกอบประโยคไหน เขียนแค่หนึ่งหรือสองประโยค “Looks at the camera, opens hands on the question, slow push-in” (มองกล้อง ผายมือตอนถาม กล้องดันเข้าช้าๆ) ก็เพียงพอสำหรับคลิป 20 วินาที
ด้านฟอร์แมต ให้อัปโหลด MP3 หรือ WAV ความยาวระหว่าง 4 วินาทีถึง 5 นาที ส่วนภาพเป็น JPG, PNG, WEBP และอื่นๆ ได้ ขนาดสูงสุด 30 MB
จากภาพและเสียงสู่วิดีโอที่เสร็จสมบูรณ์
ขั้นตอนในสตูดิโอ
- 1ภาพอัปโหลดภาพนิ่งที่คุณอยากปลุกให้มีชีวิต
- 2เสียงอัปโหลดหรืออัดแทร็กที่จะใช้ขับเคลื่อนภาพ
- 3การกำกับเพิ่มโน้ตเรื่องการแสดงและกล้องหนึ่งประโยค ถ้าต้องการ
- 4เรนเดอร์ดูพรีวิวได้ฟรี แล้วเรนเดอร์เป็น MP4 ความละเอียด 720p
ใช้ร่วมกับเครื่องมือ AI อื่นๆ
ครีเอเตอร์หลายคนสร้างอินพุตด้วยเครื่องมืออื่น ใช้เครื่องมือสร้างภาพสำหรับตัวละคร เครื่องมือเสียงสำหรับการบรรยาย และใช้โมเดลนี้สำหรับการแสดง ไปป์ไลน์แบบนี้ทำให้แต่ละขั้นตอนเชี่ยวชาญเฉพาะด้าน ทั้งดีไซน์ เสียง และการเคลื่อนไหว และสลับส่วนใดส่วนหนึ่งได้โดยไม่ต้องทำส่วนอื่นใหม่
ถ้าคุณสร้างภาพเอง ให้สั่งตัวละครที่หันหน้าตรง เห็นปาก และพื้นหลังเรียบ ตัวเลือกเหล่านี้ทำให้ขั้นตอนแอนิเมชันภายหลังเชื่อถือได้มากขึ้น
ข้อจำกัดที่ควรรู้
โมเดลทำให้คนและตัวละครเคลื่อนไหว ไม่ใช่ทั้งฉาก องค์ประกอบพื้นหลังส่วนใหญ่จะนิ่ง ยกเว้นการเคลื่อนกล้อง และยังเปลี่ยนชุด เพิ่มพร็อพ หรือย้ายบุคคลไปสถานที่ใหม่ไม่ได้ สิ่งเหล่านี้ต้องกำหนดตั้งแต่ในภาพต้นฉบับ
ทำให้ได้ผลลัพธ์ที่สะอาดที่สุด
คุณภาพเสียงเป็นเพดานของการซิงก์ และความคมชัดของภาพเป็นเพดานของความสมจริง ใบหน้าที่คมและแสงสม่ำเสมอ กับเสียงที่อัดใกล้ไมค์และไม่มีเสียงก้อง จะช่วยให้ผลลัพธ์ดีขึ้นมากกว่าการเลือกคำในพรอมต์ใดๆ
คำถามที่พบบ่อย
ใส่เพลงเป็นพื้นหลังได้ไหม?
ใส่ในโปรแกรมตัดต่อหลังเรนเดอร์ เพลงที่อยู่ใต้เสียงพูดระหว่างการสร้างอาจลดความแม่นยำของลิปซิงก์
เสียงเป็นตัวกำหนดความยาววิดีโอไหม?
ใช่ วิดีโอยาวเท่ากับไฟล์เสียงของคุณพอดี ตั้งแต่ 4 วินาทีถึง 5 นาที
ทำให้ภาพวิวทิวทัศน์เคลื่อนไหวจากเสียงได้ไหม?
โมเดลออกแบบมาสำหรับคนและตัวละคร ฉากที่ไม่มีใบหน้าจะไม่ได้ผลลัพธ์ที่มีความหมาย
รองรับไฟล์เสียงฟอร์แมตไหนบ้าง?
MP3 และ WAV ไฟล์ที่อัดจากเบราว์เซอร์จะถูกแปลงให้อัตโนมัติ
จำเป็นต้องมีพรอมต์ไหม?
ไม่จำเป็น ถ้าไม่มีพรอมต์ การเคลื่อนไหวจะมาจากเสียงล้วนๆ พรอมต์ช่วยเพิ่มการกำกับ
วิดีโอที่ดาวน์โหลดมีเสียงด้วยไหม?
มี ไฟล์ MP4 มีเสียงต้นฉบับของคุณที่ซิงก์ตรงกับแอนิเมชัน
ใช้เสียงที่สร้างด้วย AI กับภาพที่สร้างด้วย AI ด้วยกันได้ไหม?
ได้ ครีเอเตอร์หลายคนใช้เครื่องมือสร้างภาพ เสียงจากระบบแปลงข้อความเป็นเสียง และ OmniHuman 2 ร่วมกัน แค่ตรวจให้แน่ใจว่าคุณมีสิทธิ์ในอินพุตแต่ละอย่าง