ข้ามไปที่เนื้อหา

หลักการทำงาน · อัปเดตเมื่อ ต.ค. 2569

แปลงภาพเป็นวิดีโอพร้อมเสียง: ให้เสียงขับเคลื่อนการเคลื่อนไหว

เครื่องมือแปลงภาพเป็นวิดีโอส่วนใหญ่ทำให้ภาพเคลื่อนไหวจากพรอมต์ข้อความ แล้วค่อยเติมเสียงทีหลัง หรือไม่มีเสียงเลย การแปลงภาพเป็นวิดีโอพร้อมเสียงในทางกลับกัน คือให้เสียงเป็นตัวขับแอนิเมชัน นี่คือสิ่งที่ OmniHuman 2.0 ทำ เสียงพูดและดนตรีเป็นตัวตัดสินว่าปากจะขยับเมื่อไร ศีรษะจะพยักเมื่อไร และมือจะยกขึ้นเน้นคำเมื่อไร

รูป+เสียง=วิดีโอ

เสียง
ไม่มีรูป? ลองใช้:
  • พรีวิวฟรี
  • ลงชื่อเข้าใช้ด้วย Google
  • อัปโหลดแบบส่วนตัว
โฆษณา UGC
ร้องเพลง
หลายคน
ต่อวิดีโอ
5 นาที
ความละเอียด
720p
ในฉากเดียว
หลายคน
ภาษา
6

หน้านี้อธิบายความแตกต่างระหว่างการสร้างวิดีโอที่ขับด้วยพรอมต์กับที่ขับด้วยเสียง เสียงแบบไหนใช้ได้ และวิธีผสมเสียงกับพรอมต์สั้นๆ เพื่อควบคุมผลลัพธ์

ขับด้วยพรอมต์ vs ขับด้วยเสียง ในการแปลงภาพเป็นวิดีโอพร้อมเสียง

โมเดลวิดีโอทั่วไปเก่งเรื่องทิวทัศน์และการเคลื่อนกล้องที่บรรยายด้วยคำพูด แต่ไม่รู้เลยว่าพยางค์จะลงเมื่อไร โมเดลที่ขับด้วยเสียงอ่านรูปคลื่นเสียง เสียงระเบิดทำให้ริมฝีปากปิด คำที่เน้นกระตุ้นการเน้นท่าทาง และช่วงหยุดทำให้ใบหน้าผ่อนลง ผลลัพธ์จึงซิงก์ตรงทุกเฟรม ซึ่งสำคัญมากกับคลิปที่มีคนพูดหรือร้องเพลงบนจอ

กับ OmniHuman 2 คุณยังใช้พรอมต์ได้ แต่พรอมต์มีหน้าที่กำหนดการแสดงและกล้อง ส่วนจังหวะมาจากเสียงทั้งหมด

เสียงแบบไหนใช้ได้

โมเดลออกแบบมาโดยยึดเสียงมนุษย์เป็นหลัก ผลลัพธ์ดีที่สุดมาจาก

  • เสียงบรรยาย บทสัมภาษณ์ บทเรียน และช่วงต่างๆ ของพอดแคสต์
  • การร้องเพลง ทั้งร้องเดี่ยว ร้องคู่ และร้องประสานเสียง
  • บทสนทนาระหว่างสองคนขึ้นไปในเฟรมเดียวกัน
  • เสียงสังเคราะห์ที่ส่งออกจากเครื่องมือแปลงข้อความเป็นเสียง

ผสมเสียงกับพรอมต์สั้นๆ

ใช้พรอมต์กับสิ่งที่เสียงสื่อไม่ได้ เช่น บุคคลมองไปทางไหน กล้องเคลื่อนอย่างไร ท่าทางไหนประกอบประโยคไหน เขียนแค่หนึ่งหรือสองประโยค “Looks at the camera, opens hands on the question, slow push-in” (มองกล้อง ผายมือตอนถาม กล้องดันเข้าช้าๆ) ก็เพียงพอสำหรับคลิป 20 วินาที

ด้านฟอร์แมต ให้อัปโหลด MP3 หรือ WAV ความยาวระหว่าง 4 วินาทีถึง 5 นาที ส่วนภาพเป็น JPG, PNG, WEBP และอื่นๆ ได้ ขนาดสูงสุด 30 MB

จากภาพและเสียงสู่วิดีโอที่เสร็จสมบูรณ์

ขั้นตอนในสตูดิโอ

  1. 1ภาพอัปโหลดภาพนิ่งที่คุณอยากปลุกให้มีชีวิต
  2. 2เสียงอัปโหลดหรืออัดแทร็กที่จะใช้ขับเคลื่อนภาพ
  3. 3การกำกับเพิ่มโน้ตเรื่องการแสดงและกล้องหนึ่งประโยค ถ้าต้องการ
  4. 4เรนเดอร์ดูพรีวิวได้ฟรี แล้วเรนเดอร์เป็น MP4 ความละเอียด 720p

ใช้ร่วมกับเครื่องมือ AI อื่นๆ

ครีเอเตอร์หลายคนสร้างอินพุตด้วยเครื่องมืออื่น ใช้เครื่องมือสร้างภาพสำหรับตัวละคร เครื่องมือเสียงสำหรับการบรรยาย และใช้โมเดลนี้สำหรับการแสดง ไปป์ไลน์แบบนี้ทำให้แต่ละขั้นตอนเชี่ยวชาญเฉพาะด้าน ทั้งดีไซน์ เสียง และการเคลื่อนไหว และสลับส่วนใดส่วนหนึ่งได้โดยไม่ต้องทำส่วนอื่นใหม่

ถ้าคุณสร้างภาพเอง ให้สั่งตัวละครที่หันหน้าตรง เห็นปาก และพื้นหลังเรียบ ตัวเลือกเหล่านี้ทำให้ขั้นตอนแอนิเมชันภายหลังเชื่อถือได้มากขึ้น

ข้อจำกัดที่ควรรู้

โมเดลทำให้คนและตัวละครเคลื่อนไหว ไม่ใช่ทั้งฉาก องค์ประกอบพื้นหลังส่วนใหญ่จะนิ่ง ยกเว้นการเคลื่อนกล้อง และยังเปลี่ยนชุด เพิ่มพร็อพ หรือย้ายบุคคลไปสถานที่ใหม่ไม่ได้ สิ่งเหล่านี้ต้องกำหนดตั้งแต่ในภาพต้นฉบับ

ทำให้ได้ผลลัพธ์ที่สะอาดที่สุด

คุณภาพเสียงเป็นเพดานของการซิงก์ และความคมชัดของภาพเป็นเพดานของความสมจริง ใบหน้าที่คมและแสงสม่ำเสมอ กับเสียงที่อัดใกล้ไมค์และไม่มีเสียงก้อง จะช่วยให้ผลลัพธ์ดีขึ้นมากกว่าการเลือกคำในพรอมต์ใดๆ

คำถามที่พบบ่อย

ใส่เพลงเป็นพื้นหลังได้ไหม?

ใส่ในโปรแกรมตัดต่อหลังเรนเดอร์ เพลงที่อยู่ใต้เสียงพูดระหว่างการสร้างอาจลดความแม่นยำของลิปซิงก์

เสียงเป็นตัวกำหนดความยาววิดีโอไหม?

ใช่ วิดีโอยาวเท่ากับไฟล์เสียงของคุณพอดี ตั้งแต่ 4 วินาทีถึง 5 นาที

ทำให้ภาพวิวทิวทัศน์เคลื่อนไหวจากเสียงได้ไหม?

โมเดลออกแบบมาสำหรับคนและตัวละคร ฉากที่ไม่มีใบหน้าจะไม่ได้ผลลัพธ์ที่มีความหมาย

รองรับไฟล์เสียงฟอร์แมตไหนบ้าง?

MP3 และ WAV ไฟล์ที่อัดจากเบราว์เซอร์จะถูกแปลงให้อัตโนมัติ

จำเป็นต้องมีพรอมต์ไหม?

ไม่จำเป็น ถ้าไม่มีพรอมต์ การเคลื่อนไหวจะมาจากเสียงล้วนๆ พรอมต์ช่วยเพิ่มการกำกับ

วิดีโอที่ดาวน์โหลดมีเสียงด้วยไหม?

มี ไฟล์ MP4 มีเสียงต้นฉบับของคุณที่ซิงก์ตรงกับแอนิเมชัน

ใช้เสียงที่สร้างด้วย AI กับภาพที่สร้างด้วย AI ด้วยกันได้ไหม?

ได้ ครีเอเตอร์หลายคนใช้เครื่องมือสร้างภาพ เสียงจากระบบแปลงข้อความเป็นเสียง และ OmniHuman 2 ร่วมกัน แค่ตรวจให้แน่ใจว่าคุณมีสิทธิ์ในอินพุตแต่ละอย่าง

สำรวจต่อ

ทำให้รูปของคุณพูดได้

พรีวิวฟรี