หน้านี้อธิบายว่าอะไรทำให้ลิปซิงก์ดูถูกต้อง วิธีเตรียมไฟล์เสียงให้ได้ผลลัพธ์ที่สะอาดที่สุด และการรองรับภาษาต่างๆ รวมถึงการร้องเพลง
อะไรทำให้วิดีโอลิปซิงก์ AI ดูเป็นธรรมชาติ
ผู้ชมสังเกตสามอย่าง คือ พยัญชนะอย่าง p, b และ m ทำให้ริมฝีปากปิดหรือไม่ สระทำให้ปากเปิดเป็นรูปที่ถูกต้องหรือไม่ และส่วนอื่นของใบหน้ามีปฏิกิริยาตามหรือไม่ ปากที่ขยับเป๊ะแต่อยู่บนใบหน้าที่แข็งทื่อก็ยังดูปลอม การสร้างทั้งศีรษะและร่างกายส่วนบนจากเสียงคือสิ่งที่ทำให้คลิปจาก OmniHuman 2 ดูเหมือนพูดจริง ไม่ใช่พากย์ทับ
จังหวะมาจากไฟล์เสียงของคุณโดยตรง จึงไม่มีขั้นตอนจัดเรียงเองด้วยมือ และไม่มีอาการเหลื่อมแม้ในคลิปยาว
เตรียมไฟล์เสียงให้ซิงก์ได้สะอาด
การแก้ไฟล์เสียงเล็กๆ น้อยๆ ส่งผลต่อความแม่นยำมากที่สุด
- อัดเสียงใกล้ไมโครโฟนในห้องที่เงียบ หลีกเลี่ยงเสียงก้อง
- เอาเพลงและเสียงเอฟเฟกต์ที่อยู่ใต้เสียงพูดออก แล้วค่อยใส่กลับหลังเรนเดอร์
- ตัดช่วงเงียบยาวๆ ตอนต้นและตอนท้ายออก วิดีโอจะได้ไม่นิ่งค้าง
- รักษาระดับเสียงให้คงที่ ช่วงที่เบามากจะอ่านได้ยากกว่า
- ใช้ MP3 หรือ WAV ความยาวระหว่าง 4 วินาทีถึง 5 นาที (ไฟล์ที่อัดจากเบราว์เซอร์จะถูกแปลงให้อัตโนมัติ)
รองรับทุกภาษาพูด
การขยับริมฝีปากอิงจากเสียงโดยตรง เสียงพูดภาษาอังกฤษ สเปน ตุรกี อาหรับ ฮินดี หรือภาษาอื่นใดจึงใช้ได้เหมือนกันหมด พรอมต์กำกับที่เป็นตัวเลือกมีรายการภาษาที่รองรับของตัวเอง แต่ไฟล์เสียงไม่มีข้อจำกัดนั้น โมเดลนี้จึงเหมาะกับการโลคัลไลซ์รูปพรีเซนเตอร์รูปเดียวเป็นหลายภาษา แค่เรนเดอร์ภาพเดิมกับแทร็กพากย์ของแต่ละภาษา
ลิปซิงก์สำหรับเพลง
การร้องเพลงยากกว่าการพูด เพราะมีสระลากยาว การหายใจ และจังหวะ ให้โมเดลได้เสียงร้องที่สะอาด เช่น สเต็มอะแคปเปลลา หรือมิกซ์ที่ลดเสียงดนตรีลง แล้วบรรยายการแสดงในพรอมต์ เช่น “eyes closed on long notes, sways to the beat” (หลับตาตอนลากเสียงยาว โยกตัวตามจังหวะ) จากนั้นค่อยใส่มิกซ์เต็มกลับในโปรแกรมตัดต่อ
ปัญหาที่พบบ่อยและวิธีแก้
ปัญหาส่วนใหญ่มีต้นเหตุจากไฟล์ที่ใส่เข้าไป และแก้ได้โดยไม่ต้องเปลี่ยนการตั้งค่าโมเดล ถ้าปากดูเบลอ มักเป็นเพราะใบหน้าในรูปเล็กเกินไปหรือโฟกัสไม่คมเล็กน้อย ถ้าริมฝีปากขยับช้ากว่าเสียง มักมีช่วงเงียบหรือเสียงเฟดอินเบาๆ ตอนต้นไฟล์ ถ้าฟันกะพริบ มักเป็นเพราะรูปต้นฉบับยิ้มกว้างเห็นฟันเต็มที่ ปากที่ผ่อนคลายและปิดเล็กน้อยจะให้จุดเริ่มต้นที่สะอาดกว่าแก่โมเดล
- ปากเบลอ → ใช้ภาพครอปใบหน้าที่คมและใหญ่ขึ้น
- ช้ากว่าเสียงตอนเริ่ม → ตัดช่วงเงียบก่อนคำแรกออก
- พยางค์ฟังไม่ชัด → อัดใหม่ใกล้ไมค์มากขึ้นและไม่มีเพลง
- ฟันกะพริบ → เลือกรูปที่สีหน้าเรียบเฉยหรือปิดปาก
คำถามที่พบบ่อย
ต้องมีวิดีโอก่อนถึงจะทำลิปซิงก์ได้ไหม?
ไม่ต้อง OmniHuman 2 สร้างวิดีโอจากรูปเดียว คุณแค่มีภาพหนึ่งภาพและไฟล์เสียงหนึ่งไฟล์
ลิปซิงก์รองรับภาษาอะไรบ้าง?
ทุกภาษาพูด ปากขยับตามเสียง ไม่ได้อิงจากข้อความถอดเสียง
ทำไมลิปซิงก์ของฉันดูไม่ตรง?
มักเกิดจากเพลงประกอบ เสียงก้อง หรือใบหน้าในรูปถูกบังบางส่วน ไฟล์เสียงที่สะอาดและไม่มีเสียงก้องแก้ปัญหาได้เกือบทุกกรณี
ลิปซิงก์กับเพลงได้ไหม?
ได้ ใช้แทร็กเสียงร้องที่สะอาดเพื่อผลลัพธ์ที่ดีที่สุด แล้วค่อยใส่ดนตรีกลับทีหลัง
ไฟล์เสียงยาวได้เท่าไร?
ระหว่าง 4 วินาทีถึง 5 นาทีต่อวิดีโอ
แก้ลิปซิงก์ในฟุตเทจที่ถ่ายไว้แล้วได้ไหม?
เครื่องมือนี้สร้างวิดีโอใหม่จากรูปถ่าย ถ้าต้องการปรับจังหวะปากในฟุตเทจเดิม เครื่องมือลิปซิงก์สำหรับวิดีโอโดยเฉพาะจะเหมาะกว่า
วิดีโอมีเสียงต้นฉบับของฉันด้วยไหม?
มี ไฟล์ MP4 ที่ดาวน์โหลดมีเสียงที่คุณอัปโหลดไว้ทุกอย่าง ซิงก์ตรงกับการแสดงที่สร้างขึ้น
ไฟล์เสียงมีความยาวขั้นต่ำไหม?
มี ไฟล์เสียงต้องยาวอย่างน้อย 4 วินาที ถ้าสั้นกว่านั้นให้เติมช่วงเงียบสั้นๆ ไว้ตอนท้าย