OmniHuman 2 คือโมเดลวิดีโอมนุษย์ที่ขับเคลื่อนด้วยเสียงของ ByteDance คุณใส่ภาพนิ่งหนึ่งภาพกับคลิปเสียงหนึ่งคลิป แล้วโมเดลจะสร้างวิดีโอที่บุคคลในภาพพูดหรือร้องเพลงตรงกับเสียง พร้อมสีหน้า ท่าทางมือ และการเคลื่อนไหวร่างกายที่เป็นธรรมชาติ รวมถึงการเคลื่อนกล้องถ้าคุณสั่ง คุณทำตามไปพร้อมกันได้ด้วยการอัปโหลดรูปของคุณเองระหว่างอ่าน
สิ่งที่ต้องเตรียมก่อนเริ่ม
OmniHuman 2 ต้องการอินพุตสองอย่างพอดี และรับอีกหนึ่งอย่างแบบเลือกได้ การเตรียมสิ่งเหล่านี้ให้ถูกสำคัญกว่าการตั้งค่าใดๆ เพราะโมเดลสร้างการแสดงทั้งหมดจากสิ่งเหล่านี้
- ภาพ: JPG, PNG หรือ WEBP (ฟอร์แมตทั่วไปอื่นๆ ก็ใช้ได้) ขนาด 300 ถึง 6000 พิกเซลในแต่ละด้าน ไม่เกิน 30 MB และสัดส่วนภาพระหว่าง 0.4 ถึง 2.5
- คลิปเสียง: MP3 หรือ WAV ความยาวระหว่าง 4 วินาทีถึง 5 นาที ไม่เกิน 15 MB วิดีโอที่ได้จะยาวเท่ากับไฟล์เสียงพอดี
- ตัวเลือกเสริม: พรอมต์ข้อความสั้นๆ บรรยายท่าทาง อารมณ์ รายละเอียดฉาก หรือการเคลื่อนกล้อง รองรับพรอมต์ภาษาอังกฤษ จีน ญี่ปุ่น เกาหลี สเปน และอินโดนีเซีย
วิธีใช้ OmniHuman 2 ทีละขั้นตอน
นี่คือขั้นตอนทั้งหมดที่เราใช้กับทุกวิดีโอในโชว์เคสของเรา
- 1เลือกรูปที่ชัดเลือกภาพที่ใบหน้าคม แสงสม่ำเสมอ และไม่มีผม มือ หรือไมโครโฟนบัง ภาพครึ่งตัวหรือเต็มตัวให้พื้นที่ OmniHuman 2 สร้างท่าทางมือ ส่วนภาพหน้าตรงระยะใกล้จะเน้นที่ใบหน้า
- 2เตรียมไฟล์เสียงอัปโหลด MP3 หรือ WAV หรืออัดเสียงจากเบราว์เซอร์โดยตรง เสียงพูดที่ไม่มีดนตรีประกอบให้ลิปซิงก์แม่นที่สุด สำหรับการร้องเพลง แทร็กเสียงร้องที่สะอาดและมิกซ์ดนตรีไว้เบาๆ ได้ผลดีที่สุด
- 3เขียนพรอมต์ (ไม่บังคับ)บรรยายสิ่งที่บุคคลในภาพควรทำในหนึ่งหรือสองประโยคสั้นๆ เช่น “smiles, leans toward the camera on the last line, slow push-in” (ยิ้ม โน้มตัวเข้าหากล้องตอนประโยคสุดท้าย กล้องดันเข้าช้าๆ) เน้นเรื่องการเคลื่อนไหวและอารมณ์ ไม่ใช่สิ่งที่พูด เพราะเสียงกำหนดส่วนนั้นอยู่แล้ว
- 4สร้างและดูความคืบหน้าการเรนเดอร์มักใช้เวลาไม่กี่นาทีขึ้นอยู่กับความยาว คุณออกจากหน้านี้ได้ วิดีโอที่เสร็จแล้วจะปรากฏในคลังของคุณ
- 5ดาวน์โหลดและแชร์ดาวน์โหลดไฟล์ MP4 ที่ไม่มีลายน้ำ วิดีโอเรนเดอร์ที่ 720p เหมาะกับฟีดโซเชียล โฆษณา และงานพรีเซนเทชัน
เลือกรูปที่เหมาะกับ OmniHuman 2
ภาพเป็นตัวกำหนดอัตลักษณ์ การจัดเฟรม แสง และสไตล์ของวิดีโอที่ได้ จึงคุ้มที่จะใช้เวลาคิดสักสามสิบวินาที OmniHuman 2 ไม่ได้จำกัดแค่คนจริง ภาพวาด ตัวละคร 3D ภาพเขียน และแม้แต่สัตว์ที่มีใบหน้าชัดก็ทำให้เคลื่อนไหวได้ทั้งหมด
ถ้าต้องการให้หลายคนพูดในฉากเดียว เช่น พอดแคสต์ บทสัมภาษณ์ หรือการร้องคู่ ให้ใช้รูปเดียวที่มีทุกคนอยู่ในเฟรม แล้วบรรยายในพรอมต์ว่าใครเป็นคนพูด การแสดงแบบหลายคนเป็นหนึ่งในจุดที่อัปเกรดชัดเจนที่สุดจาก OmniHuman 1.5
เขียนพรอมต์ที่ OmniHuman 2 ทำตาม
พรอมต์ได้ผลดีที่สุดเมื่อเป็นรูปธรรมและเกี่ยวกับการเคลื่อนไหวทางกายภาพ ระบุท่าทาง อารมณ์ และการเคลื่อนกล้อง และอย่าใส่คำสั่งเกินสามอย่างในประโยคเดียว ถ้าผลลัพธ์ดูวุ่นวายเกินไป ให้ตัดคำสั่งออกแทนที่จะเพิ่มคำสั่งใหม่
โมเดลเข้าใจคำสั่งกล้องอย่าง “slow push-in” (กล้องดันเข้าช้าๆ), “static medium shot” (กล้องระยะกลางนิ่ง) หรือ “gentle orbit” (กล้องโคจรนุ่มนวล) รวมถึงท่าทางอย่าง “counts on fingers” (นับนิ้ว), “points at the camera” (ชี้กล้อง) หรือ “holds the product up” (ชูสินค้าขึ้น)
เคล็ดลับให้ลิปซิงก์ดีขึ้น
ปัญหาลิปซิงก์ส่วนใหญ่มาจากอินพุต ไม่ใช่จากโมเดล ก่อนเรนเดอร์ใหม่ ให้ตรวจสิ่งเหล่านี้ก่อน
- ตัดช่วงเงียบยาวๆ ตอนต้นและตอนท้ายของไฟล์เสียงออก เพราะวิดีโอจะสะท้อนช่วงนั้นด้วย
- ให้เห็นปากเต็มๆ ในรูป มีเคราได้ แต่มือบังปากไม่ได้
- หลีกเลี่ยงรีเวิร์บหนักหรือดนตรีใต้เสียงพูด เพราะทำให้พยางค์ที่โมเดลจับไว้เบลอ
- สคริปต์ยาวให้เรนเดอร์ทดสอบสั้นๆ 5–10 วินาทีก่อน แล้วค่อยทำเทกเต็ม
ข้อจำกัดอินพุต: OmniHuman 2 เทียบกับ OmniHuman 1.5
| ความสามารถ | OmniHuman 1.5 | OmniHuman 2 |
|---|---|---|
| ความยาวเสียงสูงสุด | 30 วินาทีที่ 1080p · 60 วินาทีที่ 720p | สูงสุด 300 วินาที |
| จำนวนคนต่อฉาก | ผู้พูดคนเดียว (เลือกด้วยมาสก์) | การแสดงแบบหลายคน |
| ผลลัพธ์ | 720p หรือ 1080p | 720p แบบเนทีฟ |
คำถามที่พบบ่อย
ต้องติดตั้งอะไรเพื่อใช้ OmniHuman 2 ไหม?
ไม่ต้อง ทุกอย่างทำงานในเบราว์เซอร์ของคุณ คุณอัปโหลดรูป ใส่เสียง แล้ววิดีโอจะถูกเรนเดอร์บนเซิร์ฟเวอร์ของเรา
วิดีโอ OmniHuman 2 ยาวได้เท่าไร?
รองรับไฟล์เสียงระหว่าง 4 วินาทีถึง 5 นาที และวิดีโอจะยาวเท่ากับไฟล์เสียงของคุณพอดี
ใช้ตัวการ์ตูน ภาพวาด หรือตัวละคร 3D ได้ไหม?
ได้ ภาพวาด งานเรนเดอร์ 3D และตัวละครสัตว์ใช้ได้ ตราบใดที่มีใบหน้าที่มองเห็นชัด
วิดีโอหนึ่งคลิปใช้กี่เครดิต?
10 เครดิตต่อวิดีโอหนึ่งวินาที คลิป 30 วินาทีใช้ 300 เครดิต และขั้นต่ำคือ 40 เครดิตสำหรับคลิป 4 วินาที
ให้หลายคนพูดในวิดีโอเดียวได้ไหม?
ได้ ใช้รูปเดียวที่มีทุกคนอยู่ในเฟรม แล้วบรรยายในพรอมต์ว่าใครพูด ฉากหลายคนเป็นความสามารถใหม่ใน OmniHuman 2
รูปของฉันถูกเก็บเป็นส่วนตัวไหม?
ใช่ ไฟล์ที่อัปโหลดถูกเก็บแบบส่วนตัวในบัญชีของคุณ และใช้เพื่อเรนเดอร์วิดีโอของคุณเท่านั้น