หน้านี้อธิบายว่าโมเดลมาจากไหน แต่ละเวอร์ชันเปลี่ยนไปอย่างไร และครีเอเตอร์ทั่วไปใช้งานได้อย่างไร ขอแจ้งไว้ก่อนว่า omnihuman2.ai เป็นบริการอิสระที่รันโมเดลผ่านผู้ให้บริการที่ได้รับอนุญาต เราไม่ใช่ ByteDance หรือ BytePlus และไม่ได้รับการรับรองจากทั้งสองบริษัท
ByteDance OmniHuman 2 มาจากไหน
OmniHuman เริ่มต้นจากโปรเจกต์วิจัยที่นำเสนอช่วงต้นปี 2025 โดดเด่นตรงที่สร้างมนุษย์เต็มตัวพร้อมท่าทางจากรูปเดียว แทนที่จะทำให้แค่ใบหน้าที่ครอปไว้ขยับ รุ่นถัดๆ มาพัฒนาความสมจริงและการควบคุมให้ดีขึ้น และเวอร์ชัน 1.5 ก็เปิดให้ใช้แพร่หลายผ่านแพลตฟอร์มโฮสต์โมเดล
เวอร์ชัน 2.0 คือรุ่นเชิงพาณิชย์ปัจจุบัน BytePlus อธิบายว่าเป็นคุณภาพระดับภาพยนตร์ มีการเคลื่อนกล้องและการเคลื่อนไหวของร่างกาย ฉากหลายคน และการควบคุมท่าทาง และยังมีอีกรุ่นแยกที่เน้นอวตาร ปรับมาเพื่อลิปซิงก์และสีหน้าโดยเฉพาะ
โมเดลนี้ทำอะไรได้บ้าง
อ้างอิงจากคำอธิบายผลิตภัณฑ์และสเปกอินพุตที่เผยแพร่
- ทำให้ภาพหนึ่งภาพพูดหรือร้องเพลงได้ตั้งแต่ 4 วินาทีถึง 5 นาที
- เรนเดอร์ฉากหลายคนจากรูปหมู่รูปเดียว
- ทำตามพรอมต์ข้อความเรื่องการเคลื่อนกล้อง การเคลื่อนไหวร่างกาย และท่าทาง
- รับพรอมต์ได้หกภาษา และใช้กับตัวละครแบบมีสไตล์ 3D และสัตว์ได้
- ให้วิดีโอความละเอียด 720p แบบเนทีฟ
ช่องทางการใช้งาน
มีสองแนวทางหลัก นักพัฒนาเรียกใช้โมเดลผ่าน API ของคลาวด์อย่างเป็นทางการและแพลตฟอร์มโฮสต์โมเดลได้ โดยจัดการการอัปโหลด คิว สตอเรจ และการเรียกเก็บเงินเอง ส่วนครีเอเตอร์ที่แค่อยากได้วิดีโอ ใช้สตูดิโอแบบโฮสต์อย่างของเราได้ ระบบเบื้องหลังทั้งหมดสร้างไว้พร้อมแล้ว และคุณจ่ายตามจำนวนวินาทีของวิดีโอ
ไม่ว่าเลือกทางไหน อินพุตก็เหมือนกัน คือ รูปที่ชัด ไฟล์ MP3 หรือ WAV และพรอมต์กำกับสั้นๆ ถ้าต้องการ
การใช้งานอย่างรับผิดชอบ
วิดีโอพูดได้ที่สมจริงของคนจริงอาจถูกนำไปใช้ในทางที่ผิด ให้ทำเฉพาะรูปและเสียงที่คุณเป็นเจ้าของหรือได้รับอนุญาต ติดป้ายเนื้อหาสังเคราะห์ในกรณีที่แพลตฟอร์มกำหนด และห้ามใช้เทคโนโลยีนี้แอบอ้างเป็นผู้อื่นหรือหลอกผู้ชมเด็ดขาด ข้อกำหนดของเราห้ามดีปเฟกที่หลอกลวง และเราดำเนินการกับรายงานการใช้งานในทางที่ผิด
เกี่ยวกับเว็บไซต์นี้
omnihuman2.ai ดำเนินการโดย Nexa Labs, LLC ส่วน OmniHuman เป็นเครื่องหมายการค้าของเจ้าของที่เกี่ยวข้อง เราใช้ชื่อนี้เพื่ออธิบายโมเดลที่บริการของเรารัน สำหรับประกาศอย่างเป็นทางการ รายละเอียดงานวิจัย และข้อตกลงระดับองค์กร โปรดติดต่อ ByteDance และ BytePlus โดยตรง
หลักการทำงานของโมเดลโดยสังเขป
OmniHuman อยู่ในตระกูลโมเดลวิดีโอแบบ diffusion transformer ระหว่างการเทรน โมเดลเรียนรู้การสร้างการเคลื่อนไหวของมนุษย์โดยอิงสัญญาณหลายอย่างพร้อมกัน ทั้งเสียง รูปลักษณ์อ้างอิง ท่าทาง และข้อความ งานวิจัยจึงเรียกมันว่า “omni-conditioned” การผสมเงื่อนไขเหล่านี้ทำให้โมเดลเรียนรู้จากข้อมูลวิดีโอที่หลากหลายกว่าโมเดลที่เห็นแค่ใบหน้าพูดที่ครอปแน่นๆ มาก
ตอนใช้งาน คุณแค่ใส่ภาพอ้างอิง เสียง และพรอมต์ข้อความถ้าต้องการ โมเดลจะอนุมานท่าทางร่างกาย การเคลื่อนไหวของใบหน้า และพฤติกรรมของกล้องจากสิ่งเหล่านี้ นั่นคือเหตุผลที่ภาพอินพุตสำคัญมาก เพราะภาพเป็นตัวกำหนดอัตลักษณ์ การจัดเฟรม แสง และส่วนของร่างกายที่ขยับได้
สรุปแต่ละเวอร์ชัน
สรุปสั้นๆ ของรุ่นที่เปิดตัวสู่สาธารณะ
- OmniHuman-1: รุ่นวิจัยที่แสดงแอนิเมชันเต็มตัวจากภาพเดียว
- OmniHuman 1.5: รุ่นที่โฮสต์อย่างแพร่หลาย มีพรอมต์ช่วยกำกับ มาสก์เลือกผู้พูดแบบเลือกได้ และให้ผลลัพธ์ 720p หรือ 1080p สำหรับคลิปสั้น
- OmniHuman 2.0: รุ่นเชิงพาณิชย์ คลิปยาวได้ถึงห้านาที รองรับฉากหลายคน และควบคุมกล้อง ร่างกาย และท่าทางได้ ที่ 720p
ทำไมเรื่องนี้สำคัญกับครีเอเตอร์
ก่อนจะมีโมเดลแบบนี้ พรีเซนเตอร์ที่พูดหน้ากล้องต้องมีกล้อง มีคน และต้องตัดต่อ ตอนนี้ภาพเดียวรองรับซีรีส์ต่อเนื่องได้ทั้งชุด ซึ่งเปลี่ยนต้นทุนของคลิปอธิบาย โฆษณา และคอนเทนต์ดนตรีสำหรับทีมเล็กไปเลย ข้อแลกเปลี่ยนอย่างผลลัพธ์ 720p และเวลาเรนเดอร์เป็นนาที ยอมรับได้สำหรับฟอร์แมตโซเชียลและเว็บส่วนใหญ่
คำถามที่พบบ่อย
ใครเป็นผู้สร้าง OmniHuman 2?
OmniHuman พัฒนาโดย ByteDance และให้บริการเชิงพาณิชย์ผ่าน BytePlus และแพลตฟอร์มโมเดลของพาร์ตเนอร์
omnihuman2.ai เป็นเว็บไซต์ทางการของ ByteDance หรือเปล่า?
ไม่ใช่ เราเป็นบริการอิสระที่รันโมเดลผ่านผู้ให้บริการที่ได้รับอนุญาต และไม่มีส่วนเกี่ยวข้องหรือได้รับการรับรองจาก ByteDance หรือ BytePlus
OmniHuman มีใน TikTok หรือ CapCut ไหม?
เราไม่สามารถตอบแทนแอปสำหรับผู้บริโภคของ ByteDance ได้ เว็บไซต์นี้ให้คุณเข้าถึงโมเดล OmniHuman 2.0 ได้โดยตรงผ่านเบราว์เซอร์
OmniHuman 2 ต้องใช้อินพุตอะไรบ้าง?
ภาพหนึ่งภาพและไฟล์เสียง MP3 หรือ WAV หนึ่งไฟล์ ความยาวระหว่าง 4 วินาทีถึง 5 นาที และพรอมต์ข้อความถ้าต้องการ
นำผลงานไปใช้เชิงพาณิชย์ได้ไหม?
ได้ในแพ็กเกจแบบเสียเงินของเรา โดยคุณต้องเป็นเจ้าของสิทธิ์ในรูปและเสียงที่อัปโหลด
อ่านงานวิจัยได้ที่ไหน?
ค้นหารายงานทางเทคนิคของ OmniHuman ที่เผยแพร่โดยทีมวิจัยของ ByteDance
OmniHuman เป็นโอเพนซอร์สไหม?
งานวิจัยเผยแพร่เป็นเปเปอร์แล้ว แต่โมเดล 2.0 สำหรับใช้งานจริงให้บริการเชิงพาณิชย์ผ่านคลาวด์ของ ByteDance และแพลตฟอร์มพาร์ตเนอร์ ไม่ได้ให้ดาวน์โหลดเวต
รุ่นอวตารที่ BytePlus พูดถึงคืออะไร?
BytePlus ระบุโมเดลแยกที่เน้นอวตาร โฟกัสที่ลิปซิงก์และสีหน้า ควบคู่กับโมเดล 2.0 หลักที่เน้นการแสดงของกล้อง ร่างกาย และฉากหลายคน