ข้ามไปที่เนื้อหา

นักพัฒนา · อัปเดตเมื่อ ต.ค. 2569

OmniHuman 2 API: อินพุต ข้อจำกัด และหลักการทำงาน

ถ้าคุณกำลังประเมิน OmniHuman 2 API สำหรับผลิตภัณฑ์ รายละเอียดสำคัญคือรูปแบบรีเควสต์ ข้อจำกัดของอินพุต และวิธีที่ผลลัพธ์ส่งกลับมา หน้านี้สรุปทุกอย่างไว้ในที่เดียว อ้างอิงจากสเปกที่ผู้ให้บริการโฮสต์เผยแพร่ และอธิบายว่าต้องจัดการอะไรในโค้ดของคุณเองก่อนส่งรีเควสต์

รูป+เสียง=วิดีโอ

เสียง
ไม่มีรูป? ลองใช้:
  • พรีวิวฟรี
  • ลงชื่อเข้าใช้ด้วย Google
  • อัปโหลดแบบส่วนตัว
โฆษณา UGC
ร้องเพลง
หลายคน
ต่อวิดีโอ
5 นาที
ความละเอียด
720p
ในฉากเดียว
หลายคน
ภาษา
6

ถ้าคุณไม่ต้องเชื่อมต่อระบบใดๆ และแค่อยากได้วิดีโอ ก็ข้ามงานวิศวกรรมไปได้เลย สตูดิโอของเราครอบโมเดลเดียวกันไว้ พร้อมการตรวจสอบไฟล์ที่อัปโหลด การอัดเสียงในเบราว์เซอร์ สตอเรจ และการดาวน์โหลด

รีเควสต์ OmniHuman 2 API มีอะไรบ้าง

รีเควสต์มีฟิลด์บังคับสองฟิลด์และฟิลด์ไม่บังคับหนึ่งฟิลด์ URL ของภาพชี้ไปยังบุคคล (หรือหลายคน) ที่จะทำให้เคลื่อนไหว URL ของเสียงชี้ไปยังเสียงพูดหรือเพลงที่ขับเคลื่อนการแสดง ส่วนพรอมต์ที่ไม่บังคับใช้บรรยายการเคลื่อนไหว อารมณ์ รายละเอียดฉาก และการเคลื่อนกล้อง ผลลัพธ์มักส่งแบบอะซิงโครนัสผ่านคิว คุณส่งงาน ได้รับ request ID แล้วโพลสถานะ หรือรับเว็บฮุกเมื่อวิดีโอพร้อม

  • image_url — บังคับ ภาพนิ่งที่จะทำให้เคลื่อนไหว
  • audio_url — บังคับ MP3 หรือ WAV ที่กำหนดความยาวและลิปซิงก์
  • prompt — ไม่บังคับ รองรับภาษาอังกฤษ จีน ญี่ปุ่น เกาหลี สเปน (เม็กซิโก) และอินโดนีเซีย

ข้อจำกัดอินพุตที่ควรตรวจก่อน

รีเควสต์ที่ถูกปฏิเสธเสียทั้งเวลาและบางครั้งก็เสียเงิน จึงควรตรวจสอบฝั่งคุณก่อนเรียกโมเดล ภาพต้องเป็นฟอร์แมตทั่วไปอย่าง JPEG, PNG, WEBP, BMP, TIFF, GIF หรือ HEIC ขนาดไม่เกิน 30 MB ด้านละ 300 ถึง 6000 พิกเซล และอัตราส่วนกว้างต่อสูงตั้งแต่ 0.4 ถึง 2.5 ส่วนเสียงต้องเป็น WAV หรือ MP3 ไม่เกิน 15 MB และยาวระหว่าง 4 ถึง 300 วินาที

ไฟล์ที่อัดจากเบราว์เซอร์มักเป็น WebM หรือ Opus ซึ่งโมเดลไม่รับ ให้แปลงเป็น WAV หรือ MP3 ก่อนอัปโหลด สตูดิโอของเราเข้ารหัสไฟล์อัดเสียงใหม่เป็น WAV โมโน 22.05 kHz ซึ่งทำให้คลิปห้านาทียังอยู่ในขีดจำกัดขนาด

ผลลัพธ์และการคิดค่าบริการ

งานที่เสร็จแล้วจะส่ง URL ของไฟล์วิดีโอกลับมา พร้อมความยาวที่ใช้คิดค่าบริการ ซึ่งเท่ากับความยาวของเสียงอินพุต ผลลัพธ์เป็น MP4 ความละเอียด 720p แบบเนทีฟ URL ของผู้ให้บริการอาจหมดอายุ ระบบที่ใช้งานจริงจึงควรคัดลอกไฟล์ไปเก็บในสตอเรจของตัวเองทันทีที่งานเสร็จ แทนการลิงก์ไปยังผู้ให้บริการโดยตรง

ค่าใช้จ่ายเพิ่มตามจำนวนวินาทีที่เรนเดอร์ จึงควรวัดความยาวเสียงบนเซิร์ฟเวอร์ อย่าเชื่อความยาวที่ส่งมาจากเบราว์เซอร์ และจองค่าใช้จ่ายไว้ก่อนส่งงาน เพื่อไม่ให้งานที่รันพร้อมกันใช้ยอดเงินเกิน

โฟลว์ที่พร้อมใช้งานจริง

รูปแบบที่เราใช้กับทุกการเรนเดอร์บนเว็บไซต์นี้

  1. 1อัปโหลดไปยังสตอเรจส่วนตัวออก signed upload URL อายุสั้น ห้ามเปิดเผยลิงก์สาธารณะอายุยาวไปยังรูปของผู้ใช้
  2. 2ตรวจสอบฝั่งเซิร์ฟเวอร์วัดความยาวเสียงใหม่และยืนยันว่ามีไฟล์ทั้งสองก่อนเรียกเก็บเงินใดๆ
  3. 3จองก่อน แล้วค่อยส่งงานจองเครดิตแบบอะตอมมิก ส่งงาน และคืนเครดิตอัตโนมัติถ้าส่งงานไม่สำเร็จ
  4. 4ปิดงานแบบ idempotentเมื่อได้รับเว็บฮุกหรือโพลเจอ ให้ดึงผลลัพธ์ เก็บไฟล์ MP4 และทำเครื่องหมายว่างานเสร็จเพียงครั้งเดียว

เมื่อไรที่สตูดิโอแบบไม่ต้องเขียนโค้ดเป็นทางเลือกที่ดีกว่า

การสร้างไปป์ไลน์ข้างต้นใช้เวลาหลายวัน ทั้งสตอเรจ การตรวจสอบ คิว เว็บฮุก การลองใหม่ และการเรียกเก็บเงิน ถ้าเป้าหมายของคุณคือคอนเทนต์ ไม่ใช่ฟีเจอร์ของผลิตภัณฑ์ สตูดิโอของเราให้ผลลัพธ์ OmniHuman 2.0 แบบเดียวกันโดยทำทุกอย่างไว้ให้แล้ว เราไม่มี API สาธารณะของตัวเอง เว็บไซต์นี้ออกแบบมาสำหรับครีเอเตอร์และนักการตลาดที่ต้องการวิดีโอที่เสร็จสมบูรณ์

จัดการความล้มเหลวและการลองใหม่

มองทุกงานว่าอาจล้มเหลวได้ ผู้ให้บริการอาจปฏิเสธอินพุต หมดเวลาเมื่อโหลดสูง หรือส่งผลลัพธ์ที่ดาวน์โหลดไม่ได้ เก็บคอลัมน์สถานะ (queued, running, done, failed) ของแต่ละงาน ทำขั้นตอนปิดงานให้เป็น idempotent เพื่อไม่ให้เว็บฮุกที่ซ้ำประมวลผลสองครั้ง และคืนยอดที่จองไว้เมื่องานล้มเหลว

โพลไว้เป็นทางสำรองแม้จะใช้เว็บฮุก เครื่องพัฒนาบนเครื่องตัวเองรับเว็บฮุกไม่ได้ และเว็บฮุกในระบบจริงก็ล่าช้าบ้างเป็นครั้งคราว

  • เก็บ request ID ของผู้ให้บริการไว้ก่อนตอบกลับผู้ใช้
  • เซ็น URL อินพุตใหม่ให้มีอายุนานกว่าเวลารอคิวที่คาดไว้
  • บันทึกข้อผิดพลาดของผู้ให้บริการตามตัวอักษร เพราะมักระบุขีดจำกัดที่เกินไว้ชัดเจน

คำถามที่พบบ่อย

omnihuman2.ai มี API สาธารณะไหม?

ไม่มี เรารันโมเดลให้ครีเอเตอร์ผ่านเว็บสตูดิโอ นักพัฒนาเข้าถึง OmniHuman 2 ได้ผ่านผู้ให้บริการโมเดลอย่างเป็นทางการ

OmniHuman 2 API รับเสียงยาวสูงสุดเท่าไร?

300 วินาที ขั้นต่ำคือ 4 วินาที และไฟล์ต้องเป็น MP3 หรือ WAV ขนาดไม่เกิน 15 MB

API ส่งผลลัพธ์ความละเอียดเท่าไร?

เวอร์ชัน 2.0 เรนเดอร์ที่ 720p แบบเนทีฟและส่งกลับเป็นไฟล์ MP4

API เป็นแบบซิงโครนัสไหม?

โดยทั่วไปไม่ใช่ งานใช้เวลาเป็นนาที ผู้ให้บริการจึงใช้คิวร่วมกับการโพลหรือเว็บฮุก

ส่งไฟล์อัดเสียง WebM ได้ไหม?

ส่งตรงๆ ไม่ได้ ให้แปลงเป็น WAV หรือ MP3 ก่อน ไฟล์อัดจากเบราว์เซอร์ส่วนใหญ่ต้องเข้ารหัสใหม่

คิดค่าใช้งานอย่างไร?

คิดตามจำนวนวินาทีของผลลัพธ์ ซึ่งเท่ากับความยาวของเสียงอินพุต

ควรคัดลอกวิดีโอผลลัพธ์ไปเก็บในสตอเรจของตัวเองไหม?

ควร URL ผลลัพธ์ของผู้ให้บริการอาจหมดอายุ ให้ดาวน์โหลดไฟล์ MP4 ไปเก็บในสตอเรจของคุณทันทีที่งานเสร็จ

งานหนึ่งปกติใช้เวลานานเท่าไร?

ขึ้นอยู่กับความยาวคลิปและปริมาณคิว ในการทดสอบของเรา คลิปยาวราวห้าวินาทีเสร็จในประมาณสองนาทีตั้งแต่ต้นจนจบ จึงควรออกแบบ UI ให้รองรับการรอเป็นนาที ไม่ใช่เป็นวินาที

สำรวจต่อ

ทำให้รูปของคุณพูดได้

พรีวิวฟรี