رفتن به محتوا

توسعه‌دهندگان · به‌روزرسانی: مهر ۱۴۰۵

API OmniHuman 2: ورودی‌ها، محدودیت‌ها و نحوهٔ کار

اگر API OmniHuman 2 را برای یک محصول بررسی می‌کنید، جزئیات مهم ساختار درخواست، محدودیت‌های ورودی و نحوهٔ برگشت نتیجه است. این صفحه همه را بر اساس مشخصات منتشرشده از سوی ارائه‌دهندگان میزبانی، یک‌جا خلاصه می‌کند و توضیح می‌دهد پیش از ارسال درخواست چه چیزهایی را باید در کد خودتان مدیریت کنید.

عکس+صدا=ویدیو

صدا
عکس ندارید؟ امتحان کنید:
  • پیش‌نمایش رایگان
  • ورود با Google
  • آپلودهای خصوصی
تبلیغات UGC
آواز
چندنفره
برای هر ویدیو
۵ دقیقه
خروجی
720p
صحنه‌های گروهی
چندنفره
زبان
۶

اگر نیازی به یکپارچه‌سازی ندارید و فقط ویدیو می‌خواهید، می‌توانید از کارهای مهندسی بگذرید: استودیوی ما همان مدل را همراه با اعتبارسنجی آپلود، ضبط در مرورگر، ذخیره‌سازی و دانلود در اختیارتان می‌گذارد.

یک درخواست API OmniHuman 2 شامل چه چیزهایی است

هر درخواست دو فیلد الزامی و یک فیلد اختیاری دارد. آدرس تصویر به فرد (یا افرادی) اشاره می‌کند که باید متحرک شوند؛ آدرس صدا به گفتار یا آهنگی اشاره می‌کند که اجرا را هدایت می‌کند؛ پرامپت اختیاری هم حرکت، حال‌وهوا، جزئیات صحنه و حرکت دوربین را توصیف می‌کند. نتیجه معمولاً به‌صورت ناهم‌زمان و از طریق صف تحویل داده می‌شود: درخواست را ارسال می‌کنید، یک شناسهٔ درخواست می‌گیرید و بعد وضعیت را با پرس‌وجوی دوره‌ای (polling) دنبال می‌کنید یا وقتی ویدیو آماده شد یک وب‌هوک دریافت می‌کنید.

  • image_url — الزامی؛ تصویر ثابتی که باید متحرک شود.
  • audio_url — الزامی؛ فایل MP3 یا WAV که طول ویدیو و لیپ‌سینک را تعیین می‌کند.
  • prompt — اختیاری؛ به زبان‌های انگلیسی، چینی، ژاپنی، کره‌ای، اسپانیایی (مکزیک) و اندونزیایی پشتیبانی می‌شود.

محدودیت‌های ورودی که اول باید اعتبارسنجی کنید

درخواست‌های ردشده وقت و گاهی پول هدر می‌دهند، پس پیش از فراخوانی مدل، در سمت خودتان اعتبارسنجی کنید. تصویر باید فرمتی رایج مثل JPEG، PNG، WEBP، BMP، TIFF، GIF یا HEIC داشته باشد، حداکثر ۳۰ مگابایت باشد، هر ضلعش بین ۳۰۰ تا ۶۰۰۰ پیکسل باشد و نسبت عرض به ارتفاعش از ۰٫۴ تا ۲٫۵. صدا باید WAV یا MP3، حداکثر ۱۵ مگابایت و بین ۴ تا ۳۰۰ ثانیه باشد.

صداهای ضبط‌شده در مرورگر معمولاً WebM یا Opus هستند که مدل آن‌ها را نمی‌پذیرد. پیش از آپلود آن‌ها را به WAV یا MP3 تبدیل کنید — استودیوی ما صداهای ضبط‌شده را به WAV تک‌کاناله با نرخ ۲۲٫۰۵ کیلوهرتز تبدیل می‌کند که یک کلیپ پنج‌دقیقه‌ای را زیر محدودیت حجم نگه می‌دارد.

خروجی و صورت‌حساب

کار تکمیل‌شده یک آدرس فایل ویدیو و مدت زمانی را که برای صورت‌حساب استفاده می‌شود برمی‌گرداند که با طول صدای ورودی برابر است. خروجی فایل MP4 با کیفیت 720p بومی است. آدرس‌های ارائه‌دهنده ممکن است منقضی شوند، پس سیستم‌های عملیاتی باید به‌محض پایان کار، فایل را در فضای ذخیره‌سازی خودشان کپی کنند، نه اینکه مستقیم به ارائه‌دهنده لینک بدهند.

چون هزینه با تعداد ثانیه‌های رندرشده بالا می‌رود، مدت صدا را روی سرور اندازه بگیرید — هرگز به مدتی که مرورگر می‌فرستد اعتماد نکنید — و پیش از ارسال، هزینه را رزرو کنید تا کارهای هم‌زمان نتوانند بیش از موجودی خرج کنند.

یک روند آمادهٔ محیط عملیاتی

الگویی که برای هر رندر در این سایت اجرا می‌کنیم:

  1. 1آپلود در فضای ذخیره‌سازی خصوصیآدرس‌های آپلود امضاشده با عمر کوتاه صادر کنید؛ هرگز لینک عمومی بلندمدت به عکس کاربران ندهید.
  2. 2اعتبارسنجی در سمت سرورپیش از هر کسر هزینه، طول صدا را دوباره اندازه بگیرید و از وجود هر دو فایل مطمئن شوید.
  3. 3اول رزرو، بعد ارسالاعتبارها را به‌صورت اتمیک رزرو کنید، کار را ارسال کنید و اگر ارسال ناموفق بود، خودکار بازگشت بدهید.
  4. 4نهایی‌سازی idempotentبا رسیدن وب‌هوک یا در پرس‌وجوی دوره‌ای، نتیجه را بگیرید، فایل MP4 را ذخیره کنید و کار را دقیقاً یک بار به‌عنوان انجام‌شده علامت بزنید.

کی استودیوی بدون کدنویسی انتخاب بهتری است

ساختن روند بالا چند روز کار می‌برد: ذخیره‌سازی، اعتبارسنجی، صف‌ها، وب‌هوک‌ها، تلاش‌های مجدد و صورت‌حساب. اگر هدفتان تولید محتواست، نه افزودن قابلیت به یک محصول، استودیوی ما همان خروجی OmniHuman 2.0 را با همهٔ این کارهای از پیش انجام‌شده به شما می‌دهد. ما خودمان API عمومی ارائه نمی‌دهیم؛ این سایت برای تولیدکنندگان محتوا و بازاریاب‌هایی طراحی شده که ویدیوی آماده می‌خواهند.

مدیریت خطاها و تلاش مجدد

با هر کار طوری رفتار کنید که ممکن است شکست بخورد: ارائه‌دهنده ممکن است یک ورودی را رد کند، زیر بار سنگین به تایم‌اوت بخورد یا نتیجه‌ای برگرداند که قابل دانلود نیست. برای هر کار یک ستون وضعیت نگه دارید (در صف، در حال اجرا، انجام‌شده، ناموفق)، مرحلهٔ نهایی‌سازی را idempotent کنید تا وب‌هوک تکراری دو بار پردازش نشود و در صورت شکست، هر موجودی رزروشده را برگردانید.

حتی وقتی از وب‌هوک استفاده می‌کنید، پرس‌وجوی دوره‌ای را به‌عنوان پشتیبان نگه دارید. سیستم‌های توسعهٔ محلی نمی‌توانند وب‌هوک دریافت کنند و وب‌هوک‌های محیط عملیاتی هم گاهی با تأخیر می‌رسند.

  • شناسهٔ درخواست ارائه‌دهنده را پیش از پاسخ دادن به کاربر ذخیره کنید.
  • آدرس‌های ورودی را با بازهٔ اعتباری طولانی‌تر از زمان مورد انتظار صف دوباره امضا کنید.
  • خطاهای ارائه‌دهنده را عیناً لاگ کنید؛ معمولاً دقیقاً همان محدودیتی را که رد شده نام می‌برند.

سؤالات متداول

آیا omnihuman2.ai یک API عمومی ارائه می‌دهد؟

نه. ما مدل را از طریق استودیوی تحت وب برای تولیدکنندگان محتوا اجرا می‌کنیم. توسعه‌دهندگان می‌توانند از طریق ارائه‌دهندگان رسمی مدل به OmniHuman 2 دسترسی داشته باشند.

حداکثر طول صدا در API OmniHuman 2 چقدر است؟

۳۰۰ ثانیه. حداقل ۴ ثانیه است و فایل باید MP3 یا WAV و کمتر از ۱۵ مگابایت باشد.

API چه رزولوشنی برمی‌گرداند؟

نسخهٔ 2.0 به‌صورت بومی با کیفیت 720p رندر می‌کند و یک فایل MP4 برمی‌گرداند.

آیا API هم‌زمان (synchronous) است؟

معمولاً نه. کارها چند دقیقه طول می‌کشند، پس ارائه‌دهندگان از صف با پرس‌وجوی دوره‌ای یا وب‌هوک استفاده می‌کنند.

می‌توانم فایل ضبط‌شدهٔ WebM بفرستم؟

نه به‌طور مستقیم. اول آن را به WAV یا MP3 تبدیل کنید؛ بیشتر صداهای ضبط‌شده در مرورگر نیاز به تبدیل دارند.

هزینهٔ استفاده چطور محاسبه می‌شود؟

بر اساس ثانیه‌های خروجی که برابر با طول صدای ورودی شماست.

باید ویدیوی خروجی را در فضای ذخیره‌سازی خودم کپی کنم؟

بله. آدرس نتایج ارائه‌دهنده ممکن است منقضی شود، پس به‌محض تکمیل کار، فایل MP4 را در فضای ذخیره‌سازی خودتان دانلود کنید.

هر کار معمولاً چقدر طول می‌کشد؟

به طول کلیپ و بار صف بستگی دارد. در تست خودمان، کلیپی حدوداً پنج‌ثانیه‌ای از ابتدا تا انتها در حدود دو دقیقه تمام شد؛ پس رابط کاربری‌تان را بر اساس دقیقه طراحی کنید، نه ثانیه.

بیشتر بخوانید

عکستان را به حرف بیاورید.

پیش‌نمایش رایگان.