رفتن به محتوا

پیشینه · به‌روزرسانی: مهر ۱۴۰۵

ByteDance OmniHuman 2: مدلی که پشت ویدیوهای عکس سخنگوست

ByteDance OmniHuman 2 جدیدترین نسل از مدل متحرک‌سازی انسانِ مبتنی بر صدا است که تیم‌های پژوهشی ByteDance ساخته‌اند و به‌صورت تجاری از طریق ابر BytePlus و پلتفرم‌های مدل همکار عرضه می‌شود. این مدل یک تصویر و یک کلیپ صوتی می‌گیرد و ویدیویی می‌سازد که در آن فرد هماهنگ با صدا حرف می‌زند، آواز می‌خواند یا اجرا می‌کند.

عکس+صدا=ویدیو

صدا
عکس ندارید؟ امتحان کنید:
  • پیش‌نمایش رایگان
  • ورود با Google
  • آپلودهای خصوصی
تبلیغات UGC
آواز
چندنفره
برای هر ویدیو
۵ دقیقه
خروجی
720p
صحنه‌های گروهی
چندنفره
زبان
۶

این صفحه توضیح می‌دهد این مدل از کجا آمده، در نسخه‌های مختلف چه تغییراتی کرده و تولیدکنندگان محتوای معمولی چطور می‌توانند از آن استفاده کنند. یک نکته از همین ابتدا: omnihuman2.ai سرویسی مستقل است که مدل را از طریق یک ارائه‌دهندهٔ دارای مجوز اجرا می‌کند — ما ByteDance یا BytePlus نیستیم و مورد تأیید آن‌ها هم نیستیم.

ByteDance OmniHuman 2 از کجا آمده است

خانوادهٔ OmniHuman به‌عنوان یک پروژهٔ پژوهشی در اوایل سال ۲۰۲۵ معرفی شد و از این نظر چشمگیر بود که به‌جای متحرک کردن یک صورت بریده‌شده، انسان‌هایی تمام‌قد و پرژست را از یک عکس می‌ساخت. نسخه‌های بعدی واقع‌گرایی و کنترل‌پذیری را بهتر کردند و نسخهٔ 1.5 از طریق پلتفرم‌های میزبانی مدل در دسترس گسترده قرار گرفت.

نسخهٔ 2.0 نسخهٔ تجاری فعلی است. BytePlus آن را در سطح کیفیت سینمایی توصیف می‌کند، با حرکت دوربین و بدن، صحنه‌های چندنفره و کنترل ژست، و یک نسخهٔ جداگانهٔ مخصوص آواتار هم ارائه می‌دهد که برای لیپ‌سینک و حالت چهره تنظیم شده است.

این مدل چه کارهایی می‌کند

بر اساس توضیحات منتشرشدهٔ محصول و مشخصات ورودی:

  • متحرک کردن یک تصویر با گفتار یا آواز، از ۴ ثانیه تا ۵ دقیقه.
  • رندر صحنه‌های چندنفره از یک عکس گروهی.
  • پیروی از پرامپت‌های متنی برای حرکت دوربین، حرکت بدن و ژست‌ها.
  • پذیرش پرامپت به شش زبان و کار با کاراکترهای استایل‌دار، سه‌بعدی و حیوانات.
  • خروجی ویدیو با کیفیت 720p بومی.

راه‌های دسترسی

دو مسیر کلی وجود دارد. توسعه‌دهندگان می‌توانند مدل را از طریق API‌های رسمی ابری و پلتفرم‌های میزبانی مدل فراخوانی کنند و آپلود، صف، ذخیره‌سازی و صورت‌حساب را خودشان مدیریت کنند. تولیدکنندگان محتوایی که فقط ویدیو می‌خواهند، می‌توانند از استودیویی آنلاین مثل همین سایت استفاده کنند که در آن زیرساخت فنی از قبل آماده است و به ازای هر ثانیه ویدیو هزینه می‌پردازید.

هر مسیری را انتخاب کنید، ورودی‌ها یکی است: یک عکس واضح، یک فایل MP3 یا WAV و در صورت تمایل یک پرامپت کارگردانی کوتاه.

استفادهٔ مسئولانه

ویدیوی سخنگوی واقع‌گرایانه از افراد واقعی ممکن است سوءاستفاده شود. فقط عکس‌ها و صداهایی را متحرک کنید که مالکشان هستید یا اجازهٔ استفاده‌شان را دارید، محتوای مصنوعی را هر جا پلتفرم‌ها الزام می‌کنند برچسب بزنید و هرگز از این فناوری برای جعل هویت کسی یا گمراه کردن بیننده استفاده نکنید. قوانین ما دیپ‌فیک‌های فریبنده را ممنوع می‌کند و به گزارش‌های سوءاستفاده رسیدگی می‌کنیم.

دربارهٔ این سایت

omnihuman2.ai توسط Nexa Labs, LLC اداره می‌شود. OmniHuman علامت تجاری مالک مربوطهٔ خود است؛ ما از این نام برای توصیف مدلی استفاده می‌کنیم که سرویس‌مان اجرا می‌کند. برای اطلاعیه‌های رسمی، جزئیات پژوهشی و قراردادهای سازمانی، مستقیماً به ByteDance و BytePlus مراجعه کنید.

این مدل در یک نگاه کلی چطور کار می‌کند

OmniHuman از خانوادهٔ مدل‌های ویدیویی دیفیوژن-ترنسفورمر است. در طول آموزش یاد می‌گیرد حرکت انسان را هم‌زمان بر اساس چند سیگنال تولید کند — صدا، ظاهر مرجع، حالت بدن و متن — و به همین دلیل پژوهشگران آن را «omni-conditioned» (شرطی‌شده بر همه‌چیز) توصیف می‌کنند. ترکیب این شرط‌ها باعث می‌شود مدل از داده‌های ویدیویی بسیار متنوع‌تری یاد بگیرد تا مدل‌هایی که فقط سرهای سخنگوی بسته‌کادر را می‌بینند.

در زمان استفاده فقط تصویر مرجع، صدا و در صورت تمایل یک پرامپت متنی می‌دهید؛ مدل حالت بدن، حرکت چهره و رفتار دوربین را از همین‌ها استنباط می‌کند. به همین دلیل تصویر ورودی این‌قدر مهم است: هویت، کادربندی، نور و اینکه کدام بخش‌های بدن برای حرکت در دسترس‌اند را تعیین می‌کند.

نسخه‌ها در یک نگاه

خلاصه‌ای سریع از نسخه‌های عمومی:

  • OmniHuman-1: نسخهٔ پژوهشی که متحرک‌سازی تمام‌قد از یک تصویر را نشان داد.
  • OmniHuman 1.5: نسخه‌ای که به‌طور گسترده میزبانی می‌شود، با هدایت از طریق پرامپت، ماسک اختیاری گوینده و خروجی 720p یا 1080p برای کلیپ‌های کوتاه.
  • OmniHuman 2.0: نسخهٔ تجاری با کلیپ‌هایی تا پنج دقیقه، صحنه‌های چندنفره و کنترل دوربین، بدن و ژست با کیفیت 720p.

چرا برای تولیدکنندگان محتوا مهم است

پیش از مدل‌هایی مثل این، یک مجری سخنگو به دوربین، یک آدم و تدوین نیاز داشت. حالا یک تصویر کل یک مجموعهٔ تکرارشونده را پیش می‌برد و این، حساب‌وکتاب ویدیوهای توضیحی، تبلیغات و محتوای موسیقی را برای تیم‌های کوچک تغییر می‌دهد. محدودیت‌ها — خروجی 720p و چند دقیقه زمان رندر — برای بیشتر قالب‌های شبکه‌های اجتماعی و وب قابل‌قبول‌اند.

سؤالات متداول

OmniHuman 2 را چه کسی ساخته است؟

OmniHuman توسط ByteDance توسعه یافته و به‌صورت تجاری از طریق BytePlus و پلتفرم‌های مدل همکار عرضه می‌شود.

آیا omnihuman2.ai سایت رسمی ByteDance است؟

نه. ما سرویسی مستقل هستیم که مدل را از طریق یک ارائه‌دهندهٔ دارای مجوز اجرا می‌کند و هیچ وابستگی‌ای به ByteDance یا BytePlus نداریم و مورد تأیید آن‌ها هم نیستیم.

آیا OmniHuman در TikTok یا CapCut در دسترس است؟

ما نمی‌توانیم دربارهٔ اپلیکیشن‌های مصرفی ByteDance نظر بدهیم. این سایت در مرورگر دسترسی مستقیم به مدل OmniHuman 2.0 را به شما می‌دهد.

OmniHuman 2 چه ورودی‌ای لازم دارد؟

یک تصویر و یک فایل صوتی MP3 یا WAV بین ۴ ثانیه تا ۵ دقیقه، به‌علاوهٔ یک پرامپت متنی اختیاری.

می‌توانم از خروجی استفادهٔ تجاری کنم؟

در پلن‌های پولی ما، بله — به شرط اینکه حقوق عکس و صدایی که آپلود می‌کنید متعلق به شما باشد.

پژوهش‌های مربوط به آن را کجا بخوانم؟

گزارش‌های فنی OmniHuman را که تیم پژوهشی ByteDance منتشر کرده جست‌وجو کنید.

آیا OmniHuman متن‌باز است؟

پژوهش‌ها به‌صورت مقاله منتشر شده‌اند، اما مدل 2.0 نسخهٔ تولیدی به‌جای وزن‌های قابل‌دانلود، به‌صورت سرویس تجاری از طریق ابر ByteDance و پلتفرم‌های همکار عرضه می‌شود.

نسخهٔ آواتاری که BytePlus به آن اشاره می‌کند چیست؟

BytePlus در کنار مدل اصلی 2.0 که روی دوربین، بدن و اجرای چندنفره تمرکز دارد، یک مدل جداگانهٔ آواتارمحور را هم فهرست کرده که روی لیپ‌سینک و حالت چهره متمرکز است.

بیشتر بخوانید

عکستان را به حرف بیاورید.

پیش‌نمایش رایگان.