OmniHuman 2 مدل ویدیوی انسانیِ مبتنی بر صدای ByteDance است. یک تصویر ثابت و یک کلیپ صوتی به آن میدهید و ویدیویی میسازد که در آن فرد هماهنگ با صدا حرف میزند یا آواز میخواند، با حالت طبیعی چهره، ژست دست، حرکت بدن و اگر بخواهید، حرکت دوربین. میتوانید همین حالا که میخوانید عکس خودتان را آپلود کنید و قدمبهقدم پیش بروید.
پیش از شروع به چه چیزهایی نیاز دارید
OmniHuman 2 دقیقاً دو ورودی لازم دارد و یک ورودی اختیاری هم میپذیرد. درست انتخاب کردن اینها از هر تنظیمی مهمتر است، چون مدل کل اجرا را از روی آنها میسازد.
- یک تصویر: JPG، PNG یا WEBP (فرمتهای رایج دیگر هم کار میکنند)، بین ۳۰۰ تا ۶۰۰۰ پیکسل در هر ضلع، کمتر از ۳۰ مگابایت و با نسبت تصویر بین ۰٫۴ تا ۲٫۵.
- یک کلیپ صوتی: MP3 یا WAV، بین ۴ ثانیه تا ۵ دقیقه، کمتر از ۱۵ مگابایت. ویدیوی نهایی دقیقاً هماندازهٔ صدای شماست.
- اختیاری: یک پرامپت متنی کوتاه که ژستها، حالوهوا، جزئیات صحنه یا حرکت دوربین را توصیف کند. پرامپت به زبانهای انگلیسی، چینی، ژاپنی، کرهای، اسپانیایی و اندونزیایی پشتیبانی میشود.
آموزش قدمبهقدم استفاده از OmniHuman 2
این همان روند کاملی است که برای همهٔ ویدیوهای نمونهکارمان استفاده میکنیم.
- 1یک عکس واضح انتخاب کنیدتصویری انتخاب کنید که چهره در آن واضح و با نور یکنواخت باشد و مو، دست یا میکروفون آن را نپوشانده باشد. عکس نیمتنه یا تمامقد به OmniHuman 2 جا برای ژست دست میدهد؛ عکس بستهٔ صورت تمرکز را روی چهره نگه میدارد.
- 2صدایتان را آماده کنیدیک فایل MP3 یا WAV آپلود کنید یا مستقیم در مرورگر ضبط کنید. گفتار خشک و بدون موسیقی پسزمینه دقیقترین لیپسینک را میدهد. برای آواز، ترک وکال تمیز با صدای سازهای پایین بهترین نتیجه را دارد.
- 3در صورت تمایل پرامپت بنویسیددر یکی دو جملهٔ کوتاه بنویسید فرد چه کار کند — مثلاً «smiles, leans toward the camera on the last line, slow push-in» (لبخند میزند، در جملهٔ آخر به سمت دوربین خم میشود، زوم آرام به جلو). دربارهٔ حرکت و حالوهوا بنویسید، نه دربارهٔ حرفهایش؛ آن را صدا از قبل تعیین کرده است.
- 4بسازید و پیشرفت را دنبال کنیدرندر معمولاً بسته به طول ویدیو چند دقیقه طول میکشد. میتوانید صفحه را ترک کنید؛ ویدیوی آماده در کتابخانهٔ شما ظاهر میشود.
- 5دانلود کنید و به اشتراک بگذاریدفایل MP4 را بدون واترمارک دانلود کنید. ویدیوها با کیفیت 720p رندر میشوند که برای فید شبکههای اجتماعی، تبلیغات و ارائهها مناسب است.
انتخاب عکس مناسب برای OmniHuman 2
تصویر هویت، کادربندی، نور و سبک ویدیوی نهایی را تعیین میکند، پس ارزش سی ثانیه فکر کردن را دارد. OmniHuman 2 به آدمهای واقعی محدود نیست: تصویرسازیها، کاراکترهای سهبعدی، نقاشیها و حتی حیواناتی با چهرهٔ قابلتشخیص همگی متحرک میشوند.
اگر میخواهید چند نفر در یک صحنه حرف بزنند — پادکست، مصاحبه یا دوئت — از یک عکس که همه در کادر هستند استفاده کنید و در پرامپت بنویسید چه کسی حرف میزند. اجرای چندنفره یکی از واضحترین پیشرفتها نسبت به OmniHuman 1.5 است.
نوشتن پرامپتهایی که OmniHuman 2 دنبال میکند
پرامپتها وقتی ملموس و فیزیکی باشند بهترین نتیجه را میدهند. ژست، احساس و حرکت دوربین را نام ببرید و بیش از سه دستور را در یک جمله پشت هم نچینید. اگر نتیجه زیادی شلوغ به نظر میرسد، بهجای اضافه کردن دستور جدید، دستورها را کم کنید.
دستورهای دوربین مثل «slow push-in» (زوم آرام به جلو)، «static medium shot» (نمای متوسط ثابت) یا «gentle orbit» (چرخش ملایم دور سوژه) فهمیده میشوند، همینطور ژستهایی مثل «counts on fingers» (با انگشت میشمارد)، «points at the camera» (به دوربین اشاره میکند) یا «holds the product up» (محصول را بالا میگیرد).
نکتههایی برای لیپسینک بهتر
بیشتر مشکلات لیپسینک از ورودیهاست، نه از مدل. پیش از رندر دوباره، اول اینها را بررسی کنید.
- سکوتهای طولانی ابتدا و انتهای صدا را حذف کنید — ویدیو عیناً آنها را تکرار میکند.
- دهان را در عکس کاملاً پیدا نگه دارید؛ ریش مشکلی ندارد، اما دست روی دهان مشکلساز است.
- از ریورب سنگین یا موسیقی زیر گفتار پرهیز کنید؛ هجاهایی را که مدل به آنها قفل میشود محو میکند.
- برای متنهای طولانی، اول یک تست کوتاه ۵ تا ۱۰ ثانیهای رندر بگیرید، بعد نسخهٔ کامل را.
محدودیتهای ورودی: OmniHuman 2 در برابر OmniHuman 1.5
| قابلیت | OmniHuman 1.5 | OmniHuman 2 |
|---|---|---|
| حداکثر طول صدا | ۳۰ ثانیه با 1080p · ۶۰ ثانیه با 720p | تا ۳۰۰ ثانیه |
| تعداد افراد در صحنه | یک گوینده (با ماسک انتخاب میشود) | اجرای چندنفره |
| خروجی | 720p یا 1080p | 720p بومی |
سؤالات متداول
برای استفاده از OmniHuman 2 باید چیزی نصب کنم؟
نه. همهچیز در مرورگر اجرا میشود: عکس را آپلود میکنید، صدا را اضافه میکنید و ویدیو روی سرورهای ما رندر میشود.
ویدیوی OmniHuman 2 حداکثر چقدر میتواند باشد؟
صدای بین ۴ ثانیه تا ۵ دقیقه پشتیبانی میشود و طول ویدیو دقیقاً با طول صدای شما برابر است.
میتوانم از کاراکتر کارتونی، نقاشی یا سهبعدی استفاده کنم؟
بله. تصویرسازیها، رندرهای سهبعدی و کاراکترهای حیوانی تا وقتی چهرهای کاملاً پیدا داشته باشند کار میکنند.
هر ویدیو چقدر اعتبار مصرف میکند؟
۱۰ اعتبار به ازای هر ثانیه ویدیو. یک کلیپ ۳۰ ثانیهای ۳۰۰ اعتبار مصرف میکند و حداقل مصرف ۴۰ اعتبار برای یک کلیپ ۴ ثانیهای است.
میتوانم چند نفر را در یک ویدیو به حرف بیاورم؟
بله. از یک عکس که همه در کادر هستند استفاده کنید و در پرامپت بنویسید چه کسی حرف میزند. صحنههای چندنفره در OmniHuman 2 تازه اضافه شدهاند.
عکس من خصوصی میماند؟
بله. فایلهای آپلودشده بهصورت خصوصی در حساب شما ذخیره میشوند و فقط برای رندر ویدیوهای خودتان استفاده میشوند.