در این صفحه میخوانید چه چیزی لیپسینک را طبیعی نشان میدهد، صدا را چطور برای تمیزترین نتیجه آماده کنید و این مدل با زبانهای مختلف و آواز چطور کنار میآید.
چه چیزی ویدیوی لیپسینک هوش مصنوعی را طبیعی میکند
بیننده به سه چیز دقت میکند: اینکه صامتهایی مثل «پ»، «ب» و «م» لبها را میبندند یا نه، اینکه مصوتها دهان را به شکل درست باز میکنند یا نه، و اینکه بقیهٔ صورت هم واکنش نشان میدهد یا نه. دهانی که بینقص حرکت کند ولی در صورتی خشک و بیحرکت باشد، باز هم مصنوعی به نظر میرسد. ساختن کل سر و بالاتنه از روی صدا همان چیزی است که باعث میشود کلیپهای OmniHuman 2 واقعاً گفتهشده به نظر برسند، نه دوبلهشده.
زمانبندی مستقیماً از فایل صوتی شما گرفته میشود؛ پس نه مرحلهٔ همترازی دستی دارید و نه در کلیپهای طولانی عقبوجلو شدن.
آمادهسازی صدا برای لیپسینک تمیز
اصلاحات کوچک صوتی بیشترین تأثیر را بر دقت دارند:
- نزدیک میکروفون و در اتاقی ساکت ضبط کنید؛ از اکو پرهیز کنید.
- موسیقی و افکتهای صوتی زیر صدا را حذف کنید — بعد از رندر دوباره اضافهشان کنید.
- سکوتهای طولانی ابتدا و انتهای فایل را کوتاه کنید تا ویدیو بیحرکت نماند.
- سطح صدا را یکنواخت نگه دارید؛ بخشهای خیلی آرام سختتر خوانده میشوند.
- از فایل MP3 یا WAV بین ۴ ثانیه تا ۵ دقیقه استفاده کنید (فایلهای ضبطشده خودکار تبدیل میشوند).
هر زبان گفتاری
حرکت لب از خود صدا پیروی میکند، پس گفتار به انگلیسی، اسپانیایی، ترکی، عربی، هندی یا هر زبان دیگری به یک شکل کار میکند. پرامپت کارگردانیِ اختیاری فهرست زبانهای پشتیبانیشدهٔ خودش را دارد، اما صدا چنین محدودیتی ندارد. همین باعث میشود این مدل برای بومیسازی عکس یک مجری به چند زبان کاربردی باشد — همان تصویر را با هر نسخهٔ دوبلهشده رندر بگیرید.
لیپسینک برای آهنگ
آواز سختتر از گفتار است: مصوتهای کشیده، نفسگیریها و ریتم. یک وکال تمیز به مدل بدهید — ترک آکاپلا یا میکسی که صدای سازها در آن پایین آمده — و اجرا را در پرامپت توصیف کنید («eyes closed on long notes, sways to the beat» (روی نتهای کشیده چشمها بسته، با ضرب آهنگ تاب میخورد)). میکس کامل را میتوانید بعداً در برنامهٔ تدوین برگردانید.
ایرادهای رایج و راه رفع آنها
بیشتر مشکلات به ورودیها برمیگردند و بدون تغییر تنظیمات مدل قابل رفعاند. اگر دهان تار به نظر میرسد، معمولاً ناحیهٔ صورت در عکس خیلی کوچک یا کمی خارج از فوکوس است. اگر لبها از صدا عقب میمانند، اغلب در ابتدای فایل سکوت یا فِید-این ملایمی وجود دارد. اگر دندانها چشمک میزنند، معمولاً لبخند خیلی باز در عکس اصلی مقصر است — دهانی آرام و کمی بسته نقطهٔ شروع تمیزتری به مدل میدهد.
- دهان تار ← کادر صورت واضحتر و بزرگتری انتخاب کنید.
- تأخیر در شروع ← سکوت قبل از اولین کلمه را حذف کنید.
- هجاهای نامفهوم ← نزدیکتر به میکروفون و بدون موسیقی دوباره ضبط کنید.
- چشمک زدن دندانها ← عکسی با حالت خنثی یا دهان بسته انتخاب کنید.
سؤالات متداول
برای لیپسینک به ویدیو نیاز دارم؟
نه. OmniHuman 2 ویدیو را از یک عکس میسازد؛ فقط یک تصویر و یک فایل صوتی لازم دارید.
لیپسینک از چه زبانهایی پشتیبانی میکند؟
هر زبان گفتاری. دهان از صدا پیروی میکند، نه از متن پیادهشده.
چرا لیپسینک من درست به نظر نمیرسد؟
معمولاً به خاطر موسیقی پسزمینه، اکو یا صورتی که در عکس تا حدی پوشیده است. صدای تمیز و بدون اکو بیشتر موارد را حل میکند.
میتوانم یک آهنگ را لیپسینک کنم؟
بله. برای بهترین نتیجه از ترک وکال تمیز استفاده کنید و موسیقی را بعداً اضافه کنید.
صدا حداکثر چقدر میتواند طول بکشد؟
برای هر ویدیو بین ۴ ثانیه تا ۵ دقیقه.
میتوانم لیپسینک فیلمی را که قبلاً گرفتهام اصلاح کنم؟
این ابزار از روی عکس ویدیوی جدید میسازد. برای زمانبندی دوبارهٔ فیلم موجود، یک ابزار مخصوص لیپسینک ویدیو گزینهٔ بهتری است.
صدای اصلی من در ویدیو هست؟
بله. فایل MP4 دانلودشده دقیقاً همان صدایی را دارد که آپلود کردهاید، هماهنگ با اجرای ساختهشده.
حداقل طول صدا چقدر است؟
بله، حداقلی وجود دارد: صدا باید دستکم ۴ ثانیه باشد؛ فایل کوتاهتر را میتوانید با یک مکث کوتاه در انتها بلندتر کنید.