رفتن به محتوا

چطور کار می‌کند · به‌روزرسانی: مهر ۱۴۰۵

تبدیل عکس به ویدیو با صدا: بگذارید صدا حرکت را هدایت کند

بیشتر ابزارهای تبدیل تصویر به ویدیو یک عکس را با پرامپت متنی متحرک می‌کنند و صدا را — اگر اصلاً اضافه کنند — بعداً می‌گذارند. تبدیل عکس به ویدیو با صدا به شکل برعکس، یعنی جایی که صدا انیمیشن را هدایت می‌کند، همان کاری است که OmniHuman 2.0 انجام می‌دهد: گفتار و موسیقی تعیین می‌کنند دهان کی حرکت کند، سر کی تکان بخورد و دست کی برای تأکید بالا بیاید.

عکس+صدا=ویدیو

صدا
عکس ندارید؟ امتحان کنید:
  • پیش‌نمایش رایگان
  • ورود با Google
  • آپلودهای خصوصی
تبلیغات UGC
آواز
چندنفره
برای هر ویدیو
۵ دقیقه
خروجی
720p
صحنه‌های گروهی
چندنفره
زبان
۶

این صفحه فرق تولید مبتنی بر پرامپت و مبتنی بر صدا را توضیح می‌دهد، می‌گوید چه نوع صداهایی جواب می‌دهند و چطور صدا را با یک پرامپت کوتاه برای کنترل بیشتر ترکیب کنید.

تبدیل عکس به ویدیو با صدا: مبتنی بر پرامپت یا مبتنی بر صدا

مدل‌های ویدیویی عمومی در ساخت منظره و حرکت دوربینی که با کلمات توصیف شده عالی‌اند، اما نمی‌دانند هر هجا دقیقاً کی ادا می‌شود. مدل‌های مبتنی بر صدا شکل موج را می‌خوانند: صامت‌های انفجاری لب‌ها را می‌بندند، کلمات تکیه‌دار تأکید ایجاد می‌کنند و مکث‌ها به چهره فرصت آرام گرفتن می‌دهند. نتیجه تا سطح فریم هماهنگ است و این برای هر کلیپی که در آن کسی روی صفحه حرف می‌زند یا آواز می‌خواند اهمیت دارد.

با OmniHuman 2 همچنان پرامپت هم دارید — اما پرامپت اجرا و دوربین را شکل می‌دهد، در حالی که زمان‌بندی کاملاً از صدا می‌آید.

چه صداهایی جواب می‌دهند

این مدل بر پایهٔ صدای انسان ساخته شده است. بهترین نتیجه‌ها از این‌ها به دست می‌آید:

  • گویندگی، مصاحبه، درس و بخش‌هایی از پادکست.
  • آواز — تک‌خوانی، دوئت و همخوانی.
  • گفت‌وگو میان دو یا چند نفر در یک کادر.
  • گفتار مصنوعی خروجی‌گرفته از ابزارهای تبدیل متن به گفتار.

ترکیب صدا با یک پرامپت کوتاه

از پرامپت برای چیزهایی استفاده کنید که صدا نمی‌تواند بیان کند: فرد کجا را نگاه کند، دوربین چطور حرکت کند، کدام ژست همراه کدام جمله باشد. آن را در حد یکی دو جمله نگه دارید. «Looks at the camera, opens hands on the question, slow push-in» (به دوربین نگاه می‌کند، هنگام سؤال دست‌ها را باز می‌کند، زوم آرام به جلو) برای یک کلیپ ۲۰ ثانیه‌ای کاملاً کافی است.

از نظر فرمت، فایل MP3 یا WAV بین ۴ ثانیه تا ۵ دقیقه آپلود کنید؛ تصاویر می‌توانند JPG، PNG، WEBP و فرمت‌های دیگر باشند، تا ۳۰ مگابایت.

از عکس و صدا تا ویدیوی نهایی

روند کار در استودیو:

  1. 1تصویرعکس ثابتی را که می‌خواهید زنده شود آپلود کنید.
  2. 2صداصدایی را که باید حرکت را هدایت کند آپلود یا ضبط کنید.
  3. 3کارگردانیدر صورت تمایل یک جمله دربارهٔ اجرا و دوربین اضافه کنید.
  4. 4رندرپیش‌نمایش را رایگان ببینید، بعد یک فایل MP4 با کیفیت 720p رندر بگیرید.

ترکیب با ابزارهای دیگر هوش مصنوعی

بسیاری از تولیدکنندگان محتوا ورودی‌ها را با ابزارهای دیگر می‌سازند: یک مدل تولید تصویر برای کاراکتر، یک ابزار صوتی برای گویندگی و این مدل برای اجرا. این زنجیره هر مرحله را تخصصی نگه می‌دارد — طراحی، صدا، حرکت — و به شما اجازه می‌دهد هر بخش را بدون انجام دوبارهٔ بقیه عوض کنید.

اگر تصویر را خودتان تولید می‌کنید، کاراکتری رو به جلو با دهان پیدا و پس‌زمینهٔ ساده بخواهید؛ این انتخاب‌ها مرحلهٔ متحرک‌سازی بعدی را بسیار قابل‌اعتمادتر می‌کنند.

محدودیت‌هایی که باید بدانید

این مدل آدم‌ها و کاراکترها را متحرک می‌کند، نه کل صحنه را؛ عناصر پس‌زمینه جز در حرکت دوربین تقریباً ثابت می‌مانند. همچنین نمی‌تواند لباس را عوض کند، وسیله اضافه کند یا فرد را به مکان دیگری ببرد — این تصمیم‌ها مربوط به عکس اصلی است.

رسیدن به تمیزترین نتیجه

کیفیت صدا سقف هماهنگی را تعیین می‌کند و وضوح تصویر سقف واقع‌گرایی را. یک چهرهٔ واضح با نور یکنواخت و صدایی خشک و ضبط‌شده از نزدیک میکروفون، بیشتر از هر جمله‌بندی پرامپتی نتیجه را بهتر می‌کند.

سؤالات متداول

می‌توانم موسیقی پس‌زمینه اضافه کنم؟

بعد از رندر در برنامهٔ تدوین اضافه‌اش کنید. موسیقی زیر صدا هنگام ساخت ویدیو ممکن است دقت لیپ‌سینک را کم کند.

طول ویدیو را صدا تعیین می‌کند؟

بله. ویدیو دقیقاً هم‌اندازهٔ صدای شماست، از ۴ ثانیه تا ۵ دقیقه.

می‌تواند منظره را با صدا متحرک کند؟

این مدل برای آدم‌ها و کاراکترها طراحی شده است. صحنه‌های بدون چهره نتیجهٔ معناداری نمی‌دهند.

چه فرمت‌های صوتی پشتیبانی می‌شوند؟

MP3 و WAV. صداهای ضبط‌شده در مرورگر خودکار تبدیل می‌شوند.

به پرامپت نیاز دارم؟

نه. بدون پرامپت، حرکت فقط از صدا می‌آید؛ پرامپت جهت‌دهی اضافه می‌کند.

ویدیوی دانلودشده صدا دارد؟

بله. فایل MP4 صدای اصلی شما را هماهنگ با انیمیشن در خود دارد.

می‌توانم صدای ساخته‌شده با هوش مصنوعی و تصویر ساخته‌شده با هوش مصنوعی را با هم استفاده کنم؟

بله. بسیاری از تولیدکنندگان محتوا یک مدل تولید تصویر، یک صدای TTS و OmniHuman 2 را با هم ترکیب می‌کنند — فقط مطمئن شوید حق استفاده از هر ورودی را دارید.

بیشتر بخوانید

عکستان را به حرف بیاورید.

پیش‌نمایش رایگان.