Halaman ini menerangkan perbezaan antara penjanaan berpandukan prompt dan berpandukan audio, jenis bunyi yang sesuai serta cara menggabungkan audio dengan prompt ringkas untuk kawalan yang lebih baik.
Gambar ke video dengan audio: berpandukan prompt lwn berpandukan audio
Model video umum hebat dalam menghasilkan pemandangan dan pergerakan kamera yang diterangkan dengan perkataan, tetapi ia tidak tahu bila sesuatu suku kata disebut. Model berpandukan audio membaca gelombang bunyi: konsonan letupan merapatkan bibir, perkataan yang ditekan mencetuskan penegasan dan jeda membolehkan wajah kembali tenang. Hasilnya selari hingga ke tahap bingkai, yang penting bagi mana-mana klip di mana seseorang bercakap atau menyanyi di skrin.
Dengan OmniHuman 2 anda masih mendapat prompt — tetapi ia membentuk persembahan dan kamera, manakala masa sepenuhnya datang daripada bunyi.
Audio yang sesuai
Model ini dibina berasaskan suara manusia. Hasil terbaik datang daripada:
- Suara latar, temu bual, pelajaran dan segmen podcast.
- Nyanyian — vokal solo, duet dan korus.
- Dialog antara dua orang atau lebih dalam bingkai yang sama.
- Pertuturan sintetik yang dieksport daripada alat teks-ke-pertuturan.
Menggabungkan audio dengan prompt ringkas
Gunakan prompt untuk perkara yang tidak dapat diungkapkan oleh audio: ke mana individu itu memandang, bagaimana kamera bergerak, gerak isyarat mana yang mengiringi sesuatu baris. Hadkan kepada satu atau dua ayat. “Looks at the camera, opens hands on the question, slow push-in” (memandang kamera, membuka tangan semasa soalan, kamera mendekat perlahan) sudah mencukupi untuk klip 20 saat.
Dari segi format, muat naik MP3 atau WAV antara 4 saat hingga 5 minit; imej boleh dalam format JPG, PNG, WEBP dan lain-lain, sehingga 30 MB.
Daripada imej dan audio ke video siap
Prosesnya dalam studio:
- 1ImejMuat naik gambar pegun yang ingin anda hidupkan.
- 2AudioMuat naik atau rakam trek yang akan menggerakkannya.
- 3ArahanSecara pilihan, tambah satu ayat nota persembahan dan kamera.
- 4RenderPratonton secara percuma, kemudian render MP4 720p.
Menggandingkannya dengan alat AI lain
Ramai pencipta kandungan menyediakan input dengan alat lain: penjana imej untuk watak, alat suara untuk narasi dan model ini untuk persembahan. Aliran kerja ini memastikan setiap langkah lebih khusus — reka bentuk, suara, pergerakan — dan membolehkan anda menukar mana-mana bahagian tanpa mengulang bahagian lain.
Jika anda menjana imej sendiri, minta watak yang menghadap ke depan dengan mulut kelihatan dan latar belakang kosong; pilihan ini menjadikan langkah animasi seterusnya jauh lebih boleh dipercayai.
Had yang perlu diketahui
Model ini menghidupkan manusia dan watak, bukan keseluruhan babak; elemen latar belakang kebanyakannya kekal pegun kecuali pergerakan kamera. Ia juga tidak boleh menukar pakaian, menambah prop atau memindahkan individu ke lokasi baharu — keputusan itu perlu dibuat dalam gambar sumber.
Mendapatkan hasil paling bersih
Kualiti audio menentukan had tertinggi penyegerakan, dan kejelasan imej menentukan had tertinggi realisme. Wajah yang tajam dengan pencahayaan sekata serta rakaman kering yang dekat dengan mikrofon akan memperbaik hasil anda lebih daripada sebarang susunan kata prompt.
Soalan lazim
Bolehkah saya menambah muzik latar?
Tambahkannya dalam perisian suntingan selepas render. Muzik di bawah suara semasa penjanaan boleh mengurangkan ketepatan lip sync.
Adakah audio menentukan panjang video?
Ya. Video sama panjang dengan audio anda, dari 4 saat hingga 5 minit.
Bolehkah ia menghidupkan pemandangan berdasarkan audio?
Model ini direka untuk manusia dan watak. Babak tanpa wajah tidak akan menghasilkan keputusan yang bermakna.
Format audio apakah yang disokong?
MP3 dan WAV. Rakaman pelayar ditukar secara automatik.
Adakah saya perlukan prompt?
Tidak. Tanpa prompt, pergerakan datang sepenuhnya daripada audio; prompt menambah arahan.
Adakah bunyi disertakan dalam video yang dimuat turun?
Ya. Fail MP4 mengandungi audio asal anda yang diselaraskan dengan animasi.
Bolehkah saya menggunakan suara jana AI dan imej jana AI bersama-sama?
Boleh. Ramai pencipta kandungan menggabungkan penjana imej, suara teks-ke-pertuturan dan OmniHuman 2 — cuma pastikan anda mempunyai hak ke atas setiap input.