OmniHuman 2 ialah model video manusia berpandukan audio daripada ByteDance. Anda memberikan satu imej pegun dan satu klip audio, dan ia menghasilkan video di mana individu tersebut bercakap atau menyanyi selari dengan bunyi, dengan ekspresi wajah, gerak isyarat tangan, pergerakan badan yang semula jadi dan, jika diminta, pergerakan kamera. Anda boleh mengikutinya di bawah dengan memuat naik gambar anda sendiri sambil membaca.
Apa yang anda perlukan sebelum bermula
OmniHuman 2 memerlukan tepat dua input dan menerima satu tambahan pilihan. Menyediakan input ini dengan betul lebih penting daripada sebarang tetapan, kerana model membina keseluruhan persembahan daripadanya.
- Satu imej: JPG, PNG atau WEBP (format biasa lain juga boleh), antara 300 hingga 6000 piksel pada setiap sisi, di bawah 30 MB, dengan nisbah aspek antara 0.4 hingga 2.5.
- Satu klip audio: MP3 atau WAV, antara 4 saat hingga 5 minit, di bawah 15 MB. Video akhir sama panjang dengan audio anda.
- Pilihan: prompt teks ringkas yang menerangkan gerak isyarat, suasana, butiran babak atau pergerakan kamera. Prompt dalam bahasa Inggeris, Cina, Jepun, Korea, Sepanyol dan Indonesia disokong.
Cara guna OmniHuman 2, langkah demi langkah
Berikut ialah aliran kerja penuh yang kami gunakan untuk setiap video dalam pameran kami.
- 1Pilih gambar yang jelasPilih imej dengan wajah yang tajam, pencahayaan sekata dan tidak dilindungi rambut, tangan atau mikrofon. Syot separuh badan atau seluruh badan memberi OmniHuman 2 ruang untuk gerak isyarat tangan; syot kepala yang rapat mengekalkan tumpuan pada wajah.
- 2Sediakan audio andaMuat naik MP3 atau WAV atau rakam terus daripada pelayar anda. Pertuturan kering tanpa muzik latar memberikan lip sync yang paling tepat. Untuk nyanyian, trek vokal yang bersih dengan muzik instrumental yang diperlahankan memberikan hasil terbaik.
- 3Tulis prompt pilihanTerangkan apa yang perlu dilakukan oleh individu itu dalam satu atau dua ayat pendek — contohnya “smiles, leans toward the camera on the last line, slow push-in” (tersenyum, condong ke arah kamera pada baris terakhir, kamera mendekat perlahan). Fokus pada pergerakan dan suasana, bukan apa yang diucapkan; audio sudah menentukannya.
- 4Jana dan pantau kemajuanProses render biasanya mengambil masa beberapa minit bergantung pada panjang video. Anda boleh meninggalkan halaman; video yang siap akan muncul dalam pustaka anda.
- 5Muat turun dan kongsiMuat turun MP4 tanpa tera air. Video dirender dalam 720p, sesuai untuk suapan media sosial, iklan dan pembentangan.
Memilih gambar yang sesuai untuk OmniHuman 2
Imej menentukan identiti, bingkai, pencahayaan dan gaya video akhir, jadi ia berbaloi difikirkan selama tiga puluh saat. OmniHuman 2 tidak terhad kepada manusia sebenar: ilustrasi, watak 3D, lukisan malah haiwan dengan wajah yang jelas semuanya boleh dihidupkan.
Jika anda mahukan beberapa orang bercakap dalam satu babak — podcast, temu bual atau duet — gunakan satu gambar dengan semua orang dalam bingkai dan terangkan siapa yang bercakap dalam prompt anda. Persembahan berbilang orang ialah salah satu peningkatan paling ketara berbanding OmniHuman 1.5.
Menulis prompt yang diikuti oleh OmniHuman 2
Prompt paling berkesan apabila ia konkrit dan fizikal. Nyatakan gerak isyarat, emosi dan pergerakan kamera, dan elakkan menyusun lebih daripada tiga arahan dalam satu ayat. Jika hasilnya terasa terlalu sibuk, buang arahan dan bukannya menambah yang baharu.
Arahan kamera seperti “slow push-in” (kamera mendekat perlahan), “static medium shot” (syot sederhana statik) atau “gentle orbit” (kamera mengelilingi perlahan) difahami, begitu juga gerak isyarat seperti “counts on fingers” (mengira dengan jari), “points at the camera” (menuding ke arah kamera) atau “holds the product up” (mengangkat produk).
Tip untuk lip sync yang lebih baik
Kebanyakan masalah lip sync berpunca daripada input, bukan model. Sebelum render semula, semak perkara ini dahulu.
- Buang senyap yang panjang di awal dan akhir audio — video akan meniru senyap itu.
- Pastikan mulut kelihatan sepenuhnya dalam gambar; janggut tiada masalah, tetapi tangan yang menutup mulut bermasalah.
- Elakkan gema yang berat atau muzik di bawah pertuturan; ia mengaburkan suku kata yang dijadikan rujukan oleh model.
- Untuk skrip yang panjang, render ujian pendek 5–10 saat dahulu, kemudian rakaman penuh.
Had input: OmniHuman 2 berbanding OmniHuman 1.5
| Keupayaan | OmniHuman 1.5 | OmniHuman 2 |
|---|---|---|
| Panjang audio maksimum | 30 saat pada 1080p · 60 saat pada 720p | Sehingga 300 saat |
| Bilangan orang setiap babak | Seorang penutur (topeng memilih siapa) | Persembahan berbilang orang |
| Output | 720p atau 1080p | 720p asli |
Soalan lazim
Adakah saya perlu memasang apa-apa untuk guna OmniHuman 2?
Tidak. Semuanya berjalan dalam pelayar anda: anda muat naik gambar, tambah audio dan video dirender di pelayan kami.
Berapa panjang video OmniHuman 2 yang boleh dihasilkan?
Audio antara 4 saat hingga 5 minit disokong, dan panjang video sama tepat dengan panjang audio anda.
Bolehkah saya menggunakan watak kartun, lukisan atau 3D?
Boleh. Ilustrasi, render 3D dan watak haiwan berfungsi asalkan terdapat wajah yang jelas kelihatan.
Berapa banyak kredit yang digunakan untuk satu video?
10 kredit bagi setiap saat video. Klip 30 saat menggunakan 300 kredit, dan minimum ialah 40 kredit untuk klip 4 saat.
Bolehkah saya menjadikan beberapa orang bercakap dalam satu video?
Boleh. Gunakan satu gambar dengan semua orang dalam bingkai dan terangkan siapa yang bercakap dalam prompt. Babak berbilang orang ialah ciri baharu dalam OmniHuman 2.
Adakah gambar saya dirahsiakan?
Ya. Fail yang dimuat naik disimpan secara peribadi dalam akaun anda dan hanya digunakan untuk merender video anda.