このページでは、プロンプト駆動と音声駆動の生成の違い、どんな音が使えるか、そして音声と短いプロンプトを組み合わせて動きをコントロールする方法を解説します。
プロンプト駆動と音声駆動、画像から動画を作る2つの方法
一般的な動画モデルは、言葉で説明された風景やカメラワークは得意ですが、音節がいつ発音されるかはわかりません。音声駆動型のモデルは波形を読み取ります。破裂音で唇が閉じ、強調された単語で身振りが生まれ、間で顔が落ち着きます。結果はフレーム単位で同期するので、人が画面上で話したり歌ったりするクリップでは大きな違いになります。
OmniHuman 2でもプロンプトは使えます。ただしプロンプトが決めるのはパフォーマンスとカメラで、タイミングはすべて音から決まります。
使える音声
このモデルは人の声を中心に作られています。最もよい結果が得られるのは次のような音声です。
- ナレーション、インタビュー、授業、ポッドキャストの一部などの話し声。
- 歌。ソロボーカル、デュエット、コーラス。
- 同じフレームに写る2人以上の会話。
- 音声合成ツールから書き出した合成音声。
音声と短いプロンプトを組み合わせる
プロンプトは、音声では表現できないことに使いましょう。人物がどこを見るか、カメラがどう動くか、どのセリフにどのジェスチャーを添えるか。長さは1〜2文で十分です。20秒のクリップなら「カメラを見て、質問のところで両手を広げる、ゆっくりズームイン」で事足ります。
形式としては、4秒〜5分のMP3またはWAVをアップロードしてください。画像はJPG、PNG、WEBPなどに対応し、最大30MBまでです。
画像と音声から完成動画まで
スタジオでの流れは次のとおりです。
- 1画像動かしたい静止画をアップロードします。
- 2音声動きのもとになる音声をアップロードまたは録音します。
- 3演出任意で、パフォーマンスとカメラの指示を1文加えます。
- 4生成無料でプレビューしてから、720pのMP4を生成します。
ほかのAIツールと組み合わせる
多くのクリエイターは、入力素材をほかのツールで作っています。キャラクターは画像生成ツール、ナレーションは音声ツール、そしてパフォーマンスはこのモデル。このパイプラインならデザイン、声、動きの各工程を専門のツールに任せられ、どれか1つを差し替えても、ほかをやり直す必要はありません。
画像を自分で生成する場合は、正面を向いて口元が見え、背景が無地のキャラクターを指定しましょう。そうしておくと、あとのアニメーション工程がずっと安定します。
知っておきたい制限
このモデルが動かすのは人物やキャラクターで、シーン全体ではありません。カメラの動きを除けば、背景の要素はほぼ静止したままです。また、服装を変えたり、小道具を追加したり、人物を別の場所に移したりすることもできません。それらは元の画像の段階で決めておく必要があります。
いちばんきれいに仕上げるには
同期の精度の上限は音声の品質で、リアルさの上限は画像の鮮明さで決まります。シャープで均一に照らされた顔と、響きの少ない、マイクに近づいて録った音声のほうが、プロンプトの言い回しよりも仕上がりを大きく改善します。
よくある質問
BGMを追加できますか?
生成後に編集ソフトで追加してください。生成時に話し声の下に音楽があると、リップシンクの精度が下がることがあります。
動画の長さは音声で決まりますか?
はい。動画の長さは音声とまったく同じで、4秒から5分までです。
音声から風景を動かせますか?
このモデルは人物やキャラクター向けに設計されています。顔のないシーンでは意味のある結果は得られません。
どの音声形式に対応していますか?
MP3とWAVです。ブラウザで録音した音声は自動で変換されます。
プロンプトは必要ですか?
いいえ。プロンプトがなければ動きは音声だけから生まれます。プロンプトを加えると演出を指定できます。
ダウンロードした動画に音は入っていますか?
はい。MP4には、アニメーションと同期した元の音声が入っています。
生成した声と生成した画像を一緒に使えますか?
はい。多くのクリエイターが画像生成ツール、音声合成の声、OmniHuman 2を組み合わせています。それぞれの入力素材の権利があることだけは確認してください。