OmniHuman 2は、ByteDanceの音声駆動型の人物動画モデルです。静止画1枚と音声クリップ1つを渡すと、その人物が音に合わせて話したり歌ったりする動画を生成します。自然な表情、手のジェスチャー、体の動き、さらに指定すればカメラワークも加わります。読みながら自分の写真をアップロードして、一緒に試してみてください。
始める前に用意するもの
OmniHuman 2に必要な入力はちょうど2つで、任意の追加項目が1つあります。モデルはこれらからパフォーマンス全体を組み立てるので、どんな設定よりも入力を正しく用意することが重要です。
- 画像:JPG、PNG、WEBP(その他の一般的な形式も可)、各辺300〜6000ピクセル、30MB未満、アスペクト比0.4〜2.5。
- 音声クリップ:MP3またはWAV、長さ4秒〜5分、15MB未満。完成した動画の長さは音声とまったく同じになります。
- 任意:ジェスチャー、雰囲気、シーンの詳細、カメラワークを説明する短いテキストプロンプト。英語、中国語、日本語、韓国語、スペイン語、インドネシア語のプロンプトに対応しています。
OmniHuman 2の使い方をステップごとに
ショーケースのすべての動画で私たちが使っているワークフローをご紹介します。
- 1鮮明な写真を選ぶ顔がシャープで均一に照らされ、髪や手、マイクで隠れていない画像を選びましょう。上半身や全身のショットならOmniHuman 2が手のジェスチャーをつける余地があり、顔のアップなら顔に焦点が集まります。
- 2音声を用意するMP3やWAVをアップロードするか、ブラウザから直接録音します。BGMのない、響きの少ない話し声がいちばん正確にリップシンクします。歌の場合は、伴奏を小さくミックスしたクリアなボーカルトラックが最適です。
- 3任意でプロンプトを書く人物にしてほしいことを1〜2文の短い文で書きます。たとえば「笑顔で、最後のセリフでカメラに身を乗り出す、ゆっくりズームイン」など。何を話すかは音声で決まっているので、書くのは動きと雰囲気だけにしましょう。
- 4生成して進捗を確認生成には長さに応じて通常数分かかります。ページを離れても大丈夫です。完成した動画はライブラリに表示されます。
- 5ダウンロードしてシェア透かしなしのMP4をダウンロードできます。動画は720pで生成され、SNSのフィード、広告、プレゼンに適しています。
OmniHuman 2に合った写真の選び方
画像は完成動画の人物の見た目、フレーミング、ライティング、スタイルを決めるので、30秒ほど考える価値があります。OmniHuman 2は実在の人物に限りません。イラスト、3Dキャラクター、絵画、さらには顔が認識できる動物もアニメーションにできます。
ポッドキャスト、インタビュー、デュエットなど、1つのシーンで複数人に話させたい場合は、全員がフレームに入った写真を1枚使い、誰が話すかをプロンプトで指定してください。複数人のパフォーマンスは、OmniHuman 1.5からの最もわかりやすい進化の一つです。
OmniHuman 2が従うプロンプトの書き方
プロンプトは具体的で、体の動きに即しているほど効果的です。ジェスチャー、感情、カメラワークを明示し、1つの文に3つ以上の指示を詰め込まないようにしましょう。結果が騒がしすぎると感じたら、指示を足すのではなく減らしてください。
「ゆっくりズームイン」「固定のミディアムショット」「ゆるやかに周回」といったカメラの指示や、「指で数える」「カメラを指さす」「商品を掲げる」といったジェスチャーも理解されます。
リップシンクをよくするコツ
リップシンクの問題のほとんどは、モデルではなく入力素材が原因です。再生成する前に、まず次の点を確認しましょう。
- 音声の冒頭と末尾の長い無音をカットする。動画にもそのまま反映されます。
- 写真では口元が完全に見えるようにする。ヒゲは問題ありませんが、口を手で覆うのはNGです。
- 強いリバーブや話し声の下の音楽は避ける。モデルが頼りにする音節がぼやけてしまいます。
- 長い台本の場合は、まず5〜10秒の短いテストを生成してから、フルテイクを生成する。
入力の上限:OmniHuman 2とOmniHuman 1.5の比較
| 機能 | OmniHuman 1.5 | OmniHuman 2 |
|---|---|---|
| 音声の最大長 | 1080pで30秒・720pで60秒 | 最長300秒 |
| 1シーンの人数 | 話者は1人(マスクで指定) | 複数人のパフォーマンス |
| 出力 | 720pまたは1080p | ネイティブ720p |
よくある質問
OmniHuman 2を使うのに何かインストールする必要はありますか?
いいえ。すべてブラウザで動作します。写真をアップロードして音声を追加すれば、動画は私たちのサーバーで生成されます。
OmniHuman 2の動画はどれくらいの長さまで作れますか?
4秒〜5分の音声に対応しており、動画の長さは音声とぴったり同じになります。
アニメ、絵画、3Dキャラクターも使えますか?
はい。顔がはっきり見えていれば、イラスト、3Dレンダリング、動物のキャラクターも使えます。
動画1本で何クレジット使いますか?
動画1秒あたり10クレジットです。30秒のクリップなら300クレジットで、最小は4秒のクリップの40クレジットです。
1本の動画で複数人に話させることはできますか?
はい。全員がフレームに入った写真を1枚使い、誰が話すかをプロンプトで指定してください。複数人のシーンはOmniHuman 2の新機能です。
写真は非公開で保管されますか?
はい。アップロードしたファイルはあなたのアカウントに非公開で保存され、あなたの動画の生成にのみ使われます。