このページでは、リップシンクを自然に見せるポイント、最もきれいに仕上げるための音声の準備、さまざまな言語や歌への対応について解説します。
AIリップシンク動画を自然に見せるもの
視聴者が気づくポイントは3つあります。p・b・mのような子音で唇が閉じているか、母音で口が正しい形に開いているか、そして顔のほかの部分も反応しているか。口だけが完璧に動いていても、顔が固まっていれば不自然に見えます。音声から頭部と上半身全体を生成するからこそ、OmniHuman 2のクリップは吹き替えではなく、本人が話しているように感じられるのです。
タイミングは音声ファイルからそのまま取るので、手動で合わせる作業は不要で、長いクリップでもズレは生じません。
きれいにシンクさせるための音声の準備
音声のちょっとした手直しが、精度にいちばん大きく効きます。
- 静かな部屋でマイクに近づいて録音し、反響を避ける。
- 声の下に入っている音楽や効果音は外す。生成後に戻せば大丈夫です。
- 冒頭と末尾の長い無音はカットして、動画が止まったままにならないようにする。
- 音量は一定に保つ。極端に小さな部分は読み取りにくくなります。
- 4秒〜5分のMP3またはWAVを使う(録音した音声は自動で変換されます)。
どの言語の話し声にも対応
口の動きは音そのものに合わせるので、日本語、英語、スペイン語、トルコ語、アラビア語、ヒンディー語など、どの言語の話し声でも同じように機能します。任意の演出プロンプトには対応言語がありますが、音声に言語の制限はありません。そのため、1人のプレゼンター写真を複数言語にローカライズするのにも便利です。同じ画像を、それぞれの吹き替え音声で生成するだけです。
歌のリップシンク
歌は話し声より難しく、長い母音、息継ぎ、リズムがあります。アカペラのステムや伴奏を下げたミックスなど、クリアなボーカルを用意し、プロンプトでパフォーマンスを指定しましょう(「ロングトーンで目を閉じる、ビートに合わせて体を揺らす」など)。フルミックスは動画編集ソフトで戻せます。
よくある不具合と直し方
ほとんどの問題は入力素材が原因で、モデルの設定を変えなくても直せます。口元がぼやける場合は、写真の顔まわりが小さすぎるか、少しピンボケしていることがほとんどです。唇の動きが遅れる場合は、ファイルの冒頭に無音やゆるやかなフェードインが入っていることがよくあります。歯がちらつく場合は、元の写真で口を大きく開けて笑っていることが原因になりがちです。力を抜いて口を軽く閉じた表情のほうが、モデルにとってきれいな出発点になります。
- 口元がぼやける → もっとシャープで大きな顔のトリミングを使う。
- 冒頭で遅れる → 最初の言葉の前の無音をカットする。
- 音節が不明瞭 → 音楽なしで、マイクに近づいて録り直す。
- 歯がちらつく → 自然な表情か、口を閉じた表情の写真を選ぶ。
よくある質問
リップシンクに動画は必要ですか?
いいえ。OmniHuman 2は写真1枚から動画を生成します。必要なのは画像と音声ファイルだけです。
リップシンクはどの言語に対応していますか?
話し言葉ならどの言語でも対応しています。口は文字起こしではなく、音そのものに合わせて動きます。
リップシンクがずれて見えるのはなぜですか?
たいていはBGM、反響、または写真で顔の一部が隠れていることが原因です。ノイズや響きのないクリアな音声にすれば、ほとんど解決します。
歌をリップシンクできますか?
はい。最良の結果を得るにはクリアなボーカルトラックを使い、伴奏はあとから重ねてください。
音声の長さはどれくらいまで大丈夫ですか?
1本の動画につき4秒〜5分です。
撮影済みの映像のリップシンクを直せますか?
このツールは写真から新しい動画を生成するものです。既存の映像のタイミングを合わせ直すなら、動画専用のリップシンクツールのほうが適しています。
動画には元の音声が入っていますか?
はい。ダウンロードしたMP4には、アップロードした音声がそのまま、生成されたパフォーマンスと同期した状態で入っています。
音声の最短の長さはありますか?
はい。音声は4秒以上必要です。それより短い場合は、末尾に短い無音を足して伸ばしてください。