このページでは、モデルの成り立ち、バージョンごとの変化、一般のクリエイターが使う方法を解説します。最初にお断りしておくと、omnihuman2.aiはライセンスを受けたプロバイダー経由でモデルを提供する独立したサービスです。ByteDanceやBytePlusではなく、両社から推奨を受けているわけでもありません。
ByteDance OmniHuman 2の成り立ち
OmniHumanシリーズは2025年初めに発表された研究プロジェクトから始まりました。切り抜いた顔を動かすだけでなく、1枚の写真から全身でジェスチャーする人物を生成できる点が注目されました。その後のリリースでリアルさと制御性が向上し、バージョン1.5はモデルホスティングプラットフォームを通じて広く利用できるようになりました。
バージョン2.0が現在の商用リリースです。BytePlusはこれを映画品質と位置づけ、カメラワークと体の動き、複数人のシーン、ジェスチャー制御を備えたモデルとしており、リップシンクと表情に特化したアバター向けの派生モデルも別途提供しています。
モデルでできること
公開されている製品説明と入力仕様によると、次のことができます。
- 1枚の画像を、4秒から最長5分までの話し声や歌でアニメーションにする。
- 1枚の集合写真から複数人のシーンを生成する。
- テキストプロンプトでカメラワーク、体の動き、ジェスチャーを指示できる。
- 6言語のプロンプトに対応し、デフォルメ、3D、動物のキャラクターにも使える。
- ネイティブ720pで動画を出力する。
利用する方法
大きく分けて2つのルートがあります。開発者は公式のクラウドやモデルホスティングのAPIからモデルを呼び出せますが、アップロード、キュー、ストレージ、課金は自分で処理する必要があります。動画を作りたいだけのクリエイターは、このサイトのようなホスト型スタジオを使えます。技術的なパイプラインはすでに構築済みで、動画1秒ごとの従量課金です。
どちらのルートでも入力は同じです。鮮明な写真、MP3またはWAVファイル、そして必要に応じて短い演出プロンプトです。
責任ある利用
実在の人物のリアルなしゃべる動画は、悪用される恐れがあります。自分が権利を持つか、使用の許可を得た写真と声だけをアニメーションにし、プラットフォームが求める場合はAI生成コンテンツであることを明示してください。また、他人へのなりすましや視聴者を欺く目的では決して使わないでください。利用規約では人を欺くディープフェイクを禁止しており、悪用の報告があれば対応します。
このサイトについて
omnihuman2.aiはNexa Labs, LLCが運営しています。OmniHumanは各権利者の商標であり、当サービスで動作するモデルを説明するためにその名称を使用しています。公式発表、研究の詳細、エンタープライズ契約については、ByteDanceおよびBytePlusに直接お問い合わせください。
モデルの仕組みをざっくり解説
OmniHumanは、拡散トランスフォーマー(Diffusion Transformer)系の動画モデルに属します。学習時には、音声、参照する外見、ポーズ、テキストといった複数の信号を同時に条件として人物の動きを生成することを学びます。研究で「オムニ条件付き(omni-conditioned)」と表現されているのはこのためです。これらの条件を組み合わせることで、顔のアップだけを学習するモデルよりもはるかに多様な動画データから学べます。
推論時に与えるのは、参照画像と音声、必要に応じてテキストプロンプトだけです。モデルはそこから体のポーズ、顔の動き、カメラの挙動を推定します。入力画像がこれほど重要なのもそのためです。画像が人物の見た目、フレーミング、ライティング、そして体のどの部分を動かせるかを決めるのです。
バージョンの比較
公開されたリリースの簡単なまとめです。
- OmniHuman-1:1枚の画像からの全身アニメーションを示した研究リリース。
- OmniHuman 1.5:広くホスティングされたバージョン。プロンプトによる誘導、任意の話者マスク、短いクリップ向けの720pまたは1080p出力に対応。
- OmniHuman 2.0:商用リリース。最長5分のクリップ、複数人のシーン、カメラ・体・ジェスチャーの制御に720pで対応。
クリエイターにとっての意味
こうしたモデルが登場する前は、話すプレゼンターの動画にはカメラと出演者、そして編集が必要でした。今では1枚の画像でレギュラーシリーズ全体をまかなえるため、小さなチームにとって解説動画、広告、音楽コンテンツのコスト構造が変わります。720p出力と数分の生成時間というトレードオフは、ほとんどのSNSやWeb向けフォーマットでは十分許容範囲です。
よくある質問
OmniHuman 2はどこが作っていますか?
OmniHumanはByteDanceが開発し、BytePlusや提携モデルプラットフォームを通じて商用提供されています。
omnihuman2.aiはByteDanceの公式サイトですか?
いいえ。当サービスはライセンスを受けたプロバイダー経由でモデルを提供する独立したサービスで、ByteDanceやBytePlusとは提携しておらず、推奨も受けていません。
OmniHumanはTikTokやCapCutで使えますか?
ByteDanceの一般向けアプリについてはお答えできません。このサイトでは、ブラウザからOmniHuman 2.0モデルを直接利用できます。
OmniHuman 2には何を入力すればいいですか?
画像1枚と、4秒〜5分のMP3またはWAV音声ファイル1つ、そして任意でテキストプロンプトです。
生成した動画を商用利用できますか?
有料プランなら可能です。ただし、アップロードする写真と音声の権利をお持ちであることが条件です。
研究論文はどこで読めますか?
ByteDanceの研究チームが公開しているOmniHumanの技術レポートを検索してみてください。
OmniHumanはオープンソースですか?
研究は論文として公開されていますが、製品版の2.0モデルはダウンロード可能な重みではなく、ByteDanceのクラウドや提携プラットフォームを通じた商用サービスとして提供されています。
BytePlusが紹介しているアバター版とは何ですか?
BytePlusでは、カメラ、体、複数人のパフォーマンスを重視したメインの2.0モデルとは別に、リップシンクと表情に特化したアバター向けモデルも掲載されています。