跳到主要内容

背景 · 更新于2026年10月

字节跳动OmniHuman 2:照片说话视频背后的模型

字节跳动OmniHuman 2是ByteDance研究团队推出的最新一代音频驱动人像动画模型,通过其BytePlus云平台和合作模型平台进行商业化提供。它只需一张图片和一段音频,就能生成画中人随声音说话、唱歌或表演的视频。

照片+声音=视频

声音
没有照片?试试:
  • 免费预览
  • Google登录
  • 私密上传
UGC广告
唱歌
多人
单条视频
5分钟
输出
720p
同框场景
多人
种语言
6

本页介绍这个模型的来历、各版本的变化,以及普通创作者如何使用它。先说明一点:omnihuman2.ai是通过授权服务商运行该模型的独立服务——我们不是ByteDance或BytePlus,也未获得其背书。

字节跳动OmniHuman 2从何而来

OmniHuman系列最初是2025年初发布的一个研究项目,它的亮点在于能从一张图片生成全身、带手势的人物,而不只是让裁剪出的人脸动起来。之后的版本不断提升真实感和可控性,1.5版通过各类模型托管平台得到广泛使用。

2.0版是当前的商用版本。BytePlus称其达到电影级水准,支持镜头和身体运动、多人场景以及手势控制,另外还提供一个专注于数字人、针对对口型和表情优化的独立版本。

这个模型能做什么

根据官方公布的产品介绍和输入规格:

  • 用4秒到5分钟的说话或歌唱音频驱动一张图片。
  • 用一张合影生成多人场景。
  • 根据文字提示词控制镜头运动、身体动作和手势。
  • 支持六种语言的提示词,也适用于风格化角色、3D角色和动物角色。
  • 原生输出720p视频。

使用途径

大致有两条路。开发者可以通过官方云服务和模型托管平台的API调用模型,自行处理上传、队列、存储和计费。只想要视频的创作者,可以使用像本站这样的在线创作台,技术流程都已搭好,按视频秒数付费即可。

无论选哪条路,输入都一样:一张清晰的照片、一个MP3或WAV文件,以及可选的简短表演提示词。

负责任地使用

真人的逼真说话视频可能被滥用。只为你拥有或获得许可的照片和声音制作视频,在平台要求时标注AI合成内容,绝不要用这项技术冒充他人或误导观众。我们的条款禁止欺骗性深度伪造,收到滥用举报后我们会采取行动。

关于本站

omnihuman2.ai由Nexa Labs, LLC运营。OmniHuman是其各自所有者的商标;我们使用这个名称是为了说明本服务所运行的模型。官方公告、研究细节和企业合作,请直接联系ByteDance和BytePlus。

模型的大致工作原理

OmniHuman属于扩散Transformer视频模型家族。训练时,它学习在多种信号的共同条件下生成人体动作——音频、参考外观、姿态和文字——这也是研究论文称其为“全条件”(omni-conditioned)的原因。混合这些条件,让模型能从比只看紧凑裁剪的说话人头的模型丰富得多的视频数据中学习。

推理时,你只需提供参考图片、音频,以及可选的文字提示词;模型会据此推断身体姿态、面部动作和镜头运动。这也是输入图片如此重要的原因:它决定了人物身份、构图、光线,以及身体哪些部位可以活动。

各版本一览

公开版本简要汇总:

  • OmniHuman-1:研究版本,展示了从一张图片生成全身动画的能力。
  • OmniHuman 1.5:广泛托管的版本,支持提示词引导、可选的说话人遮罩,短片段可输出720p或1080p。
  • OmniHuman 2.0:商用版本,片段最长五分钟,支持多人场景,以及720p下的镜头、身体和手势控制。

它对创作者意味着什么

在这类模型出现之前,一段主持人说话的视频需要摄像机、真人出镜和后期剪辑。现在一张图片就能撑起一整个固定系列,这改变了小团队制作讲解视频、广告和音乐内容的成本结构。720p输出和需要几分钟生成时间这些取舍,对大多数社交媒体和网页内容来说都可以接受。

常见问题

OmniHuman 2是谁开发的?

OmniHuman由ByteDance开发,通过BytePlus和合作模型平台进行商业化提供。

omnihuman2.ai是ByteDance的官方网站吗?

不是。我们是通过授权服务商运行该模型的独立服务,与ByteDance或BytePlus没有关联,也未获得其背书。

TikTok或CapCut里能用OmniHuman吗?

我们无法代表ByteDance的消费级应用发言。本站让你直接在浏览器中使用OmniHuman 2.0模型。

OmniHuman 2需要什么输入?

一张图片和一个4秒到5分钟的MP3或WAV音频文件,外加一条可选的文字提示词。

生成的视频可以商用吗?

使用我们的付费方案可以——前提是你拥有所上传照片和音频的权利。

在哪里可以看到相关研究?

搜索ByteDance研究团队发布的OmniHuman技术报告即可。

OmniHuman开源吗?

相关研究已以论文形式发表,但正式商用的2.0模型是通过ByteDance的云平台和合作平台以商业服务形式提供的,并不提供可下载的权重。

BytePlus提到的数字人版本是什么?

除了主力2.0模型,BytePlus还列出了一个面向数字人的独立模型,专注于对口型和表情;而主力2.0模型侧重镜头、身体和多人表演。

继续探索

让你的照片开口说话。

免费预览。