跳到主要内容

工作原理 · 更新于2026年10月

图片加音频生成视频:让声音驱动动作

大多数图生视频工具是根据文字提示词让图片动起来,之后再配音(如果有的话)。反过来用图片加音频生成视频——让音频驱动动画——正是OmniHuman 2.0的做法:说话和音乐决定嘴什么时候动、头什么时候点、手什么时候抬起来加强语气。

照片+声音=视频

声音
没有照片?试试:
  • 免费预览
  • Google登录
  • 私密上传
UGC广告
唱歌
多人
单条视频
5分钟
输出
720p
同框场景
多人
种语言
6

本页介绍提示词驱动与音频驱动生成的区别、哪些声音效果好,以及如何把音频和简短的提示词结合起来进行控制。

图片加音频生成视频:提示词驱动与音频驱动

通用视频模型很擅长用文字描述的场景和运镜,但它们完全不知道每个音节落在哪里。音频驱动模型读取的是波形:爆破音让嘴唇闭合,重读的词触发强调动作,停顿让面部放松下来。结果精确同步到每一帧,这对任何有人在画面中说话或唱歌的片段都至关重要。

使用OmniHuman 2你依然可以写提示词——但它塑造的是表演和镜头,而时间节奏完全由声音决定。

什么样的音频效果好

这个模型专为人声打造。以下内容效果最好:

  • 口播旁白、访谈、课程和播客片段。
  • 唱歌——独唱、二重唱和合唱。
  • 同一画面中两人或多人之间的对话。
  • 从文字转语音工具导出的合成语音。

把音频和简短的提示词结合起来

用提示词表达音频无法传达的内容:人物看向哪里、镜头怎么动、哪句台词配什么手势。控制在一两句话以内。对于20秒的片段,“看向镜头,提问时摊开双手,镜头缓慢推近”就足够了。

格式方面,上传4秒到5分钟的MP3或WAV;图片可以是JPG、PNG、WEBP等格式,最大30 MB。

从图片和音频到成品视频

在创作台中的流程:

  1. 1图片上传你想让它活起来的静态图。
  2. 2音频上传或录制用来驱动它的音轨。
  3. 3表演指导可选:加一句关于表演和镜头的说明。
  4. 4生成免费预览,然后生成720p MP4。

与其他AI工具搭配使用

很多创作者会用其他工具准备输入素材:用图像生成器做角色,用配音工具做旁白,再用这个模型完成表演。这套流程让每一步各司其职——设计、声音、动作——随时替换其中任何一环,都不用重做其他部分。

如果你自己生成图片,记得要求角色正面朝前、嘴部可见、背景简洁;这些选择会让后续的动画步骤可靠得多。

需要了解的局限

这个模型让人物和角色动起来,而不是整个场景;除了镜头运动外,背景元素基本保持静止。它也不能更换服装、添加道具或把人物移到新的地点——这些都要在原图中决定。

获得最干净的效果

音频质量决定了同步效果的上限,图片清晰度决定了真实感的上限。一张清晰、光线均匀的脸,加上一段贴近麦克风录制的干声,比任何提示词措辞都更能提升效果。

常见问题

可以加背景音乐吗?

生成后在剪辑软件里添加即可。生成时人声下面垫着音乐,可能会降低对口型的准确度。

视频时长由音频决定吗?

是的。视频时长与音频完全一致,4秒到5分钟。

能用音频让风景图动起来吗?

这个模型是为人物和角色设计的。没有脸的画面不会产生有意义的结果。

支持哪些音频格式?

MP3和WAV。浏览器录音会自动转换格式。

必须写提示词吗?

不必。不写的话,动作完全来自音频;写了提示词则能增加表演指导。

下载的视频里有声音吗?

有。MP4中包含你的原始音频,与动画同步。

可以同时用AI生成的声音和AI生成的图片吗?

可以。很多创作者会把图像生成器、文字转语音和OmniHuman 2结合使用——只要确保你对每项输入都拥有权利。

继续探索

让你的照片开口说话。

免费预览。