本页介绍提示词驱动与音频驱动生成的区别、哪些声音效果好,以及如何把音频和简短的提示词结合起来进行控制。
图片加音频生成视频:提示词驱动与音频驱动
通用视频模型很擅长用文字描述的场景和运镜,但它们完全不知道每个音节落在哪里。音频驱动模型读取的是波形:爆破音让嘴唇闭合,重读的词触发强调动作,停顿让面部放松下来。结果精确同步到每一帧,这对任何有人在画面中说话或唱歌的片段都至关重要。
使用OmniHuman 2你依然可以写提示词——但它塑造的是表演和镜头,而时间节奏完全由声音决定。
什么样的音频效果好
这个模型专为人声打造。以下内容效果最好:
- 口播旁白、访谈、课程和播客片段。
- 唱歌——独唱、二重唱和合唱。
- 同一画面中两人或多人之间的对话。
- 从文字转语音工具导出的合成语音。
把音频和简短的提示词结合起来
用提示词表达音频无法传达的内容:人物看向哪里、镜头怎么动、哪句台词配什么手势。控制在一两句话以内。对于20秒的片段,“看向镜头,提问时摊开双手,镜头缓慢推近”就足够了。
格式方面,上传4秒到5分钟的MP3或WAV;图片可以是JPG、PNG、WEBP等格式,最大30 MB。
从图片和音频到成品视频
在创作台中的流程:
- 1图片上传你想让它活起来的静态图。
- 2音频上传或录制用来驱动它的音轨。
- 3表演指导可选:加一句关于表演和镜头的说明。
- 4生成免费预览,然后生成720p MP4。
与其他AI工具搭配使用
很多创作者会用其他工具准备输入素材:用图像生成器做角色,用配音工具做旁白,再用这个模型完成表演。这套流程让每一步各司其职——设计、声音、动作——随时替换其中任何一环,都不用重做其他部分。
如果你自己生成图片,记得要求角色正面朝前、嘴部可见、背景简洁;这些选择会让后续的动画步骤可靠得多。
需要了解的局限
这个模型让人物和角色动起来,而不是整个场景;除了镜头运动外,背景元素基本保持静止。它也不能更换服装、添加道具或把人物移到新的地点——这些都要在原图中决定。
获得最干净的效果
音频质量决定了同步效果的上限,图片清晰度决定了真实感的上限。一张清晰、光线均匀的脸,加上一段贴近麦克风录制的干声,比任何提示词措辞都更能提升效果。
常见问题
可以加背景音乐吗?
生成后在剪辑软件里添加即可。生成时人声下面垫着音乐,可能会降低对口型的准确度。
视频时长由音频决定吗?
是的。视频时长与音频完全一致,4秒到5分钟。
能用音频让风景图动起来吗?
这个模型是为人物和角色设计的。没有脸的画面不会产生有意义的结果。
支持哪些音频格式?
MP3和WAV。浏览器录音会自动转换格式。
必须写提示词吗?
不必。不写的话,动作完全来自音频;写了提示词则能增加表演指导。
下载的视频里有声音吗?
有。MP4中包含你的原始音频,与动画同步。
可以同时用AI生成的声音和AI生成的图片吗?
可以。很多创作者会把图像生成器、文字转语音和OmniHuman 2结合使用——只要确保你对每项输入都拥有权利。