OmniHuman 2是字节跳动推出的音频驱动人像视频模型。你给它一张静态图片和一段音频,它就能生成画中人随声音说话或唱歌的视频,面部表情、手势、身体动作都很自然;如果你需要,还能加上镜头运动。你可以边读边上传自己的照片,跟着下面的步骤操作。
开始之前需要准备什么
OmniHuman 2只需要两项输入,外加一项可选内容。把这些准备好比任何设置都重要,因为模型完全依据它们来构建整个表演。
- 一张图片:JPG、PNG或WEBP(其他常见格式也可以),每边300到6000像素,小于30 MB,宽高比在0.4到2.5之间。
- 一段音频:MP3或WAV,时长4秒到5分钟,小于15 MB。最终视频的时长与音频完全一致。
- 可选:一条简短的文字提示词,描述手势、情绪、场景细节或镜头运动。支持英语、中文、日语、韩语、西班牙语和印尼语提示词。
OmniHuman 2怎么用:分步教程
以下是我们制作案例展示中每条视频时使用的完整流程。
- 1选一张清晰的照片选择脸部清晰、光线均匀、没有被头发、手或麦克风遮挡的图片。半身或全身照能给OmniHuman 2留出做手势的空间;紧凑的大头照则让焦点集中在脸上。
- 2准备音频上传MP3或WAV,或直接在浏览器里录音。没有背景音乐的干声对口型最准。如果是唱歌,用干净的人声音轨、把伴奏调低效果最好。
- 3写一条可选的提示词用一两句简短的话描述人物要做什么——例如“微笑,说最后一句时身体前倾靠近镜头,镜头缓慢推近”。只写动作和情绪,不要写说话内容;那部分由音频决定。
- 4生成并查看进度生成通常需要几分钟,具体取决于时长。你可以离开页面,完成的视频会出现在你的作品库里。
- 5下载并分享下载无水印的MP4。视频以720p生成,适合社交媒体信息流、广告和演示。
为OmniHuman 2选对照片
图片决定了最终视频的人物身份、构图、光线和风格,值得花三十秒好好想想。OmniHuman 2不只限于真人:插画、3D角色、油画,甚至有清晰面孔的动物都能动起来。
如果你想让多个人在同一场景中说话——播客、访谈或二重唱——请用一张所有人都在画面内的照片,并在提示词中说明谁在说话。多人表演是相比OmniHuman 1.5最明显的升级之一。
写出OmniHuman 2能听懂的提示词
提示词越具体、越偏向肢体动作,效果越好。写明手势、情绪和运镜,一句话里不要堆叠超过三条指令。如果结果显得太忙乱,就删减指令,而不是继续添加。
模型能理解“镜头缓慢推近”“固定中景”“轻柔环绕”这类运镜指令,也能理解“掰着手指数数”“指向镜头”“举起产品”这类手势。
让对口型更准的技巧
大多数对口型问题出在输入素材上,而不是模型本身。重新生成之前,先检查这几点。
- 去掉音频开头和结尾的长时间静音——视频会原样呈现这些静止。
- 照片中嘴部要完全可见;有胡子没关系,手挡住嘴就不行。
- 避免厚重的混响或垫在人声下的音乐;它们会模糊模型所依赖的音节。
- 长脚本先生成5–10秒的短测试,再生成完整版本。
输入限制:OmniHuman 2对比OmniHuman 1.5
| 功能 | OmniHuman 1.5 | OmniHuman 2 |
|---|---|---|
| 音频最长时长 | 1080p下30秒 · 720p下60秒 | 最长300秒 |
| 每个场景人数 | 单人说话(用遮罩选择说话人) | 支持多人表演 |
| 输出 | 720p或1080p | 原生720p |
常见问题
使用OmniHuman 2需要安装什么吗?
不需要。一切都在浏览器里运行:你上传照片、添加音频,视频在我们的服务器上生成。
OmniHuman 2生成的视频最长多长?
支持4秒到5分钟的音频,视频时长与音频完全一致。
可以用卡通、油画或3D角色吗?
可以。插画、3D渲染图和动物角色都能用,只要有清晰可见的脸。
一条视频消耗多少积分?
每秒视频10积分。30秒的片段消耗300积分,最低消耗为4秒片段的40积分。
能在一条视频里让多个人说话吗?
能。用一张所有人都在画面内的照片,并在提示词里说明谁在说话。多人场景是OmniHuman 2的新功能。
我的照片会保密吗?
会。上传的文件私密存储在你的账户中,只用于生成你的视频。