OmniHuman 2 — модель ByteDance, которая создаёт видео с людьми по аудио. Вы даёте ей одно статичное изображение и один аудиоклип, а она выдаёт видео, где человек говорит или поёт синхронно со звуком — с естественной мимикой, жестами рук, движениями тела и, если попросите, движением камеры. Можете повторять шаги по ходу чтения, загрузив собственное фото.
Что понадобится перед началом
OmniHuman 2 нужны ровно два входных файла и один необязательный параметр. Правильно подобрать их важнее любых настроек, ведь модель строит из них всё выступление.
- Изображение: JPG, PNG или WEBP (подойдут и другие распространённые форматы), от 300 до 6000 пикселей по каждой стороне, до 30 МБ, с соотношением сторон от 0,4 до 2,5.
- Аудиоклип: MP3 или WAV длительностью от 4 секунд до 5 минут, до 15 МБ. Итоговое видео ровно той же длины, что и аудио.
- По желанию: короткий текстовый промпт с описанием жестов, настроения, деталей сцены или движения камеры. Поддерживаются промпты на английском, китайском, японском, корейском, испанском и индонезийском.
Как пользоваться OmniHuman 2: шаг за шагом
Вот полный процесс, по которому мы делаем каждое видео в нашей галерее.
- 1Выберите чёткое фотоВозьмите изображение, где лицо резкое, равномерно освещено и не закрыто волосами, руками или микрофоном. Кадр по пояс или в полный рост даёт OmniHuman 2 простор для жестов, а крупный портрет удерживает внимание на лице.
- 2Подготовьте аудиоЗагрузите MP3 или WAV или запишите голос прямо в браузере. Сухая речь без фоновой музыки даёт самый точный липсинк. Для пения лучше всего подходит чистая вокальная дорожка с тихим инструменталом.
- 3Напишите промпт (по желанию)Опишите в одном-двух коротких предложениях, что должен делать человек, — например, «smiles, leans toward the camera on the last line, slow push-in» (улыбается, на последней фразе наклоняется к камере, медленный наезд). Пишите о движениях и настроении, а не о том, что он говорит, — это уже задаёт аудио.
- 4Запустите генерацию и следите за прогрессомРендер обычно занимает несколько минут в зависимости от длины. Страницу можно закрыть — готовое видео появится в вашей библиотеке.
- 5Скачайте и поделитесьСкачайте MP4 без водяного знака. Видео рендерятся в 720p — этого достаточно для соцсетей, рекламы и презентаций.
Как выбрать подходящее фото для OmniHuman 2
Изображение задаёт внешность, кадрирование, освещение и стиль итогового видео, так что на выбор стоит потратить полминуты. OmniHuman 2 работает не только с реальными людьми: оживить можно иллюстрации, 3D-персонажей, картины и даже животных с узнаваемой мордой.
Если нужно, чтобы в одной сцене говорили несколько человек — подкаст, интервью или дуэт, — используйте одно фото, где все в кадре, и опишите в промпте, кто говорит. Выступления нескольких людей — одно из самых заметных улучшений по сравнению с OmniHuman 1.5.
Как писать промпты, которым следует OmniHuman 2
Лучше всего работают конкретные, «физические» промпты. Называйте жест, эмоцию и движение камеры и не складывайте больше трёх указаний в одно предложение. Если результат получился слишком суетливым, убирайте указания, а не добавляйте новые.
Модель понимает команды камере вроде «slow push-in» (медленный наезд), «static medium shot» (статичный средний план) или «gentle orbit» (плавный облёт), а также жесты вроде «counts on fingers» (считает на пальцах), «points at the camera» (показывает на камеру) или «holds the product up» (поднимает товар).
Советы для лучшего липсинка
Большинство проблем с липсинком связано с исходными файлами, а не с моделью. Прежде чем запускать рендер заново, проверьте вот что.
- Уберите длинные паузы в начале и в конце аудио — видео их повторит.
- Рот на фото должен быть полностью виден: борода не мешает, а рука у рта — мешает.
- Избегайте сильной реверберации и музыки под речью: они размывают слоги, за которые цепляется модель.
- Для длинных сценариев сначала отрендерите короткий тест на 5–10 секунд, а затем полный дубль.
Ограничения на входные данные: OmniHuman 2 и OmniHuman 1.5
| Возможность | OmniHuman 1.5 | OmniHuman 2 |
|---|---|---|
| Макс. длина аудио | 30 с в 1080p · 60 с в 720p | До 300 с |
| Людей в сцене | Один говорящий (выбирается маской) | Выступления нескольких людей |
| Выход | 720p или 1080p | Нативное 720p |
Вопросы и ответы
Нужно ли что-то устанавливать, чтобы пользоваться OmniHuman 2?
Нет. Всё работает в браузере: вы загружаете фото, добавляете аудио, а видео рендерится на наших серверах.
Какой длины может быть видео в OmniHuman 2?
Поддерживается аудио от 4 секунд до 5 минут, и видео в точности совпадает с ним по длине.
Можно ли использовать мультяшного персонажа, картину или 3D-героя?
Да. Иллюстрации, 3D-рендеры и персонажи-животные подходят, если у них хорошо видно лицо.
Сколько кредитов уходит на видео?
10 кредитов за секунду видео. 30-секундный ролик стоит 300 кредитов, минимум — 40 кредитов за 4-секундный ролик.
Можно ли сделать так, чтобы в одном видео говорили несколько человек?
Да. Возьмите одно фото, где все в кадре, и опишите в промпте, кто говорит. Сцены с несколькими людьми — новинка OmniHuman 2.
Моё фото останется конфиденциальным?
Да. Загрузки хранятся приватно в вашем аккаунте и используются только для рендера ваших видео.