Перейти к содержимому

Как это работает · Обновлено окт. 2026 г.

Видео из фото со звуком: пусть движение задаёт звук

Большинство инструментов «фото в видео» анимируют картинку по текстовому промпту, а звук добавляют потом — если вообще добавляют. OmniHuman 2.0 делает видео из фото со звуком наоборот: анимацией управляет аудио. Речь и музыка решают, когда двигается рот, когда кивает голова и когда поднимается рука, чтобы сделать акцент.

Фото+Голос=Видео

Голос
Нет фото? Попробуйте:
  • Бесплатное превью
  • Вход через Google
  • Приватные загрузки
UGC-реклама
Пение
Несколько человек
на видео
5 мин
на выходе
720p
человек в кадре
Несколько
языков
6

Здесь мы объясним, чем генерация по промпту отличается от генерации по аудио, какие звуки подходят и как сочетать аудио с коротким промптом для управления результатом.

Видео из фото со звуком: по промпту или по аудио

Универсальные видеомодели отлично справляются с пейзажами и движениями камеры, описанными словами, но понятия не имеют, когда звучит слог. Модели, работающие от аудио, читают звуковую волну: взрывные согласные смыкают губы, ударные слова вызывают акцент, паузы дают лицу успокоиться. Результат синхронизирован с точностью до кадра — а это важно для любого ролика, где человек говорит или поёт в кадре.

В OmniHuman 2 промпт тоже есть, но он формирует выступление и работу камеры, а тайминг полностью задаёт звук.

Какое аудио подходит

Модель создана для человеческого голоса. Лучшие результаты дают:

  • Закадровый текст, интервью, уроки и фрагменты подкастов.
  • Пение — сольный вокал, дуэты и хоры.
  • Диалоги двух и более людей в одном кадре.
  • Синтетическая речь, экспортированная из сервисов синтеза речи.

Аудио плюс короткий промпт

Используйте промпт для того, что не может выразить аудио: куда смотрит человек, как движется камера, какой жест сопровождает реплику. Хватит одного-двух предложений. «Looks at the camera, opens hands on the question, slow push-in» (смотрит в камеру, разводит руками на вопросе, медленный наезд) — более чем достаточно для 20-секундного ролика.

По форматам: загружайте MP3 или WAV длительностью от 4 секунд до 5 минут; изображения — JPG, PNG, WEBP и другие, до 30 МБ.

От изображения и аудио до готового видео

Как это происходит в студии:

  1. 1ИзображениеЗагрузите снимок, который хотите оживить.
  2. 2АудиоЗагрузите или запишите дорожку, которая будет им управлять.
  3. 3РежиссураПо желанию добавьте одно предложение о выступлении и работе камеры.
  4. 4РендерПосмотрите превью бесплатно, затем отрендерите MP4 в 720p.

В связке с другими ИИ-инструментами

Многие авторы готовят входные данные в других инструментах: нейросеть для картинок — для персонажа, голосовой сервис — для озвучки, а эту модель — для выступления. В такой цепочке каждый этап специализирован — дизайн, голос, движение, — и любую часть можно заменить, не переделывая остальные.

Если генерируете изображение сами, просите персонажа анфас, с видимым ртом и на однотонном фоне: это делает последующую анимацию гораздо надёжнее.

Ограничения, о которых стоит знать

Модель анимирует людей и персонажей, а не целые сцены: элементы фона в основном остаются неподвижными, если не считать движения камеры. Она также не может сменить одежду, добавить предметы или перенести человека в другое место — всё это нужно решить на исходном снимке.

Как получить самый чистый результат

Качество аудио задаёт потолок синхронизации, а чёткость изображения — потолок реалистичности. Резкое, равномерно освещённое лицо и сухая запись вблизи микрофона улучшат результат сильнее, чем любые формулировки промпта.

Вопросы и ответы

Можно ли добавить фоновую музыку?

Добавьте её в редакторе после рендера. Музыка под голосом во время генерации может снизить точность липсинка.

Длина видео зависит от аудио?

Да. Видео ровно той же длины, что и аудио, — от 4 секунд до 5 минут.

Можно ли оживить пейзаж по аудио?

Модель создана для людей и персонажей. Сцены без лица не дадут осмысленного результата.

Какие аудиоформаты поддерживаются?

MP3 и WAV. Записи из браузера конвертируются автоматически.

Нужен ли промпт?

Нет. Без него движение задаётся только аудио; промпт добавляет режиссуру.

Есть ли звук в скачанном видео?

Да. MP4 содержит ваше исходное аудио, синхронизированное с анимацией.

Можно ли использовать сгенерированный голос вместе со сгенерированным изображением?

Да. Многие авторы сочетают генератор изображений, голос из синтеза речи и OmniHuman 2 — просто убедитесь, что у вас есть права на каждый из входных файлов.

Читайте также

Оживите своё фото.

Превью бесплатно.