Здесь мы объясним, чем генерация по промпту отличается от генерации по аудио, какие звуки подходят и как сочетать аудио с коротким промптом для управления результатом.
Видео из фото со звуком: по промпту или по аудио
Универсальные видеомодели отлично справляются с пейзажами и движениями камеры, описанными словами, но понятия не имеют, когда звучит слог. Модели, работающие от аудио, читают звуковую волну: взрывные согласные смыкают губы, ударные слова вызывают акцент, паузы дают лицу успокоиться. Результат синхронизирован с точностью до кадра — а это важно для любого ролика, где человек говорит или поёт в кадре.
В OmniHuman 2 промпт тоже есть, но он формирует выступление и работу камеры, а тайминг полностью задаёт звук.
Какое аудио подходит
Модель создана для человеческого голоса. Лучшие результаты дают:
- Закадровый текст, интервью, уроки и фрагменты подкастов.
- Пение — сольный вокал, дуэты и хоры.
- Диалоги двух и более людей в одном кадре.
- Синтетическая речь, экспортированная из сервисов синтеза речи.
Аудио плюс короткий промпт
Используйте промпт для того, что не может выразить аудио: куда смотрит человек, как движется камера, какой жест сопровождает реплику. Хватит одного-двух предложений. «Looks at the camera, opens hands on the question, slow push-in» (смотрит в камеру, разводит руками на вопросе, медленный наезд) — более чем достаточно для 20-секундного ролика.
По форматам: загружайте MP3 или WAV длительностью от 4 секунд до 5 минут; изображения — JPG, PNG, WEBP и другие, до 30 МБ.
От изображения и аудио до готового видео
Как это происходит в студии:
- 1ИзображениеЗагрузите снимок, который хотите оживить.
- 2АудиоЗагрузите или запишите дорожку, которая будет им управлять.
- 3РежиссураПо желанию добавьте одно предложение о выступлении и работе камеры.
- 4РендерПосмотрите превью бесплатно, затем отрендерите MP4 в 720p.
В связке с другими ИИ-инструментами
Многие авторы готовят входные данные в других инструментах: нейросеть для картинок — для персонажа, голосовой сервис — для озвучки, а эту модель — для выступления. В такой цепочке каждый этап специализирован — дизайн, голос, движение, — и любую часть можно заменить, не переделывая остальные.
Если генерируете изображение сами, просите персонажа анфас, с видимым ртом и на однотонном фоне: это делает последующую анимацию гораздо надёжнее.
Ограничения, о которых стоит знать
Модель анимирует людей и персонажей, а не целые сцены: элементы фона в основном остаются неподвижными, если не считать движения камеры. Она также не может сменить одежду, добавить предметы или перенести человека в другое место — всё это нужно решить на исходном снимке.
Как получить самый чистый результат
Качество аудио задаёт потолок синхронизации, а чёткость изображения — потолок реалистичности. Резкое, равномерно освещённое лицо и сухая запись вблизи микрофона улучшат результат сильнее, чем любые формулировки промпта.
Вопросы и ответы
Можно ли добавить фоновую музыку?
Добавьте её в редакторе после рендера. Музыка под голосом во время генерации может снизить точность липсинка.
Длина видео зависит от аудио?
Да. Видео ровно той же длины, что и аудио, — от 4 секунд до 5 минут.
Можно ли оживить пейзаж по аудио?
Модель создана для людей и персонажей. Сцены без лица не дадут осмысленного результата.
Какие аудиоформаты поддерживаются?
MP3 и WAV. Записи из браузера конвертируются автоматически.
Нужен ли промпт?
Нет. Без него движение задаётся только аудио; промпт добавляет режиссуру.
Есть ли звук в скачанном видео?
Да. MP4 содержит ваше исходное аудио, синхронизированное с анимацией.
Можно ли использовать сгенерированный голос вместе со сгенерированным изображением?
Да. Многие авторы сочетают генератор изображений, голос из синтеза речи и OmniHuman 2 — просто убедитесь, что у вас есть права на каждый из входных файлов.