En esta página verás la diferencia entre la generación guiada por prompt y la guiada por audio, qué tipos de sonido funcionan y cómo combinar el audio con un prompt breve para tener más control.
Imagen a video con audio: guiado por prompt vs. guiado por audio
Los modelos de video generalistas son excelentes con paisajes y movimientos de cámara descritos con palabras, pero no tienen ni idea de cuándo cae una sílaba. Los modelos guiados por audio leen la forma de onda: las consonantes oclusivas cierran los labios, las palabras acentuadas generan énfasis y las pausas dejan que la cara se relaje. El resultado queda sincronizado al fotograma, algo clave en cualquier clip donde una persona habla o canta en pantalla.
Con OmniHuman 2 sigues teniendo un prompt, pero este da forma a la interpretación y a la cámara, mientras que el ritmo sale por completo del sonido.
Qué audio funciona
El modelo está construido en torno a voces humanas. Los mejores resultados se obtienen con:
- Locuciones, entrevistas, lecciones y fragmentos de podcast.
- Canto: voces solistas, duetos y coros.
- Diálogos entre dos o más personas en el mismo encuadre.
- Voz sintética exportada desde herramientas de texto a voz.
Cómo combinar el audio con un prompt breve
Usa el prompt para lo que el audio no puede expresar: hacia dónde mira la persona, cómo se mueve la cámara, qué gesto acompaña una frase. Limítalo a una o dos frases. «Mira a la cámara, abre las manos en la pregunta, acercamiento lento» es más que suficiente para un clip de 20 segundos.
En cuanto a formatos, sube MP3 o WAV de entre 4 segundos y 5 minutos; las imágenes pueden ser JPG, PNG, WEBP y más, de hasta 30 MB.
De la imagen y el audio al video terminado
El proceso en el estudio:
- 1ImagenSube la imagen fija que quieres darle vida.
- 2AudioSube o graba la pista que debe guiarla.
- 3DirecciónSi quieres, añade una frase con notas de interpretación y cámara.
- 4RenderMira la vista previa gratis y luego renderiza un MP4 en 720p.
Cómo combinarlo con otras herramientas de IA
Muchos creadores preparan las entradas con otras herramientas: un generador de imágenes para el personaje, una herramienta de voz para la narración y este modelo para la interpretación. Ese flujo mantiene cada paso especializado —diseño, voz, movimiento— y te permite cambiar cualquier parte sin rehacer las demás.
Si generas la imagen tú mismo, pide un personaje de frente, con la boca visible y un fondo liso; esas decisiones hacen que el paso de animación posterior sea mucho más fiable.
Limitaciones que conviene conocer
El modelo anima personas y personajes, no escenas completas; los elementos del fondo se quedan prácticamente quietos, salvo por el movimiento de cámara. Tampoco puede cambiar la ropa, añadir objetos ni llevar a la persona a otro lugar: esas decisiones se toman en la imagen original.
Cómo conseguir el resultado más limpio
La calidad del audio marca el techo de la sincronización, y la nitidez de la imagen marca el techo del realismo. Una cara nítida y bien iluminada y una grabación seca y cercana al micrófono mejorarán tu resultado más que cualquier redacción del prompt.
Preguntas frecuentes
¿Puedo añadir música de fondo?
Añádela en tu editor después del render. La música bajo la voz durante la generación puede reducir la precisión de la sincronización labial.
¿El audio determina la duración del video?
Sí. El video dura exactamente lo mismo que tu audio, de 4 segundos a 5 minutos.
¿Puede animar paisajes a partir de audio?
El modelo está diseñado para personas y personajes. Las escenas sin una cara no darán resultados útiles.
¿Qué formatos de audio funcionan?
MP3 y WAV. Las grabaciones del navegador se convierten automáticamente.
¿Necesito un prompt?
No. Sin él, el movimiento sale únicamente del audio; un prompt añade dirección.
¿El video descargado incluye el sonido?
Sí. El MP4 contiene tu audio original sincronizado con la animación.
¿Puedo usar juntas una voz generada y una imagen generada?
Sí. Muchos creadores combinan un generador de imágenes, una voz de texto a voz y OmniHuman 2; solo asegúrate de tener los derechos de cada entrada.