본문으로 건너뛰기

작동 원리 · 2026년 10월 업데이트

오디오로 이미지를 영상으로: 소리가 움직임을 이끌어요

대부분의 이미지 투 비디오 도구는 텍스트 프롬프트로 사진을 움직이고, 소리는 나중에 넣거나 아예 넣지 않아요. OmniHuman 2.0은 반대로 오디오로 이미지를 영상으로 만들어요. 오디오가 애니메이션을 이끄는 방식이죠. 말과 음악이 입이 언제 움직일지, 고개가 언제 끄덕일지, 강조를 위해 손이 언제 올라갈지를 정해요.

사진+목소리=영상

목소리
사진이 없나요? 이걸로 해 보세요:
  • 무료 미리보기
  • Google 로그인
  • 비공개 업로드
UGC 광고
노래
다인원
영상당
5분
출력
720p
장면 지원
다인원
개 언어
6

이 페이지에서는 프롬프트 기반 생성과 오디오 기반 생성의 차이, 어떤 소리가 잘 맞는지, 그리고 오디오와 짧은 프롬프트를 함께 써서 제어하는 방법을 설명해요.

프롬프트 기반 vs 오디오 기반: 오디오로 이미지를 영상으로

일반 영상 모델은 말로 묘사한 풍경이나 카메라 움직임은 잘 만들지만, 음절이 언제 떨어지는지는 전혀 몰라요. 오디오 기반 모델은 파형을 읽어요. 파열음에서 입술이 닫히고, 강세가 있는 단어에서 강조 동작이 나오고, 쉼에서 얼굴이 차분해져요. 결과물은 프레임 단위로 싱크가 맞기 때문에, 화면 속 인물이 말하거나 노래하는 영상이라면 무엇이든 중요한 차이를 만들어요.

OmniHuman 2에서도 프롬프트를 쓸 수 있지만, 프롬프트는 퍼포먼스와 카메라를 다듬을 뿐이고 타이밍은 전적으로 소리에서 나와요.

잘 맞는 오디오

이 모델은 사람의 목소리를 중심으로 만들어졌어요. 다음과 같은 오디오에서 가장 좋은 결과가 나와요.

  • 보이스오버, 인터뷰, 강의, 팟캐스트 구간 같은 말소리.
  • 노래: 솔로 보컬, 듀엣, 합창.
  • 같은 프레임 속 두 명 이상의 대화.
  • TTS(텍스트 음성 변환) 도구에서 내보낸 합성 음성.

오디오와 짧은 프롬프트 함께 쓰기

프롬프트는 오디오로 표현할 수 없는 것에 쓰세요. 인물이 어디를 보는지, 카메라가 어떻게 움직이는지, 어떤 대사에 어떤 제스처가 따라오는지 같은 것들이요. 한두 문장이면 충분해요. 20초 영상이라면 “카메라를 보고, 질문할 때 두 손을 펼침, 천천히 줌인” 정도면 넉넉해요.

형식은 4초~5분 길이의 MP3 또는 WAV를 업로드하면 되고, 이미지는 JPG, PNG, WEBP 등 최대 30MB까지 가능해요.

이미지와 오디오에서 완성된 영상까지

스튜디오에서의 진행 과정이에요.

  1. 1이미지생동감을 불어넣고 싶은 정지 이미지를 업로드하세요.
  2. 2오디오영상을 이끌 트랙을 업로드하거나 녹음하세요.
  3. 3연출원하면 퍼포먼스와 카메라에 대한 메모를 한 문장 추가하세요.
  4. 4렌더링무료로 미리보기를 확인한 뒤 720p MP4로 렌더링하세요.

다른 AI 도구와 함께 쓰기

많은 크리에이터가 다른 도구로 입력을 만들어요. 캐릭터는 이미지 생성기로, 내레이션은 음성 도구로, 퍼포먼스는 이 모델로요. 이렇게 파이프라인을 짜면 디자인, 목소리, 움직임 각 단계가 전문화되고, 한 부분만 바꿔도 나머지를 다시 할 필요가 없어요.

이미지를 직접 생성한다면 정면을 보고 입이 보이며 배경이 단색인 캐릭터를 요청하세요. 이렇게 하면 이후 애니메이션 단계가 훨씬 안정적이에요.

알아 둘 한계

이 모델은 장면 전체가 아니라 사람과 캐릭터를 움직여요. 배경 요소는 카메라 움직임을 제외하면 대체로 정지해 있어요. 또한 옷을 바꾸거나, 소품을 추가하거나, 인물을 새로운 장소로 옮길 수는 없어요. 이런 부분은 원본 사진에서 정해야 해요.

가장 깔끔한 결과 얻기

싱크의 한계는 오디오 품질이, 사실감의 한계는 이미지 선명도가 정해요. 또렷하고 조명이 고른 얼굴과, 마이크 가까이에서 울림 없이 녹음한 오디오가 어떤 프롬프트 문구보다 결과를 더 많이 개선해 줘요.

자주 묻는 질문

배경음악을 넣을 수 있나요?

렌더링 후에 편집 앱에서 넣으세요. 생성할 때 목소리 밑에 음악이 깔려 있으면 립싱크 정확도가 떨어질 수 있어요.

오디오가 영상 길이를 정하나요?

네. 영상 길이는 4초부터 5분까지, 오디오 길이와 정확히 같아요.

오디오로 풍경도 움직일 수 있나요?

이 모델은 사람과 캐릭터용으로 설계됐어요. 얼굴이 없는 장면에서는 의미 있는 결과가 나오지 않아요.

어떤 오디오 형식이 되나요?

MP3와 WAV예요. 브라우저 녹음은 자동으로 변환돼요.

프롬프트가 꼭 필요한가요?

아니요. 프롬프트가 없으면 움직임은 오로지 오디오에서 나오고, 프롬프트를 넣으면 연출이 더해져요.

다운로드한 영상에 소리가 포함되나요?

네. MP4에는 애니메이션과 싱크가 맞춰진 원본 오디오가 담겨 있어요.

생성한 목소리와 생성한 이미지를 함께 써도 되나요?

네. 많은 크리에이터가 이미지 생성기, TTS 음성, OmniHuman 2를 함께 써요. 각 입력에 대한 권리만 확인하세요.

더 알아보기

내 사진을 말하게 하세요.

미리보기 무료.