Trang này giải thích điều gì giúp khớp khẩu hình trông đúng, cách chuẩn bị âm thanh để có kết quả sạch nhất và cách mô hình xử lý các ngôn ngữ khác nhau cũng như giọng hát.
Điều gì giúp video lip sync AI trông tự nhiên
Người xem để ý ba điều: các phụ âm như p, b và m có khép môi không, nguyên âm có mở miệng đúng hình không, và phần còn lại của khuôn mặt có phản ứng theo không. Một cái miệng chuyển động hoàn hảo trên khuôn mặt đơ cứng vẫn trông giả. Việc tạo toàn bộ đầu và nửa thân trên từ âm thanh chính là lý do clip của OmniHuman 2 trông như đang nói thật chứ không phải lồng tiếng.
Nhịp thời gian lấy trực tiếp từ file âm thanh của bạn, nên không cần căn chỉnh thủ công và không bị lệch dần trong các clip dài.
Chuẩn bị âm thanh để khớp khẩu hình sạch
Những chỉnh sửa âm thanh nhỏ lại ảnh hưởng lớn nhất đến độ chính xác:
- Thu gần micro trong phòng yên tĩnh; tránh tiếng vọng.
- Bỏ nhạc nền và hiệu ứng âm thanh dưới giọng nói — thêm lại sau khi render.
- Cắt các khoảng lặng dài ở đầu và cuối để video không bị đứng yên.
- Giữ âm lượng ổn định; những đoạn quá nhỏ sẽ khó nhận diện hơn.
- Dùng MP3 hoặc WAV dài từ 4 giây đến 5 phút (bản thu sẽ được chuyển đổi tự động).
Mọi ngôn ngữ nói
Khẩu hình đi theo chính âm thanh, nên lời nói bằng tiếng Anh, tiếng Tây Ban Nha, tiếng Thổ Nhĩ Kỳ, tiếng Ả Rập, tiếng Hindi hay bất kỳ ngôn ngữ nào khác đều hoạt động như nhau. Prompt chỉ đạo (không bắt buộc) có danh sách ngôn ngữ được hỗ trợ riêng, nhưng âm thanh thì không giới hạn. Nhờ vậy mô hình rất hữu ích để bản địa hóa một ảnh người dẫn sang nhiều ngôn ngữ — chỉ cần render cùng một ảnh với từng bản lồng tiếng.
Khớp khẩu hình cho bài hát
Hát khó hơn nói: nguyên âm kéo dài, tiếng lấy hơi và nhịp điệu. Hãy đưa cho mô hình một bản vocal sạch — bản a cappella tách riêng hoặc bản mix đã giảm nhỏ phần nhạc — và mô tả màn trình diễn trong prompt (“eyes closed on long notes, sways to the beat” — nhắm mắt ở những nốt dài, lắc lư theo nhịp). Bạn có thể ghép lại bản mix đầy đủ trong phần mềm dựng video.
Lỗi hình thường gặp và cách khắc phục
Phần lớn vấn đề bắt nguồn từ dữ liệu đầu vào và có thể sửa mà không cần đổi cài đặt mô hình. Nếu miệng bị mờ, thường là ảnh quá nhỏ ở vùng mặt hoặc hơi mất nét. Nếu môi bị trễ, thường do có khoảng lặng hoặc đoạn fade-in nhẹ ở đầu file. Nếu răng bị nhấp nháy, nguyên nhân thường là nụ cười há rộng trong ảnh gốc — một khuôn miệng thả lỏng, hơi khép sẽ cho mô hình điểm khởi đầu sạch hơn.
- Miệng bị mờ → dùng ảnh cắt khuôn mặt lớn và sắc nét hơn.
- Trễ ở đầu video → cắt khoảng lặng trước từ đầu tiên.
- Âm tiết bị nhòe → thu lại gần micro hơn, không có nhạc.
- Răng nhấp nháy → chọn ảnh có biểu cảm trung tính hoặc miệng khép.
Câu hỏi thường gặp
Tôi có cần video để khớp khẩu hình không?
Không. OmniHuman 2 tạo video từ một bức ảnh duy nhất; bạn chỉ cần một hình ảnh và một file âm thanh.
Khớp khẩu hình hỗ trợ những ngôn ngữ nào?
Mọi ngôn ngữ nói. Khẩu hình đi theo âm thanh, không theo bản chép lời.
Vì sao khẩu hình của tôi trông không khớp?
Thường do nhạc nền, tiếng vọng hoặc khuôn mặt bị che một phần trong ảnh. Âm thanh sạch, khô sẽ khắc phục hầu hết trường hợp.
Tôi có thể khớp khẩu hình cho bài hát không?
Có. Hãy dùng bản vocal sạch để có kết quả tốt nhất và thêm lại phần nhạc sau.
Âm thanh có thể dài bao lâu?
Từ 4 giây đến 5 phút cho mỗi video.
Tôi có thể sửa khẩu hình trên cảnh quay đã có sẵn không?
Công cụ này tạo video mới từ một bức ảnh. Để căn chỉnh lại cảnh quay có sẵn, một công cụ lip sync video chuyên dụng sẽ phù hợp hơn.
Video có giữ âm thanh gốc của tôi không?
Có. File MP4 tải về chứa đúng âm thanh bạn đã tải lên, đồng bộ với màn trình diễn được tạo ra.
Âm thanh có độ dài tối thiểu không?
Có. Âm thanh phải dài ít nhất 4 giây; file ngắn hơn có thể thêm một khoảng lặng ngắn ở cuối.