OmniHuman 2 là mô hình video người điều khiển bằng âm thanh của ByteDance. Bạn đưa vào một ảnh tĩnh và một đoạn âm thanh, mô hình sẽ tạo ra video người đó nói hoặc hát khớp với âm thanh, có biểu cảm khuôn mặt, cử chỉ tay, chuyển động cơ thể tự nhiên và cả chuyển động máy quay nếu bạn yêu cầu. Bạn có thể vừa đọc vừa làm theo bằng cách tải ảnh của mình lên.
Bạn cần chuẩn bị gì trước khi bắt đầu
OmniHuman 2 cần đúng hai đầu vào và chấp nhận thêm một đầu vào tùy chọn. Chuẩn bị đúng những thứ này quan trọng hơn bất kỳ cài đặt nào, vì mô hình xây dựng toàn bộ màn trình diễn từ chúng.
- Một hình ảnh: JPG, PNG hoặc WEBP (các định dạng phổ biến khác cũng được), mỗi cạnh từ 300 đến 6000 pixel, dưới 30 MB, tỷ lệ khung hình từ 0,4 đến 2,5.
- Một đoạn âm thanh: MP3 hoặc WAV, dài từ 4 giây đến 5 phút, dưới 15 MB. Video cuối cùng dài đúng bằng âm thanh của bạn.
- Tùy chọn: một prompt văn bản ngắn mô tả cử chỉ, tâm trạng, chi tiết bối cảnh hoặc chuyển động máy quay. Hỗ trợ prompt bằng tiếng Anh, tiếng Trung, tiếng Nhật, tiếng Hàn, tiếng Tây Ban Nha và tiếng Indonesia.
Cách dùng OmniHuman 2 từng bước
Đây là toàn bộ quy trình chúng tôi dùng cho mọi video trong phần trưng bày.
- 1Chọn một bức ảnh rõ nétChọn ảnh có khuôn mặt sắc nét, ánh sáng đều và không bị tóc, tay hay micro che. Ảnh nửa người hoặc toàn thân cho OmniHuman 2 không gian để tạo cử chỉ tay; ảnh chụp cận mặt giữ trọng tâm vào khuôn mặt.
- 2Chuẩn bị âm thanhTải lên file MP3 hoặc WAV hoặc thu âm trực tiếp trên trình duyệt. Giọng nói khô, không có nhạc nền cho khẩu hình khớp nhất. Với giọng hát, bản vocal sạch kèm phần nhạc được mix nhỏ cho kết quả tốt nhất.
- 3Viết prompt (tùy chọn)Mô tả người trong ảnh nên làm gì trong một hai câu ngắn — ví dụ “smiles, leans toward the camera on the last line, slow push-in” (mỉm cười, nghiêng người về phía camera ở câu cuối, máy quay tiến chậm vào). Hãy tập trung vào chuyển động và tâm trạng, không phải nội dung lời nói; âm thanh đã quyết định điều đó.
- 4Tạo video và theo dõi tiến trìnhQuá trình render thường mất vài phút tùy độ dài. Bạn có thể rời trang; video hoàn chỉnh sẽ xuất hiện trong thư viện của bạn.
- 5Tải về và chia sẻTải về file MP4 không watermark. Video được render ở 720p, phù hợp cho feed mạng xã hội, quảng cáo và bài thuyết trình.
Chọn đúng ảnh cho OmniHuman 2
Hình ảnh quyết định nhận diện, khung hình, ánh sáng và phong cách của video cuối cùng, nên đáng để bạn dành ba mươi giây suy nghĩ. OmniHuman 2 không chỉ giới hạn ở người thật: tranh minh họa, nhân vật 3D, tranh sơn dầu và cả động vật có khuôn mặt dễ nhận ra đều có thể chuyển động.
Nếu muốn nhiều người cùng nói trong một cảnh — podcast, phỏng vấn hay song ca — hãy dùng một bức ảnh có tất cả mọi người trong khung hình và mô tả ai đang nói trong prompt. Màn trình diễn nhiều người là một trong những nâng cấp rõ ràng nhất so với OmniHuman 1.5.
Viết prompt mà OmniHuman 2 làm theo
Prompt hiệu quả nhất khi cụ thể và mang tính hình thể. Hãy nêu rõ cử chỉ, cảm xúc và chuyển động máy quay, và tránh nhồi quá ba chỉ dẫn vào một câu. Nếu kết quả trông quá rối, hãy bớt chỉ dẫn thay vì thêm mới.
Mô hình hiểu các chỉ dẫn máy quay như “slow push-in” (máy quay tiến chậm vào), “static medium shot” (góc trung cố định) hay “gentle orbit” (xoay nhẹ quanh nhân vật), cũng như các cử chỉ như “counts on fingers” (đếm trên ngón tay), “points at the camera” (chỉ vào camera) hay “holds the product up” (giơ sản phẩm lên).
Mẹo để khớp khẩu hình tốt hơn
Hầu hết vấn đề khớp khẩu hình đến từ đầu vào chứ không phải mô hình. Trước khi render lại, hãy kiểm tra những điều sau.
- Cắt các khoảng lặng dài ở đầu và cuối âm thanh — video sẽ phản chiếu đúng như vậy.
- Giữ miệng hiện rõ hoàn toàn trong ảnh; có râu không sao, nhưng tay che miệng thì không được.
- Tránh reverb nặng hoặc nhạc dưới giọng nói; chúng làm nhòe các âm tiết mà mô hình bám theo.
- Với kịch bản dài, hãy render thử một đoạn ngắn 5–10 giây trước, rồi mới render toàn bộ.
Giới hạn đầu vào: OmniHuman 2 so với OmniHuman 1.5
| Tính năng | OmniHuman 1.5 | OmniHuman 2 |
|---|---|---|
| Độ dài âm thanh tối đa | 30 giây ở 1080p · 60 giây ở 720p | Tối đa 300 giây |
| Số người mỗi cảnh | Một người nói (dùng mặt nạ để chọn) | Màn trình diễn nhiều người |
| Đầu ra | 720p hoặc 1080p | 720p gốc |
Câu hỏi thường gặp
Tôi có cần cài đặt gì để dùng OmniHuman 2 không?
Không. Mọi thứ chạy trên trình duyệt: bạn tải ảnh lên, thêm âm thanh, và video được render trên máy chủ của chúng tôi.
Video OmniHuman 2 có thể dài bao lâu?
Hỗ trợ âm thanh từ 4 giây đến 5 phút, và video dài đúng bằng âm thanh của bạn.
Tôi có thể dùng nhân vật hoạt hình, tranh vẽ hoặc nhân vật 3D không?
Có. Tranh minh họa, bản render 3D và nhân vật động vật đều dùng được miễn là có khuôn mặt hiện rõ.
Một video tốn bao nhiêu credit?
10 credit cho mỗi giây video. Clip 30 giây tốn 300 credit, tối thiểu 40 credit cho clip 4 giây.
Tôi có thể cho nhiều người cùng nói trong một video không?
Có. Dùng một bức ảnh có mọi người trong khung hình và mô tả ai nói trong prompt. Cảnh nhiều người là tính năng mới trong OmniHuman 2.
Ảnh của tôi có được giữ riêng tư không?
Có. File tải lên được lưu riêng tư trong tài khoản của bạn và chỉ dùng để render video của bạn.