OmniHuman 2 הוא מודל הווידאו של ByteDance להנפשת בני אדם מונחית אודיו. נותנים לו תמונת סטילס אחת וקטע אודיו אחד, והוא מפיק סרטון שבו האדם מדבר או שר בסנכרון עם הסאונד, עם הבעות פנים טבעיות, מחוות ידיים, תנועת גוף ואם תבקשו – גם תנועת מצלמה. אפשר לעקוב תוך כדי קריאה ולהעלות את התמונה שלכם.
מה צריך לפני שמתחילים
OmniHuman 2 צריך בדיוק שני קלטים ומקבל תוספת אופציונלית אחת. חשוב יותר לדייק בהם מאשר בכל הגדרה אחרת, כי המודל בונה מהם את כל הביצוע.
- תמונה: JPG, PNG או WEBP (גם פורמטים נפוצים אחרים עובדים), בין 300 ל־6000 פיקסלים בכל צלע, עד 30 MB, ביחס גובה־רוחב שבין 0.4 ל־2.5.
- קטע אודיו: MP3 או WAV, באורך של 4 שניות עד 5 דקות, עד 15 MB. הסרטון הסופי ארוך בדיוק כמו האודיו.
- אופציונלי: פרומפט טקסט קצר שמתאר מחוות, אווירה, פרטי סצנה או תנועת מצלמה. נתמכים פרומפטים באנגלית, סינית, יפנית, קוריאנית, ספרדית ואינדונזית.
איך משתמשים ב־OmniHuman 2, צעד אחר צעד
זה תהליך העבודה המלא שבו אנחנו משתמשים בכל סרטון בגלריה שלנו.
- 1בחרו תמונה ברורהבחרו תמונה שבה הפנים חדות, מוארות באופן אחיד ולא מכוסות בשיער, בידיים או במיקרופון. צילום עד המותניים או של כל הגוף נותן ל־OmniHuman 2 מקום למחוות ידיים; צילום ראש צמוד שומר את הפוקוס על הפנים.
- 2הכינו את האודיוהעלו MP3 או WAV או הקליטו ישירות מהדפדפן. דיבור יבש בלי מוזיקת רקע נותן את סנכרון השפתיים הכי הדוק. לשירה, ערוץ שירה נקי עם ליווי מונמך עובד הכי טוב.
- 3כתבו פרומפט (אופציונלי)תארו במשפט או שניים קצרים מה האדם צריך לעשות – למשל "smiles, leans toward the camera on the last line, slow push-in" (מחייך, נשען לעבר המצלמה במשפט האחרון, התקרבות איטית). התמקדו בתנועה ובאווירה, לא במה שהוא אומר; האודיו כבר קובע את זה.
- 4צרו ועקבו אחרי ההתקדמותהרינדור לוקח בדרך כלל כמה דקות, תלוי באורך. אפשר לעזוב את הדף; הסרטון המוכן יופיע בספרייה שלכם.
- 5הורידו ושתפוהורידו את קובץ ה־MP4 ללא סימן מים. הסרטונים מרונדרים ב־720p, שמתאים לפידים ברשתות, לפרסומות ולמצגות.
בחירת התמונה הנכונה ל־OmniHuman 2
התמונה קובעת את הזהות, המסגור, התאורה והסגנון של הסרטון הסופי, אז שווה להקדיש לה שלושים שניות של מחשבה. OmniHuman 2 לא מוגבל לאנשים אמיתיים: איורים, דמויות תלת־ממד, ציורים ואפילו בעלי חיים עם פנים מזוהות – את כולם אפשר להנפיש.
אם אתם רוצים כמה אנשים שמדברים בסצנה אחת – פודקאסט, ראיון או דואט – השתמשו בתמונה אחת שבה כולם בפריים ותארו בפרומפט מי מדבר. ביצועים עם כמה אנשים הם אחד השדרוגים הבולטים לעומת OmniHuman 1.5.
כתיבת פרומפטים ש־OmniHuman 2 מבין
פרומפטים עובדים הכי טוב כשהם קונקרטיים ופיזיים. ציינו את המחווה, את הרגש ואת תנועת המצלמה, והימנעו מלדחוס יותר משלוש הוראות במשפט אחד. אם התוצאה מרגישה עמוסה מדי, הסירו הוראות במקום להוסיף חדשות.
הוראות מצלמה כמו "slow push-in" (התקרבות איטית), "static medium shot" (שוט בינוני סטטי) או "gentle orbit" (תנועה עדינה סביב) מובנות למודל, וכך גם מחוות כמו "counts on fingers" (סופר על האצבעות), "points at the camera" (מצביע על המצלמה) או "holds the product up" (מרים את המוצר).
טיפים לסנכרון שפתיים טוב יותר
רוב הבעיות בסנכרון שפתיים נובעות מהקלט ולא מהמודל. לפני רינדור חוזר, בדקו קודם את הדברים האלה.
- הסירו שקט ארוך בתחילת האודיו ובסופו – הסרטון משקף אותו.
- השאירו את הפה גלוי לגמרי בתמונה; זקן זה בסדר, ידיים על הפה – לא.
- הימנעו מריוורב כבד או ממוזיקה מתחת לדיבור; הם מטשטשים את ההברות שהמודל נצמד אליהן.
- לתסריטים ארוכים, רנדרו קודם בדיקה קצרה של 5–10 שניות, ורק אחר כך את הטייק המלא.
מגבלות קלט: OmniHuman 2 מול OmniHuman 1.5
| יכולת | OmniHuman 1.5 | OmniHuman 2 |
|---|---|---|
| אורך אודיו מרבי | 30 שנ׳ ב־1080p · 60 שנ׳ ב־720p | עד 300 שנ׳ |
| אנשים בסצנה | דובר אחד (מסכה בוחרת מי) | ביצועים עם כמה אנשים |
| פלט | 720p או 1080p | 720p מקורי |
שאלות נפוצות
צריך להתקין משהו כדי להשתמש ב־OmniHuman 2?
לא. הכול רץ בדפדפן: מעלים תמונה, מוסיפים אודיו, והסרטון מרונדר בשרתים שלנו.
כמה ארוך יכול להיות סרטון של OmniHuman 2?
נתמך אודיו באורך של 4 שניות עד 5 דקות, והסרטון תואם בדיוק את אורך האודיו.
אפשר להשתמש בדמות מצוירת, בציור או בדמות תלת־ממד?
כן. איורים, רינדורים תלת־ממדיים ודמויות של בעלי חיים עובדים, כל עוד יש פנים גלויות בבירור.
כמה קרדיטים סרטון צורך?
10 קרדיטים לכל שנייה של וידאו. קליפ של 30 שניות צורך 300 קרדיטים, והמינימום הוא 40 קרדיטים לקליפ של 4 שניות.
אפשר לגרום לכמה אנשים לדבר בסרטון אחד?
כן. השתמשו בתמונה אחת שבה כולם בפריים ותארו בפרומפט מי מדבר. סצנות עם כמה אנשים הן חידוש של OmniHuman 2.
התמונה שלי נשמרת באופן פרטי?
כן. ההעלאות נשמרות באופן פרטי בחשבון שלכם ומשמשות רק לרינדור הסרטונים שלכם.