בעמוד הזה נסביר את ההבדל בין יצירה מונחית פרומפט ליצירה מונחית אודיו, איזה סוג סאונד עובד ואיך לשלב אודיו עם פרומפט קצר לשליטה טובה יותר.
מונחה פרומפט מול מונחה אודיו בהמרת תמונה לווידאו עם אודיו
מודלי וידאו כלליים מצוינים בנופים ובתנועות מצלמה שמתוארים במילים, אבל אין להם מושג מתי נוחתת הברה. מודלים מונחי אודיו קוראים את צורת הגל: עיצורים פוצצים סוגרים את השפתיים, מילים מודגשות מעוררות הדגשה, הפסקות נותנות לפנים להירגע. התוצאה מסונכרנת ברמת הפריים, וזה חשוב בכל קליפ שבו אדם מדבר או שר על המסך.
עם OmniHuman 2 עדיין יש פרומפט – אבל הוא מעצב את הביצוע ואת המצלמה, בזמן שהתזמון מגיע כולו מהסאונד.
איזה אודיו עובד
המודל בנוי סביב קולות אנושיים. התוצאות הכי טובות מתקבלות עם:
- קריינות, ראיונות, שיעורים וקטעי פודקאסט.
- שירה – סולו, דואטים ופזמונים.
- דיאלוגים בין שני אנשים או יותר באותו פריים.
- דיבור סינתטי שיוצא מכלי המרת טקסט לדיבור.
שילוב אודיו עם פרומפט קצר
השתמשו בפרומפט למה שהאודיו לא יכול לבטא: לאן האדם מסתכל, איך המצלמה זזה, איזו מחווה מלווה משפט מסוים. הסתפקו במשפט או שניים. "Looks at the camera, opens hands on the question, slow push-in" (מסתכל למצלמה, פותח ידיים בשאלה, התקרבות איטית) זה די והותר לקליפ של 20 שניות.
מבחינת פורמטים, העלו MP3 או WAV באורך של 4 שניות עד 5 דקות; תמונות יכולות להיות JPG, PNG, WEBP ועוד, עד 30 MB.
מתמונה ואודיו לסרטון מוכן
התהליך בסטודיו:
- 1תמונההעלו את תמונת הסטילס שאתם רוצים להחיות.
- 2אודיוהעלו או הקליטו את הרצועה שתניע אותה.
- 3הנחיהאם תרצו, הוסיפו משפט אחד של הערות לביצוע ולמצלמה.
- 4רינדורצפו בתצוגה מקדימה בחינם, ואז רנדרו MP4 ב־720p.
שילוב עם כלי AI אחרים
יוצרים רבים בונים את הקלט בכלים אחרים: מחולל תמונות לדמות, כלי קול לקריינות, והמודל הזה לביצוע. השרשרת הזו שומרת על כל שלב מתמחה – עיצוב, קול, תנועה – ומאפשרת להחליף כל חלק בלי לעשות מחדש את השאר.
אם אתם מייצרים את התמונה בעצמכם, בקשו דמות שפונה קדימה, עם פה גלוי ורקע חלק; הבחירות האלה הופכות את שלב ההנפשה בהמשך לאמין הרבה יותר.
מגבלות שכדאי להכיר
המודל מנפיש אנשים ודמויות, לא סצנות שלמות; אלמנטים ברקע נשארים ברובם סטטיים, מלבד תנועת המצלמה. הוא גם לא יכול להחליף לבוש, להוסיף אביזרים או להעביר את האדם למקום חדש – את ההחלטות האלה מקבלים בתמונת המקור.
איך מקבלים את התוצאה הכי נקייה
איכות האודיו קובעת את התקרה של הסנכרון, וחדות התמונה קובעת את התקרה של הריאליזם. פנים חדות ומוארות באופן אחיד והקלטה יבשה קרוב למיקרופון ישפרו את התוצאה יותר מכל ניסוח של פרומפט.
שאלות נפוצות
אפשר להוסיף מוזיקת רקע?
הוסיפו אותה בעורך אחרי הרינדור. מוזיקה מתחת לקול בזמן היצירה עלולה לפגוע בדיוק של סנכרון השפתיים.
האודיו קובע את אורך הסרטון?
כן. הסרטון ארוך בדיוק כמו האודיו, מ־4 שניות ועד 5 דקות.
אפשר להנפיש נופים מאודיו?
המודל מיועד לאנשים ולדמויות. סצנות בלי פנים לא יניבו תוצאות משמעותיות.
אילו פורמטי אודיו עובדים?
MP3 ו־WAV. הקלטות מהדפדפן מומרות אוטומטית.
צריך פרומפט?
לא. בלי פרומפט, התנועה מגיעה רק מהאודיו; פרומפט מוסיף הכוונה.
הסאונד כלול בסרטון שמורידים?
כן. קובץ ה־MP4 מכיל את האודיו המקורי שלכם, מסונכרן עם האנימציה.
אפשר להשתמש בקול שנוצר ובתמונה שנוצרה יחד?
כן. יוצרים רבים משלבים מחולל תמונות, קול מהמרת טקסט לדיבור ו־OmniHuman 2 – רק ודאו שיש לכם זכויות על כל אחד מחומרי הקלט.