OmniHuman 2 هو نموذج ByteDance لتوليد فيديو بشري مدفوع بالصوت. تعطيه صورة ثابتة واحدة ومقطعًا صوتيًّا واحدًا، فينتج فيديو يتكلم فيه الشخص أو يغني بتزامن مع الصوت، مع تعابير وجه طبيعية وإيماءات يد وحركة جسم، وحركة كاميرا إن طلبتها. يمكنك المتابعة أدناه برفع صورتك أثناء القراءة.
ما تحتاجه قبل أن تبدأ
يحتاج OmniHuman 2 إلى مُدخلين بالضبط ويقبل مُدخلًا ثالثًا اختياريًّا. وضبط هذه المدخلات أهم من أي إعداد، لأن النموذج يبني الأداء كله منها.
- صورة: JPG أو PNG أو WEBP (والصيغ الشائعة الأخرى تعمل أيضًا)، بين 300 و6000 بكسل لكل ضلع، وأقل من 30 ميغابايت، بنسبة أبعاد بين 0.4 و2.5.
- مقطع صوتي: MP3 أو WAV، مدته بين 4 ثوانٍ و5 دقائق، وأقل من 15 ميغابايت. والفيديو النهائي بطول صوتك تمامًا.
- اختياري: برومبت نصي قصير يصف الإيماءات أو المزاج أو تفاصيل المشهد أو حركة الكاميرا. البرومبتات المدعومة بالإنجليزية والصينية واليابانية والكورية والإسبانية والإندونيسية.
طريقة استخدام OmniHuman 2 خطوة بخطوة
إليك سير العمل الكامل الذي نتبعه في كل فيديو في معرضنا.
- 1اختر صورة واضحةاختر صورة يكون فيها الوجه حادًّا ومضاءً بالتساوي وغير مغطًّى بالشعر أو اليدين أو ميكروفون. اللقطة النصفية أو الكاملة تمنح OmniHuman 2 مساحة لإيماءات اليد، واللقطة القريبة للرأس تُبقي التركيز على الوجه.
- 2جهّز صوتكارفع ملف MP3 أو WAV أو سجّل مباشرة من متصفحك. الكلام الجاف بلا موسيقى خلفية يعطي أدق مزامنة شفاه. وللغناء، يعمل مسار غناء نظيف مع موسيقى منخفضة بأفضل شكل.
- 3اكتب برومبتًا اختياريًّاصِف ما يفعله الشخص في جملة أو جملتين قصيرتين، مثلًا «smiles, leans toward the camera on the last line, slow push-in» (يبتسم، يميل نحو الكاميرا في الجملة الأخيرة، اقتراب بطيء). اجعله عن الحركة والمزاج لا عمّا يقوله، فالصوت يحدد ذلك أصلًا.
- 4ولّد وتابع التقدّميستغرق التوليد عادةً بضع دقائق بحسب المدة. يمكنك مغادرة الصفحة، وسيظهر الفيديو الجاهز في مكتبتك.
- 5نزّل وشاركنزّل ملف MP4 دون علامة مائية. تُولَّد الفيديوهات بدقة 720p، وهي مناسبة لمواقع التواصل والإعلانات والعروض التقديمية.
اختيار الصورة المناسبة لـ OmniHuman 2
تحدد الصورة هوية الفيديو النهائي وتأطيره وإضاءته وأسلوبه، لذا تستحق ثلاثين ثانية من التفكير. ولا يقتصر OmniHuman 2 على الأشخاص الحقيقيين: فالرسوم والشخصيات ثلاثية الأبعاد واللوحات، وحتى الحيوانات ذات الوجه الواضح، يمكن تحريكها جميعًا.
إن أردت عدة أشخاص يتكلمون في مشهد واحد، كبودكاست أو مقابلة أو ثنائي غنائي، فاستخدم صورة واحدة تضم الجميع وصِف في البرومبت من يتكلم. والأداء متعدد الأشخاص من أوضح الترقيات مقارنة بـ OmniHuman 1.5.
كتابة برومبتات يتبعها OmniHuman 2
تنجح البرومبتات أكثر حين تكون ملموسة وجسدية. سمِّ الإيماءة والمشاعر وحركة الكاميرا، وتجنّب حشر أكثر من ثلاث تعليمات في جملة واحدة. وإن بدت النتيجة مزدحمة، فاحذف تعليمات بدلًا من إضافة أخرى.
تعليمات الكاميرا مثل «slow push-in» (اقتراب بطيء) أو «static medium shot» (لقطة متوسطة ثابتة) أو «gentle orbit» (دوران خفيف) مفهومة، وكذلك الإيماءات مثل «counts on fingers» (يعدّ على أصابعه) أو «points at the camera» (يشير إلى الكاميرا) أو «holds the product up» (يرفع المنتج).
نصائح لمزامنة شفاه أفضل
معظم مشكلات مزامنة الشفاه تأتي من المدخلات لا من النموذج. قبل إعادة التوليد، تحقق من هذه أولًا.
- احذف فترات الصمت الطويلة في بداية الصوت ونهايته، فالفيديو يعكسها.
- أبقِ الفم ظاهرًا بالكامل في الصورة؛ اللحى لا بأس بها، أما اليدان فوق الفم فلا.
- تجنّب الصدى الثقيل أو الموسيقى تحت الكلام؛ فهي تطمس المقاطع اللفظية التي يعتمد عليها النموذج.
- للنصوص الطويلة، ولّد أولًا اختبارًا قصيرًا من 5 إلى 10 ثوانٍ، ثم اللقطة الكاملة.
حدود المدخلات: OmniHuman 2 مقابل OmniHuman 1.5
| الميزة | OmniHuman 1.5 | OmniHuman 2 |
|---|---|---|
| أقصى مدة للصوت | 30 ثانية بدقة 1080p · 60 ثانية بدقة 720p | حتى 300 ثانية |
| عدد الأشخاص في المشهد | متحدث واحد (القناع يحدد من) | أداء متعدد الأشخاص |
| الإخراج | 720p أو 1080p | 720p أصلية |
الأسئلة الشائعة
هل أحتاج إلى تثبيت أي شيء لاستخدام OmniHuman 2؟
لا. كل شيء يعمل في متصفحك: ترفع صورة، وتضيف صوتًا، ويُولَّد الفيديو على خوادمنا.
ما أقصى مدة لفيديو OmniHuman 2؟
الصوت المدعوم بين 4 ثوانٍ و5 دقائق، والفيديو يطابق مدة صوتك تمامًا.
هل يمكنني استخدام شخصية كرتونية أو لوحة أو شخصية ثلاثية الأبعاد؟
نعم. الرسوم والتصييرات ثلاثية الأبعاد والشخصيات الحيوانية تعمل ما دام هناك وجه ظاهر بوضوح.
كم نقطة يستهلك الفيديو؟
10 نقاط لكل ثانية من الفيديو. المقطع ذو الثلاثين ثانية يستهلك 300 نقطة، والحد الأدنى 40 نقطة لمقطع مدته 4 ثوانٍ.
هل يمكنني جعل عدة أشخاص يتكلمون في فيديو واحد؟
نعم. استخدم صورة واحدة تضم الجميع وصِف في البرومبت من يتكلم. المشاهد متعددة الأشخاص جديدة في OmniHuman 2.
هل تبقى صورتي خاصة؟
نعم. تُخزَّن الملفات المرفوعة بشكل خاص في حسابك ولا تُستخدم إلا لتوليد فيديوهاتك.