OmniHuman 2 ByteDance का ऑडियो से चलने वाला ह्यूमन वीडियो मॉडल है। आप इसे एक स्टिल इमेज और एक ऑडियो क्लिप देते हैं, और यह ऐसा वीडियो बनाता है जिसमें व्यक्ति आवाज़ के साथ सिंक में बोलता या गाता है — नैचुरल हाव-भाव, हाथों के इशारे, बॉडी मूवमेंट और, अगर आप चाहें, तो कैमरा मूवमेंट के साथ। पढ़ते-पढ़ते आप अपनी फ़ोटो अपलोड करके साथ-साथ आज़मा सकते हैं।
शुरू करने से पहले आपको क्या चाहिए
OmniHuman 2 को ठीक दो इनपुट चाहिए और एक वैकल्पिक इनपुट भी स्वीकार करता है। इन्हें सही रखना किसी भी सेटिंग से ज़्यादा मायने रखता है, क्योंकि मॉडल पूरी परफ़ॉर्मेंस इन्हीं से बनाता है।
- एक इमेज: JPG, PNG या WEBP (दूसरे आम फ़ॉर्मेट भी चलते हैं), हर साइड पर 300 से 6000 पिक्सल, 30 MB से कम, और आस्पेक्ट रेशियो 0.4 से 2.5 के बीच।
- एक ऑडियो क्लिप: MP3 या WAV, 4 सेकंड से 5 मिनट तक लंबी, 15 MB से कम। फ़ाइनल वीडियो ठीक आपके ऑडियो जितना लंबा होता है।
- वैकल्पिक: इशारे, मूड, सीन की डिटेल या कैमरा मूवमेंट बताने वाला छोटा टेक्स्ट प्रॉम्प्ट। अंग्रेज़ी, चीनी, जापानी, कोरियाई, स्पैनिश और इंडोनेशियाई प्रॉम्प्ट सपोर्टेड हैं।
OmniHuman 2 कैसे इस्तेमाल करें, स्टेप-बाय-स्टेप
यह वही पूरा वर्कफ़्लो है जो हम अपने शोकेस के हर वीडियो के लिए इस्तेमाल करते हैं।
- 1साफ़ फ़ोटो चुनेंऐसी इमेज चुनें जिसमें चेहरा शार्प हो, रोशनी एक जैसी हो और बाल, हाथ या माइक से ढका न हो। आधे या पूरे शरीर वाला शॉट OmniHuman 2 को हाथों के इशारों के लिए जगह देता है; टाइट हेडशॉट फ़ोकस चेहरे पर रखता है।
- 2अपना ऑडियो तैयार करेंMP3 या WAV अपलोड करें या सीधे ब्राउज़र से रिकॉर्ड करें। बिना बैकग्राउंड म्यूज़िक की साफ़ बोली से सबसे सटीक लिप सिंक मिलता है। गाने के लिए धीमे इंस्ट्रुमेंटल के साथ साफ़ वोकल ट्रैक सबसे अच्छा रहता है।
- 3वैकल्पिक प्रॉम्प्ट लिखेंएक-दो छोटे वाक्यों में बताएँ कि व्यक्ति को क्या करना है — जैसे “smiles, leans toward the camera on the last line, slow push-in” (मुस्कुराता है, आख़िरी लाइन पर कैमरे की ओर झुकता है, धीमा पुश-इन)। इसे मूवमेंट और मूड पर रखें, इस पर नहीं कि वे क्या कहते हैं; वह ऑडियो पहले ही तय कर देता है।
- 4जनरेट करें और प्रोग्रेस देखेंलंबाई के हिसाब से रेंडर में आमतौर पर कुछ मिनट लगते हैं। आप पेज छोड़ सकते हैं; तैयार वीडियो आपकी लाइब्रेरी में आ जाएगा।
- 5डाउनलोड करें और शेयर करेंबिना वॉटरमार्क का MP4 डाउनलोड करें। वीडियो 720p में रेंडर होते हैं, जो सोशल फ़ीड, विज्ञापन और प्रेज़ेंटेशन के लिए सही है।
OmniHuman 2 के लिए सही फ़ोटो चुनें
इमेज ही फ़ाइनल वीडियो की पहचान, फ़्रेमिंग, रोशनी और स्टाइल तय करती है, इसलिए इस पर तीस सेकंड सोचना फ़ायदेमंद है। OmniHuman 2 सिर्फ़ असली लोगों तक सीमित नहीं है: इलस्ट्रेशन, 3D कैरेक्टर, पेंटिंग और पहचाने जा सकने वाले चेहरे वाले जानवर भी एनिमेट हो सकते हैं।
अगर आप एक सीन में कई लोगों को बोलते दिखाना चाहते हैं — पॉडकास्ट, इंटरव्यू या डुएट — तो सबको फ़्रेम में लेकर एक फ़ोटो इस्तेमाल करें और प्रॉम्प्ट में बताएँ कि कौन बोल रहा है। मल्टी-पर्सन परफ़ॉर्मेंस OmniHuman 1.5 के मुकाबले सबसे साफ़ अपग्रेड में से एक है।
ऐसे प्रॉम्प्ट लिखें जिन्हें OmniHuman 2 फ़ॉलो करे
प्रॉम्प्ट सबसे अच्छे तब काम करते हैं जब वे ठोस और फ़िज़िकल हों। इशारा, भावना और कैमरा मूव साफ़ लिखें, और एक वाक्य में तीन से ज़्यादा निर्देश न भरें। अगर नतीजा बहुत भरा-भरा लगे, तो नए निर्देश जोड़ने के बजाय कुछ हटा दें।
“slow push-in” (धीमा पुश-इन), “static medium shot” (स्टैटिक मीडियम शॉट) या “gentle orbit” (हल्का ऑर्बिट) जैसे कैमरा निर्देश समझे जाते हैं, और “counts on fingers” (उँगलियों पर गिनता है), “points at the camera” (कैमरे की ओर इशारा करता है) या “holds the product up” (प्रोडक्ट ऊपर उठाता है) जैसे इशारे भी।
बेहतर लिप सिंक के टिप्स
लिप सिंक की ज़्यादातर दिक्कतें मॉडल से नहीं, इनपुट से आती हैं। दोबारा रेंडर करने से पहले ये चीज़ें चेक करें।
- ऑडियो की शुरुआत और आख़िर की लंबी चुप्पी हटाएँ — वीडियो भी उतनी देर रुका रहता है।
- फ़ोटो में मुँह पूरा दिखना चाहिए; दाढ़ी चलेगी, मुँह पर हाथ नहीं।
- बोली के नीचे भारी रिवर्ब या म्यूज़िक से बचें; यह उन शब्दांशों को धुंधला कर देता है जिन पर मॉडल टिकता है।
- लंबी स्क्रिप्ट के लिए पहले 5–10 सेकंड का छोटा टेस्ट रेंडर करें, फिर पूरा टेक।
इनपुट सीमाएँ: OmniHuman 2 बनाम OmniHuman 1.5
| क्षमता | OmniHuman 1.5 | OmniHuman 2 |
|---|---|---|
| अधिकतम ऑडियो लंबाई | 1080p पर 30 सेकंड · 720p पर 60 सेकंड | 300 सेकंड तक |
| एक सीन में लोग | एक स्पीकर (मास्क से चुना जाता है) | मल्टी-पर्सन परफ़ॉर्मेंस |
| आउटपुट | 720p या 1080p | नेटिव 720p |
अक्सर पूछे जाने वाले सवाल
क्या OmniHuman 2 इस्तेमाल करने के लिए कुछ इंस्टॉल करना पड़ता है?
नहीं। सब कुछ आपके ब्राउज़र में चलता है: आप फ़ोटो अपलोड करते हैं, ऑडियो जोड़ते हैं और वीडियो हमारे सर्वर पर रेंडर होता है।
OmniHuman 2 वीडियो कितना लंबा हो सकता है?
4 सेकंड से 5 मिनट तक का ऑडियो सपोर्टेड है, और वीडियो की लंबाई ठीक आपके ऑडियो जितनी होती है।
क्या कार्टून, पेंटिंग या 3D कैरेक्टर इस्तेमाल किया जा सकता है?
हाँ। इलस्ट्रेशन, 3D रेंडर और जानवरों वाले कैरेक्टर तब तक काम करते हैं जब तक चेहरा साफ़ दिखे।
एक वीडियो में कितने क्रेडिट लगते हैं?
वीडियो के हर सेकंड के 10 क्रेडिट। 30 सेकंड की क्लिप में 300 क्रेडिट लगते हैं, और कम से कम 4 सेकंड की क्लिप के लिए 40 क्रेडिट।
क्या एक वीडियो में कई लोगों को बुलवाया जा सकता है?
हाँ। सबको फ़्रेम में लेकर एक फ़ोटो इस्तेमाल करें और प्रॉम्प्ट में बताएँ कि कौन बोलता है। मल्टी-पर्सन सीन OmniHuman 2 में नए हैं।
क्या मेरी फ़ोटो प्राइवेट रहती है?
हाँ। अपलोड आपके अकाउंट में प्राइवेट रूप से स्टोर होते हैं और सिर्फ़ आपके वीडियो रेंडर करने के लिए इस्तेमाल होते हैं।