इस पेज पर समझिए कि प्रॉम्प्ट से चलने वाले और ऑडियो से चलने वाले जनरेशन में क्या फ़र्क है, कौन-सी आवाज़ें काम करती हैं, और कंट्रोल के लिए ऑडियो को छोटे प्रॉम्प्ट के साथ कैसे मिलाएँ।
ऑडियो के साथ इमेज से वीडियो: प्रॉम्प्ट-ड्रिवन बनाम ऑडियो-ड्रिवन
आम वीडियो मॉडल शब्दों में बताए गए नज़ारे और कैमरा मूव में बढ़िया होते हैं, लेकिन उन्हें पता नहीं होता कि कोई शब्दांश कब आता है। ऑडियो-ड्रिवन मॉडल वेवफ़ॉर्म पढ़ते हैं: प और ब जैसी ध्वनियाँ होंठ बंद करती हैं, ज़ोर वाले शब्द एक्सप्रेशन लाते हैं, ठहराव चेहरे को शांत होने देते हैं। नतीजा फ़्रेम तक सिंक होता है, जो हर उस क्लिप के लिए ज़रूरी है जिसमें कोई व्यक्ति स्क्रीन पर बोलता या गाता है।
OmniHuman 2 में प्रॉम्प्ट भी मिलता है — लेकिन वह परफ़ॉर्मेंस और कैमरा को आकार देता है, जबकि टाइमिंग पूरी तरह आवाज़ से आती है।
कौन-सा ऑडियो काम करता है
यह मॉडल इंसानी आवाज़ों के लिए बना है। सबसे अच्छे नतीजे इनसे मिलते हैं:
- बोले गए वॉइस-ओवर, इंटरव्यू, लेसन और पॉडकास्ट के हिस्से।
- गाना — सोलो वोकल, डुएट और कोरस।
- एक ही फ़्रेम में दो या ज़्यादा लोगों के बीच बातचीत।
- टेक्स्ट-टू-स्पीच टूल से एक्सपोर्ट की गई सिंथेटिक आवाज़।
ऑडियो को छोटे प्रॉम्प्ट के साथ मिलाएँ
प्रॉम्प्ट का इस्तेमाल उन चीज़ों के लिए करें जो ऑडियो नहीं बता सकता: व्यक्ति कहाँ देखता है, कैमरा कैसे चलता है, किस लाइन के साथ कौन-सा इशारा हो। इसे एक-दो वाक्य तक रखें। 20 सेकंड की क्लिप के लिए “Looks at the camera, opens hands on the question, slow push-in” (कैमरे की ओर देखता है, सवाल पर हाथ खोलता है, धीमा पुश-इन) काफ़ी है।
फ़ॉर्मेट की बात करें तो 4 सेकंड से 5 मिनट तक का MP3 या WAV अपलोड करें; इमेज JPG, PNG, WEBP या दूसरे फ़ॉर्मेट में, 30 MB तक हो सकती है।
इमेज और ऑडियो से तैयार वीडियो तक
स्टूडियो में प्रोसेस:
- 1इमेजवह स्टिल अपलोड करें जिसे आप ज़िंदा करना चाहते हैं।
- 2ऑडियोवह ट्रैक अपलोड या रिकॉर्ड करें जो उसे चलाएगा।
- 3डायरेक्शनचाहें तो परफ़ॉर्मेंस और कैमरा के लिए एक वाक्य जोड़ें।
- 4रेंडरमुफ़्त में प्रीव्यू देखें, फिर 720p MP4 रेंडर करें।
दूसरे AI टूल्स के साथ जोड़ें
कई क्रिएटर इनपुट दूसरे टूल्स से बनाते हैं: कैरेक्टर के लिए इमेज जनरेटर, नैरेशन के लिए वॉइस टूल, और परफ़ॉर्मेंस के लिए यह मॉडल। इस पाइपलाइन में हर स्टेप खास रहता है — डिज़ाइन, आवाज़, मूवमेंट — और आप बाकी को दोबारा किए बिना किसी एक हिस्से को बदल सकते हैं।
अगर इमेज खुद जनरेट करते हैं, तो सामने देखता कैरेक्टर, दिखता हुआ मुँह और सादा बैकग्राउंड माँगें; ये चुनाव बाद के एनिमेशन स्टेप को कहीं ज़्यादा भरोसेमंद बनाते हैं।
जानने लायक सीमाएँ
मॉडल लोगों और कैरेक्टर्स को एनिमेट करता है, पूरे सीन को नहीं; कैमरा मूवमेंट के अलावा बैकग्राउंड की चीज़ें ज़्यादातर स्थिर रहती हैं। यह कपड़े नहीं बदल सकता, प्रॉप नहीं जोड़ सकता और व्यक्ति को नई जगह नहीं ले जा सकता — ये फ़ैसले सोर्स तस्वीर में ही होने चाहिए।
सबसे साफ़ नतीजा कैसे पाएँ
ऑडियो क्वालिटी सिंक की ऊपरी सीमा तय करती है, और इमेज की स्पष्टता रियलिज़्म की। शार्प, एक जैसी रोशनी वाला चेहरा और माइक के पास की साफ़, सूखी रिकॉर्डिंग आपके नतीजे को किसी भी प्रॉम्प्ट के शब्दों से ज़्यादा बेहतर बनाएगी।
अक्सर पूछे जाने वाले सवाल
क्या बैकग्राउंड में म्यूज़िक जोड़ा जा सकता है?
रेंडर के बाद इसे अपने एडिटर में जोड़ें। जनरेशन के दौरान आवाज़ के नीचे म्यूज़िक होने से लिप सिंक की सटीकता कम हो सकती है।
क्या ऑडियो से वीडियो की लंबाई तय होती है?
हाँ। वीडियो ठीक आपके ऑडियो जितना लंबा होता है, 4 सेकंड से 5 मिनट तक।
क्या यह ऑडियो से लैंडस्केप एनिमेट कर सकता है?
मॉडल लोगों और कैरेक्टर्स के लिए बना है। बिना चेहरे वाले सीन से कोई सार्थक नतीजा नहीं मिलेगा।
कौन-से ऑडियो फ़ॉर्मेट काम करते हैं?
MP3 और WAV। ब्राउज़र रिकॉर्डिंग अपने आप कन्वर्ट हो जाती हैं।
क्या प्रॉम्प्ट ज़रूरी है?
नहीं। प्रॉम्प्ट के बिना मूवमेंट पूरी तरह ऑडियो से आती है; प्रॉम्प्ट डायरेक्शन जोड़ता है।
क्या डाउनलोड किए गए वीडियो में आवाज़ होती है?
हाँ। MP4 में आपका ओरिजिनल ऑडियो एनिमेशन के साथ सिंक होकर आता है।
क्या जनरेट की गई आवाज़ और जनरेट की गई इमेज साथ में इस्तेमाल की जा सकती हैं?
हाँ। कई क्रिएटर इमेज जनरेटर, टेक्स्ट-टू-स्पीच आवाज़ और OmniHuman 2 को साथ इस्तेमाल करते हैं — बस पक्का करें कि हर इनपुट के अधिकार आपके पास हों।