MiniMax H3 Max Lip Sync: حول صورة إلى فيديو متحدث

يعتبر Lip Sync هو العضو المتحدث الرأس من عائلة MiniMax H3 Max، المصمم لمهمة واحدة لا يقوم بها الآخرون: جعل الوجه الثابت يتحدث. حيث يقوم النموذج الرئيسي بتوليد فيديو من موجه أو صورة، يقوم Lip Sync بأخذ صورة ومسار صوتي وتحريك الفم لمطابقة ما يسمعه. استخدمه للمقدمين الافتراضيين، المحتوى المتحدث الرأس المروى، والصور الشخصية المدبلجة بلغة أخرى.

توليد بدقة 480p, 768p, 1080p أو 2K، مع نسبة العرض مأخوذة من الصورة التي ترفعها بدلاً من تعيينها بشكل منفصل. يحدد الصوت الطول، من 5 إلى 14.8 ثانية، لذا لا يوجد حقل مدة يمكن أن يكون خطأ ولا يوجد صمت مضاف في النهاية. احتفظ بنفس الصورة واستبدل المسار لإنتاج لقطة أخرى - عبارة معاد صياغتها، قراءة مترجمة، قصير، والمقدم يبدو متطابقًا في كل نسخة.

أحضر صوتك الخاص والنموذج يقرأه إطارًا بإطار، يقود الفم لمطابقة الصوت بدلاً من تقريب الكلام. نظرًا لأن الصوت هو صوتك، فإن النبرة واللهجة والإيقاع هو ما سجلته أنت - لا شيء مُركب ولا شيء مُخمن. يظل الوجه في الصورة هو الوجه في الفيديو، لذا يبقى المقدم الذي صورته أو تولدته بالفعل بشبهه عبر كل ما يقوله.

معظم المسارات لا تحتاج إلى شيء أكثر من ملف الصوت. عندما يكون الكلام سريعًا، اللهجة قوية أو التسجيل مزعج، مرر الكلمات إلى جانبها والنموذج يستخدمها لتوجيه التزامن. يبقى اختياري طوال الوقت، لذا تلجأ إليه فقط في اللقطات التي تحتاج إليه بدلاً من نسخ كل شيء في البداية.

الطواف في Lip Sync عندما يجب أن يتحدث وجه - مفسرو المنتجات، النسخ المحلية لنفس النص، أو مقدم متكرر لا يحتاج أبدًا إلى إعادة حجز. لا يوجد مفتاح API ولا حساب منفصل: توليد المقطع وحمله إلى المحرر. داخل Picsart يجلس بجانب أكثر من 150 نموذجًا، بما في ذلك Camera Controls لحركة الكاميرا المبرمجة و Ref-to-Video لتوليد من النوع المرجعي، لذا يمكنك تزامن الوجه هنا والتبديل إلى النماذج لللقطة التالية.