MiniMax H3 Max Lip Sync: Transformă o Fotografie Într-un Video Vorbitor

Lip Sync este membrul vorbitor al familiei MiniMax H3 Max, construit pentru o sarcină pe care celelalte nu o îndeplinesc: să facă o față statică să vorbească. În timp ce modelul părinte generează video dintr-o solicitare sau o imagine, Lip Sync preia un portret și o pistă audio și animează gura pentru a se potrivi cu ceea ce aude. Folosește-l pentru prezentatori virtuali, conținut narat cu cap vorbitor și cadre de personaje dublate într-o altă limbă.

Generează la 480p, 768p, 1080p sau 2K, cu raportul de aspect preluat din imaginea pe care o încarci, nu setat separat. Audio-ul decide lungimea, oriunde între 5 și 14,8 secunde, astfel încât nu există un câmp de durată care să fie greșit și niciun sunet adăugat la sfârșit. Păstrează același portret și schimbă pista pentru a produce o altă versiune - o replică modificată, o lectură tradusă, o scurtare - și prezentatorul arată identic în fiecare versiune.

Adu-ți propriul audio și modelul îl citește cadru cu cadru, conducând gura pentru a se potrivi cu sunetul, în loc de a aproxima discursul. Pentru că vocea este a ta, livrarea, accentul și ritmul sunt ceea ce ai înregistrat - nimic nu este sintetizat și nimic nu este ghicit. Fața din fotografie rămâne fața din videoclip, așa că un prezentator pe care l-ai filmat sau generat deja își păstrează trăsăturile în tot ceea ce spune.

Majoritatea pieselor nu necesită altceva decât fișierul audio. Când discursul este rapid, accentul este puternic sau înregistrarea este zgomotoasă, trimite cuvintele alături de acesta și modelul le folosește pentru a ghida sincronizarea. Rămâne opțional pe toată durata, așa că îl folosești doar la luările care au nevoie de el, în loc să transcrii totul din start.

Apelează la Lip Sync când o față trebuie să vorbească - explicatori de produse, versiuni localizate ale aceluiași scenariu sau un prezentator recurent care nu trebuie reprogramat. Nu există cheie API și niciun cont separat: generează clipul și ia-l în editor. În interiorul Picsart, acesta stă alături de peste 150 de modele, inclusiv Camera Controls pentru mișcarea programată a camerei și Ref-to-Video pentru generarea bazată pe referințe, așa că poți sincroniza fața aici și schimba modele pentru următoarea scenă.