MiniMax H3 Max Lip Sync: Zamień zdjęcie w mówiące wideo

Lip Sync to członek rodziny MiniMax H3 Max, stworzony do jednej pracy, której inne nie robią: sprawiania, by nieruchoma twarz mówiła. Tam, gdzie model macierzysty generuje wideo z prompta lub obrazu, Lip Sync bierze portret i ścieżkę dźwiękową, animując usta, aby dopasować się do tego, co słyszy. Użyj go do wirtualnych prezenterów, narracyjnych treści mówiąco-głowowych i nieruchomych postaci z dubbingiem w innym języku.

Generuj w 480p, 768p, 1080p lub 2K, z proporcjami pobranymi z obrazu, który przesyłasz, a nie ustawianymi osobno. Dźwięk decyduje o długości, od 5 do 14,8 sekund, więc nie ma pola na błędne ustawienie długości i nie ma ciszy dodanej na końcu. Zostaw ten sam portret i zamień ścieżkę, aby stworzyć inną wersję - zmienioną linię, przetłumaczony tekst, krótsze cięcie - a prezenter wygląda identycznie w każdej wersji.

Przynieś własne audio, a model odczyta je klatka po klatce, sterując ustami, aby dopasować się do dźwięku, a nie przybliżać mowę. Ponieważ głos jest twój, sposób wykonania, akcent i tempo są takie, jakie nagrałeś - nic nie jest syntetyzowane i nic nie jest zgadywane. Twarz na zdjęciu pozostaje twarzą na wideo, więc prezenter, którego już nakręciłeś lub wygenerowałeś, zachowuje swoje podobieństwo we wszystkim, co mówi.

Większość ścieżek potrzebuje tylko pliku audio. Kiedy mowa jest szybka, akcent mocny lub nagranie szumiące, podaj słowa obok niego, a model użyje ich do prowadzenia synchronizacji. Jest opcjonalne przez cały czas, więc sięgasz po nie tylko w przypadku, gdy transkrypcja jest potrzebna, zamiast tworzyć wszystko wcześniej.

Sięgnij po Lip Sync, gdy twarz ma mówić - wyjaśnienia produktów, zlokalizowane wersje tego samego skryptu lub powtarzający się prezenter, który nigdy nie wymaga ponownej rezerwacji. Nie ma klucza API i nie ma oddzielnego konta: wygeneruj klip i przenieś go do edytora. W Picsart siedzi obok 150+ modeli, w tym Kamera Kontrol do zaprogramowanego ruchu kamery i Ref-to-Video do generacji napędzanej odniesieniem, więc możesz zsynchronizować twarz tutaj i przełączyć modele do następnego ujęcia.