MiniMax H3 Max Lip Sync : Transformez une Photo en Vidéo Parlante

Lip Sync est le membre parlant de la famille MiniMax H3 Max, conçu pour une tâche que les autres ne font pas : faire parler un visage immobile. Où le modèle parent génère des vidéos à partir d'un prompt ou d'une image, Lip Sync prend un portrait et une piste audio et anime la bouche pour suivre ce qu'il entend. Utilisez-le pour des présentateurs virtuels, du contenu parlant-narrés, et des personnages statiques doublés dans une autre langue.

Générez à 480p, 768p, 1080p ou 2K, avec le rapport d'aspect tiré de l'image que vous téléchargez plutôt que défini séparément. L'audio décide de la longueur, entre 5 et 14,8 secondes, donc il n'y a pas de champ de durée à se tromper et pas de silence ajouté à la fin. Gardez le même portrait et échangez la piste pour produire une autre prise - une phrase reformulée, une lecture traduite, une coupe plus courte - et le présentateur reste identique dans chaque version.

Emportez votre propre audio et le modèle le lit image par image, animant la bouche pour correspondre au son plutôt que d'approximer la parole. Parce que la voix est la vôtre, la livraison, l'accent et le rythme sont ce que vous avez enregistré - rien n'est synthétisé et rien n'est deviné. Le visage sur la photo reste le visage dans la vidéo, donc un présentateur que vous avez déjà photographié ou généré conserve son apparence à travers tout ce qu'il dit.

La plupart des pistes ne nécessitent rien de plus que le fichier audio. Lorsque la parole est rapide, l'accent est fort ou l'enregistrement est bruyant, passez les mots en parallèle et le modèle les utilise pour guider la synchronisation. Cela reste optionnel tout au long, donc vous n'y avez recours que pour les prises qui en ont besoin plutôt que de transcrire tout dès le départ.

Faites appel à Lip Sync lorsque un visage doit parler : explications de produits, versions localisées du même script, ou un présentateur récurrent qui n'a jamais besoin d'être reprogrammé. Il n'y a pas de clé API et pas de compte séparé: générez le clip et transportez-le dans l'éditeur. À l'intérieur de Picsart, il se trouve aux côtés de plus de 150 modèles, y compris Camera Controls pour un mouvement de caméra programmé et Ref-to-Video pour une génération guidée par référence, donc vous pouvez synchroniser le visage ici et changer de modèle pour la prise suivante.