MiniMax H3 Max Lip Sync: Превратите фото в говорящее видео

Lip Sync - это часть семейства MiniMax H3 Max, созданная для одной задачи, которую другие не выполняют: оживление неподвижного лица. В то время как родительская модель генерирует видео из текста или изображения, Lip Sync берет портрет и аудиотрек и анимирует рот точно так, как он слышит. Используйте его для виртуальных ведущих, озвученных контента с говорящей головой и статичных персонажей, дублированных на другой язык.

Генерация с разрешением 480p, 768p, 1080p или 2K, с соотношением сторон, взятым из изображения, которое вы загружаете, а не устанавливается отдельно. Аудио определяет длину, от 5 до 14,8 секунд, поэтому нет поля для длительности, которое можно было бы настроить неправильно, и нет тишины в конце. Оставайтесь с тем же портретом и замените трек, чтобы произвести еще один дубль - переформулированная строка, переведенное чтение, более короткий отрывок - и ведущий выглядит идентично в каждой версии.

Принесите свое аудио, и модель прочитает его кадр за кадром, направляя рот, чтобы он соответствовал звуку, а не приближенно имитировал речь. Поскольку голос ваш, исполнение, акцент и темп такие, как вы записали - ничего не синтезируется и ничего не предполагается. Лицо на фото остается лицом в видео, так что ведущий, которого вы уже сняли или создали, сохраняет свое сходство со всем, что он говорит.

Большинству треков не нужно ничего, кроме аудиофайла. Когда речь быстрая, акцент сильный или запись шумная, передайте слова вместе с ней, и модель использует их для направления синхронизации. Это остается опциональным на всех этапах, так что вы используете его только там, где это нужно, а не расшифровываете все заранее.

Используйте Lip Sync, когда лицо должно говорить - объяснения к продуктам, локализованные версии одного и того же сценария или постоянный ведущий, который никогда не требует повторного бронирования. Нет API-ключа и отдельной учетной записи: создайте клип и перенесите его в редактор. Внутри Picsart он находится вместе с более чем 150 моделями, включая Camera Controls для программированного движения камеры и Ref-to-Video для генерации, основанной на ссылках, чтобы вы могли здесь синхронизировать лицо и переключать модели для следующего кадра.