MiniMax H3 Max Lip Sync: Transforme uma Foto em um Vídeo Falante

Lip Sync é o membro falante da família MiniMax H3 Max, construído para um trabalho que os outros não fazem: fazer um rosto parado falar. Onde o modelo pai gera vídeo de um prompt ou imagem, Lip Sync toma um retrato e uma faixa de áudio e anima a boca para acompanhar o que ouve. Use para apresentadores virtuais, conteúdo falante narrado e imagens de personagens dubladas em outro idioma.

Gere em 480p, 768p, 1080p ou 2K, com a proporção de aspecto retirada da imagem que você carrega em vez de configurar separadamente. O áudio decide o comprimento, em qualquer lugar de 5 a 14,8 segundos, então não há campo de duração para errar e não há silêncio adicionado ao final. Mantenha o mesmo retrato e troque a trilha para produzir outra versão - uma linha reescrita, uma leitura traduzida, um corte mais curto - e o apresentador parece idêntico em todas as versões.

Traga seu próprio áudio e o modelo o lê quadro a quadro, movimentando a boca para corresponder ao som, em vez de aproximar a fala. Porque a voz é sua, a entonação, o sotaque e o ritmo são o que você gravou - nada é sintetizado e nada é adivinhado. O rosto na foto permanece o rosto no vídeo, então um apresentador que você já fotografou ou gerou mantém sua semelhança em tudo o que ele diz.

A maioria das faixas não precisa de mais nada além do arquivo de áudio. Quando o discurso é rápido, o sotaque é forte ou a gravação é barulhenta, passe as palavras junto e o modelo as usa para guiar a sincronização. Isso permanece opcional ao longo de todo o processo, então você só recorre a isso nas tomadas que precisam, em vez de transcrever tudo antecipadamente.

Recurra ao Lip Sync quando um rosto precisar falar - explicadores de produtos, versões localizadas do mesmo roteiro ou um apresentador recorrente que nunca precisa ser recontratado. Não há chave de API e nenhuma conta separada: gere o clipe e leve-o ao editor. Dentro do Picsart, ele fica ao lado de mais de 150 modelos, incluindo Controles de Câmera para movimento de câmera programado e Ref-to-Video para geração guiada por referências, então você pode sincronizar o rosto aqui e mudar os modelos para a próxima tomada.