MiniMax H3 Max Lip Sync: 写真を話す動画に変える

Lip Syncは、MiniMax H3 Maxファミリーの話すヘッドメンバーで、他のモデルができないこと、つまり静止した顔を話させるために作られました。親モデルがプロンプトや画像から動画を生成するのに対し、Lip Syncは肖像画と音声トラックを取り、聞いた内容に合わせて口を動かします。仮想プレゼンターや、ナレーションされたトーキングヘッドコンテンツ、別の言語に吹き替えたキャラクタースティルなどに利用できます。

480p、768p、1080p、または2Kで生成し、アップロードした画像から縦横比を取り込みます。音声が長さを決め、どこでも5から14.8秒の長さであるため、間違えることがないように別途期間を設定する必要はありません。最後に沈黙をパッドすることはなく、同じポートレートを使用してトラックを交換することで、異なるテイクを制作することができます。再翻訳、異なる読み上げ、短いカットのいずれであっても、プレゼンターはどのバージョンでも同じに見えます。

自分の音声を持ち込むと、モデルはそれをフレームごとに読み取り、口を音に合わせて動かします。何かを合成することも推測することもありません。そして、写真の顔はそのまま映像の顔になるため、すでに撮影または生成されているプレゼンターは、言うこと全てにおいてその姿を保ちます。

ほとんどのトラックは音声ファイルだけで済みます。音声が速い場合、アクセントが強い場合、録音がノイズが多い場合は、言葉をその横に渡し、モデルが同期をガイドするためにそれらを使用します。必要なテイクでのみ使用することができ、すべてを最初から文字起こしする必要はありません。

顔を話させる必要があるときにはLip Syncを選んでください。製品の解説、同じ原稿のローカライズ版、再予約が不要な大変されるプレゼンターなどです。APIキーも別のアカウントも要りません: クリップを生成し、エディタに持ち込みましょう。Picsart内では、プログラムされたカメラ動作用のCamera Controlsや、基準ドリブンの生成のためのRef-to-Video を含む150以上のモデルとともに存在するので、ここで顔を同期させ、次のショットでモデルを切り替えることができます。