OmniHuman 2.0

位置づけの概要

これは音声駆動型のデジタルヒューマン動画生成モデルです。実写またはイラストキャラクターの画像と、音声または歌声を受け取り、音声と同期したパフォーマンス動画を出力します。動画の長さは音声に従い、映像は元画像のアスペクト比を維持します。任意でプロンプトを用いてシーン、表情、ジェスチャー、カメラワークを記述できます。キャラクターのナレーション、歌唱、対話のカットを必要とする開発者やコンテンツクリエイターに適しており、SNS向けショート動画、マーケティングの代言、デジタルヒューマンアプリにおけるキャラクター出演素材などに活用できます。

主なハイライト

• 音声駆動によるリップシンクと表情の同期——音声や歌声のリズムと語調に合わせて、口の動き、表情、身体の動きを生成し、動画の長さは音声と一致します。
• 画像から動画へ、元の比率を維持——キャラクター画像をアップロードするだけでパフォーマンス動画を生成でき、完成映像は画像のアスペクト比を引き継ぐため、既存のレイアウトにそのまま組み込めます。
• プロンプトによる演技とカメラワークの制御——任意のプロンプトでシーン、表情、ジェスチャー、ゆっくりとしたズームインなどのカメラ効果を記述できます。
• 1本の音声で数分間のパフォーマンスをカバー——駆動音声は4〜300秒に対応し、完成映像は音声に合わせて延長できるため、連続したナレーションや歌唱パートに適しています。

機能説明

画像と音声からキャラクター動画を生成：キャラクター画像と駆動音声を提供するだけで、そのキャラクターのパフォーマンス動画を生成できます。画像は実写またはイラストキャラクターに対応し、出力映像は元画像のアスペクト比を引き継ぎます。

リップシンクパフォーマンス：動画は駆動する音声や歌声をリズムとして、対応する口の動きと表情を生成します。ナレーション、台詞、歌唱系の素材に適しており、動画の長さは音声と一致します。

プロンプトによる演技とカメラの制御：任意のプロンプトは最大300文字までで、シーン、表情、ジェスチャー、カメラワークの記述に使用できます。

音声の長さ範囲：駆動音声はmp3またはwavで、長さ4〜300秒かつ15MB以下である必要があり、完成映像の長さはそれに対応するため、長い連続パフォーマンスの計画が容易です。

画像仕様の範囲：キャラクター画像はjpeg、png、webpに対応し、10MB以下、アスペクト比0.4〜2.5、各辺300〜6000ピクセルである必要があります。

適用シーン

• SNSナレーション動画クリエイター——配信者の人物画像と解説音声をアップロードし、キャラクターのナレーション動画を生成して、ソーシャルプラットフォームでのショート動画投稿やアカウントの日常更新にそのまま活用できます。
• バーチャル歌唱と音楽パフォーマンス——歌手やバーチャル形象の画像に楽曲音声を組み合わせ、キャラクターの歌唱映像を制作し、音楽系コンテンツのパフォーマンス素材として利用できます。
• マーケティング代言者ショートフィルム——ブランドイメージ画像に宣伝コピーの吹き替えを組み合わせ、代言者や司会者が出演するショートフィルムを生成し、広告やイベントページの表示に使用できます。
• デジタルヒューマンアプリ開発者——APIに接続してキャラクター画像と音声を一括送信し、動画制作アプリにデジタルヒューマンの出演カットを提供して、追加撮影や台詞カットの生成に活用できます。

制限と選定のアドバイス

駆動音声は必須入力であり、動画内容は音声によって駆動され、キャラクター画像も同時に提供する必要があります。入力音声の長さは4〜300秒の範囲である必要があり、4秒未満のタスクは失敗し全額返金されます。キャラクター画像は形式とサイズの要件を満たす必要があり、アスペクト比は0.4〜2.5、各辺300〜6000ピクセルです。プロンプトは任意項目で、最大300文字です。