MetaHuman Animator のオーディオ駆動アニメーション機能を利用すると、オーディオを処理し、リアルなフェイシャル アニメーションに組み込むことができます。
MetaHuman Animator では、深度フッテージを (深度センサー付き iPhone またはステレオ カメラのセットアップから) 取得し、それを処理してフェイシャル アニメーションに組み込みことができます。 フェイシャル パフォーマンスのキャプチャの詳細については、MetaHuman のフェイシャル パフォーマンス キャプチャのガイドライン をご覧ください。
オーディオ駆動アニメーションは、SoundWave (オーディオ) アセットを処理し、フェイシャル アニメーションに組み込むための別の入力オプションを類似する方法で追加します。
オーディオを使用してフェイシャル アニメーションを駆動するのと比較した場合、フェイシャル パフォーマンスをキャプチャする方法では、より複雑かつ負荷が高いキャプチャ セットアップが必要です。
この機能は UEFN でも利用できます。ただし、パフォーマンスからのレベル シーケンスのエクスポートは対象外となっており、現在サポートされていません。
オーディオ キャプチャの推奨事項
生成されるフェイシャル アニメーションの品質は、録音されたオーディオの明瞭さによります。
アニメーションの結果を改善するには、以下の推奨事項に従ってください。
推奨事項 | 構成 |
---|---|
最小サンプリング レートは 16kHz | より低いサンプリング レートでは、重要な音声に関連する周波数が信号から削除されます。 |
バックグラウンド ノイズを最小限にする | 信号対ノイズの比率が高いオーディオほど、クリーンなアニメーションになります。 |
リバーブやエコーをなくす | 録音にこれらのエフェクトが存在している場合、アニメーションの品質が低下します。 |
オーディオ ファイルごとに 1 人の話者 | この機能は録音内に存在するすべての音声に対してアニメーションを付けるため、複数の話者がいたりバックグラウンドの音声があったりすると、結果のアニメーションに影響を及ぼす可能性があります。 |
MetaHuman Animator では、Unreal Engine でサポートされているすべてのオーディオ形式を使用できます。「オーディオ ファイルをインポートする」のドキュメントを参照してください。
パフォーマンス アセット エディタでの処理
-
コンテンツ ブラウザ で右クリックし、[MetaHuman Animator] > [MetaHuman Performance (MetaHuman パフォーマンス)] の順に選択し、新しい MetaHuman Performance アセットを作成します。
-
MetaHuman Performance ファイル をダブルクリックし、[Details (詳細)] パネルを構成します。
-
[Input Type (入力タイプ)] (1) として [Audio (オーディオ)] を選択します。
-
*オーディオ** サンプルで、アニメーション (2) を生成するのに使用する SoundWave アセット (2) を選択します。
-
[Visualization Mesh (ビジュアライゼーション メッシュ)] で、[MetaHuman face mesh (MetaHuman フェイス メッシュ)] (3) を選択します。
-
-
[Process (処理する)] をクリックしてフェイシャル アニメーションを生成します。 これにより、オーディオが処理され、シーケンサーに Facial Rig アニメーション トラックが作成されます。
この処理が完了したら、[Export Animation (アニメーションをエクスポート)] または [Export Level Sequence (レベル シーケンスをエクスポート)] をクリックし、フェイシャル アニメーションをエクスポートできます。レベル シーケンスを選択する場合は、MetaHuman キャラクター ブループリントを必ず割り当ててください。
オプション | 説明 |
---|---|
Downmix Channels (チャンネルのダウンミックス) | 有効にすると、処理時に複数チャンネルのオーディオ (ほとんど場合はステレオ) がモノラル チャンネルにダウンミックスされます。 無効にすると、処理に使用されるチャンネルは「オーディオ チャンネル インデックス」によって指定されます。 |
Generate Blinks (まばたきを生成) | このオプションは、オーディオ ソルブを使用したまばたきの生成を有効または無効にします。 |
コンテンツ ブラウザからのバッチ処理
バッチ処理を利用すると、複数のオーディオ アセットを同時に処理できます。このためには、次の手順を実行します。
-
コンテンツ ブラウザで、処理するすべての SoundWave アセットを選択します。
-
右クリックして、[MetaHuman Performance] メニューを選択します。このメニューには、次の 3 つのオプションがあります。
-
Create Performance and Process (パフォーマンスおよび処理を作成)
-
Process and Export to Anim Sequences (アニメーション シーケンスに処理およびエクスポート)
-
Process and Export to Level Sequences (レベル シーケンスに処理およびエクスポート)
-
Create Performance and Process
各 SoundWave の MetaHuman Performance アセットを作成し、それらすべてを個別に処理します。
このオプションの選択時に、ダイアログが表示されます。
-
出力パスを選択します。
-
出力ファイルにプレフィックスやサフィックスを追加します。
-
[Export (エクスポート)] をクリックします。
-
次のダイアログ ウィンドウで、アニメーションに使用する MetaHuman フェイス メッシュを選択します。
[Create (作成)] をクリックすると、処理が開始され、指定した出力フォルダに各パフォーマンス アセットが追加されます。

Process and Export to Anim Sequences
各 SoundWave の MetaHuman パフォーマンスとアニメーション シーケンスを作成し、それらすべてを個別に処理します。
-
出力パスを選択します。
-
出力ファイルにプレフィックスやサフィックスを追加します。
-
[Export] をクリックします。
-
次のダイアログ ウィンドウで、アニメーションに使用する MetaHuman のターゲット スケルトンまたはスケルタルメッシュを選択します。
[Create] をクリックすると、処理が開始され、指定した出力フォルダに各パフォーマンス アセットが追加されます。
Process and Export to Level Sequences
各 SoundWave の MetaHuman パフォーマンスとレベル シーケンスを作成し、それらすべてを個別に処理します。
-
出力パスを選択します。
-
出力ファイルにプレフィックスやサフィックスを追加します。
-
[Export] をクリックします。
-
次のダイアログ ウィンドウで、ターゲット MetaHuman クラスの MetaHuman ブループリントを選択します。
[Create] をクリックすると、処理が開始され、指定した出力フォルダに各パフォーマンス アセットが追加されます。
Python を使用して処理する
-
プラグインの /Content/Python フォルダには、サンプル スクリプトの「
process_audio_performance.py
」があります。これを使用すると、SoundWave アセットから MetaHuman パフォーマンスを作成し、処理できます。 -
このサンプル スクリプト「
export_performance.py
」は、パフォーマンスからアニメーション シーケンスやレベル シーケンスをエクスポートするのに使用できます。 -
「
/Content/Python/ReadMe.txt
」には、これらのスクリプトを呼び出す方法について、追加の情報が記載されています。