MetaHuman Animator のオーディオ駆動アニメーション機能を利用すると、オーディオを処理し、リアルなフェイシャル アニメーションに組み込むことができます。 これはリアルタイムでもオフラインでも実行できます。 このページでは音声をオフラインで処理する方法について説明します。追加の解決パラメータにより、頭部の動き、まばたき、ムードを調整できます。
フェイシャル パフォーマンスのキャプチャの詳細については、「MetaHuman のフェイシャル パフォーマンス キャプチャのガイドライン」(音声キャプチャの推奨事項など) をご覧ください。 MetaHuman Animator では、Unreal Engine で SoundWave アセットとしてサポートされているすべてのオーディオ形式を使用できます。 詳細については、「オーディオ ファイルをインポートする」ドキュメントをお読みください。
モノラル動画からオフライン アニメーションを作成するプロジェクトを構成するには、MetaHuman Animator プラグインが有効であることを確認してください。
MetaHuman Performance アセットは Realtime Audio Solver を使用して音声からアニメーションを生成するように設定できますが、これは依然としてオフラインのプロセスであり、MetaHuman Audio Live Link Source からリアルタイムでアニメーションを生成するものと同じではありません。 Live Link を使用してリアルタイムでアニメーションを生成する方法については、「リアルタイム アニメーション」セクションを参照してください。
この機能は UEFN でも利用できます。ただし、パフォーマンスからのレベル シーケンスのエクスポートは対象外となっており、現在サポートされていません。
必須条件
音声からオフラインでアニメーションを生成するワークフローには、以下が必要です。
Unreal Engine 5.6 (またはそれ以降) のプロジェクト
MetaHuman Animator プラグインが有効
既存の音声ファイルを使用するか、Take Recorder と接続音声デバイスを使用して作成した、1 つ以上の SoundWave アセット
パフォーマンス アセット エディタでの処理
コンテンツ ブラウザで右クリックし、[MetaHuman Animator] > [MetaHuman Performance (MetaHuman パフォーマンス)] の順に選択し、新しい MetaHuman Performance アセットを作成します。
MetaHuman Performance ファイルをダブルクリックし、[Details (詳細)] パネルを構成します。
[Input Type (入力タイプ)] (1) として [Audio (オーディオ)] を選択します。
オーディオ サンプルで、アニメーション (2) を生成するのに使用する SoundWave アセット (2) を選択します。
[Visualization Mesh (ビジュアライゼーション メッシュ)] で、[MetaHuman face mesh (MetaHuman フェイス メッシュ)] (3) を選択します。
クリックして展開します。 [Process (処理する)] をクリックしてフェイシャル アニメーションを生成します。
これにより、オーディオが処理され、シーケンサーに Facial Rig アニメーション トラックが作成されます。
この処理が完了したら、[Export Animation (アニメーションをエクスポート)] または [Export Level Sequence (レベル シーケンスをエクスポート)] をクリックし、フェイシャル アニメーションをエクスポートできます。 レベル シーケンスを選択する場合は、MetaHuman キャラクター ブループリントを必ず割り当ててください。
| オプション | 説明 |
|---|---|
Downmix Channels (チャンネルのダウンミックス) | 有効にすると、処理時に複数チャンネルのオーディオ (ほとんど場合はステレオ) がモノラル チャンネルにダウンミックスされます。 無効にすると、処理に使用されるチャンネルは「オーディオ チャンネル インデックス」によって指定されます。 |
まばたきを生成 | このオプションは、オーディオ ソルブを使用したまばたきの生成を有効または無効にします。 |
追加のソルブ パラメータ
UE 5.6 では、オーディオ ソルブを微調整するためのオプションがさらに増えました。 オーディオ ソルブの一部として変更できる内容の内訳は次のとおりです。
| パラメータ | 説明 | |
|---|---|---|
1 | Head Movement (頭の動き) | 深度モードやリアルタイム (動画) と同様に、音声に基づくアニメーションでは、MetaHuman 上で頭の動きを直接生成できるようになりました。 |
2 | Frames to Process (処理するフレーム) | アニメーションに処理する音声の開始フレームと終了フレームを選択できます。 |
3 | Realtime Audio (リアルタイム音声) | Realtime audio solver を使用します。 これはリアルタイム アルゴリズムを使用して、頭の動きを含まないアニメーションを生成します。 その結果、リアルタイム音声を有効にすると、このセクションで説明されている他のオプションが無効化または非表示になります。 |
4 | まばたきを生成 | 音声からアニメーションへのソルブの一部としてまばたきを生成するかどうかを選択できます。 |
5 | Process Mask (処理マスク) | MetaHuman の顔全体のアニメーションを生成するか、口の領域に関連するカーブのみを生成するかを選択できます。これを使用すると、リップシンク用の代替リップアニメーションをスワップ/レイヤー化できます。 |
6 | Solve Overrides (オーバーライドをソルブする) | ムードをオーバーライド可能にできます。 自動検出か、代替ムードのリストから選択して、ムードの強度を指定します。 ニュートラルの場合、強度はありません。
|
生成されたアニメーションは、アニメーション シーケンスまたはレベル シーケンス アセットとしてエクスポートできます。