Machine Learning (ML) Deformer サンプルは、Unreal Engine の機械学習 (ML) 技術を使用して、学習したオフラインの筋肉、脂肪、クロスのシミュレーションによって制御されるリアルな変形を使用した、高忠実度のリアルタイム ゲーム キャラクターを作成する方法を示しています。 このサンプルでは、ML Deformer プラグインを使用します。
このサンプルのメイン レベルはインタラクティブなデモ シーケンスで、 筋肉の膨張や皮膚の下にある様子、衣服のひだを示しています。 また、ML デフォーマーの有効/無効を切り替えた結果を比較したり、含まれている ControlRig アセットでモデルをアニメートしたりすることができます。
サンプルをダウンロードする
ML Deformer サンプルを使用してプロジェクトを作成するには、次の手順を実行します。
Fab から MLデフォーマー サンプルにアクセスし、ライブラリに追加をクリックして、プロジェクト ファイルを Epic Games Launcher に表示します。
または、Launcher 版 Fab または UE の Fab プラグインを使用してサンプル プロジェクトを検索できます。
Epic Games Launcher から、[Unreal Engine] > [ライブラリ] > [Fab ライブラリ] の順に移動して、プロジェクトにアクセスします。
サンプル プロジェクトは、互換性のあるバージョンのエンジンをインストールした場合にのみ Fab ライブラリに表示されます。
プロジェクトを作成をクリックし、画面に表示される手順に従ってサンプルをダウンロードし、新規プロジェクトを開始します。
Fab のサンプル コンテンツにアクセスする方法の詳細については、「サンプルとチュートリアル」を参照してください。
シーンを操作する
シーンが PIE で再生されているときは、キーボードまたは PlayStation ゲームパッドのコントロールを使用してシーン内を移動することができます。 これらのコントロールは、Content/Input/ フォルダにある KeyboardGamepadMapping ファイルで設定され、カスタマイズすることができます。
ML 変形の切り替えとレイヤー
シーンの再生中に M キーを押し続けるか、ゲームパッドの 左 D パッド ボタンを長押しすると、一時的に ML デフォーマーを無効にできます。
上/下矢印キーを押すか、D パッドの上/下ボタンを使用すると、クロス レイヤー、スキン レイヤー、筋肉レイヤーの間で切り替えることができます。
N キーと D パッドの右ボタンで、通常のマテリアルとクレイ シェーダーを切り替えることができます。
再生および HUD コントロール
PIE でシーンを再生しているときは、以下の再生コントロールを使用できます。
| 操作 | キーボードショートカット | ゲームパッド ショートカット |
|---|---|---|
再生を一時停止する | スペースキー | X ボタン |
再生速度を下げる | カンマ | 四角ボタン |
再生速度を上げる | 期間 | 丸ボタン |
また、2 つの個別のヘッドアップ ディスプレイ (HUD) ウィジェットを有効にすることができます。
| ウィジェット | キーボードショートカット | ゲームパッド ショートカット |
|---|---|---|
統計およびパフォーマンス ウィジェット | H | L1 ボタン |
ショートカット ヘルパー ウィジェット (ゲームパッド ボタンのショートカットを表示する) | タブ | 特殊ボタン (右) |
カメラ コントロール
O キーまたはゲームパッドの三角形ボタンを押すと、カメラ コントロールの有効・無効を切り替えることができます。
カメラ コントロールが有効になっているときは、次のキーボード ショートカットを使用することができます。
| 操作 | キーボードショートカット | ゲームパッド ショートカット |
|---|---|---|
軌道カメラの左/右 | A/D | 左サムスティック (水平方向の移動) |
ドリー (ズーム) イン/アウト | W/S | 左サムスティック (垂直方向の移動) |
キャラクターとリグの詳細
撮影に使用したキャラクターは、筋骨格系とリアルな顔およびボディのマテリアルを備えた、高忠実度のデジタル ヒューマンです。
筋骨格系は、MRI のスキャン データ、3D スケルトン スキャン、および手作業で作成した筋肉を組み合わせて作成しました。 顔およびボディのマテリアルには、3D 顔およびボディのスキャンと参照映像を使用しました。
このサンプルにはコントロールリグが含まれており、ML 変形がさまざまなキャラクター ポーズとどのように相互作用するかを詳しく検討するために使用することができます。 このリグは、Content/Characters/Emil/Rig フォルダにあり、アセット ファイルの名前は CR_Emil です。 MetaHuman のリグとは異なり、このサンプルで使用されているリグは非対称です (つまり、ジョイントの位置が完全にミラーリングされていません)。 これにより、きわめてリアルな変形を実現しています。
詳細情報
2023 State of Unreal の GDC プレゼンテーションでは、このテクニカル デモを実現した方法の詳細について説明したセグメントが含まれていました。 このセグメントでは、キャラクターのスキャンから ML モデルのトレーニング、さらに各種ソフトウェアや技術を組み合わせて最終結果を実現するまでの全プロセスを学習することができます。 YouTube のこのリンクで、セグメント全編をご覧いただけます。
ML Deformer プラグインの詳細については、「ML Deformer」ページを参照してください。