ML デフォーマーのサンプル

この機械学習デフォーマーのサンプルでは、Unreal Engine の機械学習 (ML) 技術を使用することで、学習したオフラインの筋肉、脂肪、クロスのシミュレーションによって制御されるリアルな変形を使用した、高忠実度のリアルタイム ゲーム キャラクターを作成する方法を示しています。このサンプルは、ML Deformer プラグインを使用しています。

このサンプルのメイン レベルはインタラクティブなデモ シーケンスで、筋肉の膨張や皮膚の下にある様子、衣服のひだを示しています。また、ML デフォーマーの有効/無効を切り替えた結果を比較したり、含まれている ControlRig アセットでモデルをアニメートしたりすることができます。

サンプルをダウンロードする

Unreal Engine マーケットプレイス から ML デフォーマー サンプルをダウンロードします。

シーンを操作する

シーンが PIE で再生されているときは、キーボードまたは PlayStation ゲームパッドのコントロールを使用してシーン内を移動することができます。これらのコントロールは、「Content/Input/」フォルダにある KeyboardGamepadMapping ファイルで設定されており、カスタマイズすることができます。

ML 変形の切り替えとレイヤー

シーンの再生中に M キー、またはゲームパッドの 左 D パッド ボタンを長押しすると、一時的に ML デフォーマーを無効にすることができます。

上 および 下 の矢印キーを押すか、D パッドの 上/下 ボタンを使用すると、クロス レイヤー、スキン レイヤー、筋肉レイヤーの間で切り替えることができます。

N キーまたは D パッドの右 ボタンで、通常のマテリアルとクレイ シェーダーを切り替えることができます。

再生および HUD コントロール

PIE でシーンを再生しているときは、以下の再生コントロールを使用できます。

また、2 つの個別のヘッドアップ ディスプレイ (HUD) ウィジェットを有効にすることができます。

カメラ コントロール

O キー、またはゲームパッドの 三角 ボタンを押すと、カメラ コントロールの有効/無効を切り替えることができます。

カメラ コントロールが有効になっているときは、次のキーボード ショートカットを使用することができます。

キャラクターとリグの詳細

撮影に使用したキャラクターは、筋骨格系とリアルな顔およびボディのマテリアルを備えた、高忠実度のデジタル ヒューマンです。

筋骨格系は、MRI のスキャン データ、3D スケルトン スキャン、および手作業で作成した筋肉を組み合わせて作成しました。顔およびボディのマテリアルには、3D 顔およびボディのスキャンと参照映像を使用しました。

このサンプルにはコントロールリグが含まれており、ML 変形がさまざまなキャラクター ポーズとどのように相互作用するかを詳しく検討するために使用することができます。このリグは、「Content/Characters/Emil/Rig」フォルダに格納されており、アセット ファイルは「CR_Emil」という名前が付いています。MetaHuman のリグとは異なり、このサンプルで使用されているリグは非対称です (つまり、ジョイントの位置が完全にミラーリングされていません)。これにより、きわめてリアルな変形を実現しています。

詳細情報

2023 State of Unreal の GDC プレゼンテーションでは、このテクニカル デモを実現した方法の詳細について説明したセグメントが含まれていました。このセグメントでは、キャラクターのスキャンから ML モデルのトレーニング、さらに各種ソフトウェアや技術を組み合わせて最終結果を実現するまでの全プロセスを学習することができます。このリンク から YouTube でこのセグメントの全体をご覧いただけます。

ML Deformer プラグインの詳細については、「ML Deformer」を参照してください。