このチュートリアルでは、Unreal Engine のパフォーマンス キャプチャ ワークフロー プラグインの一部である、Mocap Manager の操作手順を詳細に説明します。
このガイドでは、プラグインの有効化から、Mocap ステージ表現の設定、パフォーマー、キャラクター、小道具の管理、レコーディング、テイクのレビューを行います。これらはすべてパフォーマンス キャプチャ パイプラインでサポートされています。
Mocap マネージャーを設定する
Performance Capture Workflow プラグインを有効にする
[Edit (編集)] > [Plugins (プラグイン)] に移動します。
Performance Capture Workflow プラグインを見つけて有効にします。
プロンプトが表示されたらエディタを再起動します。
Mocap マネージャーを開く
[Window (ウィンドウ)] > [Virtual Production (バーチャル プロダクション)] > [Mocap Manager (Mocap マネージャー)] に移動します。
必須のアセットを作成
プロンプトが表示されたら、Create Missing Assets (不足しているアセットを作成) をクリックします。
デフォルト フォルダ
Content/Pcapに保存されていることを確認します。
[Create Missing Assets (不足しているアセットを作成)] ボタンをクリックする代わりに、セッション テーブルおよびプロダクション テーブルを手動で作成することもできます。 コンテンツ ブラウザで、Add (追加) > Performance Capture (パフォーマンス キャプチャ) > Pap Datatable (Pap データテーブル) の順に選択して、Session Struct を使用して 1 つのテーブルを作成し、Production Struct を使用してテーブルを 1 つ作成します。 [Project Settings (プロジェクト設定)] > [Performance Capture (パフォーマンス キャプチャ)] で、これら 2 つの新しいテーブルへの参照を設定します。
これらのアセットを追加する必要があるのは、Performance Capture ワークフロー プラグインを有効にした各プロジェクトに 1 回だけです。
独自のセッション テンプレートを作成して、セッション フォルダの作成方法を定義することもできます。 これを実行するには、Add (追加) > Performance Capture (パフォーマンス キャプチャ) > Pap Dataset に移動し、セッション テンプレートのタイプを選択します。 または、デフォルトのセッション テンプレート アセットを複製し、必要に応じて変更することもできます (/Plugins/PerformanceCaptureWorkflow/Core/DefaultSessionTemplate)。
Mocap マネージャーを使用
Mocap マネージャー は、Mocap 撮影中に必要なものを一元的にコントロールします。 このドキュメントは、開始から終了までのプロセスを直線的に進んで行けるように設計されています。
セッションを作成する
Create New Session (新しいセッションを作成) セクションで、セッション名と任意の注記を入力します。
[+Session] をクリックします。
フォルダ構造が作成され、アクティブになります。
Mocap Managerでアクティブにできるセッションは一度に1つのみです。
Mocap Manager でフォルダ アイコンをクリックすることで、いつでもセッション フォルダに移動できます。
プロダクションを使用すると、個別のゲームやシネマティックの配信など、より大規模な作業を 1 つの Unreal プロジェクトにまとめることができます。 これはオプションです。使用しない場合は、デフォルトのプロダクションを使用できます。
セッションは、個々のキャプチャ セッション (午前や午後の撮影など) を表します。 セッションを作成すると、セッション中に使用するフォルダやアセットも作成されます。
セッション テンプレートを使用すると、ダイナミック ネーミング トークンを使用して、フォルダ構造と名前付けをカスタマイズできます。
Mocap Manager によって作成されたすべてのアクタは、セッションのデータ レイヤーまたはサブレベルに割り当てられます。 セッションごとに、新しいデータ レイヤーまたはサブレベルを取得します。
Mocap Manager は、セッションを作成するときに現在開いているレベルが World Partition またはレベル ストリーミングを使用しているかどうかを確認します。 [SessionName]/Scenesフォルダでは、作成のコンテキストに応じてデータ レイヤーまたはサブレベルが作成されます。 このデータ レイヤーまたはサブレベルは、レベルの編集コンテキストになります。 つまり、すべてのアクタはこのコンテキスト内に配置されます。
Unreal Engine で Mocap ステージを設定する
Performance Capture ワークフロー プラグインには、「BP_DemoStage」という名前のデフォルトの事前作成済みのプラグインが付属しています。 このブループリントを必要に応じて複製し、編集することができます。
ステージはカメラの前の有効な床にスポーンされます。 実世界のキャプチャ空間に移動して位置合わせします。
Mocap Manager の [Stage (ステージ)] タブで、グリッド ビューとステージ ゴースト メッシュを切り替えて、Unreal のレベルを現実世界のステージに合わせることができます。
ステージをスポーンすると、レベルの現在のコンテキストに追加されます。
モーションアクタの設定
Mocap Manager の [Motion (モーション)] タブでは、Live Link サブジェクトを設定し、パフォーマー、プロップ、キャラクターを作成できます。
Live Link プレビュー
LiveLink タブでは、受信 Live Link サブジェクト データのうち、プレビューに表示される対象データを切り替えることができます。 リスト内のアイコンは、スケルタルメッシュ、カメラ、またはマーカーのデータの種類を示します。
表示/非表示アイコンをクリックして、個々のサブジェクトを表示するか、すべてのサブジェクトを表示するかを選択できます。
パフォーマーを作成
Mocap Manager の Motion (モーション) タブで、Performers (パフォーマー) タブをクリックし、パフォーマーを作成およびスポーンします。 パフォーマーは、PCapPerformer と呼ばれるデータ アセットにカプセル化されます。
パフォーマーを作成するには、次の手順を実行します。
[Performers (パフォーマー)] タブの [Create Proportioned Mesh (プロポーション メッシュを作成)] セクションで、ドロップダウン メニューから [Live Link Subject (Live Link サブジェクト)] を選択します。 役割型が「animation」(スケルタルデータ)であるサブジェクトのみがドロップダウンにリストされます。
[Launch Workflow (ワークフローを起動)] をクリックして、[Create Proportioned Mesh (プロポーション メッシュを作成)] ビューポートを起動します。
ビューポートで、パフォーマーに整列するまでその位置を移動してもらうことで、スケルトンを原点 (骨盤は (0,0)) 上に整列させます。
必要に応じて、一時停止ボタンを押してアニメーションをフリーズすると、パフォーマーは原点でポーズを保持したままリラックスすることができます。
[Create Mess & IKRig (メッシュおよび IK リグを作成)]をクリックします。プロポーション メッシュ ビューポートを閉じ、 Mocap マネージャーパネルに戻ります。
[Create Performer (パフォーマーを作成)] をクリックし、PCapPerformer データ アセットを生成します。
これで、Spawn Performer セクションからパフォーマーを選択できるようになります。 Spawn (スポーン) をクリックすると、Live Link データが適用された新規スケルタルメッシュが、ステージ ルート アクタの親としてスポーンされます。
小道具を作成
Mocap Manager の Motion (モーション) タブで、Props (小道具) タブをクリックしてパフォーマーが使用する小道具を作成します。
小道具を作成するには、次の手順を実行します。
[Props] タブで、[Launch Workflow (ワークフローを開始)]をクリックして、[Create Prop (小道具を作成)] ビューポートを開きます。
Static Mesh (スタティックメッシュ) または Skeletal Mesh (スケルタルメッシュ) ドロップダウン メニューから小道具のメッシュを選択します。
Subject (サブジェクト) ドロップダウンで、Live Link サブジェクトを選択します。
[Prop Offset] セクションで、メッシュと被写体の位置を揃えるために調整を行います。
[Name Override (名前のオーバーライド)] フィールドに小道具の名前を入力します。
[Finalize (確定)]をクリックします。[Create Prop (小道具を作成)] ビューポートが閉じ、Mocap Manager パネルに戻ります。
[Create Prop Asset (小道具アセットの作成)] をクリックして、PCapProp データ アセットを生成します。
この小道具は、ピッカーから選択して、[Spawn Prop (小道具をスポーン)] をクリックすることで、パフォーマー データ アセットと同様にレベルにスポーンできます。
オプション:MetaHuman を準備する
デフォルトでは、Metahuman ブループリントはルート コンポーネントとして SkeletalMeshComponent を使用しないため、Mocap リターゲティングおよびレコーディングには適していません。
Mocap マネージャー用に MetaHuman を準備するには、以下の手順を実行します。
CaptureCharacter から派生したブループリントを作成します。
必要なスケルタルメッシュ コンポーネントとグルームを MetaHuman ブループリントから新しいブループリントにコピーします。
すべてのコンポーネントでデカールを無効にします。
頭以外のルートに接続されたすべてのスケルタル メッシュ コンポーネントで、コンストラクション スクリプトにFollow Leader Poseノードを追加して、これらのコンポーネントがルート コンポーネントからポーズを取得するようにします。
ブループリントの Performance Capture (パフォーマンス キャプチャ) セクションで、Force All Components to Follow Leader のチェックを外します。
キャラクターが MetaHuman ではない場合、または複数のメッシュを使用していない場合は、CaptureCharacter を直接使用して単一のスケルタルメッシュを割り当てることができます。
キャラクターを作成する
Mocap マネージャーの キャラクター タブでは、パフォーマーがコントロールするキャラクターを作成できます。
Create New Character Asset (新規キャラクター アセットを作成) セクションで、次の情報を入力します。
ソース パフォーマー アセット:このキャラクターをコントロールするパフォーマーを選択します。
キャラクタークラス:上記の MetaHuman の例など、カスタムブループリントを使用している場合を除き、デフォルトのCaptureCharacter クラスを選択します。
キャラクター メッシュ:キャラクターの本体スケルタルメッシュを割り当てます。 これはリターゲティングに必要です。
キャラクター名:キャラクターの名前を入力します。
[Create Character Asset (キャラクター アセットを作成)]をクリックします。キャラクター データ アセットが生成され、パフォーマー、リターゲティング アセット、IKRig、メッシュ、および CaptureCharacter クラスへの参照が格納されます。
[Spawn Character (キャラクターをスポーン)] をクリックして、シーンにキャラクターをスポーンします。
キャラクターをスポーンすると、ステージ ルート アクタにアタッチされます。
リターゲティングのチューニング
Mocap Manager でキャラクターのリターゲティング チューナー ボタンをクリックして、[Retarget Settings (リターゲティング設定)] ウィンドウを開きます。 このウィンドウでは、それぞれのボーン チェーンのリターゲティング プロパティを変更できます。 リターゲティング チューナは、ヒューマノイド二足歩行キャラクターに対してのみ機能するように設計されています。そのチェーンは、自動 IKRig スクリプトで作成されたものと一致するように特別に名前が付けられています。
Mocap レコーダー
スレートを作成
名前とメタデータのスレートを使用してレコーディング名を事前定義します。 これにより、セッション中にチェックリストが作業できるようになります
Mocap Manager で [Slates (スレート)] タブを開くには、 [Record (記録)] タブをクリックし、 [Slates (スレート)] をクリックします。
スレートはデータ テーブルに格納されます。 アップデートは.csvファイルを使って、インポートできます。
選択したスレートで [Prep (準備)] をクリックすると、テキスト レコーディングにこの名前を使用します。
記録
Mocap Manager で Mocap を記録するには、次の手順を実行します。
[Record (記録)] タブをクリックし、[Mocap Recorder (モーションキャプチャ レコーダー)] をクリックします。
キャプチャするアクタとデータ (パフォーマー、プロップ、Live Link、オーディオ) を選択します。
レコーディングを開始するには、Record をクリックします。 残りのインターフェースはレコーディング中にロックされます。
レコーディングを停止するには、[Stop (停止)] をクリックします。
[Review (確認)] パネル
レコーディングは、自動的にテイク データテーブルに記録されます。
テイクを表示するには、次の手順に従います。
Mocap Manager で、[Review (確認)] タブをクリックし、Take View (ビューをテイク) をクリックします。
[Takes Data (テイク データ)] にあるテイクをダブルクリックして開きます。
テイクを開いたら、スクラブ、プレビュー、レコーディングを調べることができます。 ソートとフィルターのために 1 から 5 の星評価を割り当てます。
テイク テーブルは .csv にエクスポートして、さらにプロダクション トラッキングを行うことができます。