このページでは、ビデオフッテージから MetaHuman Identity を作成するための Mesh to MetaHuman ワークフローの概要を説明します。 フッテージは互換性のあるデバイスを使用してキャプチャし、Live Link ハブの Capture Manager を使って取り込む必要があります。
Unreal Engine 5.6 では、Mesh to MetaHuman ワークフローで MetaHuman Creator Web アプリケーションに新キャラクターが作成されることはなくなりました。 アイデンティティを作成した後に、MetaHuman キャラクター アセット エディタの [Conform from Identity (アイデンティティを使って適合)] オプションを使用して、Unreal Engine の MetaHuman Creator で直接、キャラクターを作成します。
ワークフロー
動画フッテージに基づく Mesh to MetaHuman ワークフローは、次の手順で構成されています。
Unreal Engine のパフォーマンス キャプチャの要件に合った 1 つ以上のテイクをインポートします。
MetaHuman Identity アセットを作成して取り込みます。
必要なフレームをプロモートおよびトラッキングして ID 解決を実行します。
ID 解決を実行します。
MetaHuman バックエンドにテンプレート メッシュを送信します。
これらの手順の詳細について、以下で説明します。
テイクを Unreal Engine にインポートする
Live Link ハブ ページの「Capture Manager を使用してフッテージを取り込む」に記載されているワークフローに従います。
このワークフローを完了すると、MetaHuman Identity アセットにインポートする準備の整ったテイクが 1 つ以上作成されます。
MetaHuman Identity アセットを作成して取り込む
次に、MetaHuman Identity アセットを作成して取り込みます。 このアセットには、MetaHuman の顔メッシュ (テンプレート メッシュ) とポーズ情報が含まれています。
次の手順を実行します。
コンテンツ ブラウザで右クリックして、新規 MetaHuman Identity アセットを作成します。 コンテキスト メニューで [MetaHuman] > [MetaHuman Identity] を選択します。
後でこのアセットから MetaHuman を作成する場合、作成する Identity アセットのファイル名は、MetaHuman Creator における MetaHuman の名前になります。
作成した MetaHuman Identity アセットをダブルクリックして、そのアセットを Identity アセット エディタで開きます。 最初、このアセットは空です。 次の手順でこれにデータを取り込みます。
メイン ツールバーの [Create Components (コンポーネントを作成)] をクリックし、[From Footage (フッテージから)] を選択します。 フッテージの作成元のテイクを検索して選択します。
この手順を完了すると、MetaHuman Identity アセット エディタの左側にある [Components (コンポーネント)] パネルに [Face (顔)] と [Poses (ポーズ)] が表示されます。
フレームをプロモートおよびトラッキングする
iPhone または iPad の TrueDepth カメラでキャプチャした映像を使用する場合、ニュートラル ポーズ、左向き、右向き、歯のポーズのフレームをプロモートします。 ステレオ カメラ ペアでキャプチャした映像の場合は、ニュートラル ポーズと歯のポーズのフレームをプロモートします。
フレームをプロモートするには、次の手順を実行します。
[Components] パネルの [Poses] で [Neutral Pose (ニュートラル ポーズ)] コンポーネント (1) を選択します。
ビデオ再生コントロール (2) を使用して、プロモートしたいフレームに移動します。 正確なシークのためにビデオ タイムラインを使用することもできます。
[+] ボタン (3) をクリックしてフレームをプロモートします。 最初にプロモートしたフレームは自動的に正面ビューとして処理されます。
[Free Roaming Camera Mode (フリー ローミング カメラ モード)] ボタン (4) をクリックして、別のフレームをプロモートできるように再生コントロールをロック解除します。
フレームを右クリックして、フレームを名前変更およびデモート (削除) するオプションのあるコンテキスト メニューにアクセスするか、正面ビューとして処理するフレームを切り替えます。
ID 解決を実行する
引き続き Identity アセット エディタで、メイン ツールバーから、[MetaHuman Identity Solve (MetaHuman ID 解決)] ボタンをクリックします。 このボタンは、タイムラインに 1 つ以上のプロモートされたフレームがある場合に限り有効になり、マーカーが有効で適切にトラッキングされている場合にのみ、適切な結果が生成されます。
ID 解決では、テンプレート メッシュの頂点を、前の手順でトラッキングしたニュートラル ポーズ メッシュのボリュームにフィットさせます。 プロセスのこの部分はクラウドで行われます。
ID 解決が完了したら、ビューポートのツールバーの [A]/[B] タブをクリックすることで、ビューポートで作成元のメッシュとテンプレート メッシュを切り替えることができます。 [A] ボタンと [B] ボタンで、同一のビューポート カメラの 2 種類のフレーム バッファが有効になります。また、フレームをプロモートすると、そのカメラのスナップショットが作成されます。 これら 2 つのフレーム バッファそれぞれに対して、ライティングなどのビューポート設定を個別に行うことができます。
自動リギング用にテンプレート メッシュを送信する
MetaHuman バックエンドにテンプレート メッシュを送信できます。 メイン ツールバーで、[Auto-Rig MetaHuman Identity (MetaHuman Identity の自動リグ)] ボタンをクリックします。
組み込まれた MetaHuman DNA で自動リギングされたスケルタルメッシュが作成されます。 メッシュは、自動的にダウンロードされて MetaHuman Identity アセットと同じフォルダの Unreal Engine プロジェクトに追加されます。名前は Identity アセットと同じで、「SK_」というプレフィックスが付きます。
プロセスが完了すると、Unreal Engine で確認ダイアログが表示されます。 すると、コンテンツ ブラウザに新しいスケルタルメッシュが表示されます。
次の内容
メッシュから
メッシュ データから MetaHuman Identity を作成します。