MetaHuman Identity アセットはパフォーマー (本物または制作されたもの) の表現に使用されます。 このアセットは、このプラグインのより幅広い一連のツールをホストするもので、(メッシュとリグの両方に影響を及ぼす) 頭のテンプレートを適合させて、以下から MetaHuman DNA とフェイシャル リグを生成する際に使用されます。
スタティックメッシュまたはスケルタルメッシュから
フッテージから
一致するテンプレート メッシュから
MetaHuman DNA の直接的なインポートから
MetaHuman Identity を使用して、MetaHuman Performance アセットを介してパフォーマンスをアニメーション シーケンスに解決できます。 別の方法として、MetaHuman Identity アセットを MetaHuman Character アセットと使用して、アイデンティティの頭部を適合できます。
MetaHuman Identity を使ってパフォーマンスを解決するうえで必須の要件はありませんが、実際のところは、パフォーマンスの記録に使用されている同じデバイスのクラスで、パフォーマンスを明確に提供するパフォーマーの MetaHuman Identity を生成する必要があります。
MetaHuman Identity アセットを作成する際は、それとともに一致するスケルタルメッシュが作成されます。 このアセットは直接操作しないようにすることをお勧めします。 このスケルタルメッシュにアクセスしたい場合 (頭のみのリグを即座に作成するために Mesh to MetaHuman を使用する場合など) は、まず最初にその複製を作成することを推奨します。
この MetaHuman Identity がメッシュまたはフッテージに基づいたアセットであるかに応じて、そのアセット GUI、機能性、設定要件が多少異なります。 以下のセクションでは、両方のユース ケースについて説明します。
キャプチャデータ(メッシュ)
Identity Asset GUI は次のコンポーネントで構成されています。
ガイド付きのワークフロー ツールバー (1)
ツールとコマンドは [MetaHuman Identity] メニューから利用可能です。ただし、[Components from Template (テンプレートからのコンポーネント)] コマンドは [Asset (アセット)] メニューに含まれています。
多くの場合、この [Asset] のコマンドは、Identity アセットをデータに適合させるために、特定のシーケンスで実行する必要があります。 ワークフローのほとんどの手順は、その前の手順が完了するまで実行できません。
使いやすさと利便性のために、ツールバーには最もよく使用されるコマンドのサブセットのみが含まれています。 空白のアセットの作成からパフォーマンス キャプチャの解決に使用するための準備に至るまで、ユーザーはそれらのステート (クリック可能かどうか) とツールチップをガイドとして参照できます。
コンポーネント ツリー (2)
このコンポーネント ツリーは、ブループリントの他の場所に存在するものに似ています。 MetaHuman Identity アセットの機能を有効にするには、特定の機能に必要なデータと属性をホストするコンポーネントを追加する必要があります。
ほとんどの作業では 6 個または 7 個の同じコンポーネントが必要になるため、Components From Mesh (メッシュからコンポーネントを作成) または Components From Footage (フッテージからコンポーネントを作成) コマンドを使ってコンポーネント ツリーを作成することを推奨します。 これにより、選択したそれぞれのケースで、ソース データに応じてコンポーネント ツリーが正しく設定されます。 任意のコンポーネントは歯のポーズ (Teeth Pose) だけです。このコンポーネントは、リグがバックエンドから取得された後で、フッテージをアニメーションに解決するために MetaHuman Performance が使用される前に、リグの微調整に使用されます。
コンポーネント ツリーでは、GUI の他の部分のコンテキストも提供されます。 最も重要なこととして、プロモーション タイムラインとマーカー アウトライナーには選択したポーズの特定のコンテンツが取り込まれ、ポーズ以外のものが選択された場合は空白で表示されます。
表示バッファの設定 (3)
MetaHuman Identity アセットには、さまざまなキャプチャ プロセスの結果を調査して検証するための異なるビューポート モードを含む、ユニークなビューポートが備わっています。 これら複数の表示モードのため、ビューポートには A と B の 2 つのバッファが備わっています。 これら 2 つのバッファは、ビューポートの 2 つの隅にあるメニューからそれぞれ個別に設定できます。
カーブや頂点をトラッキングするなどの一部のオプションは、[Toggle (トグル)] 表示モードのみで利用可能です。 これらのバッファの設定にグレーアウトされた項目がある場合は、ビューポートを [Toggle] に切り替えて、コンポーネント ツリーでどのポーズを選択したかを確認してみてください。
ビューポートとカメラ設定 (4)
ビューポートには次の 3 つのモードが備わっています。
A/B バッファ トグルを含む単一ペイン
A/B バッファ ワイプを含む単一ペイン
デュアル ペイン モード
A/B トグルは最初のモードのみで機能し、カメラの設定はすべてのビューとペイン間で共有されます。 ビューポートは、コンポーネント ツリー選択コンテキストとプロモーション タイムライン選択コンテキストの両方に対応します。
ほとんどの作業はトグルの単一ペインで行い、他のモードにはレビュー時のみに切り替えることを推奨します。
プロモーション タイムライン (5)
プロモーション タイムラインは、ポーズを選択している場合にのみ利用可能になります。 このタイムラインには、ID 解決で使用するためにプロモートされたすべてのフレームが表示され、コンテキスト依存の機能がいくつか含まれています。
次の 3 つのボタンはいつでも利用可能です。
フレームのプロモート
プロモートされたフレームのデモート
カメラ フリー ローミング モード
フレームのプロモートでは現在のビューを取得し、それをプロモートされたフレームに変換します。 これはフリー ローミング モードから動作し、プロモートされたフレームがすでに選択されている場合は既存のフレームを複製します。 プロモートされたフレームは、プロモーション タイムライン上に追加ボタンとして表示されます。
プロモートされたフレームが選択されており、それがロックされていない場合は、そのフレームでのあらゆるカメラ操作によってそのフレームが変更されます。
フレームのデモートでは、プロモーション タイムラインから当該のフレームが削除されます。
フレームのデモートは元に戻してやり直すことが可能ですが、アンドゥ (元に戻す) バッファがクリアされた場合は、同じフレームを再びプロモートしても、そのフレームに加えたトラッカーの変更は元に戻りません。 デモートする際は注意してください。
フリー ローミング ボタンでは、他のフレームでの作業を破棄することなく、空間の探索とプロモートのためにいつでもアクセス可能な「フリー」のフレームが提供されます。
プロモートされたフレームをダブルクリックすると、その名前をすばやく変更できます。
プロモートされたフレームを選択して右クリックすると、次のオプションが表示されます。
| オプション | 説明 |
|---|---|
カメラをロックする | 対象フレームに誤って変更が加えられることや、自動的な変更が加えられることを防ぎます。 |
Autotracking on/off (自動トラッキングをオン/オフ) | カメラのロックが解除されており、自動トラッキングがオンの場合は、カメラのナビゲーション制御が解放された際に、マーカーが自動的にトラッキングされるようになります。 オフの場合は、フレーム トラッキングのコマンドを呼び出して、フレームを手動でトラッキングする必要があります。 |
Rename <フレーム名> (<フレーム名> の名前を変更) | このフレームの名前を変更します。 |
Set/Remove Front View (正面のビューを設定/削除) | MetaHuman Identity では、正面のフレームとして 1 つのフレームのみにフラグが付けられている必要があります。 右クリックすることで、この機能に直接アクセスできます。 新しいフレームを正面のフレームとして設定すると、すでにフラグが付いているフレームが存在する場合は、そのフラグが解除されます。 正面のフレームとしていずれかのフレームを設定せずに、すべてのフレームのフラグを解除することは可能ですが、正面のフレームとして再びフラグを付けるまで、この MetaHuman Identity でフィットと解決は実行できません。 |
Demote <フレーム名> (<フレーム名> をデモート) | プロモーション タイムライン上の [Demote Frame (フレームをデモート)] ボタンと同じ機能です。 |
マーカーをトラック(アクティブなフレーム) | ツールバーの [Track Active Frame (アクティブなフレームをトラック)] コマンドと同じ機能です。 |
選択されていないプロモートされたフレームでは、上記の機能の縮小版サブセットが表示されます。
マーカー アウトライナー (6)
マーカー アウトライナーは、現在選択しているプロモートされたフレームに関連しており、 プロモートされたフレームの選択を変更すると、アウトライナーのコンテンツも変わります。 マーカーのレイアウトは、プロモートされた各フレームごとにそれぞれ維持されます。
マーカーは、ほぼすべてのワークフローで使用される、顔の特徴のトラッキングを表示する制御頂点を含むカーブです。 潜在的なマーカーのリストは静的であり、それらは名前付きのグループにグループ化されます。 自動的にトラッキングできるのは、これらのマーカーの一部のみです (正面のビューに限定)。 ほとんどの場合はこれで十分です。
入力データとその結果の MetaHuman Identity との相関性をより細かく定義したい場合は、より多くのマーカーを有効にして手動で配置することで、メッシュ上の同じ特徴に対応させることができます。
ボタンから各マーカーの側面 (およびグループ) まで、それらの可視性と、それらがソリューションに含まれるかどうかを切り替えることができます。
全般的には、操作を繰り返して行い、最小限のものを追加することをお勧めします。
正面のフレームのみを含むマーカーの自動トラッキングから始めて、耳の一部といった特徴が一致しない場合のみに、追加の特徴のマーカーを 有効にしてトラッキングする。
フレーム間でのマーカー アクティビティをオーバーラップさせない。 たとえば、耳のマーカーのサイド フレームを追加した場合は、正面のフレームで有効になっているマーカーをそれらに追加しないでください。また、耳のマーカーを正面のフレームに追加しないでください。
自動トラッキング マーカーは正面のフレームのみで有効にする。
一連のマーカーをすべて同時に有効にしない。向上が見られる場合でも、何が結果を最適しているかを特定できないためです。ある一つのマーカーによる向上のほうが、複数のマーカーによる向上よりも大きな効果を発揮する可能性があります (一つのマーカーによる優れた効果が、他のマーカーによって減殺されることがあるため)。
特定の特徴全体がうまく表示されている場合を除き、フレーム上でマーカーを有効にしない。 たとえば、正面のフレームには耳のマーカーを追加しないでください。
キャプチャデータ(映像)
フッテージとメッシュのキャプチャ データに対する機能は、そのほとんどが類似しています。 キャプチャ データ タイプにかかわらず、ガイド付きのワークフロー ツールバー、表示モード、コンポーネンツ ツリー、マーカー アウトライナーはすべて類似したものです。
フッテージの場合は、フッテージのナビゲートと、プロモートするフレームの選択 (および視覚化) に使用されるシーケンサー ビューが追加で埋め込まれている点が大きく異なります。
以下のセクションでは、フッテージから作成したアセットに特有の、MetaHuman Identity アセットの各部分について説明します。
表示バッファの設定 (3)
表示バッファの設定には、ソース データの違いに関連するいくつかの差異があります。
以下の追加のオプションがあります。
| オプション | 説明 |
|---|---|
歪み除去 | 取り込まれた状態のフッテージと、レンズの歪みが除去された処理済みのフッテージとを切り替えます。 |
深度メッシュ | キャプチャ データからリンクされたフッテージの深度コンポーネントのメッシュ生成を切り替えます。 |
これらはいずれも診断用のオプションであり、ツールへの影響はなく、ここで直接操作することもできません。
ビューポートとカメラ設定 (4)
[Camera Settings (カメラ設定)] では、Depth Data Near (深度データの近距離) パラメータと Depth Data Far (深度データの遠距離) パラメータのロックが解除されます。 これらは診断用のオプションであり、結果には影響を及ぼしませんが、ノイズを削減し、深度データのビジュアライゼーションをよりシャープにするうえで非常に役立つオプションです。
プロモーション タイムライン (5)
プロモーション タイムラインは、機能面ではメッシュ キャプチャ データのものとほぼ同じです。 唯一異なるのは、フッテージの場合はフレームが常に自動的にロックされて、それらをプロモートする際にトラッキングされる点です。
マーカーが多少異なる動作になるため、これに関する推奨事項も異なります。 ニュートラル ポーズについては以下を推奨します。
ステレオ カメラの場合は、1 つの正面のフレームだけをプロモートする。
デバイス (iPhone やiPad) のモバイル コンシューマー クラスについては、3 つのフレーム (1 つの正面のフレーム、2 つのややサイドに寄ったフレーム) を使用する。
いずれの場合も、3 つよりも多い数のフレームは使用しない。
複数のフレームを使用する際は、相関関係を確立するために、すべてのフレームに同じマーカーを使用する。
これは、メッシュの場合とは逆の推奨事項となります。
マーカーは慎重に追加して、すべてのフレームで表示されるマーカーを優先する。 経験則として、Eyes Crease (目のしわ) マーカーは、MetaHuman Identity ではフィットさせることが困難ないくつかの目のモルフォロジー (形態) を含む、他のものよりも有意義な追加マーカーとして認識されています。
フッテージ シーケンサー (7)
これは通常のシーケンサーから派生したビューで、プロモーションに適したフレームを見つけることに特化しています。 これには、フッテージのどのフレームがプロモート済みであるかの特定に役立つ、自動管理されたチャンネルがいくつか含まれています。
MetaHuman Identity の適合
作成した MetaHuman Identity アセットには、デフォルト状態の頭部メッシュのテンプレートと、それに一致するリグへの参照が常に含まれます。
次のワークフローは人間 (本物か想像) に似せるように設定するもので、それを追加するものではありません。 このプロセスは全般的に適合と呼ばれるもので、以下の手順で構成されています。
テンプレート メッシュのポイント位置をソース データのボリュームにフィットします。
そのボリュームの近似値がデータベースから見つかります。
うまく動作するように、その近似値を使ってリグが設定されます。
実際のボリュームと近似値との間の最終的な形状オフセットがデルタとして維持されます。
任意で、歯の登録に対する調整をローカル リグに追加することも可能です。
これらの手順の一部はワークステーション上でローカルに処理されます。また、一部の手順では、これらの結果を他の方法で取得するにはデータベースが大きすぎるため、オンライン バックエンドにアクセスする必要があります。
留意が必要なことは、Mesh to MetaHuman は、キャプチャ データで参照されるメッシュへの送信ではなく、MetaHuman Identity アセットから常に参照されるテンプレート メッシュのバックエンドへの送信を意味していることです。 Mesh to MetaHuman は、スタティックメッシュやスケルタルメッシュ、フッテージ、または MetaHuman DNA など、適合に使用されたデータにかかわらず同じように機能します。
バックエンドでリギングされるメッシュは手順 2 の近似値です。 それと入力データとの間のボリュームにおける差分は、変位形状としてその上に追加されます。
データベースの取得による近似値とボリュームとの差分が大きい場合は、リグとアニメーションに影響が及びます。 特に目や口といった敏感な、または非常にアーティキュレートされた領域では、この差分が大きいほど、アニメーションでメッシュ アーティファクトが生じやすくなります。 さらに、このメカニズム自体と、トポロジが常に MetaHuman の標準的なトポロジであることが原因で、その結果はボリュームのすべての細かなディテールとは一致しなくなります。
これら 2 つの問題には、アセットと適切な技術的ノウハウに時間をより費やすことで対処できます。極端なケースであっても、少なくとも緩和することは可能です。 メッシュとスケルトンのレスト ポーズは DNA Calib を通じて変更することができ、システムを介した MetaHuman トポロジの正確なフィットの「強制」は、新しいテンプレート入力オプションを使って実行できます。
MetaHuman DNA のインポート
MetaHuman DNA ファイルには、フェイシャル ジオメトリとリグの記述が格納されます。 このファイルを直接使用して、トラッキングしてジオメトリまたはフッテージにフィットさせることなく、Identity アセットをそれに適合させることが可能です。
MetaHuman DNA ファイルには、DNA Calibration ライブラリを介してその内の 1 つに保存されているカスタム作業からのもの、またはダウンロードした MetaHuman に直接バンドルされているものがあります。