フェイシャル パフォーマンス キャプチャのガイドライン

このページでは、MetaHuman Animator (MHA) への入力として使用されるパフォーマンス ビデオをキャプチャする際のガイドラインとベスト プラクティスについて説明します。

キャプチャ ハードウェア

MetaHuman UE プラグインのパフォーマンスのキャプチャには、次のデバイスが必要です。

iPhone

iPhone にはデバイス クラスが 2 つあります。

• iPhone 12

• iPhone 13、14 以降のモデル

これらは非常に似ていますが、深度センサーに違いがあり、アセット設定で反映する必要があります。

iPhone はヘッドマウントにすることも、三脚を取り付けることもできます。深度センサーとカメラの被写界深度は、頭の動きに十分に合わせることができます。

ステレオ ヘッドマウント カメラ (HMC)

ステレオ ハードウェアはヘッドマウントにする必要があります。このハードウェアを三脚に取り付けることは技術的に可能ですが、これらのデバイスは、通常、被写界深度以外のパラメータに可能な限り最適化されています。そのため、固定したマウントでの撮影はあまり実用的でなくなります。

理論上、ステレオ設定が機能します。現実的には、垂直のカップルが、十分にテストされてよい結果をもたらす唯一の設定です。

ライティングはデバイス上かスタジオ ライティングのいずれかにすることができ、これらを組み合わせることもできます。

可視ライトと赤外線の両方がサポートされています。可視ライトの方が肌で散乱されず、鮮明な結果になるため、よりよく機能します。結局、フッテージに最も重要な属性は鮮明さです。特定の撮影状況で赤外線で鮮明なフッテージをもたらした場合、これは十分にサポートされています。

Technoprops のステレオ HMC

キャプチャ条件

このセクションでは、最適な アニメーション 結果のキャプチャ条件の概要を説明します。

MHA は室内環境でキャプチャされたビデオ データを処理するために設計されています。

三脚

このセクションでは、キャプチャの最適な例と最適でない例を示します。これらの例は、立っているパフォーマーと座っているパフォーマーの両方に適用できます。

パフォーマーのフレーミング

パフォーマーのフレーミングは、各テイクとレコーディング セッション全体で一貫している必要があります。

最適なフレーミングを維持するために、体の動きは最小限にして、パフォーマーはレコーディング中ずっと (iPhone の画面ではなく) iPhone カメラの方を向いている必要があります。

通常、上向きの角度でやや低めの位置を推奨します。閉じた口とまぶたの上が可能な限り見えていることが重要です。

最適なフレーミング

次に、品質があまりよくない結果となるフレーミングの例を示します。

LiveLink Face の深度プレビュー

iPhone アプリケーションの深度プレビューは、パフォーマーとカメラの距離の評価に有用なツールです。

深度プレビューは、近距離クリッピングの詳細を指定しないで被写体からの最適な距離を確認する際に、固定したデバイスに特に便利です。グレーのシェーディングは、カメラからの距離が適切であることを示しています。

ライティング

理想的なライティングはシャドウがなく、フラットです。環境光が不十分な場合、別のライトを三脚にアタッチして正面からのライトを追加し、顔の適切な部分を照らします。

最適なライティング

次に、品質があまりよくない結果となる不十分なライティング条件の例を示します。

環境

どの背景でもよい結果を得ることができる場合、可能であれば、背景を均一かつ顔より暗く (あまり明るくなく) することをお勧めします。

環境またはリグ内にあるものがパフォーマーの顔のすべてまたは一部をブロックしないようにしてください。

ヘッドマウントを使用する

このセクションでは、キャプチャの最適な例と最適でない例を示します。ここでの例は iPhone で撮影されています。このセクションには、ヘッドマウントした iPhone で撮影する際の注意事項がすべて掲載されています。

このセクションのすべてのコンテンツは、ステレオ カップルにも適用されます。

パフォーマーのフレーミング

通常、上向きの角度でやや低めの位置を推奨します。閉じた口とまぶたの上が可能な限り見えていることが重要です。

最適なフレーミング

次の例は、よくないカメラ フレーミングを示しています。

安定性

ヘッドマウントで、パフォーマーはボリューム周辺で自由に動き回ることができます。ただし、カメラはレコーディング中に顔に対して安定している必要があります。これには、ヘッドマウントが十分にフィットしている必要があります。

ライティング

三脚の取り付けに適用される同じ推奨事項が ヘッドマウント レコーディング デバイス にも適用されます。よいライティングは均一でシャドウがなく、主に正面からのものです。

パフォーマーが自由に動けるボリュームでは、すべてのフレームでパフォーマーが動かない場合と同じ均一なライティングにすることが非常に難しくなります。難しい状況では、通常、やや露出不足 の方が露出過多よりも推奨されます。

難しいボリュームでは、「平坦な場所」を避けるように露出を選択します。

環境

理想的な環境の背景は、平坦でパフォーマーの肌の色と対照的になっています。パフォーマーの頭を覆うものがないようにしてください。

ステレオ ヘッドマウントを使用する

前に示した推奨事項と要件がすべて適用されます。ステレオ カップルに固有の追加の注意事項と外観のわずかな違いがあります。ステレオ カップルは、通常、(iPhoneと比較すると) ハイエンドな設定内にあります。

パフォーマーのフレーミング

最適なフレーミングは、イメージの中央が人中 (鼻孔の下) の上の部分に合わされています。

次の例は、よくないイメージ フレーミングを示しています。

安定性

ヘッドマウントで、パフォーマーはボリューム周辺で自由に動き回ることができます。カメラはレコーディング中に顔に対して安定している必要があります。これには、ヘッドマウントが十分にフィットしている必要があります。

以下に、結果の品質に影響を及ぼす可能性があるカメラの過度な動きの例を示しています。

カメラの過度な動き

フォーカス

レンズは顔の鼻唇部 (鼻孔の横の頬の表面) にフォーカスを当てます。被写界深度によっては、顔のすべての部分に完全なフォーカスを当てることができない可能性があります。

最適なフォーカス

以下の画像はフォーカスが外れている例を示します。

フォーカスから外れている

ライティング (ボード上の可視ライト)

HMC の使用時に、周囲のライティングとボード上のライティングの両方を考慮する必要があります。最適なライティングは顔が均等に照らされていて、シャドウが最小限で、露出過多の箇所がありません。

最適なライティング

以下に、出力アニメーション データに品質上の問題を引き起こす最適でないライティングの例を示します。

環境

理想的な環境の背景は、平坦でパフォーマーの肌の色と対照的になります。パフォーマーの頭を遮るものがないようにしてください。

キャリブレーション

キャリブレーションは HMC キャプチャの重要な部分で、高品質なデータの再構築を可能にします。このセクションでは、正しくキャリブレートする方法の例を示します。

キャリブレーション ボードの構築

キャリブレーションには、サイズが 89.5 mm x 134.2 mm で各升目が 7.5 mm のキャリブレーション ボード (チェッカーボード パターン) (サンプルのダウンロードは ここから) が必要です。

パターンは高品質の紙に出力され、スプレーのりで硬い表面にアタッチされている必要があります。

キャリブレーション ボードは、オペレーターがパターンを遮ることなく保持できるように背面にハンドルが必要です。

操作

特定のキャリブレーション フッテージは、キャプチャ セッションの開始時と終了時に取得して撮影をはさむ必要があります。ヘルメットを調整する必要があるか、カメラが損なわれている場合、キャリブレーション フッテージは、撮影中の別の時間にキャプチャできます。

キャリブレーションのキャプチャ時に、キャリブレーション ボードで スペースをペイント しようとしています。キャプチャするたびに、パフォーマーの顔が今後配置されるか配置されていた平面で、上、下、左、右、ロール、ピッチの動きを含め、ボードは視野を動きます。ビデオの長さは約 20 秒とします。以下の例を見てみましょう。

正しいキャリブレーション

次の画像は、よくないキャリブレーションの例を示しています。

パフォーマーの要件

このセクションでは、MHA の外観パラメータと出力アニメーションの品質に影響を及ぼす可能性のある要因を示しています。

システムは、大人の顔にのみ対応するように設計されています。

最良の結果を得るために、以下のことをお勧めします。

• ひげは限定的 (たとえば、1、2 日の無精ひげ)。

• 眼鏡またはサングラスなし。

• 顔の特徴を邪魔するものがない (帽子、長髪、マスク、手など)。顔を遮るものがある場合、よい結果になりません。

• 厚化粧や顔用ペイントがない。

• 顔にピアスがない。