キャリブレーション診断ツール

キャリブレーション診断ツールを使用すると、パフォーマンス映像に対してキャリブレーションの状態を確認できます。 たとえば、キャプチャ セッションの開始時と終了時にキャリブレーションを取得している場合、このツールを使用して、どちらのキャリブレーションをパフォーマンス テイクで使用するべきかを評価できます。

ツールを開くには、パフォーマンス テイク用の [Capture Data (キャプチャ データ)] アセットを右クリックし、メニューから [Calibration Diagnostics (キャリブレーション診断)] オプションを選択します。

[Options (オプション)] タブで、使用する予定のカメラ キャリブレーション アセットを選択します。 選択後、[Detect Features (特徴を検出)] ボタンをクリックすると、現在選択されているフレームに対して診断が実行されます。

別のフレームを選択し、再度 [Detect Features] をクリックすることで、テイク全体を通して誤差率が良好な範囲に収まっているかを継続して確認できます。

[Image Viewer] (画像ビューア) タブでは、ビューア設定を使用して切り替え可能な、いくつかの診断用ビジュアライゼーションが提供されます。

• Detected Points (検知されたポイント) を有効にすると、フィーチャーとその再投影位置が表示され、両点がラインで接続されます。 これらの誤差は、カメラのポイントと再投影ポイントの距離を測定し、現在の映像に対してキャリブレーションがどれほど良好かを視覚的に示します。 ラインの色は、誤差の大きさに応じて変化します。

  

  • 緑色は、2 点間の誤差（距離）が小さいことを表します。

  • 赤は、2 点間の誤差が大きいことを表します。

• Per Block Errors (ブロックごとの誤差) を有効にすると、画像がブロックに分割され、各ブロックは RMS (Root Mean Squared) 再投影誤差に応じた色で表示されます。 いずれかのブロックをクリックすると、他の種類の再投影誤差（平均、中央値）や、検出されたポイント数を確認できます。

注目領域の選択

デフォルトでは、フィーチャーはフレーム全体で検出されます。そのため、背景の要素が意図せず検出され、全体の結果に影響を与える可能性があります。このような場合は、顔をより明確にフレーミングする注目領域を定義することで、これらの値を除外できます。

注目領域のカバレッジを制限または拡張したい場合は、以下の手順で実行できます。

1. ビューア設定の横にある矢印ボタンをクリックします。

2. カーソルを使用して、クリック＆ドラッグで選択領域のボックスを作成します。

   • これを各画像で繰り返します。

診断情報の解釈

診断情報を見る際に注意すべき点がいくつかあります。

• RMS 誤差が高い (1 以上)、赤いブロックが多い、またはポイント数が少ないキャリブレーションは、品質の低い深度データまたはアニメーション データにつながる可能性があるため推奨されません。

• 顔の領域 (注目領域) の外側で検出されたポイントは、外れ値として扱うことができます。 これらのポイントは有効ではありますが、深度生成処理やアニメーションには影響しません。 注目領域を選択すると、その領域内のポイントのみが表示されるため、確認が容易になります。

• ポイントが検出されていない、または検出ポイント数が非常に少ない場合は、Feature Match Error のしきい値によって、検出可能なポイントがすべてフィルタリングされていることを意味します。 これらのポイントがフィルタリングされている場合、それらの誤差が大きいことを意味し、このキャリブレーションは現在の映像に対して不適切と判断できます。

• RMS が低く (1 に近い) かつ注目領域に赤い領域がない場合は、良好なキャリブレーションの例となります。

  • キャリブレーション診断ツールの RMS 再投影誤差は、Calibration Generator の RMS とは異なります。 診断ツールの RMS は、Generator ツールの RMS よりも高くなる可能性があります。 これは、ジェネレータ ツールの方がチェッカーボードのコーナー検出精度が高いためです。

• 再投影誤差は、投影ポイント (生成されたキャリブレーションで投影されたポイント) と、測定ポイント (チェッカーボードのコーナーまたは顔の特徴点) との距離を表します。

  この距離が算出されると、すべてのポイントに対して RMS、平均値、中央値が測定されます。 これらはそれぞれ独立した数学的情報であり、診断に役立ちます。

• RMS (二乗平均平方根) 誤差は、すべての再投影誤差の二乗を合計し、その総和を誤差の数で割り、さらに平方根を取ることで算出されます。

• 平均値は、すべての再投影誤差を合計し、その総和を誤差の数で割ることで算出されます。

• 中央値は、すべての再投影誤差を並べ替え、誤差の数が奇数か偶数かに応じて、並べ替えられた配列の (n+1)/2 の位置、または (n/2 + (n/2 + 1))/2 の位置にある要素を取得して算出されます。