テンポラル スーパー解像度

テンポラル スーパー解像度 (TSR) は、プラットフォームに依存しない テンポラルのアップスケール処理 です。テンポラル スーパー解像度を使用すると、Unreal Engine で美しい 4K 画像をレンダリングすることができます。高い負荷のかかるレンダリングの演算処理を多数のフレームに分散することで、少ない負荷で画像をレンダリングすることができます。これは、Unreal Engine 4 で実行できるテンポラル アンチエイリアシング アップサンプリング (TAAU) よりも低い内部解像度をレンダリングすることで実現します。

TSR は、次世代ゲームの需要に応える、ネイティブの高品質アップサンプリング手法を提供します。Nanite ジオメトリに必要な忠実度とディテールを実現しながら、Lumen に必要な十分なパフォーマンスを確保するために、はるかに低い解像度でのレンダリング フレームを可能にしました。

次の比較画像は、ネイティブの 4K でレンダリングされたフレームと、1080p の解像度を 4K にアップスケールしたフレームの品質とパフォーマンスの違いを示したものです。TSR により、GPU フレーム時間を半分に削減しながら、ネイティブ 4K 解像度に近い品質の画像を実現しています。

この比較画像では 4K 画像がページ幅に制限されています。圧縮されていない完全な解像度を確認するには、対象を右クリックして、コンピュータに保存し、新しいブラウザ ウィンドウで開いてください。

テンポラル スーパー解像度には次の特性があります。

• 1080p という低い入力解像度でネイティブ 4K レンダリングの品質に近いフレームをレンダリングできます。
• 高周波の (詳細な) バックグラウンドに対する「ゴースト」アーティファクトが、Unreal Engine 4 のデフォルトのテンポラル アンチエイリアシング メソッドで表示されていたものよりも削減されます。
• 複雑度の高いジオメトリでのちらつきが減少しました。
• 各コンソール プラットフォームでの 動的解像度 スケーリングがサポートされます。
• D3D11、D3D12、Vulkan、Metal、PlayStation 5、Xbox Series S | X をサポートするあらゆるハードウェアで実行できます。
• シェーダーは、特に PlayStation 5 と Xbox Series S | X の GPU アーキテクチャに向けて最適化されています。

レンダリング チェーンでは、TSR は被写界深度 (DOF) の後で処理され、その後ではすべてがアップスケールされています。

TSR のスケーラビリティ

サポート対象プラットフォームでテンポラル スーパー解像度を使用できますが、プロジェクトのニーズに基づいて、各プラットフォームのアップスケール設定をカスタマイズする必要があります。 プロジェクトで TSR を試し、適切にスケーリングする方法の詳細については、次の各セクションを確認してください。

詳細の時間的蓄積の注意点を理解する

低解像度でのレンダリングによって実現する TSR のフレームレートが増加するだけだという欠点と考えるのは、まったく公正ではありません。テンポラル アップスケーラーにも欠点があります。静止画で十分なフレーム時間があれば、どのような、テンポラル アップスケーラーでも同じ結果をレンダリングすることができます。また、他のあらゆるテンポラル アップスケーラーと同様に、TSR は低解像度のフレームを時間をかけて蓄積し、1 つの画像として収束します。また、画像の細部は詳細が十分に蓄積された後に初めて明らかになります。たとえば、ジオメトリの厚みは最初のフレームでは わかりません。

レンダリング解像度は、スクリーン比率で制御されます。これは、1 フレームで利用可能な情報量を制御します。収束に必要なその他の情報は、レンダリングされるフレームのその他の部分に依存します。つまり、TSR によって表示される情報は、レンダリングされるフレームの解像度だけでなく、フレームレートにも依存しています。これは、詳細が蓄積される速度にフレームレートが影響するためです。

GPU の他にも、TSR に影響するフレームレートを制限する可能性があります。たとえば、リフレッシュ レートが可変ではないモニターでの CPU バウンドや VSync などが挙げられます。

この場合、コンソール コマンド stat tsr が、画像全体に対する TSR の蓄積に影響する可能性のある要素を特定するのに役立ちます。このコマンドを呼び出すと、stat unit を呼び出したときに通常表示される統計情報に加えて、次の 2 つの統計情報が追加されます。TSR feed (TSR フィード) と TSR1spp です。

TSR フィード は TSR に供給される 1 秒あたりのピクセル数を示します。これは、TSR がどのくらいのデータ量で全体画像に収束する必要があるかを把握するためのマクロスコピックな重要指標です。TSR フィードは、レンダリング解像度の幅 * レンダリング解像度の高さ * フレームレート = ディスプレイ解像度の幅 * ディスプレイ解像度の高さ * スクリーン比率^2 * フレームレート で求めることができます。この指標のメリットは、ディスプレイの解像度に関係なく、動きのある画像のマクロスコピックな品質を示すことができることです。TSR フィードがどのようにスケールされるかを次に示します。

TSR 1spp は TSR の収束率です。これは、TSR が 1 ピクセルあたり 1 サンプルに到達できるデータを確保するのに必要な時間です。TSR 1spp は、詳細をすばやく蓄積する必要のあるオクルージョン解除が有効になっている動きにおいては、特に重要です。これは、TSR 1spp = 1000 / (スクリーン比率^2 * フレームレート) で求めることができます。

このデータの使用方法の例を挙げると、スクリーン比率が 50 に設定されている場合、1 ピクセルあたり 1 サンプル以上取得するためには、(50/100)^-2 = 4 フレームが必要になります。各フレームのレンダリングに 16.6 ミリ秒かかる場合、画面上のオクルージョン解除領域が十分なデータを確保するためには、その 4 倍、すなわち、4*16.6 = 66.4 ミリ秒かかります。

TSR のアップスケーリング GPU 負荷

TSR の主な目標は、アップスケールです。GPU 処理の大半は、指定された解像度に基づいてスケールされます。これは、TSR の GPU 負荷の一部が、レンダリング解像度より高いディスプレイ解像度で実行される必要があることに起因します。

コンソールに「stat gpu」を入力して、GPU 統計表示を開きます。この統計表示を開いて、プライマリ スクリーン比率を調整し、パフォーマンスの差分を確認できます。古代の谷 サンプル プロジェクトで 100% と 50% のスクリーン比率でレンダリングした例を以下に示します。

TSR の視差ヒューリスティックは、フレームのシーン カラーや透過性ではなく、深度バッファおよびベロシティ バッファに依存します。これは、深度バッファおよびベロシティ バッファが、多くの場合、シーン カラー バッファおよび透過性バッファよりもはるかに早く GPU 上で完了するためです。これにより、TSR 視差ヒューリスティック全体が GPU 上で非同期に計算され、他のレンダリング アルゴリズムで GPU が十分に使用されていないギャップを r.TSR.AsyncCompute=2 で埋めることができます。

PlayStation 5 および Xbox Series X のフォートナイト チャプター 4 では、これにより、バトルロイヤルのパフォーマンス リプレイ全体でパフォーマンスをテストした場合、TSR の GPU の総負荷の約 0.5 ミリ秒が埋め合わされます。リプレイでは、約 0.1 ミリ秒節約されるため、TSR の事実上の負荷は 1.5 ミリ秒になります。また、フレームのレンダリングを完了するためのクリティカル パスである GPU 負荷は 1.1 ミリ秒に短縮されます。

コンソール変数

[Engine Scalability Settings (エンジンの拡張機能設定)] で、すべてのプラットフォームに対する TSR の品質をスケールします。[Low (低)] から [Cinematic (シネマティック)] の事前定義スケーラビリティ グループを使用します。各グループは、アンチエイリアスを含む各種レンダリング プロパティに影響がある一連のコンソール変数により、定義されます。

「[Unreal Engine Root]/Engine/Config」フォルダにある「BaseScalability.ini」ファイルを開くと、スケーラビリティ設定の内容を調べることができます。AntiAliasingQuality セクションを確認すると、使用されているアンチエイリアス品質グループに応じて、TSR がどのようにスケールされるかがわかります。アンチエイリアス品質グループは、「[Your Project Root]\Config\DefaultScalability.ini」の設定を変更することで、自分のプロジェクトに合わせて変更することができます。

プロジェクトに必要な調整の例として、TSR に空間アンチエイリアス アルゴリズムが挙げられます。これは現在のフレームにゴースト エラーが生じる可能性がある、古いデータを回避するために履歴データを除外する必要がある場合は常に使用されます。高解像度または高いフレームレートでレンダリングする必要があるゲーム プロジェクトでは、見えるエイリアシングは除外対象にならないため、このオプションは必要ありません。TSR の履歴データの除外は、r.TSR.RejectionAntiAliasingQuality を使用して制御されます。

テンポラル アップスケーリングの見えない GPU 負荷の増加

テンポラル スーパー解像度と他のテンポラル アップスケールは、レンダラのポストプロセス チェーンの真ん中で処理されます。つまり、モーション ブラーやトーンマッパなどのパスは、TSR の後に実行され、プライマリ スクリーン比率でスケーリングされなくなります。空間アップスケーラー (r.SecondaryScreenPercentage.GameViewport) があるセカンダリ スクリーン比率がない場合、TSR の出力解像度では、レンダリング解像度ではなく、ディスプレイ解像度そのままで実行されます。 TSR がデフォルトで有効になっているため、TSR の後に処理される、パスにおける見えないテンポラル アップスケール負荷の削減に多くの作業を集中させることができます。

モーション ブラー

モーション ブラーの最適化では、低い解像度のテレビでも、常に 2160p バックバッファで表示される、PlayStation 5 と Xbox Series X プラットフォームで、モーション ブラー GPU パフォーマンス負荷が 3 倍改善されています。

• stat gpu を使用したときに TSR の負荷が増加：
  • モーション ブラーの有効/無効を比較するとき stat gpu を使用すると、TSR の負荷が若干増加することがあります。
  • モーション ブラーが有効であるとき、TSR は、一般に入力解像度で実行される Velocity Flatten (ベロシティ平坦化) パスを引き継ぎます。これは、コンソール コマンド r.MotionBlur.AllowExternalVelocityFlatten を使用してコントロールされ、デフォルトで有効になっています。
  • TSR は半分の解像度でシーン カラーを出力し、大規模な指向性ブラー カーネルが発生することがあるメモリ帯域幅のボトルネックを削減します。これは、コンソール コマンド r.MotionBlur.HalfResInput を使用してコントロールされ、デフォルトで有効になっています。
• 指向性ブラーでの半分の解像度：
  • ディスプレイ解像度での指向性ブラー処理は、大規模な動きでは解像度が自動で半分になります。この機能を有効にすると、モーション ブラーの VALU 負荷を削減します。
  • コンソール コマンド r.MotionBlur.HalfResGather 1 でこの最適化を有効にします。
• モーション ブラーの半分および 1/4 の解像度：
  • TSR およびモーション ブラーを半分または 1/4 の解像度で出力できます。これは、すべてのモーション ブラーの後に実行されるガウスおよびコンボリューション ブルーム、レンズフレア、明暗順応 (自動露出)、ローカル露出に対して重要です。

PostProcessQuality スケーラビリティ グループは、「Engine/Config/BaseScalability.ini」のこれらの r.MotionBlur.* の一部をスケールします。

追記

TSR のトラブルシューティング

TSR はテンポラル アップスケーラーであるため、テンポラル アップスケーラーに影響するアーティファクトを診断する必要がある場合があります。出発点として、VisualizeTemporalUpscaler 表示フラグを使用すると、raw 入力および出力バッファを確認することができます。

この表示フラグにアクセスするには、レベル エディタの [Show (表示)] > [Visualize (視覚化)] メニューで テンポラル アップスケーラー (TSR、TAAU、またはサードパーティのプラグイン) を選択します。

詳細については、「Temporal Upscalers (テンポラル アップスケーラー)」を参照してください。

ピクセルのちらつきを調整する

TSR はテンポラル アップスケーラーであるため、テンポラル アップスケーラーに影響するアーティファクトを診断する必要がある場合があります。出発点として、VisualizeTemporalUpscaler 表示フラグを使用すると、raw 入力および出力バッファを確認することができます。

この表示フラグにアクセスするには、レベル エディタの [Show (表示)] > [Visualize (視覚化)] メニューで テンポラル アップスケーラー (TSR、TAAU、またはサードパーティのプラグイン) を選択します。

この TSR の設定は重要です。これは、ピクセルのちらつきを、ピクセル シェーダー アニメーションなどの他の必要な視覚効果と区別する設定であるためです。ただし、重要な違いは、ちらつきはフレームレートに関係なく発生する点です。時間に基づく視覚効果であるため、フレームレートに依存しません。つまり、60hz ではスムーズに見える視覚効果が、24hz などの低いフレームレートでは「ちらついて」見えることがあります。

TSR は GPU パフォーマンスに合わせてスケールするため、アーティストが作成したビジュアルがフレームレートに影響されないことが重要です。このため、プレイヤーのマシンが予想より低いフレームレートで動作している場合、ビジュアルが変わってしまうという意図しない影響が生じることがあります。この問題に対処するため、コンソール コマンドr.TSR.ShadingRejection.Flickering.Period は、フレームレートが r.TSR.ShadingRejection.Flickering.FrameRateCap で定義されたフレームレート (デフォルトは 60hz) より低い場合に、自動的にちらつきを軽減します。つまり、60hz では安定していたジオメトリの詳細が、より低いフレームレートでは不安定になる可能性があります。この動作はデフォルトで有効になっていますが、r.TSR.ShadingRejection.Flickering.AdjustToFrameRate でオプト アウトすることができます。

サポートされているプラットフォーム

テンポラル スーパー解像度は、シェーダー モデル 5 をサポートするあらゆるデスクトップ ハードウェアのデスクトップ レンダラで使用できます。テンポラル スーパー解像度は次のプラットフォームでサポートされています。

• Windows D3D11 SM5、D3D12 SM5、D3D12 SM6 および Vulkan SM5
• Linux Vulkan SM5
• Mac Metal SM5
• PlayStation 5 と Xbox Series S | X

TSR のアップスケール品質と動作はすべての対応プラットフォームでまったく変わりません。ただし、TSR は PlayStation 5 と Xbox Series S | X コンソールで使用される AMD RDNA GPU に対して特に最適化されており、16 ビットの型とパック命令を利用します。

コンソール変数