언리얼 엔진을 위한 인카메라 VFX 뎁스 오브 필드 보정 | 언리얼 엔진 5.7 문서

소개

LED 월에서 DOF의 과제

인카메라 VFX(In-Camera VFX, ICVFX)를 위해 LED 월에서 뎁스 오브 필드(Depth of Field, DOF)를 관리하는 것은 오래된 과제입니다. 이는 부분적으로 두 개의 DOF가 존재하기 때문입니다. 하나는 LED 월에서 nDisplay를 사용하는 버추얼 카메라 렌더링의 DOF고, 다른 하나는 물리적 카메라의 DOF입니다. 두 카메라의 초점과 조리개, 줌을 맞추더라도 그 결과 얻는 이미지는 예상보다 부정확하고 흐릿하며, 물리적 및 버추얼 소품, 세트 드레싱 간의 연속성이 단절됩니다.

A depth of field continuity break between physical and virtual elements.

다른 경우에는 추가 블러링 이펙트를 완화하기 위해 가끔 DOF를 비활성화하여 버추얼 배경의 깊이를 부족하게 만들거나, 초점 거리와 조리개를 임의로 조정하여 원하는 만큼의 정확한 결과나 창의적인 결과를 얻으려고 시도하기도 합니다. 이러한 메서드를 사용하면 정확하지 않은 뎁스 오브 필드 감쇠가 발생하고 혼란스러운 렌즈 데이터가 포스트 프로덕션으로 내려갈 수 있습니다.

Correcting the depth of field continuity break.

ICVFX 뎁스 오브 필드 보정

ICVFX 뎁스 오브 필드 보정(ICVFX Depth of Field Compensation) 기능은 완전한 크리에이티브 컨트롤을 통해 LED 월 버추얼 프로덕션을 위한, 정확한 DOF를 달성할 수 있는 간단하고 효과적인 메서드를 제공합니다. 동시에 물리적 세트와 버추얼 세트 간에 연속 DOF 감쇠를 유지할 수 있습니다.

이 기능은 새로운 실험단계 기능으로 버추얼 프로덕션 팀에서 엄격한 테스트를 거치고 시각적으로 검증되었으며, 이 기능으로 달성할 수 있는 정확도 수준은 세트에 엄청난 가치를 제공하는 것으로 나타났습니다. 구면 렌즈와 애너모픽 렌즈를 모두 지원하는 이 보정은 카메라에서 벽까지 거리와 씬 내 픽셀의 깊이에 따라 각 픽셀의 착란원(Circle of Confusion, CoC), 즉 블러의 양을 조정하는 방식으로 작동합니다. 보정은 현실에 있는 카메라의 초점 거리, 조리개 및 초점 길이에 따라 동적으로 조정됩니다.

ICVFX DOF 보정: 기능 사용법

전제조건

카메라 트래킹 및 LED 월 메시

DOF 보정 기능의 주요 파라미터는 카메라에서 LED 월까지의 거리에 의존하므로, 현실의 LED 월과 일치하는 nDisplay 월 메시와 함께 카메라 트래킹이 필요합니다.

카메라 파라미터 일치시키기

또한 ICVFX 카메라 컴포넌트 또는 할당된 시네 카메라(Cine Camera) 액터가 현실의 카메라 및 렌즈와 똑같은 초점 거리, 조리개 및 초점 길이(초점(Focus)/조리개(Iris)/줌(Zoom), 또는 줄여서 'FIZ'라고도 함) 파라미터를 공유하는 것이 중요합니다. 또한 시네 카메라 액터는 동일한 센서 크기를 공유해야 하며, 애너모픽 렌즈에는 스퀴즈 인수도 필요합니다. 이를 가장 잘 구현하려면 렌즈 인코딩 시스템과 잘 캘리브레이션된 렌즈 파일이 필요합니다. 이로써 랙 포커스를 통한, 완전한 동적 리얼타임 보정이 가능해집니다!

하지만, 이러한 시스템 없이 모든 파라미터를 수동으로 입력할 수도 있습니다. 카메라 팀에서 렌즈 FIZ 값을 조정할 때마다 파라미터를 업데이트하는 것만 잊지 않으면 됩니다. 조리개의 블레이드 수도 보완성 보케(Bokeh)를 달성하는 데 중요합니다.

엔진 세팅

마지막으로 포스트 프로세싱(Post Processing)에 대한 최소 엔진 확장성 세팅이 에픽(Epic)으로 설정되어 있는지 확인합니다. 그렇지 않으면 렌더가 물리적으로 정확하지 않은 레거시 DOF를 활용하게 됩니다.

전제조건 요약:

카메라 트래킹
합리적으로 정확한 LED 월 메시
렌즈 인코딩(이상적이지만 선택 사항)
렌즈 파일(이상적이지만 선택 사항)
모든 시네 카메라 액터 세팅이 현실의 카메라와 일치해야 함
- 초점 거리
- 조리개
- 초점 길이(줌)
- 센서 크기
- 스퀴즈 인수
- 조리개 블레이드 수
최소 엔진 확장성: 에픽

위치

ICVFX 뎁스 오브 필드 보정 기능은 nDisplay 환경설정(nDisplay Config) 액터의 ICVFX 카메라 컴포넌트(ICVFX Camera Component)에 있습니다.

ICVFX Depth of Field settings under the ICVFX Camera Component.

컨트롤

두 가지 메인 컨트롤은 다음과 같습니다.

기능 활성화
뎁스 오브 필드 게인(Depth of Field Gain)

이 기능을 활성화하면 즉시 nDisplay 렌더를 사용하는 LED 월의 DOF를 보정합니다. nDisplay 환경설정 액터 프리뷰 렌더에서도 이러한 보정을 확인할 수 있습니다.

뎁스 오브 필드 게인 프로퍼티는 뎁스 오브 필드가 얼마나 얕은지 정의하는 메인 크리에이티브 컨트롤입니다. 디폴트 값인 1은 현실의 렌즈와 일치한다는 것을 나타냅니다. 게인 값이 1보다 크면(최대 4) DOF 감쇠가 얕아집니다. 예를 들어, 2배 얕은 DOF를 원한다면 게인을 2로 설정하면 됩니다. 게인 값이 1보다 작으면 DOF가 덜 얕아집니다. 즉, 게인 값이 작을수록 뎁스 오브 필드가 증가합니다. 예를 들어, DOF 얕기를 절반으로 하려면 DOF 게인을 0.5로 설정하면 됩니다. 이 값은 0까지 줄일 수 있으며, 0이 되면 렌더링된 LED 월 콘텐츠에 DOF가 없게 됩니다.

Additional ICVFX Depth of Field controls.

다른 컨트롤에는 벽까지 거리 자동 설정(Automatically Set Distance to Wall) 및 벽까지 거리 오프셋(Distance to Wall Offset) 프로퍼티가 있습니다. 이 기능은 실험단계이므로 개발팀에서는 사용자가 직접 조작하고 실험할 수 있는 컨트롤을 포함하려 했습니다. 하지만, 변경하지 않아도 일반적인 용도로는 무리 없이 사용할 수 있습니다. 벽까지 거리 자동 설정 프로퍼티는 기본적으로 활성화되어 있으며 카메라 위치에 따라 보정을 동적으로 업데이트합니다.

벽까지 거리 오프셋 프로퍼티는 단순히 벽까지 거리 파라미터에 숫자를 더하거나 뺍니다. 이 기능은 감쇠를 변경하지 않고 벽에 가까운 오브젝트의 블러를 예술적인 목적으로 제어하는 데 사용할 수 있습니다. 벽 뎁스에서 버추얼 오브젝트의 초점을 흐리면 이중 블러가 발생하고 물리적 세트에서 버추얼 세트로의 전환이 끊어질 수 있지만, 결국 모니터를 통해 볼 때 샷이 제대로 보이면 문제없다는 점을 명심하세요!

마지막으로 보정 룩업 테이블을 뜻하는 보정 LUT(Compensation LUT) 프로퍼티가 있습니다. 이 LUT는 다른 색 보정과는 다른 프로퍼티로서 DOF 보정에 필요한 착란원의 비선형 깊이 기반 조정을 정의합니다. 이 프로퍼티는 디폴트로 둘 수도 있지만, 필요하다고 생각하는 경우 더 실험할 수 있도록 추가했습니다.

워크플로 개선

초점 거리, 조리개, 초점 길이 및 기타 렌즈 파라미터를 어느 한 액터/컴포넌트에서 변경하면 즉시 다른 쪽에도 반영될 수 있게 하는 등, 시네 카메라 액터와 ICVFX 카메라 컴포넌트의 상호작용 방식을 개선했습니다. 즉, 이렇게 자주 사용하는 세팅을 이제 nDisplay 환경설정 액터 디테일 패널에서 액세스할 수 있습니다.

ICVFX 스테이지(ICVFX Stage) 앱에도 ICVFX 뎁스 오브 필드 보정에 대한 컨트롤이 포함되어 있습니다. 이 앱을 사용하여 세트에서 원격으로 보정을 활성화하거나 비활성화하고 벽까지 거리 오프셋을 조정하며 DOF 게인을 제어할 수 있습니다. 렌즈 인코딩 시스템이 없는 경우, 앱에서 초점 길이, 조리개, 초점 거리 및 관련 설정을 포함한 모든 시네 카메라 액터 렌즈 파라미터를 제어할 수 있습니다.

Controlling ICVFX Depth of Field Compensation from a tablet.

ICVFX 뎁스 오브 필드 보정: 주의 사항

보케

벽에 렌더링된 보케는 렌즈에서 생성된 보케보다 좀 더 부드럽게 나타납니다. 따라서 초점 거리가 카메라에 더 가깝고 조리개가 커서 뎁스 오브 필드가 매우 얕은 경우에는 DOF 게인을 최대 0까지 낮은 값으로 설정하는 것이 좋습니다. 이 한정된 경우를 테스트한 결과, DOF 게인을 0으로 하면 레퍼런스 이미지보다 더 정확한 보케를 제공했습니다.

T-스톱을 F-스톱으로 변환

언리얼 엔진 시네 카메라 액터에는 F-스톱 값을 입력해야 하므로, 렌즈가 T-스톱이면 가장 정확한 결과를 얻기 위해 F-스톱으로 변환해야 합니다. 하지만, 변환하지 않고 T-스톱 값을 사용해도 아주 좋은 결과를 얻을 수 있으니 걱정하지 않아도 됩니다.

비대칭 프러스텀 오버스캔

비대칭 프러스텀 오버스캔 세팅은 일부 극단적인 상황에서 DOF에 영향을 줄 수 있으므로, 세팅에 맞춰 DOF 게인을 조정해야 합니다.

버추얼 전경 오브젝트

시네 카메라 액터와 nDisplay 환경설정 액터 사이에 있는, 벽에 렌더링된 버추얼 오브젝트는 보정할 수 없습니다. 따라서 최상의 결과를 얻으려면 이를 비활성화하고 대신 물리적 세트 소품을 사용하여 전경 엘리먼트를 제공해야 할 수도 있습니다.

애너모픽 프러스텀 해상도

마지막으로 렌즈 스퀴즈 인수 파라미터는 프러스텀의 가로 해상도를 증가시키므로 이 점을 염두에 두고 콘텐츠를 최적화해야 합니다. 그게 불가능한 상황에서는 스퀴즈 인수에 따라 프러스텀 해상도 배수를 줄이거나 프러스텀 해상도 높이를 줄이는 것이 좋습니다(예: 스퀴즈 인수가 1.8이면 세로 해상도를 1.8로 나누어야 함).