시네마틱 뎁스 오브 필드 메서드

다음은 디퍼드 셰이딩 렌더러와 클러스터드 포워드 렌더러를 사용하여 데스크톱 및 콘솔 플랫폼에서 마치 사진이나 영화같은 시네마틱 룩을 연출하는 뎁스 오브 필드 메서드에 대한 설명입니다.

시네마틱

Cinematic (시네마틱) DOF 는 현실의 카메라 효과에 거의 일치하며, 원형 및 Bokeh (보케) DOF 와 비슷하게 선명한 하이 다이내믹 레인지 (HDR) 콘텐츠와 함께 원 모양 보케를 (초점이 잡히지 않은 영역을) 볼 수 있습니다. 이 메서드는 절차적 보케 시뮬레이션을 사용하여 동적 해상도 안정성을 높이고 알파 채널을 지원함과 동시에 더욱 빠르고 다양한 퀄리티 옵션을 지원하며, 데스크톱 및 콘솔 개발 프로젝트에 최적화되어 있습니다.

샷의 피사체 포커싱

뎁스 오브 필드 이펙트의 미적 기준을 충족시키는 핵심은 샷의 피사체 포커싱 방식에 있습니다. 어떤 샷의 뎁스 오브 필드 구성에 영향을 주는 핵심 요소는 세 가지입니다.

• 렌즈의 Focal Length (초점 길이) 결정.

• 적합한 Aperture (조리개, f값) 선택.

• 카메라에서 피사체까지의 거리 선택.

캡처 중인 카메라와 씬을 이루는 요소를 분석하여 위 세팅을 조절할 때 어떤 일이 벌어지는지 알아봅시다.

1. 씬의 지점

   1. 빨강 = 아웃 포커스

   2. 파랑 = 완전 인 포커스

   3. 초록 = 겨우 인 포커스

2. 샷의 피사체까지 초점 거리 (1. ii)

3. 카메라 렌즈

4. 렌즈 조리개 막 (f값으로 측정)

5. 렌즈 초점 거리

6. 필름백 / 이미지 센서

7. 최종 이미지 결과

참고로 오른쪽 렌더링 이미지는 카메라 렌즈를 통해 뒤집힌 것입니다. 빨강은 배경 부분이고 아웃 포커싱이 심하며, 초록은 전경 부분이고 아웃 포커싱이 약합니다.

여기 여러 지점(1)이 있는데, 정의된 초점 거리 (2)에서 카메라에 잡힌 오브젝트는 이 경우 파랑 피사체입니다. 조리개 (4)는 초점이 잡히지 않은 전경과 배경의 오브젝트를 뿌옇게 만드는 방식을 정의하며, 마지막으로 렌즈의 초점 길이 (5)는 시야, 즉 이미지 줌 인 정도를 제어합니다.

조리개

Aperture (조리개)는 f값으로 제어되는 Diaphragm (조리개 막) 직경에 따라 전경과 배경의 선명하고 흐린 정도를 정의합니다.

1. 카메라 렌즈

2. 렌즈 조리개의 조리개 막, f값으로 측정

이 도표는 렌즈 (1)를 통과하는 빛을 막는 조리개 막 (2)을 나타냅니다. 조리개 크기(또는 f값)는 렌즈를 통해 빛이 얼마나 통과하는지, 이어서 샷의 초점 거리에 따라 전경과 배경을 얼마나 흐리게 할지를 제어합니다.

조리개, f값 과 조리개 막 을 이루는 요소는 두 가지입니다.

1. 조리개 는 빛이 통과하는 구멍의 직경입니다. 조리개는 초점 거리를 f값 으로 나눈 값으로 정의합니다.

2. 조리개 막 은 여러 날로 이루어진 기계식 구조물로 빛을 막는 데 사용됩니다. 제공된 f값에 따라 열리고 닫힙니다.

렌즈의 조리개를 정의하는 것은 조리개 막의 직경으로, f값에 반비례하며, 뎁스 오브 필드 이펙트의 얕고 넓은 정도를 제어합니다. 이 효과를 나타내는 도표는 초점 거리 부분을 참고하세요.

조리개 작동 방식 데모로, 아래 슬라이더를 끌어 보면 f값이 1.4, 2.8, 5.6 일 때의 모습입니다. f값이 작을 수록 DOF 효과는 얕아(, 즉 배경과 전경이 더욱 흐려)집니다. f값이 클 수록 DOF 깊이는 깊어지고 흐려짐은 덜합니다.

참고로 여기서는 f값만 변경했을 뿐, 초점 거리와 초점 길이는 각각 7m 와 75mm 그대로입니다.

슬라이더를 끌면 조리개 f값을 변경해 볼 수 있습니다.

보통 실제 카메라의 조리개를 조절할 때는, 노출도 같이 조절하여 필름백/이미지 센서가 받는 빛의 강도를 동일하게 유지합니다. 하지만 Unreal Engine 는 실제 카메라가 아니므로 f값과 조리개 막을 조절해도 빛 강도가 제어되지는 않습니다.

초점 길이

Focal Length (초점 길이)는 렌즈 중앙에서 Filmback (필름백 또는 이미지 센서)까지 거리를 밀리미터(mm) 단위로 측정한 것입니다.

1. 카메라 렌즈

2. 초점 길이

그 작동 방식 데모로, 슬라이더를 끌면 렌즈 초점 길이가 50mm, 75mm, 100mm 로 변합니다. 사실상 샷의 시야(FOV)가 바뀌는 것을 볼 수 있습니다.시점 길이가 늘어나면, FOV 는 줄어듭니다. 초점 길이는 샷의 아웃 포커싱 부분도 같이 줌 인 시켜 이미지 전경과 배경에 흐려지는 부분도 현저해 진다는 점만 제외하면 카메라의 줌 인과 비슷하다 생각해도 됩니다. 아래 예제에서 초점 길이를 50mm 에서 100mm 로 변경해 보면서 이 부분을 확인할 수 있습니다. 샷이 전경 전반에 걸쳐 거의 초점이 잡힌 상태로 보이지만, 초점 길이가 100mm 이 되면 배경의 아웃 포커싱이 심해지면서 전경의 흐려지는 부분도 최소화되는 것이 보입니다.

이 도표와 예제에서는 렌즈 초점 길이만 변하며, 초점 거리와 f값은 각각 7m 와 f/2.8 고정입니다.

초점 거리

Focus Distance (초점 거리)는 카메라 렌즈 중앙에서 초점이 잡혀 초점 면이 생긴 샷 피사체까지의 거리입니다. 카메라가 피사체에 가까울수록, 배경의 아웃 포커싱은 심해집니다.

1. 씬의 초점

   1. 빨강: 아웃 포커스

   2. 파랑: 완전 인 포커스

   3. 초록: 겨우 인 포커스

2. 샷의 피사체까지 초점 거리 (1b)

3. 카메라 렌즈

이 도표는 씬을 구성하는 오브젝트(1), 즉 배경, 샷 피사체, 전경을 보여줍니다. 렌즈(3)에서 초점 피사체, 이 경우 파랑 점까지의 거리(2)가 초점 거리입니다. 전경과 배경 부분의 흐려짐은 사용된 f값과 렌즈 초점 길이에 따라 달라집니다.

DOF 레이어 시각화는 뷰포트 의 표시 드롭다운에서 고급 > 뎁스 오브 필드 레이어 를 선택하면 됩니다. 여기서 초록은 전경의 오브젝트를, 검정은 초점 잡힌 오브젝트를, 파랑은 배경 부분을 나타냅니다.

이 작동방식 데모로, 슬라이더를 끌어보면 초점 거리 값이 4m, 7m, 10m 로 바뀝니다. 초점 거리를 조절하면 샷의 초점 구역이 어디인지 나타내는 씬의 (보라 점선) 초점 면이 조절됩니다. 도표의 파랑 점은 여기 캐릭터를 초점 피사체로 사용하므로, 카메라가 샷 초점(위의 검정/회색 영역)을 씬의 다른 부분으로 전환하면서, 전경과 배경의 오브젝트도 전환됩니다. 시작인 4m 에서, 전경의 경찰차는 선명한 인 포커스이고 배경의 캐릭터는 아웃 포커스 상태입니다. 도표의 파랑 부분이 필름백 앞의 초점 교차 부분을 잘 나타내 줍니다. 7m 에서, 캐릭터는 완전 인 포커스이고 배경과 전경 오브젝트는 아웃 포커스 상태입니다. 10m 에서, 공사장벽이 선명한 인 포커스이고 캐릭터와 경찰차는 전경에서 아웃 포커스 상태입니다. 교차점이 필름백 너머로 뻗어가므로 도표의 파랑 부분이 이를 잘 나타냅니다. 이 모든 초점 거리 변화를 통해, 오브젝트가 있는 곳이 전경인지 배경인지에 따라 DOF 이펙트가 커지고 작아집니다.

여기서는 초점 거리만 변경하고 있으며, f값과 초점 길이는 각각 f/1.4 와 75mm 로 고정입니다.

절차적 조리개 막 시뮬레이션

뎁스 오브 필드 잡은 초점 중요도를 씬의 피사체에 적용하는 것입니다. 그와 마찬가지로 중요하게, 아웃 포커스된 부분 역시 중요합니다. 언리얼 엔진 4 의 뎁스 오브 필드는 렌즈 조리개 막을 시뮬레이션하여 (아웃 포커스 부분의) 보케 모양을 제어합니다.

퍼포먼스 상의 이유로, 조리개 막 시뮬레이션은 엔진 퀄리티 세팅 중 에픽 및 시네마틱 에서만 지원됩니다. 퀄리티 세팅이 그보다 낮으면 같은 부분을 원형 보케 모양으로 예비 전환하여 자동 노출 기능과 비슷한 작동방식을 보이다가 차례로 조리개 막 시뮬레이션을 비활성화합니다.

조리개 막의 날 수

조리개 막 (또는 아이리스)는 여러 개의 날로 구성된 장치로, 보케의 미적인 모양을 냅니다. 날 수가 적으면 조리개 막은 다각형 모양이 되는 반면, 많으면 조리개 막으로 이루어지는 곡선이 부드러워져 보케 모양이 보다 자연스러운 원 모양이 됩니다.

조리개 막의 날 수는 Maximum Aperture (최대 조리개)가 늘어나면 (최소 f값이 줄어) 보케 모양에 직접 영향을 줍니다.

조리개와 최대 조리개

조리개 는 렌즈의 구멍이며, f값 으로 측정한 조리개 막 지름으로 제어합니다. 렌즈를 통과하는 빛의 허용량은 조리개 크기로 조절합니다. 조리개 크기를 조절하면 초점 면을 설정하여 초점 구역 밖 인 포커스 또는 아웃 포커스 부분의 모양을 조절합니다.

다음 차트는 조리개 크기 (f값), 최대 조리개 (최소 f값), 뎁스 오브 필드 이펙트 사이 상관 관계를 표시합니다.

조리개가 클(f값이 작을) 수록 초점 구역이 얕아져, 전경과 배경의 아웃 포커스가 심해집니다. 조리개가 작을(f값이 클) 수록 초점 구역이 넓어져 전경과 배경의 인 포커스에 포함되는 오브젝트가 많아집니다.

조리개 f값: 1.4, 2.0, 2.8, 4.0, 5.6, 8.0

조리개는 원하는 만큼 줄일 수 있지만, 최대 렌즈 크기까지입니다. (f값으로 측정되는) 최대 조리개 는 렌즈의 최대 크기를 정의합니다. 조리개를 열 수 있는 크기를 제한하여 조리개 막을 이루는 날의 곡률을 정의하기도 하며, 조리개 크기를 제한하면 아웃 포커스 부분을 제한시키는 실제 초점 구역이 짧아집니다.

날이 5 개인 조리개 막에 최대 조리개 값을 다르게 한 경우

이 예제에서 Number of Diaphragm Blades (조리개 막의 날 수)는 5 로 설정했습니다. 조리개가 작을수록, 조리개 막의 날이 보케 모양으로 더욱 잘 보이게 됩니다. 조리개가 커질수록 (f값이 최소 f값에 가까우면) 보케 모양은 원이 되기 시작합니다.

이 예제에서, 시네 카메라 액터를 다음과 같이 설정하여 사용하고 있습니다:

• Min F-Stop 최소 f값: 1.4

• Max F-Stop 최대 f값: 4.0

• Diaphragm Blade Count 조리개 막의 날 수: 5

• Current Aperture 현재 조리개: 1.4 - 4.0

위 설정으로 f값은 1.4 에서 4.0 사이 값만 받을 수 있습니다. f값이 커(조리개가 작아)지면서 뎁스 오브 필드 이펙트가 깊어지고, 조리개 막의 날이 보케 모양으로 더욱 잘 보이게 됩니다.

조리개가 빛의 강도를 제어하지는 않는다는 점 유념하세요. 그렇게 한 것은 실체 카메라처럼 계속해서 노출을 동시에 조절할 필요가 없도록 하기 위해서입니다.

Cinematic DOF Settings

Cinematic Camera

The following settings are specific to the Cinematic Camera Actor. Note that you have access to the Camera and Depth of Field settings as well.

포스트 프로세스 볼륨 및 카메라 액터

시네 카메라, 카메라, 포스트 프로세스 볼륨 에서 사용할 수 있는 세팅은 다음과 같습니다.

최적화에 유용한 콘솔 변수

DOF 가 어려운 점은 콘텐츠에 따라 그리고 미적으로 얼마나 중요한 역할을 하는가에 따라 달라질 수 있다는 점입니다. 그 점을 염두에 두고 플랫폼마다 사용자 정의할 수 있는 다양한 콘솔 변수가 DOF 구현에 제공되므로, 할당된 퍼포먼스 예산을 더욱 잘 제어할 수 있습니다.

시네마틱 DOF 퍼포먼스 바인딩에 유용할 수 있는 몇가지 콘솔 변수는 아래와 같습니다.

• r.DOF.Kernel.MaxBackgroundRadius - 가로 스크린 스페이스에서 배경 블러링 반경의 최대 크기입니다.

• r.DOF.Kernel.MaxForegroundRadius - 가로 스크린 스페이스에서 전경 블러링 반경의 최대 크기입니다.

• r.DOF.Scatter.MaxSpriteRatio - 스프라이트로 분산된 픽셀 쿼드의 최대 비율입니다. DOF 분산 상한선을 제어하는 데 좋습니다.

여기서부터 시작해서 더 많은 콘솔 변수를 r.DOF.* 아래에서 찾을 수 있습니다.

보케 DOF 방식 (레거시)

이 뎁스 오브 필드 메서드는 언리얼 엔진 4.23의 디퍼드 렌더러와 데스크톱 포워드 렌더러에서 폐기되었습니다.

Bokeh (보케) DOF 는 사진이나 영화에서 사물이 아웃 포커싱되었을 때 볼 수 있는 모양 이름을 가리킵니다. 이 방식은 모양을 정의하는 사용자 지정 텍스처를 사용하여 각 픽셀에 대해 텍스처입힌 쿼드를 렌더링하여, 카메라 렌즈 효과를 재현합니다.

사용된 구현은 반해상도만으로 이 비싼 이펙트를 구현합니다. 적응형 뎁스 오브 필드를 사용하여 이펙트가 보이지 않는 부분의 렌더링 퍼포먼스 절약을 시도합니다. 보케 DOF 는 언리얼 엔진에서 사용할 수 있는 다른 DOF 메소드보다 비용이 많이 들어, 시네마틱이나 쇼케이스처럼 퍼포먼스보다 환상적인 비주얼이 중요한 상황에서 유력한 후보가 됩니다.

보케 DOF 에 적응형 DOF

보케 DoF 는 퍼포먼스때문에 (각 방향마다 절반 해상도씩) 1/4 해상도로 렌더링합니다. 대부분의 경우 이러한 다운샘플링이 문제되지는 않지만, 부작용이 심해 원치 않는 결과가 날 수도 있습니다. Adaptive Depth of Field (적응형 DoF)는 이러한 부작용 유형을 해결할 수 있습니다.

다운샘플링 DoF 기법만 사용할 때, 배경에 블러링이 적용되고 있는 캐릭터를 보면 덩어리진 모습을 확인할 수 있습니다. 게다가 전경의 캐릭터 뿔 주변에 약간의 부작용도 보입니다. 적응형 DoF 를 사용하니 부작용도 사라지고 배경 캐릭터의 모습도 훨씬 부드러워 졌습니다.

적응형 DoF 는 ( 표시 > 시각화 아래) 적응형 뎁스 오브 필드 표시 옵션으로 시각화시켜 볼 수 있습니다. 켜면 다운샘플링 이펙트가 사용된 곳은 어디인지 (초록), 최대 해상도 이펙트가 사용된 곳은 어디인지 (빨강) 보여주는 오버레이가 표시됩니다. 블러링이 적용되지 않은 곳은 원래 씬 색으로 표시됩니다.

일반적으로 모두 초록으로 나타나는 것이 좋습니다. 시각화에 빨강으로 나타나는 부분이 많을 수록, 매 프레임마다 씬 렌더링에 드는 비용이 늘어납니다.

보케 DOF 세팅

시네 카메라, 카메라, 포스트 프로세스 볼륨에서 사용할 수 있는 세팅은 다음과 같으며, Lens (렌즈) 탭 아래 Depth of Field (뎁스 오브 필드) 섹션에 있습니다.

외부 리소스

• SIGGRAPH 2018 - "A Life of a Bokeh" by Guillaume Abadie (PowerPoint presentation ~150 Mb)

• Diaphragm (Optics)

• Aperture

• F-Number

• Understanding Factors that affect Depth of Field