인카메라 VFX 개요

인카메라 VFX(In-Camera VFX 는 몰입형 LED 볼륨으로 라이브 액션 영화를 촬영하는 도중에 리얼타임 비주얼 이펙트를 촬영하기 위한 새로운 기법입니다. 이 기법은 LED 라이팅, 라이브 카메라 트래킹, 비축 투영을 사용하는 리얼타임 렌더링 등에 의존하여 전경 액터와 가상 배경 간의 매끄러운 통합을 생성합니다. 주된 목표는 그린 스크린 컴포지팅 없이 카메라 내에서 최종 픽셀 결과를 만드는 것입니다. 고퀄리티 리얼타임 비주얼 이펙트를 만들 때 한 가지 난관은 기술을 동기화하여 모든 것을 동시에 실행하는 것입니다.

언리얼 엔진 은 nDisplay, 라이브 링크, 멀티 유저 편집, 원격 제어 등 다수의 시스템을 통해 이 기법을 지원합니다. 이 문서에서는 이 워크플로에 필요한 기능과 인카메라 VFX 촬영을 위한 세트 제작 시 고려할 사항을 다룹니다.

LED 볼륨 내에서 인카메라 VFX를 활용 중인 세트. 화살표는 카메라 시점에서 렌더링된 카메라의 내부 프러스텀을 나타냅니다.

위 이미지는 몰입형 LED 볼륨(LED volume) 내에서 인카메라 VFX를 활용 중인 세트입니다. 메인 LED 월에 나타난 사진 속 사진은 카메라의 내부 프러스텀(inner frustum) 렌더라고 하는 카메라 뷰를 보여줍니다. 이너 프러스텀은 현재 렌즈 초점 길이를 기반으로 카메라의 시점으로부터 필드 오브 뷰(FOV)를 나타냅니다. 이너 프러스텀에 표시되는 이미지는 카메라가 씬 내에서 움직임에 따라 물리적 카메라를 트래킹하며 항상 카메라의 가상 등가물이 언리얼 엔진 환경에서 보고 있는 모습을 표시합니다. 현실 카메라를 통해 볼 때 시스템은 밋밋한 배경 플레이트 대신 완전 가상 3D 월드를 활용하여 현실 위치에서 촬영하는 듯한 인상을 주는 시차 이펙트를 생성합니다.

카메라의 FOV 밖에서 LED 볼륨에 표시되는 콘텐츠는 외부 프러스텀(outer frustum) 이라고 합니다. 이 외부 프러스텀은 LED 패널을 물리적 세트를 위한 다이내믹 라이트 및 리플렉션 소스로 바꿉니다. 세트를 가상 월드로 둘러싸고 마치 현실의 장소인 것처럼 밝히기 때문입니다. 외부 프러스텀은 카메라가 움직일 때 정적인 상태로 유지됩니다. 이는 현실에서 카메라가 움직일 때 라이트와 리플렉션이 움직이지 않는 것을 모사합니다. 각 샷 구성은 언리얼 엔진 환경 내의 원하는 위치에 배치되고 외부 프러스텀이 스테이지의 씬을 라이팅하기 위해 어떻게 렌더링할지 지시할 수 있습니다.

LED 패널

LED 스테이지 디자인과 그 의도된 사용법은 인카메라 VFX 구성에 포함되어 있습니다. LED 볼륨의 필요 패널 수와 배열 방식이 나머지 하드웨어 구성을 제어합니다. LED 패널은 액터 주변에 호 패턴으로 배치되어 더 나은 앰비언트 라이팅 및 리플렉션을 제공할 수 있습니다. 이는 LED 실링을 제공하여 전반적인 씬에서 앰비언트 라이팅 및 리플렉션에 기여하는 데도 유용합니다. 완전 가상 환경을 생성하려는 프로덕션은 최소 270도로 둘러싼 볼륨이 있어야 정확한 세트 라이팅 및 리플렉션을 달성할 수 있습니다. 세트의 상당 부분이 물리적 빌드이고 가상 월드는 창문 등 세트의 일부분에만 필요한 경우 1면 또는 커브형 월을 고려할 수 있습니다. 프로덕션 예산, 물리적 공간 제약, 경우에 따라서는 제조사로부터의 패널 조달 가능 여부 등 기타 요인도 LED 스테이지 디자인에 영향을 미칠 수 있습니다.

LED 볼륨은 어떤 환경설정으로든 배열될 수 있는 캐비닛 배열로 구성됩니다. 이 이미지는 LED 볼륨의 뒤를 보여줍니다.

LED 볼륨은 캐비닛(cabinet) 클러스터로 구성됩니다. 각 캐비닛은 야외 신호에 사용될 수 있는 92x92 같은 초저해상도부터 실내 디스플레이를 위한 400x450 픽셀의 초고해상도 디스플레이까지 아우르는 고정 해상도를 가지고 있습니다. 각 캐비닛의 물리적 크기는 제조사마다 다릅니다.

LED 프로세서(LED processor) 는 다수의 캐비닛을 하나의 이미지를 표시하는 배열로 결합하는 하드웨어 및 소프트웨어입니다. LED 프로세서가 제어하는 캔버스 내에서 캐비닛을 원하는 환경설정으로 배열할 수 있습니다. 대규모 LED 스테이지에서는 10개 이상의 LED 프로세서가 하나의 끊김없는 LED 월을 제어할 수도 있습니다.

픽셀 피치(Pixel pitch) 는 캐비닛에서 픽셀의 밀도를 나타내며 전체 해상도와 관련됩니다. 픽셀 피치는 일반적으로 밀리미터 단위로 표현되며 각 LED 라이트 간의 거리를 나타냅니다. LED가 서로 가까울수록, 즉 피치가 낮을수록 픽셀 밀도는 높습니다. 픽셀 밀도가 높으면 해상도와 퀄리티가 눈에 띄게 증가하며 각 캐비닛당 비용도 높아집니다.

캐비닛의 픽셀 피치가 낮다고 해서 프로덕션에 잘 맞는 제품인 것은 아닙니다. 뷰 각도, 컬러 시프트, 컬러 일관성, 열 소실 등 다른 요인을 고려해야 합니다. LED 시스템 통합 전문가와 상담하여 프로덕션에 가장 잘 맞는 제품을 선택하는 것이 좋습니다.

광학적 아티팩트인 물결 패턴이 이미지 왼쪽에서 LED 월에 나타나고 있습니다.

화면으로부터의 거리, 픽셀 피치, 카메라 센서 크기의 조합은 눈에 띄는 아티팩트 없이 LED 월로부터 피사체를 촬영하기에 알맞은 거리를 판정하는 데 도움이 됩니다. LED에서 촬영할 때 발생하는 비주얼 아티팩트 중 하나는 물결 패턴(moiré pattern) 입니다. 물결 패턴은 디스플레이 시스템과 카메라 센서 픽셀이 약간 어긋날 때 흔히 나타나는 광학적 아티팩트입니다. 물결 패턴은 카메라의 초점 평면이 3D 스페이스의 LED 패널과 정렬될 때 나타날 수 있습니다. 카메라의 초점을 LED 표면 앞이나 뒤에 배치하여 이미지를 초점에서 약간 벗어나게 하는 것이 권장됩니다. 또한 물결 패턴은 LED 표면에 대한 각도가 예각일수록 더 자주 나타납니다. 가능한 경우 LED 표면에 대한 카메라 각도를 직각으로 유지하세요.

하드웨어

3개의 렌더 노드가 있는 하드웨어 레이아웃 예시입니다. 이미지를 클릭하면 전체 크기로 표시됩니다.

인카메라 VFX는 영화 세트에서 다양한 기능을 갖춘 디바이스의 연결된 복합 네트워크를 필요로 할 수 있습니다. 이 다이어그램은 3개의 LED 패널이 있는 세트의 하드웨어 레이아웃 예시를 보여줍니다. 아래 테이블은 구성 내에서 다양한 머신의 역할을 설명합니다. 인카메라 VFX 프로덕션에 고려할 하드웨어에 대한 상세 정보는 인카메라 VFX 권장 하드웨어를 참고하세요.

카메라 트래킹

카메라 트래킹은 카메라의 위치와 무브먼트를 현실에서 가상 월드로 중계하는 데 필요합니다. 이 기술을 활용하면 프로덕션 카메라의 올바른 시점이 가상 환경에 상대적으로 렌더링됩니다. 인카메라 VFX에서 카메라 트래킹에 이용 가능한 여러 메서드가 있습니다.

가장 일반적인 카메라 트래킹 메서드는 다음과 같습니다.

• 광학 트래킹: 광학 트래킹 시스템은 프로덕션 카메라의 위치를 판정하기 위해 특수 IR 탐지 카메라를 활용하여 반사 또는 활성 IR 마커를 트래킹합니다.

• 피처 트래킹: 광학 트래킹 시스템이 사용하는 커스텀 마커를 트래킹하는 대신 현실 오브젝트의 특정 이미지 패턴을 트래킹 소스로 식별합니다.

• 관성 트래킹: 관성 측정 유닛(Inertial Measurement Unit, IMU)은 카메라의 위치와 방향을 판정하기 위해 자이로스코프 및 가속도계를 포함합니다. IMU는 종종 광학 및 피처 트래킹 시스템과 함께 사용됩니다.

인카메라 VFX에서는 관성 트래킹과 결합된 광학 트래킹 등 카메라 위치 및 방향을 측정하기 위해 다수의 소스를 사용하는 것이 권장됩니다. 다수의 소스는 단일 기법을 사용하는 것에 비해 전반적인 카메라 트래킹 데이터를 향상할 수 있습니다.

라이브 링크

라이브 링크는 카메라, 라이트, 트랜스폼, 기본 프로퍼티 등 라이브 데이터를 수집하기 위한 언리얼 엔진의 프레임워크입니다. 인카메라 VFX의 경우, 라이브 링크는 트래킹된 카메라 정보를 배포하는 데 중요한 역할을 수행하며 nDisplay와 함께 작동하여 각 클러스터 노드로 트래킹 정보를 전달할 수 있습니다. 언리얼 엔진은 라이브 링크를 통해 Vicon, Stype, Mo-sys, Ncam 등 여러 전문 트래킹 솔루션을 아우르는 다수의 카메라 트래킹 파트너를 지원합니다. 자세한 내용은 라이브 링크 플러그인을 참고하세요.

카메라 캘리브레이션

언리얼 엔진에서 CG 렌더 및 라이브 비디오에서 정확한 컴포지션을 생성하려면 현실 세계에서 비디오 영상을 캡처하는 데 사용된 물리적 카메라를 정확하게 시뮬레이션하는 버추얼 카메라가 필요합니다. 버추얼 카메라의 위치 및 방향은 물리적 카메라와 완전히 일치해야 하며, 트래킹 정보는 비디오 피드의 정확한 타이밍과 일치하여 각 비디오 프레임이 매 순간마다 카메라의 위치에 정확하게 동기화되도록 해야 합니다.

카메라 캘리브레이션 플러그인은 사용자에게 에디터에서 카메라 및 렌즈를 캘리브레이션할 수 있는 간소화된 툴과 워크플로를 제공합니다. 이 캘리브레이션 프로세스는 버추얼 카메라를 물리적 카메라의 공간 내 위치와 정확하게 일치시키고 물리적 카메라의 렌즈 디스토션을 모델링하는 데 필요한 데이터를 생성합니다. 이 플러그인은 카메라 및 렌즈에 대한 모든 캘리브레이션 데이터를 캡슐화하는 렌즈 파일 에셋 타입을 채택하고 있습니다.

또한 카메라 캘리브레이션 플러그인은 캘리브레이션된 디스토션 데이터를 취해 정확한 포스트 프로세스 이펙트를 CG 렌더에 적용하는 강력한 렌즈 디스토션 파이프라인을 포함합니다. 디스토션 포스트 프로세스 이펙트는 무비 렌더 큐(Movie Render Queue)에서 사용 가능한 시네 카메라 액터 또는 컴포셔(Composure)의 CG 레이어에 직접 적용될 수 있습니다.

플러그인의 툴 및 프레임워크는 확장성이 뛰어나고 유연하여 다양한 렌즈 및 워크플로를 지원합니다.

자세한 내용은 카메라 캘리브레이션을 참고하세요.

인카메라 VFX의 타임코드 및 젠록

인카메라 VFX 영화 세트에서는 모든 디바이스 간에 매우 높은 동기화를 유지하는 것이 대단히 중요합니다. 카메라, 컴퓨터, 트래킹 시스템 등 각 디바이스에는 내부 클럭이 있습니다. 두 디바이스가 완전히 똑같더라도 각각의 내부 클럭은 서로 동기화되지 않을 수 있습니다. 디바이스 클럭이 통일되지 않으면 결과 디스플레이에 티어링 등의 문제가 발생할 수 있습니다. nDisplay에서 젠록을 사용하면 이 문제를 피할 수 있습니다. nDisplay의 동기화 및 젠록에 대한 추가 정보는 nDisplay에서의 동기화를 참고하세요.

디스플레이 동기화 외에도 엔진 타임코드 및 프레임 생성은 카메라의 입력과도 일치해야 합니다. 모든 디바이스 간에 타임코드를 동기화하고 엔진을 젠록하는 방법에 대한 단계는 타임코드 및 젠록을 참고하세요.

인카메라 VFX에서 환경을 구성할 때는 nDisplay에 고려할 제한이 있다는 점에 유의해야 합니다. SSGI, SSAO, SSR, 비녜팅, 눈 순응, 블룸 등 스크린 스페이스 이펙트는 피해야 합니다. 이러한 이펙트는 특성상 스크린 스페이스 처리되므로 nDisplay 시스템에서 두 클러스터 노드 간의 경계와 관련된 문제가 발생할 수 있습니다.

인카메라 VFX의 멀티 유저 편집

왼쪽 이미지는 멀티 유저 세션의 VR 스카우팅 전용 머신에서 본 뷰입니다. 오른쪽 이미지는 카메라 시점을 표시하는 LED 월과 사용자 VR 스카우팅의 표현을 보여줍니다.

멀티 유저 편집(Multi-User Editing) 시스템은 어떤 변화 타입이든 지원하는 강력한 협업을 활성화합니다. 기본 오퍼레이터 머신은 씬 수정을 담당하고 nDisplay 렌더 머신을 실시간 업데이트합니다. 동일한 멀티 유저 세션에 다수의 오퍼레이터 머신을 두고 실시간으로 여러 작업을 수행하며 씬을 수정할 수 있습니다. 머신의 예시로는 VR 스카우팅 전용 머신과 컴포셔를 통한 라이브 컴포지팅 전용 머신 등이 있습니다. 하나의 머신이 멀티 유저 서버를 실행하고 나머지 모든 머신이 그 서버에 연결됩니다. 이러한 머신에서 일어난 씬 변경은 트랜잭션으로서 서버에서 나머지 모든 머신으로 전송됩니다. 개념적으로 엔진에서 실행 취소 될 수 있는 작업은 멀티 유저 서버를 통해 트랜잭션 및 전송됩니다.

프로젝트에 멀티 유저 편집을 추가하는 방법에 대한 정보는 멀티 유저 편집 시작하기의 지침을 따릅니다. 네트워크에서 자동 서버 검색이 불가능한 경우 고급 멀티 유저 네트워킹의 단계를 따릅니다.

라이브 컴포지팅

그린 스크린이 있는 세트는 카메라 뷰에서만 보입니다. 외부 프러스텀은 여전히 라이팅 및 리플렉션을 위한 언리얼 엔진 환경의 렌더를 표시합니다.

인카메라 최종에서 달성 불가능한 샷의 경우 시스템이 예비 전환 옵션을 제공합니다. 내부 프러스텀은 조정 가능한 트래킹 마커를 통해 쉽게 그린 스크린으로 변경될 수 있습니다. 외부 프러스텀은 계속해서 언리얼 엔진 환경의 렌더를 표시할 수 있습니다.

이 세트는 앰비언트 라이팅 및 리플렉션을 위해 외부 프러스텀에서 LED 월을 사용했으므로 최종 샷의 배경이 컴포지팅되더라도 오토바이와 배우의 글래스 양쪽에서 현실 리플렉션을 볼 수 있습니다.

카메라의 FOV에서만 그린 스크린을 사용하면 지정된 샷에 요구되는 그린 스크린의 양이 최소화됩니다. 그린 스크린이 적으면 배우나 세트로 녹색이 번지는 일도 적어집니다. 외부 프러스텀에서 언리얼 엔진 환경으로부터 렌더를 계속 디스플레이하면 프로덕션이 인카메라 VFX에서도 현실의 라이팅 및 리플렉션을 활용할 수 있습니다. 두 가지 모두 컴포지팅의 그린 스크린 엘리먼트를 향상하는 데 기여합니다.

라이브 컴포지팅도 그린 스크린 샷에 도움이 됩니다. 영화 제작자와 배우가 기존의 녹색 장면과 달리 최종 샷의 전체 느낌을 온전하게 파악할 수 있습니다. 이러한 컴포지션은 편집을 위한 프리뷰 샷으로서도 매우 중요합니다.

컴포셔(Composure) 는 리얼타임 컴포지팅을 위한 언리얼 엔진의 프레임워크입니다. 이 기능 툴세트를 통해 샷에 라이브 비디오 피드, 증강현실 컴포지팅, 그린 스크린 키 지정, 가비지 매트, 색 보정, 렌즈 디스토션을 포함시킬 수 있습니다. 컴포셔는 자신만의 머티리얼 이펙트를 확장 및 생성할 수 있는 유연한 시스템입니다. 자세한 내용은 컴포셔를 참고하세요.

인카메라 VFX용 원격 제어

인카메라 VFX 촬영에 관련된 머신이 아주 많을 수 있기 때문에 웹 앱을 통해 실시간으로 씬을 제어하는 것은 세트에서 아주 유용할 수 있습니다. 예를 들어 웹 앱에서 색 보정, 라이팅, 가상 액터 위치를 변경할 수 있습니다. 인카메라 VFX 예시 프로젝트에 포함된 샘플 원격 제어 프리셋 및 웹 애플리케이션은 이 기술을 프로덕션 워크플로에 통합하는 방법을 보여줍니다. 원격 제어 프리셋을 사용하는 것 외에도 UI 빌더를 사용하여 프로젝트의 요건에 맞게 컨트롤을 커스터마이징할 수 있습니다. 언리얼 엔진의 원격 제어에 대한 자세한 내용은 원격 제어를 참고하세요.

세트에서 원격 제어는 샷의 씬을 조정하는 데 유용할 수 있습니다. 이 세트에서 웹 앱은 촬영 도중 하늘을 변경하는 데 사용됐습니다.

색 고려 사항

샷들 간에 색 일관성을 유지하는 것은 인카메라 VFX 촬영에 중요합니다. 라이브 액션 카메라를 통해 최종 이미지를 확인하고 외부 프러스텀을 라이트 소스로 표시하는 LED 패널로 테스트하는 것이 좋은 관행입니다.

다음 모범 사례를 따라 샷 간에 일관성을 유지하세요.

• 모든 카메라가 동일한 출력을 생산하지는 않습니다. 샷 간에 다른 카메라를 사용하면 그로 인한 캡처의 색이 달라질 수 있습니다. LED 볼륨으로 영화를 촬영하는 동안 동일한 카메라를 사용하여 이러한 현상을 피하세요.

• 스테이지에서 LED 볼륨의 비주얼을 라이트 소스로 사용하여 라이브 액션 에셋을 테스트하세요. LED 패널의 라이트는 다른 라이트의 스테이지 엘리먼트와 이펙트가 다를 수 있습니다.

• 엔진 콘텐츠가 톤 커브를 갖지 않고 LED 패널에 대한 입력으로서 선형 sRGB 컬러 스페이스에 있도록 톤매퍼가 비활성화됐는지 확인하세요. 톤매퍼는 콘솔 명령 ShowFlag.Tonemapper 0 을 사용하여 비활성화할 수 있습니다.

OpenColorIO

OpenColorIO, 즉 OCIO는 영화 및 버추얼 프로덕션에서 주로 사용되는 컬러 관리 시스템입니다. OCIO는 캡처된 비디오의 컬러가 전체 영화 파이프라인에 걸쳐 일관되게 유지되도록 보장합니다. 이 파이프라인에는 초기 카메라 캡처, 캡처된 미디어로 작동해야 하는 모든 컴포짓 애플리케이션 및 최종 렌더가 포함됩니다.

OCIO는 언리얼 엔진에서 플러그인으로 사용 가능합니다. 플러그인이 활성화되면 OCIO 프로파일을 에디터에 적용하거나 nDisplay를 통해 개별 디스플레이에 적용할 수 있습니다. 자세한 내용은 nDisplay의 색 관리 문서를 참고하세요.

스테이지 모니터

라이브 환경에서 스테이지를 운영할 때 언리얼 엔진 4 인스턴스를 실행하는 다수의 머신이 서로 의존하며 함께 작동합니다. 오퍼레이터는 일부 인스턴스를 사용하여 LED 월에 렌더링할 수 있습니다. 일부는 에디터에서 씬을 수정하는 데 사용되고 나머지는 컴포지팅에 사용될 수 있습니다. 스테이지 모니터(Stage Monitor) 를 활용하면 모든 UE4 인스턴스의 이벤트에 대한 보고를 받고 구성에서 문제를 해결할 수 있습니다.

자세한 내용은 스테이지 모니터를 참고하세요.

시간 지정된 데이터 모니터

언리얼 엔진은 여러 소스로부터 동시에 다양한 데이터 타입을 수집할 수 있습니다. 예를 들어 버추얼 프로덕션에서 엔진은 SDI의 카메라로부터 캡처된 프레임을 받고 라이브 링크를 통해 트래킹 시스템으로부터 카메라의 위치와 오리엔테이션도 받을 수 있습니다. 시간 지정된 데이터 모니터(Timed Data Monitor) 는 이 모든 수신되는 시간 지정된 데이터가 서로 및 엔진 시간과 어떻게 관련되어 있는지를 환경설정하고 시각화하는 솔루션입니다.

자세한 내용은 시간 지정된 데이터 모니터를 참고하세요.

레벨 스냅샷

레벨 스냅샷(Level Snapshot) 은 레벨의 월드 아웃라이너(World Outliner) 에서 액터 의 특정 환경설정을 저장하고 씬을 즉시 해당 상태로 복원하는 기능입니다. 이는 복잡한 구성을 대폭 간소화하며 여러 시나리오를 위해 같은 레벨의 베리에이션 다수를 복제하고 관리할 필요성을 제거합니다. 레벨 스냅샷은 버추얼 프로덕션에 특히 유용합니다. 사용자가 테이크 간에 버추얼 환경을 시작 위치로 리셋하고 촬영 중 발생하는 샷별 변경사항을 트래킹하면서 레벨의 기본 시작 포인트는 보존하도록 지원하기 때문입니다.

프로젝트에서 에셋과 액터 양쪽의 버전을 관리하려면 소스 컨트롤과 레벨 스냅샷을 함께 사용하는 것이 좋습니다. 레벨 스냅샷 사용법에 대한 추가 정보는 레벨 스냅샷을 참고하세요.

인카메라 VFX 예시 프로젝트 및 템플릿

이 페이지에서는 인카메라 VFX에 필요한 기술과 하드웨어의 개요를 살펴봤습니다. 워크플로에 보다 익숙해질 수 있도록 인카메라 VFX 예시 프로젝트를 이용할 수 있습니다. 여기에는 인카메라 VFX 프로젝트를 시작할 샘플 씬과 베이스 레벨이 포함되어 있습니다. 다른 LED 볼륨을 위해 예시 프로젝트를 수정하고 모든 머신에서 필수 프로젝트를 실행하기 위한 단계는 인카메라 VFX 퀵스타트를 참고하세요. 인카메라 VFX 사용에 이미 익숙하다면 인카메라 VFX 템플릿을 통해 프로젝트를 처음부터 만드는 데 필요한 툴과 에셋이 포함된 기본 세트를 얻을 수 있습니다.

인카메라 VFX 프로덕션 테스트

인카메라 VFX 프로덕션 테스트는 언리얼 엔진 마켓플레이스에서 이용 가능한 버추얼 프로덕션 샘플입니다. 이 샘플은 언리얼 엔진과 LED 볼륨을 사용하여 이동하는 비히클 샷, 멀티 카메라 구성, 테이크 간 빠른 변경을 위한 멀티 유저 구성을 제공합니다. 이 샘플은 영화 제작자 집단 Bullitt과의 협업으로 만들어졌습니다. 이 팀은 최종 픽셀 인카메라를 로스앤젤레스의 NantStudios LED 스테이지에서 4일 동안 만들었습니다.

프로덕션과 사용된 기술에 대한 추가 정보는 인카메라 VFX 프로덕션 테스트를 참고하세요.