인카메라 VFX 개요

인카메라 VFX(In-Camera VFX) 는 라이브 액션 영화 촬영 시 리얼타임 비주얼 이펙트를 촬영하는 흥미로운 새 방법론입니다. 이 기법은 LED 라이팅, 라이브 카메라 트래킹 그리고 탈축 투영을 통한 리얼타임 렌더링을 결합하여 전면의 배우와 가상 배경을 매끄럽게 통합합니다. 그린 스크린 합성 없이 카메라에서 최종 픽셀 결과물을 제작하는 게 주된 목표입니다. 모든 것이 동시에 실행되도록 기술을 동기화하는 것은 고퀄리티 리얼타임 비주얼 이펙트를 제작할 때 수반되는 어려움 중에 하나입니다.

언리얼 엔진 은 nDisplay, 라이브 링크, 멀티 유저 편집, 웹 리모트 컨트롤 등 여러 시스템으로 이 기술을 지원합니다. 본 문서는 이 워크플로에 필요한 기능은 무엇인지, 인카메라 VFX 촬영 세트를 만들 때 어떤 점을 고려해야 하는지를 다룹니다.

LED 볼륨 내에서 인카메라 VFX를 사용 중인 세트. 화살표는 카메라 시점에서 렌더링되는 카메라의 내부 프러스텀을 표시합니다.

위 이미지는 몰입형 LED 볼륨(LED volume) 내에서 인카메라 VFX를 사용 중인 세트를 보여 줍니다. 메인 LED 벽에 나타난 사진 속 사진은 카메라의 내부 프러스텀(inner frustum) 렌더로 불리는 카메라 뷰를 나타냅니다. 이 내부 프러스텀은 현재 렌즈 초점 길이를 바탕으로 카메라의 시점에서 나타나는 필드 오브 뷰(FOV)를 보여줍니다. 내부 프러스텀에 표시되는 이미지는 카메라가 씬 안에서 움직임에 따라 물리적 카메라를 추적하며, 해당 카메라가 항상 언리얼 엔진 환경에서 보고 있어야 할 대상의 가상 등가물을 표시합니다. 현실 카메라로 보면, 시스템은 평평한 배경판 대신 완전 가상 3D 월드를 활용하여 현실에서 촬영하는 것 같은 시차 효과를 발생시킵니다.

카메라의 FOV 바깥 LED 볼륨에 표시된 콘텐츠는 외부 프러스텀(outer frustum) 이라고 합니다. 외부 프러스텀은 LED 패널을 물리적 세트의 다이내믹 라이트와 리플렉션 소스로 사용합니다. 이런 요소들이 세트를 버추얼 월드로 둘러싸고 마치 현실에 있는 것처럼 조명을 비추기 때문입니다. 외부 프러스텀은 카메라가 움직일 때 가만히 있습니다. 현실에서 카메라가 움직일 때 라이트와 리플렉션이 움직이지 않는 것을 모방한 것입니다. 각각의 샷 구성은 언리얼 엔진 환경 내의 원하는 위치에 배치하여 외부 프러스텀 렌더가 스테이지의 씬에서 어디에 조명을 비출지 결정할 수 있습니다.

LED 패널

LED 스테이지 디자인과 의도된 용도는 인카메라 VFX 구성에서 필수적입니다. LED 볼륨에 필요한 패널 수와 배치 방식이 나머지 하드웨어 구성을 결정합니다. LED 패널은 배우 주위로 둥글게 배치하여 더 나은 앰비언트 라이팅과 리플렉션을 구현할 수 있습니다. 씬 전반의 앰비언트 라이팅과 리플렉션에 기여하는 LED 천장을 구축하는 데도 유용합니다. 완전한 가상 환경 제작을 목표로 하는 프로덕션은 최소 270도의 폐쇄된 볼륨이 있어야 정밀한 세트 라이팅 및 리플렉션을 달성할 수 있습니다. 만약 세트의 상당 부분이 물리적 구조물이고, 가상 월드가 창문 등 세트 일부에서만 필요할 때는 단면 또는 곡면 벽도 고려할 수 있습니다. 프로덕션 예산, 물리적 공간 제약 그리고 어떤 경우에는 제조사의 패널 가용성이 LED 스테이지 디자인에 영향을 미치기도 합니다.

LED 볼륨은 어떤 구성으로든 배치 가능한 캐비닛 배열로 만들어집니다. 위 이미지는 LED 볼륨의 후면을 보여줍니다.

LED 볼륨은 캐비닛(cabinets) 클러스터로 이뤄집니다. 각 캐비닛은 고정 해상도를 가졌으며, 그 범위는 야외 표지판에 사용되는 92x92 픽셀처럼 매우 낮은 해상도부터 초고해상도 실내 디스플레이용 400x450 픽셀까지 다양합니다. 캐비닛의 물리적 크기는 제조사마다 다릅니다.

LED 프로세서(LED processor) 는 여러 캐비닛을 단일 이미지를 디스플레이하는 배열로 결합하는 하드웨어 및 소프트웨어입니다. LED 프로세서가 구동하는 캔버스 내에서 캐비닛을 원하는 구성으로 배열할 수 있습니다. 대형 LED 스테이지에서는 10개 이상의 LED 프로세서가 하나의 심리스 LED 벽을 구현할 수도 있습니다.

픽셀 피치(pixel pitch) 는 캐비닛 내 픽셀의 밀도를 나타내며, 전체 해상도와 연관됩니다. 픽셀 피치는 보통 밀리미터로 표현되며, 각 LED 라이트 사이의 거리를 나타냅니다. LED가 서로 가까울수록, 즉, 피치가 낮을수록 픽셀 밀도는 높습니다. 픽셀 밀도가 높으면 해상도와 품질이 눈에 띄게 증가하고 캐비닛의 비용도 많이 듭니다.

픽셀 피치가 낮은 캐비닛은 프로덕션에 적합한 제품이 되지 못할 수도 있습니다. 시야각, 색 변화, 색 일관성, 열 소멸 등의 요소도 고려되어야 하기 때문입니다. LED 시스템 통합 전문가와 상의하여 여러분의 프로덕션에 가장 알맞은 제품을 결정할 수 있습니다.

이 이미지 왼쪽의 LED 벽에 광학 아티팩트, 물결 패턴이 나타나고 있습니다.

화면과의 거리, 픽셀 피치, 카메라 센서 크기의 조합은 눈에 보이는 아티팩트를 없애고 LED 벽과 대상의 거리를 결정하는 데 도움이 됩니다. LED에서 촬영할 때 나타나는 비주얼 아티팩트로 물결 패턴(moiré pattern) 이 있습니다. 물결 패턴은 디스플레이 시스템과 카메라 센서 픽셀이 약간 어긋날 때 흔히 나타나는 광학 아티팩트입니다. 물결 패턴은 카메라의 초점 면이 3D 공간 내 LED 패널과 일치할 때 나타날 수 있습니다. 이미지가 살짝 초점에서 벗어나도록 카메라의 포커스를 LED 표면 앞이나 뒤에 배치하는 것을 권장합니다. 물결 패턴은 LED 표면에 대한 각도가 잘못됐을 때도 발생할 수 있습니다. LED 표면에 대한 카메라 각도를 가능한 직각으로 유지하세요.

하드웨어

3개의 렌더 노드에 대한 하드웨어 레이아웃 예시. 이미지를 클릭하면 최대 크기로 볼 수 있습니다.

인카메라 VFX는 필름 세트에서 다양한 기능을 갖춘 복잡한 연결 디바이스 네트워크를 필요로 할 수 있습니다. 도표는 LED 패널이 3개인 세트용 하드웨어 레이아웃 예시를 보여줍니다. 아래 테이블은 셋업 내 다양한 장치의 역할을 설명해 줍니다. 인카메라 VFX 프로덕션에 고려해야 하는 특정 하드웨어에 대한 자세한 내용은 In-Camera VFX Recommended Hardware를 참고해 주세요.

카메라 트래킹

카메라의 위치와 움직임을 현실에서 가상 세계로 전달하려면 카메라 트래킹이 필요합니다. 이 기술을 사용하면 프로덕션 카메라의 정확한 시점이 가상 환경에 맞춰 렌더링됩니다. 인카메라 VFX에서 카메라 트래킹을 사용하는 방법으로는 몇 가지가 있습니다.

가장 흔히 쓰이는 카메라 트래킹 방법은 다음과 같습니다.

• 광학 트래킹(Optical Tracking): 광학 트래킹 시스템은 IR에 민감한 특수 카메라로 리플렉티브 또는 액티브 IR 마커를 추적하여 프로덕션 카메라의 위치를 판정합니다.

• 피처 트래킹(Feature Tracking): 광학 트래킹 시스템이 사용하는 커스텀 마커를 추적하는 대신, 실제 오브젝트의 특정 이미지 패턴을 식별하여 트래킹 소스로 사용합니다.

• 관성 트래킹(Inertial Tracking): 관성 트래킹 유닛(IMU)은 자이로스코프와 가속도계를 탑재하여 카메라의 위치와 방향을 판정합니다. IMU는 광학 및 피처 트래킹 시스템과 함께 쓰일 때가 많습니다.

인카메라 VFX에서는 광학 트래킹과 관성 트래킹을 함께 사용하는 등 여러 소스를 통해 카메라의 위치와 방향을 측정할 것을 권장합니다. 여러 소스를 사용하면 기술을 하나만 사용할 때보다 전반적인카메라 트래킹 데이터가 향상됩니다,

라이브 링크

라이브 링크는 카메라, 라이트, 트랜스폼, 기본 프로퍼티 등 라이브 데이터를 수집하기 위한 언리얼 엔진의 프레임워크입니다. 인카메라 VFX에서 라이브 링크는 트래킹된 카메라 정보를 배포하는 데 필수적인 역할을 수행하며, nDisplay와 함께 사용하여 트래킹 정보를 각 클러스터 노드에 전달할 수 있습니다. 언리얼 엔진은 라이브 링크를 통해 Vicon, Stype, Mo-Sys, Ncam 등 다양한 카메라 트래킹 파트너와 기타 전문 트래킹 솔루션을 지원합니다. 자세한 정보는 라이브 링크 플러그인에서 확인할 수 있습니다.

인카메라 VFX용 타임코드 및 젠록

인카메라 VFX 촬영 세트에서는 모든 디바이스가 동기화를 매우 정확하게 유지하는 게 중요합니다. 카메라, 컴퓨터, 트래킹 시스템 등 디바이스마다 내부 시계가 있습니다. 두 디바이스가 완전히 같더라도 내부 시계는 서로 동기화되지 않습니다. 내부 시계가 통일되지 않으면 결과 디스플레이에 찢어짐 현상 등 문제가 발생할 수 있습니다. nDisplay와 젠록을 사용하면 이 문제를 예방할 수 있습니다. nDisplay에서의 동기화 및 젠록 사용에 대한 자세한 정보는 nDisplay 동기화를 참조하세요.

디스플레이 동기화 외에도 엔진의 타임코드와 프레임 생성이 카메라의 입력과 일치해야 합니다. 타임코드 및 젠록을 참조하여 타임코드와 젠록을 모든 기기에서 엔진과 동기화하는 방법을 알아보세요.

카메라 내 VFX 환경을 구축할 때는 nDisplay에 한계가 있다는 점을 유의해야 합니다. SSGI, SSAO, SSR, 비녜팅, 시각 적응, 블룸 등 스크린 스페이스 효과는 피해야 합니다. 위의 스크린 스페이스 이펙트는 그 속성으로 인해 nDisplay 시스템의 두 클러스터 노드 사이 경계에서 문제를 일으킬 수 있습니다.

인카메라 VFX용 멀티 유저 편집

왼쪽 이미지는 멀티 유저 세션 내 VR 스카우팅 전용 머신의 뷰입니다. 오른쪽 이미지는 카메라의 시점과 사용자가 VR 스카우팅 중인 모습을 표시하는 LED 벽입니다.

멀티 유저 편집(Multi-User Editing) 시스템은 어떤 변경이든 지원하는 강력한 협업을 가능하게 합니다. 주 오퍼레이터 머신은 씬 수정을 담당하고 nDisplay 렌더 머신을 실시간으로 업데이트합니다. 동일한 멀티 유저 세션 내에 여러 오퍼레이터 머신을 두고 다양한 작업을 수행하며 씬을 실시간으로 편집할 수 있습니다. 머신의 예시로는 VR 스카우팅 전용 머신과 컴포셔를 활용한 라이브 컴포지팅 등이 있습니다. 한 머신이 멀티 유저 서버를 운영하고, 나머지 머신은 이 서버에 연결됩니다. 이 머신에서 수행한 모든 씬 변경은 나머지 모든 머신에 트랜잭션으로 전송됩니다. 엔진에서 실행 취소 할 수 있는 모든 액션은 트랜잭션되고 멀티 유저 서버를 통해 전송됩니다.

프로젝트에 멀티 유저 편집을 추가하는 방법에 관한 자세한 내용은 멀티 유저 편집 시작하기를 참조하세요. 네트워크에서 자동 서버 발견이 불가능할 때는 고급 멀티 유저 네트워킹 절차를 따르세요.

라이브 컴포지팅

그린 스크린이 있는 세트는 카메라 뷰로만 볼 수 있습니다. 외부 프러스텀은 여전히 언리얼 엔진의 라이팅 및 리플렉션 환경 렌더링을 표시합니다.

인카메라 최종 결과물로 달성할 수 없으면, 시스템이 폴백 옵션을 제공합니다. 내부 프러스텀은 조정 가능한 트래킹 마커가 있는 그린 스크린으로 쉽게 바꿀 수 있습니다. 외부 프러스텀은 언리얼 엔진 환경 렌더링을 계속 표시할 수 있습니다.

이 세트는 앰비언트 라이팅과 리플렉션을 위해 외부 프러스텀에서 LED 벽을 사용해서, 최종 샷의 배경이 합성되었음에도 모터사이클과 배우의 선글라스에서 현실 리플렉션이 보입니다.

카메라의 FOV에만 그린 스크린을 사용하면 주어진 샷에 필요한 그린 스크린의 양을 최소화할 수 있습니다. 그린 스크린이 적을수록 배우와 세트에 녹색이 번지는 현상이 줄어듭니다. 외부 프러스텀에서 언리얼 엔진 환경의 렌더링을 계속 표시하면 프로덕션이 인카메라 VFX에서도 현실 라이팅과 리플렉션을 활용할 수 있습니다. 양쪽 모두 합성용 그린 스크린 요소 개선에 기여합니다.

그린 스크린 샷은 실시간 합성에 힙입어 영화 제작자와 연기자가 기존 녹색 화면보다 최종 샷의 모습을 잘 파악할 수 있도록 돕습니다. 이 합성은 편집을 위한 프리뷰 샷으로서도 매우 가치가 높습니다.

컴포셔(Composure)는 언리얼 엔진의 실시간 합성 프레임워크입니다. 이 기능 모음집에 라이브 영상, AR 합성, 그린 스크린 키 지정, 가비지 매트, 색 교정, 샷의 렌즈 왜곡 등을 포함할 수 있습니다. 컴포셔는 나만의 머티리얼 이펙트를 확장하고 생성할 수 있는 유연한 시스템입니다. 자세한 정보는 컴포셔를 참조하세요.

인카메라 VFX의 리모트 컨트롤

인카메라 VFX 촬영에는 여러 머신이 참여할 수 있으므로, 웹 앱으로 씬을 실시간 제어할 수 있으면 세트에서 큰 도움이 됩니다. 예를 들어 색 보정, 라이팅, 버추얼 액터 포지션 등을 웹 앱으로 변경할 수 있습니다. 인카메라 VFX 샘플 프로젝트에 포함된 샘플 웹 앱은 Node.js, Vue, 언리얼 엔진 웹 리모트 컨트롤을 통해 제작되었으며, 이 기술을 프로덕션 워크플로에 통합하는 방법을 보여줍니다. 언리얼 엔진의 웹 원격 제어에 대한 자세한 정보는 웹 원격 제어을 참조하세요.

웹 앱은 세트에서 샷의 씬을 조정할 때 유용합니다. 이 세트에서는 웹 앱으로 촬영 중에 하늘을 바꿨습니다.

색에서 고려할 사항

인카메라 VFX 촬영에서는 여러 샷의 색 일관성을 유지하는 게 중요합니다. 라이브 액션 카메라를 훑어보면서 최종 이미지를 확인하고, 외부 프러스텀 광원을 표시하는 LED 패널을 테스트하면 좋습니다.

샷의 일관성을 유지하기 위한 모범 사례는 다음과 같습니다.

• 모든 카메라가 같은 결과물을 내놓지 않습니다. 샷마다 다른 카메라를 사용하면 결과물 캡처의 색이 달라질 수 있습니다. 이 문제를 예방하려면 LED 볼륨으로 영화를 촬영하는 동안 같은 카메라를 사용하세요.

• 스테이지에서 LED 볼륨을 광원으로 하는 비주얼과 함께 라이브 액션 에셋을 테스트하세요. LED 패널의 라이트는 다른 라이트에서 나온 스테이지 요소에 여러 영향을 줄 수 있습니다.

• 톤매퍼를 비활성화하고 엔진 콘텐츠가 톤 커브 없이 LED 패널 인풋과 같은 선형 sRGB 색 공간을 갖는지 확인하세요. 톤매퍼는 콘솔 명령어 ShowFlag.Tonemapper 0 로 비활성화할 수 있습니다.

인카메라 VFX 샘플 프로젝트

이 페이지는 인카메라 VFX에 필요한 기술과 하드웨어의 개요를 제공합니다. 워크플로에 더 익숙해지고 싶으면 인카메라 VFX 프로젝트를 시작할 수 있는 샘플 씬과 베이스 레벨이 포함된 인카메라 VFX 샘플 프로젝트를 이용할 수 있습니다. 예시 프로젝트를 다른 LED 볼륨용으로 수정하고 필요한 프로그램을 모든 머신에서 실행하는 방법은 인카메라 VFX 퀵스타트 가이드를 참조하세요.