페이셜 연기 캡처 가이드라인

이 페이지에서는 메타휴먼 애니메이터(MetaHuman Animator, MHA)에 입력으로 사용할 퍼포먼스 비디오를 캡처하는 가이드라인과 모범 사례를 설명합니다.

캡처 하드웨어

메타휴먼 UE 플러그인용으로 퍼포먼스를 캡처하려면 다음 디바이스가 필요합니다.

iPhone

iPhone에는 두 가지의 디바이스 클래스가 있습니다.

• iPhone 12

• iPhone 13, 14 및 그 이상 모델

이 둘은 대부분 매우 유사하지만 뎁스 센서에는 차이가 있으며, 에셋 환경설정에 이 부분을 반영해야 합니다.

iPhone은 헤드 마운트 또는 삼각대 마운트 방식이 가능하며, iPhone의 뎁스 센서와 카메라 뎁스 오브 필드는 어느 정도의 머리 움직임을 수용하기에 충분합니다.

스테레오 헤드 마운트 카메라(HMC)

스테레오 하드웨어는 반드시 헤드 마운트여야 합니다. 스테레오 하드웨어를 삼각대에 장착하는 것도 기술적으로 가능하지만, 일반적으로 스테레오 하드웨어는 뎁스 오브 필드를 제외한 파라미터의 가능한 한 높은 범위에 최적화되어 있으므로 정적으로 거치한 채 촬영할 경우 효과가 크게 떨어집니다.

이론상으로는 모든 스테레오 구성이 가능합니다. 그러나 현실적으로는 수직 커플 구성이 적절히 테스트되었으며 좋은 결과를 도출하는 것으로 알려진 유일한 구성입니다.

라이팅은 디바이스 라이팅이나 스튜디오 라이팅을 사용할 수 있고, 둘을 결합해 사용할 수도 있습니다.

가시광선 및 적외선이 모두 지원됩니다. 가시광선의 경우 피부에 의한 산란이 적어 선명한 결과를 도출하므로 퍼포먼스가 더 좋은 편이나, 결국 영상의 가장 중요한 속성은 선명도입니다. 특정 촬영 상황으로 인해 적외선으로 선명한 영상을 산출해야 하는 경우 이 역시 충분히 지원됩니다.

Technoprops 스테레오 HMC

캡처 조건

이 섹션에서는 최적의 애니메이션 결과를 위한 캡처 조건을 설명합니다.

MHA는 실내 환경에서 캡처한 비디오 데이터를 처리하도록 설계되었습니다.

삼각대

이 섹션에서는 캡처의 적절한 예시와 부적절한 예시를 보여줍니다. 예시는 서 있는 연기자와 앉아 있는 연기자 모두에게 적용됩니다.

연기자 프레이밍

연기자 프레이밍은 각 테이크와 전체 녹화 세션에 걸쳐 일관적이어야 합니다.

녹화 중 최적의 프레이밍을 유지하기 위해 연기자는 몸의 움직임을 최소화하고, 항상 iPhone 화면이 아니라 iPhone 카메라를 응시해야 합니다.

일반적으로는 위를 향하는 각도로 살짝 낮은 위치에 있는 것이 좋습니다. 입술을 다무는 부분과 위쪽 눈꺼풀 안쪽이 가능한 한 잘 보이는 것이 중요합니다.

최적의 프레이밍

아래는 저퀄리티의 결과를 도출할 가능성이 높은 프레이밍 예시입니다.

Live Link Face의 뎁스 프리뷰

iPhone 애플리케이션의 뎁스 프리뷰는 카메라로부터 연기자의 거리를 평가할 수 있는 유용한 툴입니다.

뎁스 프리뷰는 특히 근거리 디테일 클리핑 없이 고정된 디바이스로 피사체와 최적 거리를 유지할 때 유용합니다. 회색 셰이딩은 카메라와 올바른 거리를 유지하고 있음을 나타냅니다.

라이팅

섀도가 없는 밋밋한 라이팅이 이상적입니다. 앰비언트 라이팅이 불충분한 경우, 삼각대에 추가 조명을 부착하여 얼굴의 올바른 부분을 비추는 정면 라이팅을 생성할 수 있습니다.

최적의 라이팅

아래는 저퀄리티의 결과를 도출하는 부적합한 라이팅 조건의 예시입니다.

환경

모든 배경에서 좋은 결과를 얻을 수 있지만, 가능하면 배경을 균일하게, 그리고 얼굴보다 어둡게(밝지 않게) 유지하는 것이 좋습니다.

환경에 아무것도 없거나 릭이 있으면 연기자의 얼굴 전체 또는 일부가 가려질 수 있습니다.

헤드 마운트 사용하기

이 섹션에서는 캡처의 적절한 예시와 부적절한 예시를 보여줍니다. 여기의 예시는 iPhone으로 촬영했으며, 이 섹션에는 헤드 마운트 iPhone으로 촬영할 때 주의해야 할 모든 사항이 포함되어 있습니다.

이 섹션의 모든 내용은 스테레오 커플에도 적용됩니다.

연기자 프레이밍

일반적으로는 위를 향하는 각도로 살짝 낮은 위치에 있는 것이 좋습니다. 입술을 다무는 부분과 위쪽 눈꺼풀 안쪽이 가능한 한 잘 보이는 것이 중요합니다.

최적의 프레이밍

다음은 부적절한 카메라 프레이밍의 예시입니다.

고정성

헤드 마운트를 착용하면 연기자가 볼륨에서 자유롭게 움직일 수 있습니다. 그러나 녹화 내내 카메라는 얼굴을 기준으로 고정되어 있어야 합니다. 따라서 헤드 마운트가 꼭 맞아야 합니다.

라이팅

삼각대 마운트에 적용되는 권장 사항이 헤드 마운트 녹화 디바이스에도 동일하게 적용됩니다. 좋은 라이팅은 균일하고, 섀도가 없고, 주로 정면에서 비추어야 합니다.

볼륨에서 연기자가 자유롭게 움직이는 경우 연기자가 가만히 있을 때처럼 모든 프레임에서 같은 종류의 균일한 라이팅을 얻는 것이 훨씬 더 어렵습니다. 까다로운 상황에서는 일반적으로 약간의 노출 부족 이 노출 과다보다 더 바람직합니다.

까다로운 볼륨의 경우 '평평한 지점'이 생기지 않도록 노출을 선택하세요.

환경

연기자의 피부색과 대비되는 평평한 배경이 이상적인 환경입니다. 연기자의 머리를 가리는 오브젝트가 있어서는 안 됩니다.

스테레오 헤드 마운트 사용하기

이전에 나온 모든 권장 사항과 요구 사항은 그대로 적용되지만, 몇 가지 추가 참고 사항이 있으며 스테레오 커플에 한해 모습이 약간 달라집니다. 참고로, 스테레오 커플은 (iPhone과 비교했을 때) 주로 하이엔드 세팅에 사용됩니다.

연기자 프레이밍

이미지 중앙이 인중 윗부분(콧구멍 아래)과 정렬되는 것이 최적의 프레이밍입니다.

아래는 부적절한 이미지 프레이밍의 몇 가지 예시입니다.

고정성

헤드 마운트를 착용하면 연기자가 볼륨에서 자유롭게 움직일 수 있습니다. 녹화 내내 카메라는 얼굴을 기준으로 고정되어 있어야 합니다. 따라서 헤드 마운트가 꼭 맞아야 합니다.

아래는 과도한 카메라 모션의 예시로, 결과물의 퀄리티에 영향을 미칠 수 있습니다.

과도한 카메라 모션

초점

렌즈는 얼굴의 비순구 영역(콧구멍 옆의 볼 표면)에 초점을 맞춰야 합니다. 뎁스 오브 필드에 따라, 얼굴의 모든 부위에 완벽하게 초점을 맞추는 것이 불가능할 수도 있습니다.

최적의 초점

다음 이미지는 초점에서 벗어난 예시를 보여줍니다.

초점에서 벗어남

라이팅(온보드 가시광선)

HMC를 사용할 때는 앰비언트 라이팅과 온보드 라이팅을 모두 고려해야 합니다. 얼굴을 균일하게 비추며, 섀도를 최소화하고, 과도하게 노출되는 부분이 없는 것이 최적의 라이팅입니다.

최적의 라이팅

아래는 출력 애니메이션 데이터에서 퀄리티 문제를 유발할 수 있는 부적절한 라이팅의 예시입니다.

환경

연기자의 피부색과 대비되는 밋밋한 배경이 이상적인 환경입니다. 연기자의 머리를 가리는 오브젝트가 있어서는 안 됩니다.

캘리브레이션

캘리브레이션은 HMC 캡처에서 매우 중요한 부분으로, 고퀄리티의 데이터 재구성을 가능하게 합니다. 이 섹션은 캘리브레이션을 올바르게 적용하는 방법의 예시를 보여줍니다.

캘리브레이션 보드 구성

캘리브레이션에는 크기가 89.5mm x 134.2mm이고 각 정사각형이 7.5mm인 캘리브레이션 보드(체커보드 패턴)가 필요합니다. 샘플은 여기에서 다운로드할 수 있습니다.

패턴은 양질의 종이에 프린트하여 스프레이 접착제로 리지드 표면에 부착해야 합니다.

캘리브레이션 보드의 뒷면에는 손잡이를 달아 작업자가 패턴을 가리지 않고 잡을 수 있도록 합니다.

작업

캡처 세션의 시작 부분 및 끝부분에서 특정 캘리브레이션 영상을 가져와 촬영분 앞뒤에 배치합니다. 헬멧을 큰 폭으로 조정하지 않으면 카메라의 효과가 떨어지는 경우, 촬영 중 다른 때에 캘리브레이션 영상을 캡처해도 됩니다.

캘리브레이션 캡처 중에는 캘리브레이션 보드로 공간을 페인팅 하려고 해야 합니다. 각각의 캡처를 위해 보드를 필드 오브 뷰 전체에 걸쳐 이동합니다. 연기자의 얼굴이 위치할 예정이거나 위치했던 평면에서 위, 아래, 좌우, 롤, 피치로 이동합니다. 비디오의 길이는 약 20초로 합니다. 아래의 예시를 참조하세요.

올바른 캘리브레이션

다음 이미지는 잘못된 캘리브레이션 기법의 예시입니다.

연기자 요구 사항

이 섹션에는 MHA의 외모 파라미터와 출력 애니메이션의 퀄리티에 영향을 미칠 수도 있는 요소가 나열되어 있습니다.

시스템은 성인의 얼굴로만 작동하도록 설계되었습니다.

최적의 결과를 위해 권장되는 사항은 다음과 같습니다.

• 얼굴 체모에 제한을 둡니다(예: 1~2일 정도 자란 짧은 수염).

• 안경이나 선글라스를 착용하지 않아야 합니다.

• 얼굴 특징을 가리는 모자, 긴 머리, 페이셜 마스크, 손 등의 요소가 없어야 합니다. 얼굴을 가리는 요소가 있으면 결과물의 퀄리티가 저하됩니다.

• 진한 메이크업이나 페이스 페인팅을 하지 않아야 합니다.

• 얼굴에 피어싱이 없어야 합니다.