메타휴먼 아이덴티티 에셋은 실제 또는 제작된 퍼포머를 표현하는 데 사용됩니다. 이 에셋은 플러그인의 주요 툴을 포함하며, 메시와 릭 모두에 영향을 미치는 헤드 템플릿을 형상 적용하여 다음 중 하나를 기반으로 메타휴먼 DNA와 페이셜 릭을 생성하는 데 사용됩니다.
스태틱 메시 또는 스켈레탈 메시
영상에서
정확하게 일치하는 템플릿 메시
직접 임포트한 메타휴먼 DNA
메타휴먼 아이덴티티는 메타휴먼 퍼포먼스 에셋을 통해 퍼포먼스를 애니메이션 시퀀스로 솔브하는 데 사용할 수 있습니다. 또는 메타휴먼 아이덴티티 에셋을 메타휴먼 캐릭터 에셋과 함께 사용하여 아이덴티티에서 헤드를 형상 적용할 수 있습니다.
메타휴먼 아이덴티티를 사용하여 Performance를 솔브하는 데 필요한 요구 사항은 없지만, 실제로는 해당 퍼포먼스를 제공하는 퍼포머의 메타휴먼 아이덴티티를 생성하는 것이 권장되며, 퍼포먼스가 녹화되는 디바이스와 동일한 class of device에서 수행하는 것이 바람직합니다.
메타휴먼 아이덴티티 에셋을 생성하면 이에 상응하는 스켈레탈 메시가 함께 생성됩니다. 이 에셋과 직접적으로 인터랙션하는 것은 피하는 것이 권장됩니다. 메시 투 메타휴먼(Mesh to MetaHuman)을 사용하여 헤드 전용 릭을 빠르게 생성하려는 경우와 같이 이 스켈레탈 메시에 액세스하려면 먼저 메시를 복제하는 것이 좋습니다.
메타휴먼 아이덴티티 에셋이 메시 또는 영상 기반인지에 따라 에셋 GUI, 기능 및 환경설정 요구 사항에 몇 가지 차이가 있습니다. 다음 섹션에서는 두 가지 사용 사례를 모두 다룹니다.
캡처 데이터(메시)
아이덴티티 에셋 GUI는 다음과 컴포넌트로 구성됩니다.
가이드형 워크플로 툴바 (1)
모든 툴과 명령은 '메타휴먼 아이덴티티(MetaHuman Identity)' 메뉴에서 사용할 수 있으며, 템플릿의 컴포넌트 명령만 예외적으로 '에셋(Asset)' 메뉴에 있습니다.
이 에셋의 명령은 아이덴티티 에셋을 데이터에 형상 적용하기 위해 특정한 시퀀스로 실행해야 하는 경우가 많습니다. 대부분의 워크플로 단계는 이전 단계를 완료하기 전까지는 수행할 수 없습니다.
사용 편의성과 작업 속도를 높이기 위해 툴바에는 가장 자주 사용하는 명령만 일부 포함되어 있습니다. 각 단계의 상태(클릭 가능 여부)와 툴팁은 빈 에셋에서 시작하여 퍼포먼스 캡처 솔브를 준비하는 과정까지 단계별로 안내합니다.
컴포넌트 트리 (2)
컴포넌트 트리는 블루프린트 내 다른 위치에서 사용되는 방식과 유사합니다. 메타휴먼 아이덴티티 에셋에서 기능을 활성화하려면 해당 기능에 필요한 데이터와 어트리뷰트를 포함하는 컴포넌트를 추가해야 합니다.
대부분의 경우 동일한 6~7개의 컴포넌트가 필요하므로, 다음의 컴포넌트…(Components From...) 명령(메시 또는 영상에서 선택)을 사용하여 컴포넌트 트리를 생성하는 것이 좋습니다. 이 명령어는 선택한 항목의 소스 데이터에 따라 올바르게 트리를 채우고 환경설정합니다. 유일한 선택적인 컴포넌트는 치아 포즈이며, 이는 백엔드에서 릭을 얻은 다음 메타휴먼 퍼포먼스 기능을 사용하여 영상을 애니메이션으로 솔브하기 전에 릭을 미세조정하는 데 사용됩니다.
컴포넌트 트리는 GUI의 다른 부분에 필요한 컨텍스트도 제공합니다. 가장 중요한 점은, 승격 타임라인과 마커 아웃라이너는 선택한 포즈에 따라 그에 해당하는 콘텐츠로 채워지고 포즈가 아닌 다른 항목을 선택한 경우에는 비어 있게 표시된다는 것입니다.
뷰 버퍼 세팅 (3)
메타휴먼 아이덴티티 에셋에는 다양한 캡처 프로세스의 결과를 검사하고 유효성을 검사할 수 있도록 고유한 뷰포트가 제공되며, 다양한 뷰포트 모드가 사용됩니다. 이러한 다양한 뷰 모드로 인해 뷰포트에는 A와 B라는 2개의 버퍼가 있습니다. 2개의 버퍼는 뷰포트 양쪽 구석에 위치한 메뉴에서 개별적으로 환경설정할 수 있습니다.
커브 및 버텍스 트래킹과 같은 일부 옵션은 토글 뷰 모드에서만 사용할 수 있습니다. 이러한 버퍼 세팅에서 일부 항목이 회색으로 보이는 경우, 뷰포트를 토글하고 컴포넌트 트리에서 선택한 포즈가 무엇인지 확인하세요.
뷰포트 및 카메라 세팅 (4)
뷰포트에는 세 가지 모드가 있습니다.
A/B 버퍼 토글이 가능한 단일 패널
A/B 버퍼 와이프가 가능한 단일 패널
듀얼 패널 모드
A/B 토글은 첫 번째 모드에서만 작동하며, 카메라 세팅은 모든 뷰와 패널 간에 공유됩니다. 뷰포트는 컴포넌트 트리의 선택 컨텍스트와 승격 타임라인의 선택 컨텍스트 둘 모두에 반응합니다.
대부분의 작업은 단일 패널 토글에서 수행하는 것이 권장되며, 다른 모드로 전환하는 것은 검토용으로만 사용하세요.
승격 타임라인 (5)
승격 타임라인은 포즈를 선택한 경우에만 사용할 수 있습니다. 아이덴티티 솔브에 사용하도록 승격된 모든 프레임을 표시하며, 컨텍스트에 따라 몇 가지 기능이 제공됩니다.
항상 사용 가능한 세 가지 버튼은 다음과 같습니다.
프레임 승격
승격된 프레임 강등
카메라 자유 이동 모드
프레임을 승격하면 현재 뷰가 승격된 프레임으로 전환됩니다. 이 기능은 자유 이동 모드에서도 작동하며, 기존 프레임이 이미 선택되어 있으면 이를 복제하는 데에도 사용할 수 있습니다. 승격된 프레임은 승격 타임라인에 추가 버튼으로 표시됩니다.
승격된 프레임이 선택되어 있고 잠겨 있지 않으면 해당 프레임에서 수행하는 카메라 오퍼레이션으로 해당 프레임이 변경됩니다.
프레임을 강등하면 승격 타임라인에서 제거됩니다.
프레임 강등은 실행 취소와 다시 실행이 가능하지만, 실행 취소 버퍼를 지운 경우에는 동일한 프레임을 다시 승격해도 이전에 프레임에 적용한 트래커 수정 사항이 복원되지 않습니다. 강등은 신중하게 결정하세요.
자유 이동(Free Roaming) 버튼은 언제든지 이동할 수 있는 '자유' 프레임을 제공하여, 다른 프레임의 작업을 잃지 않고 스페이스를 탐색하고 승격할 수 있게 합니다.
승격된 프레임을 더블클릭하면 이름을 빠르게 변경할 수 있습니다.
선택한 승격된 프레임을 우클릭하면 다음과 같은 옵션이 표시됩니다.
| 옵션 | 설명 |
|---|---|
카메라 잠금 | 해당 프레임에서 카메라가 실수로 또는 자동으로 변경되는 것을 방지합니다. |
자동 트래킹 켜기/끄기(Autotracking on/off) | 카메라의 잠금이 해제되어 있고 자동 트래킹이 켜져 있으면 카메라 탐색 컨트롤을 릴리즈할 때 마커가 자동으로 트래킹됩니다. 잠금 해제 시에는 프레임 트랙 명령을 호출하여 프레임을 수동으로 트래킹해야 합니다. |
<name of frame> 이름변경(Rename <name of frame>) | 프레임의 이름을 변경합니다. |
정면 뷰 설정/제거(Set/Remove Front View) | 메타휴먼 아이덴티티에서는 반드시 하나의 프레임만 정면 프레임으로 플래그 지정해야 합니다. 우클릭하면 이 기능에 바로 액세스할 수 있습니다. 새 프레임을 정면 프레임으로 설정하면 이전에 플래그 지정된 프레임이 있는 경우 해당 플래그 지정이 해제됩니다. 하나의 프레임도 다시 정면 프레임으로 설정하지 않은 상태에서 모든 프레임의 플래그 표시를 해제할 수 있으며, 이 경우 정면 프레임을 다시 플래그 지정할 때까지 메타휴먼 아이덴티티의 맞춤 및 솔브 기능이 작동하지 않습니다. |
<name of frame> 강등(Demote <name of frame>) | 승격 타임라인의 '프레임 강등(Demote Frame)' 버튼과 동일합니다. |
마커 트래킹(활성 프레임)(Track Markers (Active Frame)) | 툴바의 '활성 프레임 트래킹(Track Active Frame)' 명령과 동일합니다. |
선택하지 않은 승격된 프레임은 위 기능 중 일부만 사용할 수 있습니다.
마커 아웃라이너 (6)
마커 아웃라이너(Markers Outliner)는 현재 선택된 승격된 프레임과 관련이 있습니다. 선택한 승격된 프레임을 변경하면 아웃라이너 콘텐츠가 변경됩니다. 마커 레이아웃은 각 승격된 프레임에 따라 개별적으로 저장됩니다.
마커는 거의 모든 워크플로에서 사용되는 페이셜 피처의 트래킹을 표시하는 커브이며, 컨트롤 버텍스를 포함합니다. 가능한 마커의 목록은 고정되어 있으며, 명명된 그룹으로 나뉘어 있습니다. 이러한 마커 중 일부(정면 뷰로 제한됨)가 자동으로 트래킹될 수 있습니다. 대부분의 경우 이것만으로 충분합니다.
가끔은 입력 데이터와 결과로 생성되는 메타휴먼 아이덴티티의 상관 관계를 보다 정확하게 정의해야 할 수 있습니다. 이 경우에는 더 많은 마커를 활성화하고, 수동으로 위치를 설정하여 메시의 동일한 특성과 대응되도록 할 수 있습니다.
각 마커 및 그룹 옆에 있는 버튼을 사용하여 마커의 비저빌리티와 솔루션 참여 여부를 토글할 수 있습니다.
일반적으로 작업은 반복적으로 최소한의 마커만 추가하는 방식이 권장됩니다.
정면 프레임에서 자동 트래킹 마커로 시작한 후 귀의 일부처럼 특정 피처가 일치하지 않는 경우에만 해당 피처에 대한 마커를 활성화하여 트래킹합니다.
프레임 간에 마커 활동이 겹치지 않도록 하세요. 예를 들어 귀 마커에 측면 프레임을 추가한 경우, 정면 프레임에서 활성화된 마커를 측면 프레임에 추가하지 않아야 하며 귀 마커를 정면 프레임에 추가하는 것 또한 피해야 합니다.
자동 트래킹 마커는 정면 프레임에서만 활성화해야 합니다.
한꺼번에 많은 마커를 활성화하지 마세요. 결과가 좋아져도 어떤 마커가 효과를 낸 것인지 알 수 없기 때문입니다. 그리고 여러 마커를 한꺼번에 활성화하면 좋은 효과를 낸 한 마커의 영향이 다른 여러 개의 마커 때문에 약해질 수도 있습니다.
해당 피처가 뷰에서 완전히 잘 보이지 않는 한 프레임에서 마커를 활성화하지 마세요. 예를 들어 정면 프레임에 귀 마커를 추가하는 것은 피해야 합니다.
캡처 데이터(영상)
대부분의 기능은 영상 및 메시 캡처 데이터 모두 비슷합니다. 가이드형 워크플로 툴바, 뷰 모드, 컴포넌트 트리, 마커 아웃라이너는 캡처 데이터 타입에 관계없이 모두 동일합니다.
영상의 경우 임베디드 시퀀서 뷰가 추가로 제공되며, 이 뷰를 사용하여 영상을 탐색하고 승격할 프레임을 선택 및 시각화할 수 있습니다.
아래 섹션에서는 영상에서 생성된 에셋에 특화된 메타휴먼 아이덴티티 에셋의 일부를 살펴봅니다.
뷰 버퍼 세팅 (3)
뷰 버퍼 세팅(View Buffer Settings)은 소스 데이터의 차이로 인해 일부가 다릅니다.
다음과 같은 추가 옵션이 제공됩니다.
| 옵션 | 설명 |
|---|---|
언디스토션(Undistort) | 수집된 원본 영상과 렌즈 디스토션이 제거된 처리 영상 간을 토글합니다. |
뎁스 메시(Depth Mesh) | 캡처 데이터에서 링크된 영상의 뎁스 컴포넌트에 대한 메시 처리를 토글합니다. |
이 두 옵션은 진단용 옵션으로, 툴에 영향을 미치지 않으며 사용자가 직접 조작할 수도 없습니다.
뷰포트 및 카메라 세팅 (4)
카메라 세팅(Camera Settings)에서 뎁스 데이터 근거리(Depth Data Near) 및 뎁스 데이터 원거리(Depth Data Far) 파라미터가 잠금 해제됩니다. 진단 옵션이고 결과에 영향을 미치지 않지만 노이즈를 크게 줄이고 뎁스 데이터를 보다 선명하게 시각화하는 데 큰 도움이 될 수 있습니다.
승격 타임라인 (5)
승격 타임라인은 메시 캡처 데이터에서의 그것과 기능이 거의 동일합니다. 유일한 차이점은 영상의 경우 프레임을 승격할 때마다 프레임이 자동으로 잠기고 트래킹된다는 점입니다.
마커 작동 방식이 약간 다르기 때문에 권장 사항도 달라집니다. 뉴트럴 포즈에는 다음이 권장됩니다.
스테레오 카메라의 경우, 정면 프레임 하나만 승격하는 것이 권장됩니다.
모바일 소비자용 디바이스(iPhone, iPad)의 경우, 정면 프레임 하나와 좌우 약간 측면에서 촬영한 프레임 2개로 구성된 총 3개의 프레임을 사용하는 것이 권장됩니다.
어떤 경우든 3개를 초과하는 프레임 사용은 권장되지 않습니다.
여러 개의 프레임을 사용할 경우, 모든 프레임에 동일한 마커가 있어야 서로 연결하여 일치시킬 수 있습니다.
이는 메시에 권장되는 방식과 정반대의 권장 사항입니다.
마커는 매우 신중하게 추가하고, 모든 프레임에서 계속 표시되는 마커를 우선적으로 사용하세요. 경험적으로, 눈꺼풀 주름 마커는 메타휴먼 아이덴티티가 제대로 맞추기 어려운 일부 눈 형태에서 비교적 성공적인 추가 요소로 작용합니다.
영상 시퀀서 (7)
이 뷰는 일반 시퀀서의 베리에이션으로, 승격에 적합한 프레임을 찾는 데 특화되어 있습니다. 영상 시퀀서(Footage Sequencer)에는 영상의 어떤 프레임이 승격되었는지를 식별할 수 있도록 자동으로 관리되는 채널이 포함되어 있습니다.
메타휴먼 아이덴티티 형상 적용
메타휴먼 아이덴티티 에셋은 생성 시 항상 디폴트 상태의 헤드 메시 템플릿과 이와 일치하는 릭의 레퍼런스를 포함합니다.
다음 워크플로는 새로운 것을 추가하는 것이라기보다는, 아이덴티티가 실제 또는 상상의 어떤 인물처럼 보이도록 환경설정하는 과정입니다. 이 프로세스를 일반적으로 형상 적용(conforming)이라고 하며 다음 단계로 구성됩니다.
템플릿 메시의 포인트 위치가 소스 데이터의 볼륨에 맞게 조정됩니다.
해당 볼륨과 유사한 근사값이 에픽게임즈의 데이터베이스에서 자동으로 검색됩니다.
릭은 해당 근사값과 안정적으로 작동하도록 환경설정됩니다.
실제 볼륨과 에픽게임즈 근사값 간의 최종 셰이프 오프셋은 델타로 보존됩니다.
선택적으로, 치아 위치 정렬에 대한 조정 값도 로컬 릭에 추가할 수 있습니다.
이러한 단계 중 일부는 로컬 워크스테이션에서 처리되며, 일부는 온라인 백엔드에 대한 액세스가 필요합니다. 에픽게임즈의 데이터베이스가 너무 커서 다른 방식으로는 이러한 결과를 얻기 어렵기 때문입니다.
메시 투 메타휴먼은 메타휴먼 아이덴티티 에셋에서 항상 레퍼런스되는 템플릿 메시를 백엔드로 제출하는 것을 의미한다는 점에 주목할 가치가 있습니다. 이는 캡처 데이터에서 레퍼런스되는 메시를 의미하지 않습니다. 메시 투 메타휴먼은 이를 형상 적용하는 데 사용된 데이터에 관계없이 동일하게 작동합니다. 데이터는 스태틱 메시, 스켈레탈 메시, 영상 또는 메타휴먼 DNA일 수 있습니다.
백엔드에서 리깅되는 메시는 2단계에서 언급한 근사값입니다. 이 데이터와 입력 데이터 간의 볼륨 차이는 그 위에 디스플레이스먼트 셰이프로 추가됩니다.
데이터베이스에서 얻은 근사값과 볼륨 간의 차이가 크면 릭과 애니메이션에 영향을 미칩니다. 특히 눈과 입처럼 민감하거나 움직임이 많은 영역에서 그 차이가 클수록 애니메이션 과정에서 메시 아티팩트가 발생하기 쉽습니다. 또한 이 메커니즘과 메타휴먼 표준 토폴로지를 항상 사용하는 특성 때문에 결과가 원본 볼륨의 모든 세부 디테일과 정확하게 일치하지 않을 수도 있습니다.
에셋에 추가 시간을 들이고 적절한 기술적 노하우를 활용하면 이러한 두 가지 문제를 해결하거나, 문제가 심한 경우에도 최소한 완화할 수 있습니다. DNA 캘리브레이션을 통해 메시와 스켈레톤의 기본 표정 변경할 수 있으며, 새로운 템플릿 입력 옵션을 사용하면 시스템에서 메타휴먼 토폴로지를 보다 정밀하게 '강제로' 맞출 수 있습니다.
메타휴먼 DNA 임포트
메타휴먼 DNA 파일에는 페이셜 지오메트리와 릭에 대한 설명이 저장됩니다. 이러한 파일 중 하나를 직접 사용하여 지오메트리 또는 영상을 트래킹하거나 이에 맞추는 과정을 거치지 않고도 아이덴티티 에셋을 해당 파일에 형상 적용할 수 있습니다.
메타휴먼 DNA 파일은 커스텀 작업을 DNA 캘리브레이션 라이브러리를 통해 저장한 결과일 수도 있고, 사용자가 다운로드한 메타휴먼에 직접 번들로 포함되어 있을 수도 있습니다.