메타휴먼 아이덴티티 에셋

메타휴먼 아이덴티티 에셋(MetaHuman Identity Asset) 은 실제 또는 가공의 연기자를 나타내는 데 사용됩니다. 플러그인 내 다수의 툴을 호스팅하며, 헤드의 템플릿(메시 및 릭에 모두 영향)을 맞춘 후 다음 요소 중 하나에서 메타휴먼 DNA와 페이셜 릭을 생성하는 용도입니다.

• 스태틱 메시 또는 스켈레탈 메시에서
• 영상에서
• 정확한 템플릿 메시에서
• 메타휴먼 DNA를 직접 임포트

또한 위의 모든 항목은 메타휴먼 크리에이터 및 퀵셀 브리지에서 사용 가능한 전체 메타휴먼을 선택적으로 생성할 수 있습니다.

결과를 독립적으로 사용하거나, 메타휴먼 아이덴티티를 사용하여 메타휴먼 퍼포먼스 에셋을 통해 애니메이션 시퀀스에 퍼포먼스를 솔브할 수 있습니다.

메타휴먼 아이덴티티로 퍼포먼스를 솔브할 때 강제되는 요구 사항은 없습니다. 그러나 현실적으로는 퍼포먼스를 구체적으로 전달하는 연기자의 메타휴먼 아이덴티티를 생성해야 하며, 퍼포먼스 녹화에 사용되는 것과 동일한 디바이스 클래스에서 이를 수행해야 합니다.

메타휴먼 아이덴티티 에셋을 생성하면, 그에 매칭되는 스켈레탈 메시가 바로 옆에 생성됩니다. 이 에셋과의 직접적인 상호작용은 피하는 것이 좋습니다. 이 스켈레탈 메시에 액세스하고 싶은 경우(예를 들어, 메시 투 메타휴먼으로 머리 전용 릭을 빠르게 만들고 싶은 경우) 먼저 이 스켈레탈 메시를 복제할 것을 권장합니다.

메타휴먼 아이덴티티가 메시 기반 에셋인지 또는 영상 기반 에셋인지에 따라, 에셋 GUI, 기능, 환경설정 요구 사항에 차이가 있습니다. 다음 섹션에서는 두 사용 사례를 모두 다룹니다.

캡처 데이터(메시)

임포트된 메시에서 메타휴먼 아이덴티티가 생성된 아이덴티티 에셋

아이덴티티 에셋 GUI는 다음과 같은 컴포넌트로 구성됩니다.

1. 가이드 워크플로 툴바
2. 컴포넌트 트리
3. 뷰 버퍼 세팅
4. 뷰포트 및 카메라 세팅
5. 승격 타임라인
6. 마커 아웃라이너

가이드 워크플로 툴바(1)

모든 툴과 명령은 메타휴먼 아이덴티티(MetaHuman Identity) 메뉴에서 사용 가능합니다. 단, 템플릿 명령의 컴포넌트는 에셋(Asset) 메뉴에 있습니다.

아이덴티티 에셋을 데이터에 맞추기 위해 이 에셋의 명령을 특정 시퀀스에서 실행해야 하는 경우가 있습니다. 대부분의 워크플로 단계는 이전 단계가 완료되어야 수행할 수 있습니다.

사용 편의성을 위해 툴바에는 가장 자주 사용하는 명령 서브셋만 포함되어 있습니다. 명령 상태(클릭 가능 여부)와 툴팁을 통해 비어 있는 에셋으로 퍼포먼스 캡처를 솔브하는 모든 준비 과정을 안내합니다.

컴포넌트 트리(2)

컴포넌트 트리는 블루프린트의 다른 컴포넌트 트리와 유사합니다. 메타휴먼 아이덴티티 에셋에서 기능을 활성화하려면 특정 기능에 필요한 데이터와 어트리뷰트를 호스팅하는 컴포넌트를 추가해야 합니다.

대부분의 경우 동일한 컴포넌트 6~7개가 필요하므로, …(으)로부터 컴포넌트 생성(Create Components From…) 명령이 있는 컴포넌트 트리를 생성할 것을 권장합니다(메시 또는 영상). 이렇게 하면 선택된 사례마다 트리가 소스 데이터에 따라 올바르게 채워지고 환경설정됩니다. 유일한 선택적 컴포넌트는 치아 포즈(Teeth Pose) 로, 메타휴먼 퍼포먼스를 사용하여 영상을 애니메이션에 솔브하기 전에 백엔드에서 얻은 후 릭을 정교하게 다듬는 용도입니다.

컴포넌트 트리 는 GUI의 다른 부분에 대한 컨텍스트도 제공합니다. 무엇보다 중요한 것은 승격 타임라인(Promotion Timeline) 및 마커 아웃라이너(Markers Outliner) 가 선택된 포즈의 특정 콘텐츠로 채워지며, 포즈 외의 것이 선택되면 공백으로 표시된다는 점입니다.

뷰 버퍼 세팅(3)

메타휴먼 아이덴티티 에셋에는 고유 뷰포트가 있으며, 여기에는 다양한 캡처 프로세스의 결과를 조사하고 유효성을 검사하는 여러 뷰포트 모드가 있습니다. 이러한 다수의 뷰 모드로 인해 뷰포트에는 A와 B, 이렇게 2개의 버퍼가 있습니다. 두 버퍼는 뷰포트의 두 모서리에 위치한 메뉴에서 개별적으로 환경설정할 수 있습니다.

트래킹 커브 및 버텍스 등의 일부 옵션은 토글 뷰 모드에서만 사용할 수 있습니다. 이러한 버퍼 세팅의 일부가 회색으로 표시되어 있는 경우, 뷰포트를 토글(Toggle) 로 전환해 보고 컴포넌트 트리에서 어떤 포즈를 선택했는지 확인합니다.

뷰포트 및 카메라 세팅(4)

뷰포트에는 다음 3가지 모드가 있습니다.

• A/B 버퍼 토글이 있는 단일 패널
• A/B 버퍼 와이프가 있는 단일 패널
• 듀얼 패널 모드

A/B 토글은 첫 번째 모드에서만 작동하는 반면, 카메라 세팅은 모든 뷰와 패널 간에 공유됩니다. 뷰포트는 컴포넌트 트리 선택 컨텍스트와 승격 타임라인 선택 컨텍스트에 모두 응답합니다.

대부분의 작업은 단일 패널 토글에서 수행하고, 검토 용도로만 다른 모드로 전환할 것을 권장합니다.

승격 타임라인(5)

승격 타임라인(Promotions Timeline) 은 포즈를 선택한 경우에만 사용할 수 있습니다. 아이덴티티 솔브에 사용하기 위해 승격된 모든 프레임이 표시되며, 컨텍스트를 따르는 일부 기능이 있습니다.

다음 3개의 버튼을 항상 사용할 수 있습니다.

• 프레임 승격
• 승격된 프레임 강등
• 카메라 프리 로밍 모드

프레임 승격 은 현재 뷰를 승격된 프레임 으로 만듭니다. 이는 프리 로밍 모드에서 작동하며, 프레임이 이미 선택된 경우 기존 프레임을 복제합니다. 모든 승격된 프레임은 승격 타임라인에 더하기 버튼으로 표시됩니다.

승격된 프레임이 선택되고 잠금 상태가 아닌 경우, 해당 프레임에서 카메라를 조작하면 해당 프레임이 변경됩니다.

프레임 강등 은 승격 타임라인에서 프레임을 제거합니다.

프레임 강등은 실행 취소하거나 다시 실행할 수 있지만, 실행 취소 버퍼가 지워지는 경우 동일 프레임을 다시 승격해도 프레임에 적용한 트래커 수정이 되돌아오지 않으므로 신중하게 강등하세요.

프리 로밍 버튼은 공간을 탐색하고 다른 프레임에서 수행한 작업을 손실하지 않으면서 승격하기 위해 항상 이동할 수 있는 '자유' 프레임을 제공합니다.

승격된 프레임을 더블클릭하면 이름을 변경할 수 있습니다.

선택한 승격된 프레임을 우클릭하면 추가 옵션이 나타납니다.

• 카메라 잠금(Lock Camera): 해당 프레임의 카메라에 실수로 또는 자동으로 변경사항이 적용되는 것을 방지합니다.
• 오토트래킹 켜기/끄기(Autotracking on/off): 카메라가 잠금 해제되고 오토트래킹이 켜져 있으면 카메라 내비게이션 컨트롤 해제 시 마커가 자동으로 트래킹됩니다. 오토트래킹이 꺼져 있으면 트랙 프레임 명령을 호출함으로써 해당 프레임이 수동으로 트래킹됩니다.
• <프레임 이름> 이름변경(Rename): 해당 프레임의 이름을 변경합니다.

• 정면 뷰 설정/제거(Set/Remove Front View): 메타휴먼 아이덴티티를 사용하려면 프레임 하나만 정면 프레임으로 지정되어 있어야 합니다. 우클릭하면 이 기능에 바로 액세스할 수 있습니다. 새 프레임을 정면 프레임으로 설정할 경우, 기존에 지정된 정면 프레임이 있었다면 지정 해제됩니다.

  정면 프레임이 다시 지정되어야 이 메타휴먼 아이덴티티에서 피팅 및 솔브되는 경우, 하나의 프레임을 정면 프레임으로 다시 설정하지 않고 모든 프레임을 지정 해제할 수 있습니다.

• <프레임 이름> 강등(Demote): 승격 타임라인의 프레임 강등 버튼과 동일합니다.
• 마커 트래킹(활성 프레임)(Track Markers (Active Frame)): 툴바의 활성 프레임 트래킹(Track Active Frame) 명령과 동일합니다.

선택되지 않은 승격된 프레임에는 위 기능에 대한 줄어든 서브셋이 있습니다.

마커 아웃라이너(6)

마커 아웃라이너 는 현재 선택한 승격된 프레임과 관련이 있습니다. 승격된 프레임을 변경하면 아웃라이너의 콘텐츠가 변경됩니다. 마커 레이아웃은 승격된 프레임마다 별도로 보존됩니다.

마커 는 워크플로 대부분에서 사용되는 얼굴 특징 트래킹을 표시하는 컨트롤 버텍스가 있는 커브입니다. 사용 가능한 마커 목록은 정적이며, 명명된 그룹으로 묶여 있습니다. 정면 뷰에 한해, 해당 마커의 서브셋만 자동으로 트래킹할 수 있습니다. 대부분의 경우에는 이것으로 충분합니다.

입력 데이터와 메타휴먼 아이덴티티 결과물의 상호 연관 방식을 추가로 정의하고 싶은 경우, 더 많은 마커를 활성화하고 메시의 동일한 얼굴 특징에 대응하도록 수동으로 배치할 수 있습니다.

버튼이나 각 마커 및 마커 그룹 옆에서 비저빌리티 및 솔루션 관여 여부를 토글할 수 있습니다.

일반적으로는 작업을 되풀이하여 수행하고, 최소한으로 추가할 것을 적극 권장합니다.

• 정면 프레임만 있는 오토트래킹 마커에서 시작하여, 해당 얼굴 특징(예: 귀 일부분)이 일치하지 않는 경우에만 추가적인 얼굴 특징에 대한 마커를 활성화 및 트래킹합니다.

• 프레임 전반에서 활성 마커를 중복해서 사용하지 않습니다. 예를 들어, 귀 마커를 위한 측면 프레임을 추가한 경우 여기에 정면 프레임에 있는 활성 마커를 추가하지 말아야 하며, 정면 프레임에 귀 마커를 추가해서도 안 됩니다.

• 마커 자동 트래킹은 정면 프레임에서만 활성 상태여야 합니다.

• 마커 배치를 한꺼번에 활성화하지 않아야 합니다. 일괄 활성화 시 향상되는 부분이 있다 하더라도 어떤 마커가 결과를 최적화했는지 알 수 없으며, 마커 여러 개보다 하나의 강력한 마커를 통해 더 많은 향상을 이룰 수도 있습니다. 또한 일부 마커로 인해 좋은 마커 하나의 강점이 약화될 수도 있습니다.

• 해당 얼굴 특징 전체가 뷰에서 잘 보이지 않는 경우 프레임에서 마커를 활성화하지 않아야 합니다. 예를 들어, 정면 프레임에 귀 마커를 추가해서는 안 됩니다.

캡처 데이터(영상)

대다수의 기능은 메시 캡처 데이터와 유사합니다. 가이드 워크플로 툴바, 뷰 모드, 컴포넌트 트리, 마커 아웃라이너는 캡처 데이터 타입에 관계없이 모두 동일합니다.

영상의 경우, 중요한 추가 기능으로 임베드된 시퀀서 뷰가 있습니다. 시퀀서 뷰는 영상을 탐색하고 승격할 프레임을 선택 및 시각화할 때 사용됩니다.

영상에서 생성된 메타휴먼 아이덴티티가 있는 아이덴티티 에셋

아래의 섹션은 영상에서 생성된 에셋에 대한 메타휴먼 아이덴티티 에셋의 여러 부분을 캡처한 것입니다.

뷰 버퍼 세팅(3)

뷰 버퍼 세팅(View Buffer Settings) 은 소스 데이터의 차이와 관련하여 달라지는 부분이 있습니다.

추가 옵션은 다음과 같습니다.

• 언디스토션(Undistort): 수집된 그대로의 영상과 렌즈 디스토션을 제거한 처리된 영상 간에 토글합니다.
• 뎁스 메시(Depth Mesh): 캡처 데이터에서 연결된 영상의 뎁스 컴포넌트의 메시를 토글합니다.

이 두 가지는 모두 진단적인 성격을 띠는 옵션으로, 툴에 영향을 미치지 않고 직접 조작할 수도 없습니다.

뷰포트 및 카메라 세팅(4)

카메라 세팅(Camera Settings) 에서 뎁스 데이터 근거리(Depth Data Near) 및 원거리(Far) 파라미터가 잠금 해제됩니다. 이는 진단적인 성격을 띠는 옵션으로 결과물에 영향을 미치지 않지만, 노이즈를 줄이고 뎁스 데이터를 선명하게 시각화하는 데 큰 도움이 됩니다.

승격 타임라인(5)

승격 타임라인 은 메시 캡처 데이터의 승격 타임라인 기능과 거의 동일합니다. 유일한 차이점은 영상의 경우 프레임 승격 시 프레임이 항상 자동으로 잠금 및 트래킹된다는 점입니다.

마커가 약간 다르게 작동하기 때문에 권장 사항도 다릅니다. 뉴트럴 포즈의 경우 권장 사항은 다음과 같습니다.

• 스테레오 카메라 사용 시 정면 프레임 하나만 승격하는 것이 좋습니다.

• 디바이스의 모바일 컨슈머 클래스(iPhone, iPad) 사용 시 정면 프레임 하나, 살짝 측면을 향한 프레임 2개, 총 3개의 프레임을 사용하는 것이 좋습니다.

• 두 사례 모두 4개 이상의 프레임을 사용하지 않는 것이 좋습니다.

• 여러 프레임 사용 시 동일 마커가 상호 연관될 수 있도록 모든 프레임에 존재해야 합니다.

  이는 메시에 대한 권장 사항과는 반대되는 내용입니다.

• 마커는 매우 신중하게 추가해야 하며, 모든 프레임에 계속 표시되는 마커를 우선합니다. 경험상 성공률이 높은 추가 마커 중에는 몇 가지 눈 형태가 있는 눈 주름 마커가 있습니다. 다른 방식으로는 메타휴먼 아이덴티티가 맞추기 어려울 수 있습니다.

영상 시퀀서(7)

이 뷰는 일반적인 시퀀서 를 변형한 버전으로, 승격에 적합한 프레임을 찾는 데 특화되어 있습니다. 영상 시퀀서에는 지금까지 승격된 영상 프레임을 식별하는 데 도움이 되는 자동 관리 채널이 일부 포함되어 있습니다.

메타휴먼 아이덴티티 맞추기

생성된 메타휴먼 아이덴티티 에셋에는 항상 기본 상태의 머리 메시 템플릿 과 그에 매칭되는 릭의 레퍼런스가 포함되어 있습니다.

다음 워크플로는 실제 인물 또는 상상 속의 인물과 더 닮아 보이도록 환경설정할 목적이 아니라면 추가되지 않습니다. 일반적으로 이 프로세스를 맞추기 라고 하며, 다음과 같은 단계로 구성됩니다.

1. 템플릿 메시 포인트 위치를 소스 데이터의 볼륨에 맞춥니다.
2. 데이터베이스에서 해당 볼륨의 근삿값이 발견됩니다.
3. 릭이 해당 근삿값에 맞춰 적절하게 작동하도록 환경설정됩니다.
4. 실제 볼륨과 근삿값 간의 최종 셰이프 오프셋이 델타 로 보존됩니다.
5. 치아 등록에 적용되는 조정 사항을 로컬 릭에도 선택적으로 추가할 수 있습니다.

이 단계 중 일부는 워크스테이션에서 로컬로 진행되며, 에픽의 온라인 백엔드에 액세스해야 할 수도 있습니다. 다른 방식으로 해당 결과를 얻기에는 에픽 데이터베이스의 규모가 너무 크기 때문입니다.

메시 투 메타휴먼 은 캡처 데이터에서 참조되는 메시가 아닌, 메타휴먼 아이덴티티 에셋에서 항상 참조되는 템플릿 메시의 백엔드에 제출하는 것을 나타낸다는 사실을 알아 두면 좋습니다. 메시 투 메타휴먼은 맞추기에 사용된 데이터가 스태틱 메시나 스켈레탈 메시, 영상 또는 메타휴먼 DNA인지와 관계없이 동일한 방식으로 작동합니다.

백엔드에서 리깅된 메시가 2단계의 근삿값이 됩니다. 그런 다음 해당 근삿값과 입력 데이터 간 볼륨의 차이가 맨 위에 디스플레이스먼트 셰이프로 추가됩니다.

데이터베이스에서 얻은 근삿값과 볼륨 간에 차이가 큰 경우 릭과 애니메이션에 영향을 미칩니다. 차이가 크면 클수록, 특히 민감하거나 연결 부분이 많은 눈과 입 같은 영역의 경우 애니메이션에 메시 아티팩트가 발생하기 쉽습니다. 이러한 메커니즘과 더불어 토폴로지가 항상 메타휴먼 표준 토폴로지로 유지되기 때문에, 결과가 볼륨의 모든 미세 디테일과 항상 일치하지는 않습니다.

에셋에 더 많은 시간을 들이고 올바른 기술적 노하우를 적용한다면, 이 두 가지 문제를 해결하거나 적어도 극단적인 상황을 완화할 수 있습니다. 메시와 스켈레톤의 기본 포즈는 DNA 캘리브레이션을 통해 수정할 수 있으며, 새 템플릿 입력 옵션으로 시스템을 통해 메타휴먼 토폴로지의 정확한 핏을 '강제'할 수 있습니다.

메타휴먼 DNA 임포트

메타휴먼 DNA 파일 에는 페이셜 지오메트리와 릭에 대한 설명이 저장됩니다. 지오메트리 또는 영상을 트래킹하고 여기에 맞추는 과정 없이 DNA 파일 하나를 직접 사용하여 아이덴티티 에셋을 해당 DNA 파일에 맞추는 것도 가능합니다.

메타휴먼 DNA 파일은 DNA 캘리브레이션 라이브러리를 통해 해당 위치에 저장된 커스텀 작업에서 가져오거나, 다운로드한 메타휴먼에 직접 포함되어 있는 것을 사용할 수 있습니다.

캡처 데이터에서(메시)

스태틱 메시나 스켈레탈 메시가 캡처 데이터(메시) 에셋으로 래핑된 경우 메타휴먼 아이덴티티를 해당 스태틱 메시나 스켈레탈 메시에 맞추는 것도 가능합니다.

이 작업은 수동으로 할 수 있지만, 컴포넌트 생성 워크플로를 통해 컴포넌트 트리를 환경설정하고 메시를 참조할 것을 권장합니다. 이 워크플로를 사용하면 컴포넌트 트리가 채워지고 해당 메시에 대한 캡처 데이터 에셋이 생성된 다음 참조됩니다.

다음 링크에서 자세히 알아보세요.

캡처 데이터에서(영상)

영상 사용은 메시를 사용하는 것과 아주 비슷합니다. 위 캡처 데이터에서(메시)(From Capture Data (Mesh)) 섹션의 모든 사항이 그대로 적용되며, 메시의 컴포넌트(Components from Mesh) 대신 영상의 컴포넌트(Components from Footage) 명령을 사용한다는 것, 그리고 카메라를 조작하는 대신 타임 커서를 움직여 승격할 프레임을 선택한다는 것만이 사소한 차이점입니다.

다음 링크에서 자세히 알아보세요.

템플릿 메시에서

템플릿 메시를 직접 설정하여 메타휴먼 아이덴티티에 맞추는 명령은 일치시킨 항목에서 컴포넌트 환경설정(Configure Components from Conformed) 이라고 하며, 메타휴먼 아이덴티티 에셋의 에셋 메뉴에서 사용할 수 있습니다.

템플릿 메시에 맞추기가 제대로 작동하려면 매우 엄격한 요구 사항을 준수해야 합니다.

메시는 토폴로지의 측면에서 메타휴먼 템플릿 메시여야 합니다. 이 메시는 소스 에셋(현재 브리지 스탠드얼론 애플리케이션에서만 사용 가능)을 다운로드하거나, DNA 캘리브레이션 라이브러리를 사용하여 획득할 수 있습니다.

익스포트된 메타휴먼에는 템플릿과 최종 메타휴먼 간에 존재하는 몇 가지의 작지만 중요한 토폴로지상의 차이가 있으므로, 언리얼 엔진 에디터에서 메타휴먼을 익스포트하는 것은 잘 작동하지 않을 가능성이 높습니다.

메시의 포인트는 단순히 볼륨의 근사치를 계산하지 않습니다. 버텍스의 시맨틱 중요도는 자동 맞추기와 같은 방식으로 보존되어야 합니다. 예를 들어, 비순구 주름을 실행하는 에지 루프는 해당 부위에만 사용해야 하며, 그 옆부분에 사용해서는 안 됩니다. 인접한 루프를 대신 사용할 수 없습니다.

물론 이러한 특정 중요도에는 모든 잡다한 주름과 같은 기본적인 에지 루프, 눈꺼풀, 귓바퀴 등이 포함됩니다.

가이드 프로세스를 통해 메시에 먼저 맞출 것을 권장합니다. 메타휴먼 결과물에서 메타휴먼 DNA를 획득하고, DNA 캘리브레이션 시 DNA 뷰어를 사용하여 선택한 모델링 애플리케이션에 있는 시작 메시를 획득하면 됩니다.

가이드라인

동일한 연기자를 녹화하여 여러 디바이스로 전달하거나 메이크업, 페이셜 볼륨이 변화하는 등 연기자의 외모가 크게 바뀌는 경우, 영상을 캡처하고 각 '외모' 및 디바이스마다 메타휴먼 아이덴티티를 생성할 것을 권장합니다.