이 페이지에서는 비디오 영상에서 메타휴먼 아이덴티티를 생성하는 메시 투 메타휴먼 워크플로를 살펴봅니다. 영상은 호환 가능한 디바이스를 사용하여 캡처해야 하며, 라이브 링크 허브의 캡처 매니저를 통해 수집해야 합니다.
언리얼 엔진 5.6부터는 메시 투 메타휴먼 워크플로가 메타휴먼 크리에이터 웹 애플리케이션에서 새 캐릭터를 생성하지 않도록 변경되었습니다. 아이덴티티를 생성한 후에는 메타휴먼 캐릭터 에셋 에디터의 아이덴티티에서 형상 적용(Conform from Identity) 옵션을 사용하여 언리얼 엔진 내에서 메타휴먼 크리에이터를 통해 캐릭터를 직접 생성해야 합니다.
워크플로
비디오 영상 기반 메시 투 메타휴먼 워크플로는 다음 단계로 구성됩니다.
퍼포먼스 캡처 요구 사항을 충족하는 하나 이상의 테이크를 언리얼 엔진에 임포트합니다.
메타휴먼 아이덴티티 에셋을 생성하고 채웁니다.
아이덴티티 솔브를 실행하는 데 필요한 프레임을 승격하고 트래킹합니다.
아이덴티티 솔브를 실행합니다.
템플릿 메시를 메타휴먼 백엔드에 제출합니다.
이러한 단계는 아래에서 자세히 다룹니다.
언리얼 엔진에 테이크 임포트
라이브 링크 허브 페이지에서 라이브 링크 허브에서 캡처 매니저를 사용하여 영상 수집에 설명된 워크플로를 따릅니다.
이 워크플로를 완료하면 하나 이상의 테이크를 메타휴먼 아이덴티티 에셋에 임포트할 수 있게 됩니다.
메타휴먼 아이덴티티 에셋 생성 및 채우기
다음으로, 메타휴먼 아이덴티티 에셋을 생성하고 채웁니다. 이 에셋에는 메타휴먼의 페이스 메시(템플릿 메시)와 포즈 정보가 포함됩니다.
다음 단계를 따릅니다.
콘텐츠 브라우저에서 우클릭하여 새 메타휴먼 아이덴티티 에셋을 생성합니다. 컨텍스트 메뉴에서 메타휴먼(MetaHuman) > 메타휴먼 아이덴티티(MetaHuman Identity)를 선택합니다.
나중에 이 에셋으로 메타휴먼을 생성하는 경우, 생성한 아이덴티티 에셋의 파일 이름이 메타휴먼 크리에이터에서 사용되는 캐릭터 이름이 됩니다.
생성한 메타휴먼 아이덴티티 에셋을 더블클릭하여 아이덴티티 에셋 에디터에서 엽니다. 처음에는 이 에셋이 비어 있습니다. 다음 단계에서 여기에 데이터를 채우게 됩니다.
메인 툴바에서 컴포넌트 생성(Create Components)을 클릭하고 영상에서(From Footage)를 선택합니다. 영상을 생성할 테이크를 검색하고 선택합니다.
이 단계를 완료하면 메타휴먼 아이덴티티 에셋 에디터 왼쪽에 있는 컴포넌트(Components) 패널에 페이스(Face) 및 포즈(Poses) 정보가 자동으로 채워집니다.
필요한 프레임 승격 및 트래킹
iPhone 또는 iPad의 TrueDepth 카메라로 캡처한 영상의 경우에는 뉴트럴 포즈, 좌측 뷰, 우측 뷰, 치아 포즈에 해당하는 프레임을 승격합니다. 스테레오 카메라 쌍으로 캡처한 영상의 경우, 뉴트럴 포즈와 치아 포즈 프레임을 승격합니다.
프레임을 승격하려면 다음 단계를 수행합니다.
컴포넌트 패널의 포즈에서 뉴트럴 포즈(Neutral Pose) 컴포넌트(1)를 선택합니다.
비디오 재생 컨트롤(2)을 사용하여 승격하려는 프레임으로 이동합니다. 정밀한 탐색이 필요한 경우에는 비디오 타임라인을 사용할 수도 있습니다.
더하기 버튼(3)을 클릭하여 프레임을 승격합니다. 처음 승격된 프레임은 자동으로 정면 뷰로 처리됩니다.
자유 이동 카메라 모드(Free Roaming Camera Mode) 버튼(4)을 클릭하면 재생 컨트롤이 잠금 해제되어 다른 프레임을 승격할 수 있습니다.
프레임을 우클릭하여 컨텍스트 메뉴를 표시합니다. 여기에는 프레임 이름 변경 및 강등(제거), 정면 뷰로 처리되는 프레임 토글 옵션이 포함되어 있습니다.
아이덴티티 솔브 실행
여전히 아이덴티티 에셋 에디터의 메인 툴바에서 메타휴먼 아이덴티티 솔브(MetaHuman Identity Solve) 버튼을 클릭합니다. 이 버튼은 타임라인에 승격된 프레임이 하나 이상 있는 경우에만 활성화되며, 마커가 활성화되어 있고 정확하게 트래킹되고 있을 때만 좋은 결과를 얻을 수 있습니다.
아이덴티티 솔브는 이전 단계에서 트래킹한 뉴트럴 포즈 메시의 볼륨에 맞게 템플릿 메시 버텍스를 맞춥니다. 이 과정은 클라우드에서 진행됩니다.
아이덴티티 솔브가 완료되면 뷰포트 툴바에 있는 A/B 탭을 클릭하여 원본 메시와 템플릿 메시 간에 토글할 수 있습니다. A와 B 버튼은 동일한 뷰포트 카메라에 대해 두 개의 별도 프레임 버퍼를 활성화하며, 프레임을 승격하면 해당 카메라의 스냅샷이 생성됩니다. 이 두 프레임 버퍼 각각에 대해 라이팅 등 뷰포트 세팅을 개별적으로 환경설정할 수 있습니다.
자동 리깅을 위해 템플릿 메시 제출
이제 템플릿 메시를 메타휴먼 백엔드에 제출할 수 있습니다. 메인 툴바에서 메타휴먼 아이덴티티 자동 리깅(Auto-Rig MetaHuman Identity) 버튼을 클릭합니다.
그러면 메타휴먼 DNA가 임베딩된 자동 리깅된 스켈레탈 메시가 생성됩니다. 메시는 자동으로 다운로드되며, 메타휴먼 아이덴티티 에셋과 동일한 폴더에 SK_ 접두사가 추가된 동일한 이름으로 언리얼 엔진 프로젝트에 추가됩니다.
프로세스가 완료되면 언리얼 엔진에서 확인 대화창이 표시됩니다. 그런 다음 콘텐츠 브라우저에서 새로운 스켈레탈 메시를 확인할 수 있습니다.
다음 단계
메시에서
메시 데이터에서 메타휴먼 아이덴티티를 생성하는 방법을 살펴봅니다.