iPhone의 TrueDepth 카메라나 스테레오 헤드 마운트 카메라(Head-Mounted Camera, HMC)를 사용하여 캡처된 뎁스 데이터를 통해 메타휴먼 캐릭터를 애니메이팅할 수 있습니다. iPhone을 사용하는 경우에는 라이브 링크 페이스 앱도 필요합니다. 이 기능은 Android 디바이스에서는 지원되지 않습니다.
이러한 디바이스를 사용하여 퍼포먼스를 캡처할 때는 메타휴먼 아이덴티티를 생성하기 위해 캘리브레이션 보드를 사용하여 캘리브레이션 테이크와 뉴트럴 테이크도 함께 캡처해야 합니다. 자세한 내용은 페이셜 퍼포먼스 캡처 가이드라인을 참고하세요.
뎁스 데이터에서 오프라인으로 애니메이션을 생성할 수 있도록 프로젝트를 환경설정하려면 메타휴먼 애니메이터와 메타휴먼 애니메이터 뎁스 프로세싱 플러그인이 활성화되어 있어야 합니다. 또한 캡처한 데이터를 수집하기 위해 라이브 링크 허브 앱과 캡처 매니저 에디터 플러그인이 필요할 수 있습니다.
퍼포먼스 캡처 워크플로의 일부로 이 워크플로를 자동화하는 방법을 보여주는 예제 스크립트는 Python 스크립팅 페이지를 참고하세요. 추가 예제는 라이브 링크 허브의 캡처 매니저에서 확인할 수 있습니다.
전제조건
뎁스 데이터에서 오프라인으로 애니메이션을 생성하려면 다음이 필요합니다.
언리얼 엔진 5.6(또는 그 이상) 프로젝트
메타휴먼 아이덴티티를 생성하는 데 사용할 에픽게임즈 계정
활성화된 메타휴먼 애니메이터 및 메타휴먼 애니메이터 뎁스 프로세싱 플러그인
활성화된 라이브 링크 허브 앱 및 캡처 매니저 에디터 플러그인
iOS 디바이스 또는 스테레오 카메라 쌍으로 캡처한 하나 이상의 퍼포먼스 테이크
스테레오 카메라 쌍을 사용하는 경우 캘리브레이션 테이크
뎁스 데이터에서 애니메이션 생성 워크플로
이 워크플로에 대한 비디오 튜토리얼은 YouTube에서 확인할 수 있습니다.
이 비디오는 구버전의 메타휴먼 애니메이터를 기준으로 제작되었습니다. 최신 버전을 사용 중이면 일부 단계나 메뉴 이름이 다를 수 있습니다.
뎁스 데이터에서 애니메이션을 생성하는 워크플로는 다음 단계로 구성됩니다.
라이브 링크 허브의 캡처 매니저를 사용하여 캡처된 영상을 수집합니다. 스테레오 비디오, 라이브 링크 페이스 또는 테이크 아카이브 디바이스 중 하나를 사용해야 합니다.
스테레오 카메라 쌍을 사용하여 캡처한 영상의 경우, 캘리브레이션 테이크를 기반으로 캘리브레이션을 생성합니다.
스테레오 카메라 쌍을 사용하여 캡처한 영상의 경우, 각 테이크에 대해 뎁스 데이터를 생성합니다.
각 액터에 대해 메타휴먼 아이덴티티를 생성합니다.
각 테이크에 대해 아이덴티티 및 메타휴먼 퍼포먼스 에셋을 사용하여 애니메이션을 생성합니다.
애니메이션 커브를 애니메이션 시퀀스 또는 레벨 시퀀스 에셋으로 익스포트합니다.
다음 단계
라이브 링크 허브에서 캡처 매니저를 사용하여 영상 수집
이 가이드에서는 라이브 링크 허브의 캡처 매니저 레이아웃을 사용하여 영상을 수집하는 방법을 살펴봅니다.
캘리브레이션 생성
이 가이드에서는 캘리브레이션 보드의 영상을 기반으로 캘리브레이션 데이터를 생성하는 방법을 살펴봅니다.
뎁스 생성
이 가이드에서는 스테레오 카메라 쌍으로 캡처한 영상에서 뎁스 데이터를 생성하는 방법을 살펴봅니다.
메타휴먼 아이덴티티 생성
메시 투 메타휴먼 워크플로를 사용하여 메타휴먼 아이덴티티를 생성하는 방법을 살펴봅니다.
애니메이션 생성
메타휴먼 퍼포먼스 에셋을 사용하여 뎁스 데이터에서 애니메이션을 솔브할 수 있습니다.