iPhone 또는 iPad의 TrueDepth 카메라나 스테레오 헤드 마운트 카메라(HMC)를 사용하여 캡처한 뎁스 데이터를 통해 메타휴먼 캐릭터를 애니메이팅할 수 있습니다. iPhone 또는 iPad를 사용하는 경우 라이브 링크 페이스 애플리케이션도 필요합니다. 이 기능은 Android 디바이스에서는 지원되지 않습니다.
이러한 디바이스를 사용하여 퍼포먼스를 캡처할 때는 메타휴먼 아이덴티티를 생성하기 위해 뉴트럴 테이크를 캡처해야 합니다. HMC 디바이스의 경우에는 캘리브레이션 보드를 사용하여 캘리브레이션 테이크를 추가로 캡처해야 합니다. 자세한 내용은 페이셜 퍼포먼스 캡처 가이드라인을 참고하세요.
뎁스 데이터에서 오프라인으로 애니메이션을 생성할 수 있도록 프로젝트를 환경설정하려면 메타휴먼 애니메이터와 메타휴먼 애니메이터 뎁스 프로세싱 플러그인이 활성화되어 있어야 합니다. 또한 캡처한 데이터를 수집하기 위해 라이브 링크 허브 앱과 캡처 매니저 에디터 플러그인이 필요할 수 있습니다.
퍼포먼스 캡처 워크플로의 일부로 이 워크플로를 자동화하는 방법을 보여주는 예제 스크립트는 Python 스크립팅 페이지를 참고하세요. 추가 예제는 라이브 링크 허브의 캡처 매니저에서 확인할 수 있습니다.
전제 조건
뎁스 데이터에서 오프라인으로 애니메이션을 생성하려면 다음이 필요합니다.
언리얼 엔진 5.6(또는 그 이상) 프로젝트
메타휴먼 아이덴티티를 생성하는 데 사용할 에픽게임즈 계정
활성화된 메타휴먼 애니메이터 및 메타휴먼 애니메이터 뎁스 프로세싱 플러그인
활성화된 라이브 링크 허브 앱 및 캡처 매니저 에디터 플러그인
iPhone 또는 iPad의 TrueDepth 카메라 또는 스테레오 카메라 쌍으로 캡처한 하나 이상의 퍼포먼스 테이크입니다.
스테레오 카메라 쌍을 사용하는 경우 캘리브레이션 테이크
뎁스 데이터에서 애니메이션 생성 워크플로
이 워크플로에 대한 비디오 튜토리얼은 YouTube에서 확인할 수 있습니다.
이 비디오는 구버전의 메타휴먼 애니메이터를 기준으로 제작되었습니다. 최신 버전을 사용 중이면 일부 단계나 메뉴 이름이 다를 수 있습니다.
뎁스 데이터에서 애니메이션을 생성하는 워크플로는 다음 단계로 구성됩니다.
라이브 링크 허브의 캡처 매니저를 사용하여 캡처된 영상을 수집합니다. 스테레오 비디오, 라이브 링크 페이스 또는 테이크 아카이브 디바이스 중 하나를 사용해야 합니다.
스테레오 카메라 쌍을 사용하여 캡처한 영상의 경우, 캘리브레이션 테이크를 기반으로 캘리브레이션을 생성합니다.
스테레오 카메라 쌍을 사용하여 캡처한 영상의 경우, 각 테이크에 대해 뎁스 데이터를 생성합니다.
각 액터에 대해 메타휴먼 아이덴티티를 생성합니다.
각 테이크에 대해 아이덴티티 및 메타휴먼 퍼포먼스 에셋을 사용하여 애니메이션을 생성합니다.
애니메이션 커브를 애니메이션 시퀀스 또는 레벨 시퀀스 에셋으로 익스포트합니다.