라이브 링크를 사용하면 다양한 캡처 디바이스를 통해 메타휴먼 캐릭터를 실시간으로 애니메이팅할 수 있습니다. 모바일 디바이스를 사용하는 경우에는 라이브 링크 페이스 앱도 필요합니다. 페이셜 퍼포먼스를 캡처하는 방법에 대한 자세한 내용은 페이셜 퍼포먼스 캡처 가이드라인을 참고하세요.
전제 조건
애니메이션을 실시간으로 생성하려면 다음이 필요합니다.
언리얼 엔진 5.6 이상 프로젝트
활성화된 메타휴먼 라이브 링크 플러그인
라이브 링크 페이스 앱을 실행 중인 연결된 오디오, 모노 비디오 또는 모바일 디바이스
기본적으로 라이브 링크(Live Link) 창에는 ARKit 소스가 포함될 수 있습니다. 이 소스는 메타휴먼을 실시간으로 애니메이팅하는 데 필요하지 않으며, 휴지통 버튼을 클릭하여 삭제하는 것이 좋습니다.
리얼타임 애니메이션 생성하기
리얼타임 애니메이션을 생성하기 위한 워크플로는 다음 단계로 구성됩니다.
창(Window) > 버추얼 프로덕션(Virtual Production) > 라이브 링크로 이동하여 라이브 링크 창을 엽니다.
캡처에 사용되는 디바이스에 따라 라이브 링크 소스를 사용하여 라이브 링크 서브젝트를 생성합니다.
서브젝트를 메타휴먼 캐릭터에 연결하면 메타휴먼 크리에이터에서 프리뷰하거나 레벨에서 애니메이팅하는 데 사용할 수 있습니다.
라이브 링크 허브에서 실행하기
메타휴먼 라이브 링크 소스는 위에서 설명한 것처럼 언리얼 엔진의 라이브 링크 매니저 탭에서 생성할 수도 있고 라이브 링크 허브에서도 생성할 수 있습니다.
라이브 링크 허브는 언리얼 엔진과는 다른 별도의 머신에서 실행하는 경우에만 사용하는 것을 권장합니다.
메타휴먼 리얼타임 비디오 및 오디오 라이브 링크 소스는 연산 비용이 많이 들고 GPU를 사용합니다. 이러한 소스를 라이브 링크 허브에서 실행하면 GPU를 집중적으로 사용하는 언리얼 엔진 자체와의 리소스 경합이 발생할 수 있습니다. 언리얼 엔진과 라이브 링크 허브는 서로 독립된 프로세스이며, 이 두 작업의 우선순위와 스케줄링, 리소스 할당은 OS 및/또는 그래픽 드라이버에 의해 결정됩니다. 이로 인해 한 프로세스가 리소스의 대부분을 차지하고 다른 프로세스는 리소스가 부족해질 수 있습니다. 일반적으로 마우스 포커스를 가진 작업이 더 많은 리소스를 사용하는 것으로 확인되었습니다. 이러한 리소스 경합으로 인해 처리 속도가 낮아지면 생성된 애니메이션의 퀄리티도 저하됩니다.
이러한 문제를 해결하기 위해서는 가능한 경우 메타휴먼 라이브 링크 소스를 언리얼 엔진의 라이브 링크 패널에서 실행할 것을 권장합니다. 모든 GPU 작업을 하나의 프로세스 내에서 수행하면 언리얼 엔진이 렌더링 부하와 리얼타임 비디오 및 오디오 처리 부하를 보다 효율적으로 조절할 수 있습니다.
라이브 링크 허브를 사용하려는 경우에는 언리얼 엔진과는 다른 별도의 머신에서 실행하는 것을 강력히 권장합니다.
이것이 불가능하다면 언리얼 엔진에서 최대 프레임 레이트를 고정하는 것이 좋습니다. 최대 프레임 레이트 제한을 설정하지 않으면 언리얼 엔진이 가능한 한 빠르게 씬을 렌더링하므로 단순한 씬의 경우 100fps를 쉽게 초과할 수 있습니다. 최대 프레임 레이트 제한(cvar t.maxfps 사용)을 설정하면 언리얼 엔진에서 발생하는 GPU 부하가 줄어들어 라이브 링크 허브에서 사용할 수 있는 리소스가 더 많아집니다. 이로 인해 애니메이션 생성 속도가 빨라지고, 애니메이션 생성과 렌더링 간의 처리 균형이 더욱 향상됩니다.
라이브 링크 허브에서 게임 스레드 속도를 위에서 설명한 동일한 cvar 변수 t.maxfps를 사용하여 60fps로 제한하는 것도 도움이 될 수 있습니다. 이렇게 하면 리얼타임 처리에 더 많은 리소스를 확보하는 데 도움이 됩니다.