메타휴먼 애니메이터의 오디오 기반 애니메이션 기능은 오디오를 사실적인 페이셜 애니메이션으로 처리할 수 있는 기능을 제공합니다. 이 작업은 리얼타임 또는 오프라인으로 수행할 수 있습니다. 이 페이지에서는 오프라인 방식으로 오디오를 처리하는 방법을 살펴봅니다. 이 방식에서는 헤드 움직임, 눈 깜빡임, 무드 등에 영향을 미칠 수 있는 추가적인 솔브 파라미터를 조정할 수 있습니다.
페이셜 퍼포먼스를 캡처하는 방법을 자세히 알아보려면 오디오 캡처 권장 사항을 포함하여 메타휴먼 페이셜 퍼포먼스 캡처 가이드라인을 참고하세요. 메타휴먼 애니메이터는 언리얼 엔진에서 사운드 웨이브 에셋으로 지원하는 모든 오디오 포맷을 사용할 수 있습니다. 자세한 내용은 Importing Audio Files 문서를 참고하세요.
모노 비디오에서 오프라인 애니메이션을 생성하도록 프로젝트를 환경설정하려면 메타휴먼 애니메이터 플러그인이 활성화되어 있어야 합니다.
메타휴먼 퍼포먼스 에셋은 리얼타임 오디오 솔버를 사용하여 오디오에서 애니메이션을 생성하도록 환경설정할 수 있지만, 이 역시 오프라인 방식으로 처리되며 메타휴먼 오디오 라이브 링크 소스를 통해 실시간으로 애니메이션을 생성하는 것과는 다릅니다. 라이브 링크를 사용하여 실시간으로 애니메이션을 생성하는 방법에 대한 자세한 내용은 Realtime Animation 섹션을 참고하세요.
이 기능은 퍼포먼스에서 레벨 시퀀스를 익스포트하는 것(현재 지원되지 않음)만 제외하고 UEFN에서도 사용할 수 있습니다.
전제 조건
오디오에서 애니메이션을 생성하는 오프라인 워크플로는 다음을 필요로 합니다.
언리얼 엔진 5.6(또는 그 이상) 프로젝트
활성화된 메타휴먼 애니메이터 플러그인
하나 이상의 사운드 웨이브 에셋을 사용할 수 있으며, 이 에셋은 기존 오디오 파일에서 가져오거나 테이크 레코더 및 연결된 오디오 디바이스를 사용하여 새로 생성할 수 있습니다.
퍼포먼스 에셋 에디터에서 처리하기
콘텐츠 브라우저(Content Browser)에서 우클릭한 다음 메타휴먼 애니메이터(MetaHuman Animator) > 메타휴먼 퍼포먼스(MetaHuman Performance)를 선택하여 새로운 메타휴먼 퍼포먼스 에셋을 만듭니다.
디테일(Details) 패널을 환경설정하려면 메타휴먼 퍼포먼스 파일을 더블클릭합니다.
오디오(Audio)를 입력 타입(Input Type)으로 선택합니다(1).
오디오 샘플에서 애니메이션을 생성하는 데 사용할 사운드 웨이브 에셋을 선택합니다(2).
시각화 메시(Visualization Mesh)에서 메타휴먼 페이스 메시를 선택합니다(3).
클릭하면 확대됩니다. 처리(Process)를 클릭하여 페이셜 애니메이션을 생성합니다.
그러면 오디오가 처리되고 시퀀서에 페이셜 릭 애니메이션 트랙이 생성됩니다.
프로세스가 완료되면 애니메이션 익스포트(Export Animation) 또는 레벨 시퀀스 익스포트(Export Level Sequence)를 클릭하여 페이셜 애니메이션을 익스포트할 수 있습니다. 레벨 시퀀스를 선택하는 경우 메타휴먼 캐릭터 블루프린트를 할당해야 합니다.
| 옵션 | 설명 |
|---|---|
다운믹스 채널(Downmix Channels) | 활성화된 경우 처리 시 멀티 채널 오디오(대부분 스테레오)를 모노 채널로 다운믹싱합니다. 비활성화된 경우 처리에 사용된 채널이 '오디오 채널 인덱스'로 지정됩니다. |
깜빡임 생성(Generate Blinks) | 이 옵션은 오디오 솔브와 함께 깜박임 생성을 활성화하거나 비활성화합니다. |
추가 솔브 파라미터
UE 5.6부터 이제 오디오 솔브를 미세조정하는 옵션이 훨씬 더 많이 제공됩니다. 오디오 솔브의 일부로 변경할 수 있는 사항은 구체적으로 다음과 같습니다.
| 파라미터 | 설명 | |
|---|---|---|
1 | 헤드 무브먼트(Head Movement) | 뎁스 모드 또는 리얼타임(비디오) 모드와 마찬가지로, 오디오 기반 애니메이션을 통해 메타휴먼에 바로 헤드 무브먼트를 생성할 수 있습니다. |
2 | 처리할 프레임(Frames to Process) | 애니메이션으로 처리할 오디오의 시작과 끝 프레임을 선택합니다. |
3 | 리얼타임 오디오(Realtime Audio) | 리얼타임 오디오 솔버를 사용합니다. 리얼타임 알고리즘을 사용하여 헤드 모션을 제작하지 않는 애니메이션을 생성합니다. 따라서 리얼타임 오디오를 활성화하면 이 섹션에서 설명하는 다른 옵션들이 비활성화되거나 숨겨집니다. |
4 | 깜빡임 생성(Generate Blinks) | 오디오-애니메이션 솔브의 일부로 깜빡임을 생성할지 여부를 선택합니다. |
5 | 마스크 처리(Process Mask) | 메타휴먼의 전체 페이스 애니메이션을 생성할지 또는 입 영역에 관련된 커브만 생성할지 선택합니다. 이 커브는 립싱크용 대체 입술 애니메이션을 교체하거나 레이어링하는 데 사용할 수 있습니다. |
6 | 솔브 오버라이드(Solve Overrides) | 무드를 오버라이드할지 선택할 수 있습니다. 자동 탐지를 선택하거나 대체 무드 목록에서 선택하고 무드의 강도를 지정합니다. 중립에는 강도가 없습니다.
|
애니메이션이 생성되면 이를 애니메이션 시퀀스 또는 레벨 시퀀스 에셋으로 익스포트할 수 있습니다.