MetaHuman Animator中的音频驱动动画(Audio Driven Animation)功能可以让你将音频处理成逼真的面部动画。 此操作可以实时或离线完成。 本文介绍了如何离线处理音频,其中额外的解算参数可以让你影响头晕运动、眨眼和情绪。
你可以阅读《MetaHuman面部表演捕捉指南》(包括《音频捕捉建议》)以详细了解如何捕捉面部表演。 MetaHuman Animator可以使用虚幻引擎支持的任何音频格式作为SoundWave资产。 详情请参阅导入音频文件一文。
要从单目视频为离线动画配置项目,请确保已启用MetaHuman Animator插件。
虽然MetaHuman表演资产可通过实时音频解算器(Realtime Audio Solver)配置为利用音频生成动画,但这仍属于离线处理流程,与通过MetaHuman Audio Live Link源实时生成动画不同。有关使用Live Link实时生成动画的信息,请参阅实时动画一节。
该功能在UEFN中同样可用,但后者目前不支持从表演中导出关卡序列。
先决条件
使用音频生成动画的离线工作流程要求如下:
虚幻引擎5.6(或更高版本)的项目。
启用MetaHuman Animator插件。
一份或多份SoundWave资产,具体可以来自现有音频文件,或使用镜头试拍录制器(Take Recorder)和连接的音频设备来创建。
在表演资产编辑器中处理
右键点击内容浏览器,新建一个MetaHuman表演资产,然后选择MetaHuman Animator > MetaHuman表演(MetaHuman Performance)。
双击MetaHuman表演文件,以配置细节面板。
选择音频(Audio)作为输入类型(Input Type)(1)。
转到音频(Audio)样本,选择用于生成动画的SoundWave资产(2)。
转到可视化网格体(Visualization Mesh),选择你的MetaHuman面部网格体(MetaHuman face mesh)(3)。
点击"处理(Process)"以生成面部动画。
这将处理音频并在Sequencer中创建面部绑定(Facial Rig)动画轨道。
处理完成后,你可以点击导出动画(Export Animation)或导出关卡序列(Export Level Sequence)来导出面部动画。 如果你选择的是关卡序列,别忘了指定你的MetaHuman角色蓝图。
| 选项 | 说明 |
|---|---|
下混声道(Downmix Channels) | 如果启用此项,则在处理时将多声道音频(最常见的是立体声)混音为单声道。 如果禁用此项,则由"音频声道索引(Audio Channel Index)"指定用于处理的声道。 |
生成眨眼(Generate Blinks) | 此选项可以启用或禁止使用音频解算生成眨眼。 |
其他解算参数(Additional Launch Parameters)
从虚幻引擎5.6开始,我们现在提供更多调整音频解算的选项。 下文详细列出了你可以对音频解算进行的更改:
| 参数 | 说明 | |
|---|---|---|
1 | 头部运动(Head Movement) | 与深度模式或实时(视频)模式类似,音频驱动动画现在可以直接在MetaHuman身上生成头部运动。 |
2 | 待处理帧(Frames to Process) | 选择要处理成动画的音频的开始帧和结束帧。 |
3 | 实时音频(Realtime Audio) | 使用实时音频解算器。 这将使用实时算法生成动画,但不会产生头部运动。 因此,启用实时音频将禁用或隐藏本小节介绍的其他选项。 |
4 | 生成眨眼(Generate Blinks) | 选择是否将生成眨眼作为音频到动画解算的一部分。 |
5 | 处理遮罩(Process Mask) | 选择为MetaHuman生成完整面部动画,或仅生成与嘴部区域相关的曲线,用于交换/叠加替代性的唇部动画,以实现唇部同步。 |
6 | 解算重载(Solve Overrides) | 可以选择重载情绪。 选择自动检测(Auto Detect)或其他情绪的列表,并指定情绪的强度。 中性(Neutral)不存在强度。
|
动画生成后就可以被导出为 动画序列 或 关卡序列 资产。