在移动设备上使用LiveLink来捕捉面部动画并将其实时应用到虚幻引擎中的MetaHuman上。除了捕捉面部动作,LiveLink还会将头部的旋转发送到虚幻引擎,从而达到更自然的活动范围。
需要的设置
你只能在支持ARKit的iOS移动设备(iPhone或者iPad)上使用LiveLink Face app。你的设备必须装有TrueDepth相机,以下型号符合该要求:
- iPhone: iPhone X或者更新型号。
- iPad: iPad Pro (第三代) 或者更新型号。
在你执行该指南中的步骤之前,你需要完成以下设置:
- 在你的移动设备上,从Apple App Store下载并安装Live Link Face for Unreal Engine app。
- 创建一个新的虚幻引擎项目。你可以使用任意模板,但是为了达到最好的效果,建议在项目中新建一个空白的关卡。
- 在MetaHuman Creator中创建一个MetaHuman。
- 下载你的MetaHuman并将其导出到虚幻引擎。如果你不清楚如何完成该步骤,请参考下载和导出MetaHuman部分。
- 在虚幻编辑器的主菜单,找到 编辑(Edit) > 插件(Plugins) 并确保为项目启用了以下插件:
- Live Link
- Live Link Control Rig
- Apple ARKit
- Apple ARKit Face Support
向项目中导入至少一个MetaHuman后,这些插件应该默认自动启用。
- (可选) 将你的MetaHuman添加入关卡中。这会使启用和预览LiveLink变得更加容易。
将LiveLink连接到虚幻引擎
执行以下步骤:
1. 找到你的电脑的IP地址
你需要该信息来配置你的iOS设备和计算机上运行的虚幻引擎实例之间的连接。
在Windows中,执行以下步骤:
- 右键点击 任务栏中的 连接图标。然后,在弹出的菜单中,选择 打开网络和互联网设置。
-
向下滚动到 属性(Properties) 部分(或者点击 属性(Properties) 按钮,取决于操作系统版本)。然后记下或者复制 IPv4地址 数值。
在macOS中,执行以下步骤:
- 打开 网络偏好。
- 双击 网络 图标。
- 选择你当前连接的 网络。
- 点击 高级 按钮。
-
在打开的窗口中,点击 TC/ICP 选项卡,然后记下或者复制 IPv4地址 数值。
2. 配置LiveLink App
在你的iPhone或者iPad上配置Live Link来开始和虚幻编辑器一起使用。
虽然Live Link只能在iOS设备上运行,但是可以使用Windows或者macOS设备编辑你的虚幻项目。
- 在你的iOS设备上,打开 Live Link Face app。
- 点击左上角的 设置 (齿轮图标)。
-
选择 LiveLink,然后 添加目标(Add Target)。
- 在 添加目标(Add Target) 界面,输入你之前记下的IPv4地址。
- 点击右上角的 添加(Add)。
- (可选)在 主体名称(Subject Name) 字段中,为你的LiveLink连接起一个易于辨识的名字。
要确保LiveLink正确连接,在虚幻引擎的主菜单中,找到 窗口(Window) > 虚拟制片(Virtual Production) > LiveLink。这样会打开 LiveLink 配置设置窗口。你应该可以看到你的iPhone或者iPad作为一个 源(Source) 列在其中。

在该示例中,手机 "iPhoneChris" 被识别为一个LiveLink源。
配置MetaHuman蓝图
接下来,你需要配置MetaHuman的蓝图来从LiveLink接收数据。有两种方式:
- 从关卡视口中操作
- 从MetaHuman的蓝图中操作
从关卡视口操作
如果你将你的MetaHuman添加入了关卡视口,可以执行以下操作:
-
在 关卡视口(Level Viewport) 中,点击你的MetaHuman将其选中。
-
选中MetaHuman蓝图后,在 细节(Details) 面板中,对 Live Link 部分中的这些设置进行配置:
- ARKit面部主体(ARKit Face Subj): 从下拉菜单中选择你的设备。
- 使用ARKit面部(Use ARKit Face): 启用该项。
如果你同时使用了更高级的MoCap技术来捕获身体动作,那么你需要对 Live Link身体Subj(Live Link Body Subj) 和 使用Live Link身体(Use Live Link Body) 设置进行同样的操作。
从MetaHuman蓝图操作
-
在 内容浏览器(Content Browser) 中,找到并打开
BP_(MetaHuman名称)
蓝图。在这个教程中,我们使用的是 Taro 预设,其蓝图名称为BP_Taro
。 -
在 组件(Components) 面板中,选择根组件。其名称为
BP_(MetaHuman名称)(Self)
。 -
在
BP(MetaHuman名称)(Self)
组件的 细节(Details) 面板中,配置以下属性:- ARKit面部主体(ARKit Face Subj): 从下来菜单中选择你的iOS设备。
- 使用ARKit面部(Use ARKit Face): 启用该项。
-
编译(Compile) 并 保存(Save) 蓝图。
测试LiveLink连接
现在你可以测试你的LiveLink设置来检查你的MetaHuman是否对输入的数据正确反应。执行以下步骤:
-
如果你还没有这样做,请将MetaHuman的蓝图拖入关卡。
-
在视口中调整位置直到能够清晰地看到MetaHuman的面部。
如果你不清楚如何在视口中调整位置,请参考虚幻引擎文档的视口控制页面。
-
在你的iOS设备上,打开LiveLink Face app并将前置摄像头对准你的面部。你应该能够看到追踪网格覆盖在你的脸上,并且会根据你的表情和头部移动做出反应。
该屏幕截图展示运作中的追踪网格。你可以在LiveLink app的设置中将其禁用。
为了达到最佳效果,确保你的面部不受任何头发或眼镜之类的配件所阻挡,并且面部有充分的光照。
你应该能够在视口中看到MetaHuman开始对你的面部表情和头部动作做出反应。
下面的视频展示了视口中的MetaHuman,其头部动作和表情都由一个真人通过Live Link实时控制。
接下来的步骤
建立好LiveLink连接后,你可以开始用 Sequencer 和 镜头试拍录制器(Take Recorder) 为你的MetaHuman录制面部动画。要了解如果进行这一步,请参考虚幻引擎文档的以下页面: