MetaHuman身份资产用于表示演员(无论是真实演员或人工创造的演员)。 它集成了插件中更全面的工具集,可用于适配头部模板(同时影响网格体和绑定),并通过以下任意方式生成MetaHuman DNA和面部绑定:
利用静态网格体或骨骼网格体
利用素材
利用精确的模板网格体
直接导入MetaHuman DNA
你可以使用MetaHuman身份通过MetaHuman表演资产将表演解算为动画序列。 另外,MetaHuman身份资产可与MetaHuman角色资产搭配使用,以利用该身份适配头部。
使用MetaHuman身份解算表演时,没有强制规定的要求,但从实际角度来讲,你应专门为提供表演的演员生成MetaHuman身份,并在用于录制表演的相同类别的设备上执行此操作。
当你创建MetaHuman身份资产时,其匹配的骨骼网格体将在一旁同步创建。 建议避免直接与该资产交互。 如果你想访问此骨骼网格体(例如使用"网格体转MetaHuman"快速生成只有头部的绑定),建议你先复制它。
根据MetaHuman身份是基于网格体还是素材的资产,其资产GUI、功能及配置要求方面会存在一些差异。 以下小节涵盖了两种用例。
捕获数据(网格体)
身份资产GUI包含如下组件:
工作流程导向工具栏(1)
除Components from Template命令位于"资产(Asset)"菜单下外,所有工具和命令均可从MetaHuman身份(MetaHuman Identity)菜单中获取。
此资产的命令通常需要按特定顺序运行,以便使身份资产与数据适配。 大多数工作流程步骤需在上一步完成之后才能执行。
为便于使用和提高效率,工具栏只包含最常用的命令子集。 其状态(是否可点击)和提示文本可引导你完成从空白资产一直到准备好解算表演捕捉的整个过程。
组件树(2)
组件树类似于其在蓝图中别处的情况。 若要在MetaHuman身份资产上启用功能,需要添加一些组件,因为这些组件拥有特定功能所需的数据和特性。
由于大多数情况下需要相同的 6 个或 7 个组件,建议使用Components From…命令(网格体或素材)创建组件树。 这将为每种选定情况正确填充和配置树,具体取决于源数据。 唯一可选的组件是牙齿姿势,用于在从后端获取绑定之后、使用MetaHuman表演将素材解算为动画之前对绑定进行优化。
组件树还为 GUI 的其他部分提供上下文。 最重要的是,提升时间轴和标识大纲视图将使用所选姿势的特定内容进行填充,如果选择姿势以外的内容则显示为空。
视图缓冲区设置(3)
MetaHuman身份资产拥有独特的视口,具备不同视口模式以检查和验证各种捕捉流程的结果。 由于存在多种视图模式,该视口包含A和B两个缓冲区。 你可以使用视口两个边角处的菜单分别配置这两个缓冲区。
追踪曲线和顶点等部分选项仅在"切换(Toggle)"视图模式下可用。 如果这些缓冲区设置中出现灰色内容,请尝试将视口切换为切换(Toggle),并检查在组件树中选择了什么姿势。
视口和摄像机设置(4)
视口有三种模式:
带有A/B缓冲区切换的单窗格
带有A/B缓冲区擦除的单窗格
双窗格模式
A/B切换仅适用于第一种模式,而摄像机设置在所有视图和窗格之间共享。 视口会同时响应组件树选择上下文和提升时间轴选择上下文。
我们建议在单窗格切换模式下完成大部分工作,仅在审核时切换至其他模式。
提升时间轴(5)
提升时间轴仅在选择了姿势时可用。 它会显示所有已提升用于身份解算的帧,并具有一些上下文功能。
三个按钮始终可用:
将帧提升
将已提升的帧降级
摄像机自由漫游模式
提帧将采用当前视图并将其转换为已提升的帧。 该操作可在自由漫游模式下执行,也可在已选择现有帧时复制此帧。 已提升的帧会作为附加按钮显示在提升时间轴上。
如果已提升的帧被选中且未锁定,该帧上的所有摄像机操作都将更改该帧。
降帧会将该帧从提升时间轴中移除。
虽然降帧操作可以撤销和重做,但如果撤销缓冲区被清除,再次提升同一帧将不会恢复你可能已对该帧做出的追踪修改。 降帧需谨慎。
自由漫游按钮用于提供一个"自由"帧,你可以随时切换至该帧以探索空间并提帧,而不会丢失在其他帧的工作。
双击已提升的帧可快捷重命名。
右键点击所选的已提升帧将显示更多选项:
| 选项 | 说明 |
|---|---|
锁定摄像机 | 防止该帧的摄像机发生任何意外或自动更改。 |
自动追踪开启/关闭(Autotracking on/off) | 当摄像机未锁定且自动追踪开启时,释放摄像机导航功能按钮后将自动追踪标识。 当自动追踪关闭时,必须通过调用追踪帧命令来手动追踪该帧。 |
重命名<帧名称>(Rename <name of frame>) | 重命名该帧。 |
设置/移除正面视图(Set/Remove Front View) | MetaHuman身份要求只有一个帧被标记为正面帧。 右键点击即可直接访问此功能。 将新帧设置为正面帧会取消标记之前标记的帧(如有)。 你可以取消所有帧的标记而不将任何帧重新设置为正面帧,在此情况下,除非重新标记正面帧,否则该MetaHuman身份的拟合和解算将无效。 |
降级<帧名称>(Demote <name of frame>) | 与提升时间轴中的"降帧(Demote Frame)"按钮功能相同。 |
追踪标识(活动帧)(Track Markers (Active Frame)) | 与工具栏中的"追踪活动帧(Track Active Frame)"命令功能相同。 |
未选择的已提升帧仅具备上述功能的简化子集。
标识大纲视图(6)
标识大纲视图与当前所选的已提升帧相关。 更改所选的已提升帧会改变大纲视图的内容。 每个已提升帧的标识布局会单独保存。
标识是带有控制顶点的曲线,用于显示几乎所有工作流程中使用的面部特征追踪情况。 可能的标识列表是静态的,按具名组进行分组。 只有其中一部分标识(仅限于正面视图)可自动追踪。 大多数时候,只需要这些就够了。
如果你想进一步定义输入数据和生成的MetaHuman身份如何相关,可以启用更多标识,并将其手动设置到位,使其对应于网格体上的相同特征。
你可以使用每个标识(和组)旁边的按钮,切换其可视性以及它们是否参与解算。
一般而言,我们强烈建议以迭代方式执行操作,并最低限度地添加:
一开始仅对正面帧自动追踪标识,仅当额外特征(例如 耳朵的一部分)不匹配时,再激活并追踪这些特征的标识。
避免跨帧重叠标识活动。 例如,如果你添加了耳朵标识的侧面帧,请确保不将正面帧中处于活动状态的标识添加到这些侧面帧,并且不将耳朵标识添加到正面帧。
自动追踪标识应该仅在正面帧中处于活动状态。
不要同时批量激活标识;即使情况有改进,你也无法知道是哪个标识优化了结果,而且有可能一个强标识带来的改进大于多个标识带来的改进,因为其中一些标识会削弱这一个良好标识的优势。
除非整个特征都完全可见,否则不要激活帧上的标识。 例如,不要将耳朵标识添加到正面帧。
捕获数据(镜头)
素材和网格体捕捉数据的绝大部分功能是类似的。 无论捕捉数据类型是什么,工作流程导向工具栏、视图模式、组件树和标识大纲视图全都相同。
对于素材,额外添加了一个重要的嵌入式Sequencer视图,用于浏览素材并选择(以及直观地查看)将被提升的帧。
下面的小节介绍了MetaHuman身份资产的各个部分,此处特指利用素材创建的资产。
视图缓冲区设置(3)
视图缓冲区设置(View Buffer Settings)存在一些差异,这与源数据的差异相关。
以下额外选项可供你选择:
| 选项 | 说明 |
|---|---|
解除失真(Undistort) | 在摄取的素材与移除了镜头失真效果的已处理素材之间切换。 |
深度网格体(Depth Mesh) | 切换从捕获数据中链接的素材深度组件的网格体划分。 |
这两个选项都是诊断选项,对工具没有影响,也不能直接操纵。
视口和摄像机设置(4)
在摄像机设置(Camera Settings)中,深度数据近(Depth Data Near)和深度数据远距(Depth Data Far)参数将被解锁。 这些是诊断选项,对结果没有影响,但可以极大地减少深度数据的噪点,并使其视觉效果更清晰。
提升时间轴(5)
提升时间轴(Promotions Timeline)的功能与网格体捕捉数据的对应功能几乎相同。 唯一的区别是,对于素材,当你提帧时,系统总是会自动锁定并追踪帧。
由于标识的操作方式略有不同,我们的建议也会改变。 对于中性姿势,我们建议如下:
对于立体摄像机,我们建议你只提升一个正面帧。
对于消费类移动设备(如iPhone、iPad),我们建议使用三个帧:一个正面帧,以及两个轻微侧帧。
在这两种情况下,建议不要使用超过三个帧。
使用多个帧时,所有帧应包含相同的标识以便关联。
这与我们对网格体的建议相反。
尽量少添加标识,优先考虑在所有帧中都保持可见的标识。 按照经验,添加眼部皱褶标识会比较可取,因为MetaHuman身份原本很难拟合某些眼部形态。
素材Sequencer(7)
此视图是常规Sequencer的变体,专门用于查找适合提升的帧。 它包含一些自动管理的通道,可帮助识别素材中的哪些帧已被提升。
MetaHuman身份适配
MetaHuman身份资产在被创建后总是包含默认状态下头部网格体的模板,以及对相配的绑定的引用。
以下工作流程并不会在此基础上补充,最多会将其配置为看起来更像某个人(真实存在或想象的)。 我们一般将此过程称为适配,它包含以下步骤:
模板网格体点位置将拟合源数据的体积。
在我们的数据库中找到该体积的近似表示。
绑定会被配置为使用该近似表示获得良好表现。
实际体积与近似表示之间的最终形状偏移会作为增量保留。
你还可以选择向本地绑定添加对牙齿配准的调整。
其中一些步骤在你的工作站上本地发生,一些需要访问我们的在线后端,因为我们的数据库实在太大,用其他方式获取不了这些结果。
注意,网格体转MetaHuman指的是将MetaHuman身份资产中始终引用的模板网格体提交至我们的后端,而非提交至捕捉数据中引用的网格体。 不管使用了什么数据来适配,无论是静态网格体、骨骼网格体、素材还是MetaHumanDNA,"网格体转MetaHuman"的工作流程都是一样的。
后端绑定的网格体是步骤2中的近似表示。 它与输入数据之间的体积差异之后会添加为上方的置换形状。
如果来自数据库检索的近似表示与体积之间的差异很大,会影响绑定和动画。 差异越大,尤其是在眼部和口部等敏感或高度摆动的区域,动画就越容易产生网格体瑕疵。 此外,由于这种机制以及拓扑结构始终采用MetaHuman标准拓扑,结果未必能完全匹配体积的每个细微细节。
对资产花费额外的时间并掌握正确的技术知识,就可以解决这两个问题,或者在极端情况下至少可以缓解问题。 网格体和骨架的休息姿势可通过DNA校准修改,而使用新增的模板输入选项,就可以通过系统"强制"精确拟合MetaHuman拓扑。
MetaHuman DNA导入
MetaHuman DNA文件存储了面部几何体和绑定的说明。 可直接使用此类文件适配身份资产,而不必追踪和适配几何体或素材。
MetaHuman DNA文件可以来自自定义工作,即通过我们的DNA校准库保存到资产的工作,或直接与你下载的MetaHuman捆绑在一起。