Unreal Canvas 是一个共享工作区,你可以与代理合作,使用虚幻引擎(UE)和其他互联工具创建和完善内容。 你可以在虚幻引擎中工作,也可以在支持的独立客户端中工作,从提示、参考媒体或虚幻场景中的场景开始。
画布将参考、生成的结果、注释和可重复使用的流程集中到一个地方。 你可以在Unreal Canvas中同步工作,在已经启动的项目中生成和完善场景中的图像、视频和3D模型。
你和 AI 模型都可以读取画布上的每个元素。 你的代理使用支持的可用内容和工具。 整理参考和注释以提供背景信息,然后描述任务。 代理可用的模型、工具和权限决定了它能做什么;仅排列内容并不能保证工作会自动运行。 每个步骤都是可见且可追溯的,由你决定批准的内容。
对于基于场景的作品,UE 可以将视口捕获、渲染通道、所选资产和空间注释发送到 Unreal Canvas。 支持的结果可以导入到内容浏览器中,也可以通过编辑器工具放置在关卡中。
在典型的本地设置中,Unreal Canvas服务器在你的计算机上运行,并提供编辑器选项卡中显示的基于网络的客户端。 还可以通过支持的应用程序配置来使用该客户端。
Unreal Canvas与实验画布资产或UMG中的画布面板控件无关。
虚幻引擎中的Unreal Canvas
安装说明与 UE 编译包或插件包一起提供。 该集成包括以下插件:
| 插件 | 功能说明 |
|---|---|
Unreal Canvas Bridge | 这是枢纽。 它安装并启动服务器,显示 “Unreal Canvas” 选项卡,提供画布的编辑器工具,并添加剪贴Actor。 开启这座桥还会开启Unreal Canvas空间注释及其必需的插件:
确切的依赖关系因平台和版本而异。 |
Unreal Canvas空间标注 | 该插件添加了3D注释面板,用于使用提示标记区域和Actor。 也可以在没有Unreal Canvas Bridge的情况下工作。 |
要访问Unreal Canvas,请打开 工具 > Unreal Canvas的主选项卡,或者在关卡编辑器工具栏上选择 “Unreal Canvas”。
包含Unreal Canvas (Native)的版本会显示单独的原生编辑器界面。 本概述描述了基于网络的Unreal Canvas选项卡。 并非所有控制或工作流在原生界面上都是相同的。
安装内容
Bridge管理Unreal Canvas服务器,并可以使用配置的构建位置或下载源。 在 Windows 上,该插件声明了编辑器可能需要安装的 Python 包,需要网络访问权限。
下载其他Unreal Canvas组件对话框列出了可选下载、其大小和安装位置。 下载前请查看列表。 依赖于缺失组件或本地模型的功能在满足其要求之前将不可用。
要了解如何连接模型提供程序,请参阅Unreal Canvas入门。
Unreal Canvas和编辑器如何交换数据
编辑器可以提供:
视口渲染及其支持的图像通道。
关卡序列可渲染为支持的视频格式或图像帧输出。
实时视口流,包括支持的颜色、深度、法线和对象遮罩数据。
选定的内容浏览器资产。
空间标注提示、组和屏幕位置数据,以及适用的覆盖层和遮罩。
Unreal Canvas可以使用编辑器工具来:
创建面向视口的剪影Actor。
将支持的网格、图像和高斯泼溅文件导入内容浏览器。
在关卡中放置支持的资产。
将支持的绑定文件导入为骨骼网格体。
使用保留的场景状态数据渲染对象重置序列。
除非所选工具明确将它们组合在一起,否则导入资产并将其放置在关卡中是单独的操作。 生成式输出会被分配给一个卡片,该卡片可能保留模型的设置、图表或脚本;并非每个生成的卡片都包含图表。
项目中的变化
| Change | 细节 |
|---|---|
服务器启动 | 在编辑器启动期间,Bridge会尝试在打开选项卡之前启动服务器。 可用性取决于配置的编译和安装。 基于下载的构建源也可以检查兼容版本。 |
Unreal MCP | 桥接确保编辑器MCP服务器可用并注册其编辑器工具。 |
渲染 | 快速渲染默认使用编辑器中游戏 (PIE),因此物理和蓝图逻辑等关卡行为可以运行。 在支持的情况下,编辑器世界模式无需启动 PID 即可渲染加载的编辑器世界。 |
控制台操作 | 可用的编辑器工具可以执行控制台命令或更改控制台变量。 |
下载和遥测 | 配置的构建源可以使用网络。 可选组件具有下载同意对话框。 通过编辑器分析转发的使用情况遥测遵循该分析系统的可用性和同意设置。 |
导入和生成的资产 | 当前的导入默认值为 /Game/Merlin,为了兼容起见,原生生成的资产会保留该根目录。 示例包括 “剪切/生成” 和 “泼溅/ 生成”。 产品名称为Unreal Canvas;这些字面存储路径并未全部重命名。 |
渲染文件 | 序列渲染输出存储在Saved/UnrealCanvasSequenceRender下。 保留的场景状态文件可存储在Saved/UnrealCanvasSceneState下。 渲染可能会消耗大量磁盘空间。 |
剪切 | 抠图Actor与关卡一起保存,并由仅限编辑器的插件模块提供。 在为打包构建烘焙关卡之前,请检查或移除仅限编辑器的Actor。 |
Actor标注 | 对Actor进行标注可以启用自定义深度并分配模板值。 删除注释会关闭自定义深度并将该值重置为零;它不会恢复之前的自定义模板设置。 |
设置 | 项目配置和每用户设置具有不同的范围。 团队默认设置通过相关配置文件共享;更改本地用户设置不会自动更新每个团队成员。 |
项目之外的文件 | 下载的版本和可选组件使用已配置的安装位置。 构建搜索路径和AI模型路径可以指向其他本地或共享存储。 |
Unreal Canvas的工作原理
Unreal Canvas有三种互补的工作方式:
| 工作界面 | 说明 |
|---|---|
工具架 | 选择一个生成工具,提示你的 AI 代理并提供所需的输入。 生成的结果以卡片或卡组的形式出现。 |
图表 | 通过在图表中连接类型化节点来定义重复过程。 检查其输入、中间操作和输出。 |
代理 | 描述结果,并要求代理使用可用工具准备或开展工作。 提供参考资料并查看所有必需的批准。 |
工具箱包含可重复使用的脚本、图表和其他支持的工具。 代理面板提供了一种与代理合作并重新开始对话的方法。 选择卡片上或画布上下文控制中的咨询代理,以在请求中包含画布内容。
保持拥有活动工作的Unreal Canvas客户端处于打开状态。 关闭该客户端可能会中断其画布工具和脚本。 多个客户端可以共享一个服务器,但运行中的脚本可以保持与启动它的客户端绑定。 编辑器操作还需要预期的虚幻编辑器连接。
使用工具架
对于基于场景的图像生成工作流:
选择图像和支持参考图像的模型。
通过输入或模型的输入框添加要使用的渲染通道。 当模型接受输入时,使用初始设置更改输出的外观:美化、深度和法线。
写一个描述所需更改的提示。 例如,光照处理、材质、氛围或主题。 包括你希望模型保留的任何细节。
选择适合镜头的纵横比或输出尺寸(如果模型公开该设置)。
打开“生成”旁边的输出选项,然后选择结果应该去哪里。
设置支持的结果数量,然后选择生成或在工具架中工作时按 Ctrl + Enter。
选择操作以跟踪运行的图表或脚本,并查看每个已完成的结果。
引用材质并非每项任务都必需。 有些模型仅通过文本生成,其他模型则需要图像、视频、网格体或其他输入。 选择的模型决定了应用哪些输入和设置。
输出选项
| 选项 | 说明 |
|---|---|
创建新卡片 | 在画布上创建新输出,同时保留当前的输入和设置。 |
创建新卡组 | 当输出数量需要将多个结果分组为一个卡组时出现。 |
加入卡组 | 将结果添加到可用的目标卡组。 |
批量添加至卡组 | 将每个批次结果传送到其输入卡牌的卡组。 从文件获取的批量输入可创建新卡牌。 |
代理选择 | 如果可用,则为代理提供一种根据请求选择新卡牌或目标卡组的方法。 |
批处理模式
开启批处理模式可在多个输入上运行一个设置。 将输入添加到批处理字段并检查计划的运行次数。
选择添加到卡组 > 从批处理,以获得与每个输入卡卡组相关的结果。 相反,文件输入会生成新卡片。 你也可以选择适合任务的可用输出目的地。
批量运行可以进行多次提供程序调用。 在开始大批量操作之前,请检查模型、输出数量和服务定价。
在图表中工作
图表包含定义过程的节点和连接。 图表可以包含嵌套图形和其他支持的脚本节点。 在画布上,图形由一张卡片表示。 管道布线属于图表内。
创建图表,从工具箱中选择一个可重复使用的图表,或通过选择打开图表打开一个由图表支持的卡片。
跟踪输入节点、处理步骤和输出之间的连接。 检查图钉类型,例如图像、视频、网格、文本或数字。
通过其公开的控件提供图表的输入。 在图表内连接键入的引脚以定义数据在流程中的移动方式。
选择 “运行” 或 “重新运行” 以执行预期的图形或输出路径。 选择 “编辑” 可更改输入或设置;仅打开设置并不能生成。
选择操作以检查结果。 运行可以针对图形的特定部分,因此完成并不意味着生成了所有可能的输出。
使用该卡提供的控件进行迭代。 如果图表已锁定,请将其解锁或根据需要编辑副本。 比较变更时保留之前的观点。
当图表准备好在其他工作中使用时,将可重复使用的副本保存到工具箱。
画布卡是在没有管道布线的情况下创建的。 通过工具架或卡片输入提供媒体,而不是尝试在外部画布上的卡片之间连接新电线。
执行可以重复使用符合条件的缓存结果。 显式运行或重新运行仍然可以强制图形的一部分再次生成,即使其设置保持不变。
画布
画布是布置作品的地方。 一个项目有一个根画布,可以包含多个子画布。 每个打开的根画布都有自己的选项卡。 画布包含卡片、组织区域和注释,例如图纸和笔记。
帧
框架将画布某个区域中的相关卡片分组。 框架概述了其内容,包括评审状态、作者、团队和最近的更改。 这可以帮助你跟踪一组概念或交付成果,而无需单独检查每张卡片。
子画布
子画布是嵌套在另一个画布中的工作区。 其卡片可预览内容;打开子画布即可在其中工作。 当你需要更多组织时,子画布可以包含更多子画布。
子画布不是带有固定英雄结果的卡组。 当你想用一张选定的面牌代表一组备选牌时,请使用一副卡组。
画布工具
画布使用你添加到画布中的工具和实用工具卡,以及动作卡内的节点。 Canvas工具包括:
工具卡:具有内置选项的创作内容,例如文本框、评论框、图像网格和提示词调节。 这些不是生成工具。
实用卡:可重复使用的控件,例如用于整理画布或发送作品供审阅的按钮。
节点:它们存在于动作卡片中,而不是在画布本身上。
生成工具:“工具架” 和 “工具箱” 面板是单独的工作场所。
卡片
卡片是画布上的单个元素或工件,用于表示画布上的内容、输出、流程或组织容器。 每个卡片都有一个卡片类型(其行为方式)和一个内容类型(其包含的内容:图像、视频、网格体、音频、动画等)。 卡片没有版本。 版本是其自己的卡片,因此生成新结果会创建新卡片。
在画布表面上,生成的替代方案显示为单独的卡片,通常分组在一个卡组中。 图表内的节点可以保留自己的版本历史记录。
生成的卡片保留了产生它们的设置步骤或过程。 创建另一个镜头会保留先前的结果。 编辑创作内容、备注或工具设置遵循相关编辑器的行为。 并非每次编辑都会创建一张新卡片。
卡片类型
| 选项 | 说明 |
|---|---|
操作 | 由流程(例如模型、图表或 Python 脚本)生成的内容。 模型操作可以在不包含图形的情况下保留已保存的设置步骤。 可用的控制让你可以在支持的地方检查或重复使用该过程。 |
卡组 | 通过固定的面部卡片呈现的一组卡片。 固定其他成员以更改显示的结果。 卡组可以容纳备选组和嵌套小组;成员可以移出。 |
组件卡 | 包含一个交付物的各个部分,例如具有相关通道、遮罩或其他派生内容的输出。 它保留了与其原始内容相关的部件。 |
组件 | 从另一张卡片派生的单个部分。 其原始进程通过相应的根卡牌访问。 支持的提取操作可创建独立副本,而不是分离原始部件。 |
引用 | 导入的媒体或从另一张卡复制的内容。 派生引用通常会保留捕获的结果。 符合条件的引用可以选择在以后对其来源进行更改。 |
工具 | 创作内容或直接编辑工具,例如文本或时间轴卡片。 它自己的控件决定了内容的编辑方式。 |
引用和源链接
从卡片创建的引用保持创建时捕获的结果。 在支持的情况下,打开其源链接以关注后续的更改,例如新镜头或不同的固定卡组面。 关闭链接会保留当前显示的内容。
某些派生内容(包括裁剪和抓取的视频帧)无法通过将自身替换为源的完整输出来跟随源。 使用源导航控件找到该关系可用的原始位置。
导入的文件、虚幻资产引用和复制的画布输出可能具有不同的更新行为。 不要假设所有引用都会自动保持有效。
卡片工具栏
选择或将鼠标悬停在卡片上时,其下方会显示其工具栏,具体取决于当前视图和缩放。 该栏将操作和查看控件组合在一起,由分隔线隔开。 可用按钮取决于卡片的内容和功能。
| 选项 | 说明 |
|---|---|
下载 | 下载可用的输出。 |
编辑(Edit) | 打开卡片的编辑控件。 对于生成的媒体,它会恢复工具架中保存的提示、模型、输入和设置。 其他卡可以打开脚本输入或自己的设置。 打开 “编辑” 不会生成结果。 |
运行/重新运行/停止 | 运行该卡片,在支持的情况下创建另一个镜头,或停止活跃的运行。 选择要运行操作的控件。 提供程序的费用取决于所使用的服务。 |
打开图表/查看脚本/编辑脚本 | 打开卡片后面的可用图表或脚本。 模型的设置步骤不一定有可打开的图表。 |
源码管理 | 导航到参考来源或在支持的情况下控制其实时链接。 |
网格/轮播 | 更改一组卡片或支持的版本历史的显示方式。 |
打开查看器 | 打开更大的内容视图。 选择多张兼容卡来比较它们的输出。 |
捕获和裁剪控制适用于支持的媒体。 实时源卡提供相关的播放、捕获、暂停和停止控制。
固定和卡组展开控制仍留在卡片头部。 选择检查器以获取有关所选卡片、其来源和审核元数据的信息。
编辑设置并重新生成是生成的媒体编辑工具提示。 更改设置后,明确开始生成。
使用卡片
选择“打开查看器”以检查更大尺寸的媒体,或选择“打开图形”以检查可用图表。
双击子画布卡片可打开其内容。 双击已创作内容卡片可打开编辑器。
常见的图像到网格工作流程如下:
隔离要在图像中使用的对象。
选择一个兼容的网格生成模型并提供所需的图像或视图。
生成网格并在打开查看器中检查结果。
选择“导入到内容浏览器”,然后选择内容文件夹和资产名称。
使用相应的编辑器工具将导入的资产放入关卡中。
渲染或捕获更新后的场景以继续迭代。
查看器中支持内容的导入控件可用。 选择标准卡片工具栏上的下载会将输出保存为文件。
编辑器和生成工具
查看者和编辑器提供了一种直接检查或编辑支持的内容的方法,无需先构造图表。 可用控件取决于媒体类型和任何已安装的扩展程序。
工具架生成类别
| 选项 | 说明 |
|---|---|
图片 | 从文本生成图像,并在支持的情况下,从参考图像或其他控制生成图像。 |
视频 | 使用模型支持的输入(如文本、参考图像、开始/结束帧或视频)生成或转换视频。 |
网格体 | 根据支持的输入(通常是单个图像或多个视图)生成3D内容。 |
泼溅 | 通过兼容的服务生成高斯泼溅内容。 |
音频 | 通过兼容型号生成音频。 |
文本 | 通过兼容的模型生成文本。 |
并非每个类别或模型都适用于每种设置。 配置的提供程序、目录、项目限制和安装的服务决定了你可以选择的内容。
工具箱
工具箱可以找到可重复使用的进程。 内置集合包括:
| 选项 | 说明 |
|---|---|
视口渲染 | 使用支持的通道渲染视口,包括美感、深度、法线和边缘。 如果适用,可以使用与注释相关的输出。 |
视口快照 | 捕获当前视口的图像。 |
序列渲染 | 使用支持的渲染设置和输出格式渲染关卡序列。 |
修改视口(空间) | 使用空间注释来引导对渲染视图的更改。 |
图表和脚本执行进程。 代理技能和指令引导代理的方法,并不一定会自行创建结果卡。
网格体路径
根据网格体模型支持的输入和控制选择网格体模型:
单图像路径可以从一张图像中清晰地看到预期的物体。 这也有助于定义主题。
多视图路由有多个视图。 视图的数量、顺序和命名取决于模型。
具有额外控制的路线会公开拓扑或面数等选项。 这些控件并不保证几何体达到生产就绪状态。
在生产中使用生成的网格之前,请检查拓扑、比例、材质、纹理和性能。
要导入支持的网格体:
在查看器中将其打开,然后选择 “导入到内容浏览器”。
选择内容文件夹和资产名称。
未绑定的网格体通常导入为静态网格体;包含皮肤数据的支持文件导入为骨骼网格体。
如果目标已存在,请仔细检查替换目标。 替换现有资产可能会影响使用该资产的实例。
查看器和编辑工具
| 选项 | 说明 |
|---|---|
分段 | 使用支持的局部分段模型来识别区域并创建遮罩或派生内容。 所需的模型文件必须已安装。 |
标记和注释 | 添加图纸或带编号的标记以传达预期的更改。 |
对比 | 使用查看器支持的比较布局来检查多个输出。 |
空间注释 | 在虚幻关卡中放置提示和按颜色分组的注释,以指导基于场景的更改。 |
外部编辑器 | 在已配置的外部应用程序中打开支持的内容,并使用其集成恢复编辑后的工作。 |
自动绑定
提供一个网格体以进行自动绑定,或请求代理绑定一个合适且已选中的资产。 内置的本地路由使用 SkinTokens,并需要其模型文件、运行时和支持的 GPU 环境。 其他注册的绑定服务可能有不同的要求。
将绑定后的输出作为骨架网格体导入,并在为其设置动画之前检查骨架和权重。 绑定质量取决于输入和所选模型。
扩展
扩展增加了自定义节点、工具、编辑器、面板、工作区以及与其他软件的集成等功能。 团队可以在适当的情况下,在代理的协助下为特定工作流编写扩展。
扩展安装的工具和声明的功能决定了它添加的内容。 安装扩展并不意味着每个关联的模型、凭据或外部应用程序都已配置完毕。
Unreal Canvas代理流水线
构思阶段和规划
Unreal Canvas可以跳过单调的步骤,加速美术资产和世界建设的开发和完善。 画布工具会生成各种风格和外观供你选择。 这可以避免浪费时间去开发一种你以后可能会放弃的外观。
代理可以帮助准备流程、选择兼容的工具或组织结果。 审核其建议的工作并对任何所需的执行批准做出回应。
每次运行都要计费。 如需更多计费信息,请参阅画布成本和生产注意事项。
迭代和完善
作为美术通行证的一部分,Unreal Canvas支持质量控制流程。 改变氛围或场景,并将生成的视觉效果应用于不同版本,或通过编辑一个标记的对象来实现。 将选定的结果作为下一个任务的参考。 描述哪些应该改变,哪些应该保持可识别性。 例如:
保留拍摄对象,探索不同的材质或光线处理。
更改主题时使用样式参考。
将更改应用于一个标记区域或空间注释组。
重新设置序列的样式,同时使用支持的场景派生控件来指导动作和构图。
这些输入会引导模型。 它们不能保证仅更改请求的区域,也不能保证所有场景几何体、摄像机运动和身份都完全保留。
渲染通道
渲染可以为同一个场景提供多种表现形式。 相关产出可以作为交付品的一部分保存在一起。
| 选项 | 说明 |
|---|---|
美观 | 渲染的外观,包括颜色、材质和照明。 |
深度 | 可以帮助指导布局和空间结构的距离信息。 |
法线 | 表面方向和形状。 |
边缘 | 轮廓和可见的边界。 |
空间注释输出 | 与标记区域相关的适用的注释叠加层、遮罩和提示。 |
美观、深度和法线对于兼容的图像工作流程非常有用。 当所选模型支持时,添加其他通行证,这些通行证有助于传达任务。
序列渲染可以提供随时间变化的场景信息,作为支持的视频或帧输出。 仅使用所选视频模型接受的控制输入。 深度、美观和边缘可以引导结果的不同方面,但其中任何一个都不能普遍锁定布局、遮挡、面部表情或摄像机行为。
Unreal Canvas的极限
结果因型号、输入和设置而异。 保留早期的拍摄以便进行比较。
固定的卡片版本可以提高某些模型的重复性,但相同的设置并不能普遍保证相同的结果。 重新运行已保存卡片的设置步骤可以绕过卡组的封面卡片,从而产生另一个镜头。
在不同的镜头中保持相同的角色或环境可能需要额外的工作。
生成的网格和装备可能需要清理才能最终使用。
模型可用性取决于提供程序配置、项目限制和已安装的依赖项。
审核代理工作
当代理请求审核时,徽章和彩色轮廓会标记关卡编辑器视口中的 Actor,而内容浏览器中的资产也会获得徽章。 如果你在视口中看不到这些内容,请按 G 退出游戏视图。 审核你的工作不会改变你的关卡、资产或选择。
在Unreal Canvas反馈卡片上,选择批准、请求更改或拒绝,还可以添加评分和备注,然后发送。 要稍后决定,请选择关闭并保存以备后用。
审核会传达一个决定。 选择拒绝不会撤销代理的更改。 在批准之前检查实际内容,并将任何所需的回滚作为单独的操作处理。
选择“代理”面板返回对话。 选择“询问卡片上的代理将该卡片作为任务上下文”;不要假设这与重新打开产生结果的确切对话是相同的操作。
Unreal Canvas 与 Unreal MCP
Unreal Canvas和Unreal MCP的作用是互补的。
| 区域 | Unreal Canvas | Unreal MCP |
|---|---|---|
用途 | 一个用于通过连接的工具和代理创建、组织、检查和完善内容的工作区。 | 向兼容客户端提供编辑器工具的协议接口。 |
界面 | 画布卡片、卡组、框架、工具架、查看器、图表和代理对话。 | 与编辑器可用工具集的客户端连接。 |
典型结果 | 媒体和其他内容,以及过程上下文和整理后的结果。 | 由请求的工具执行的编辑器操作。 |
可扩展性 | 图表、脚本、扩展、工作空间和配置的服务。 | 其他支持的工具集和客户端集成。 |
设置 | 配置应用程序/编辑器集成以及任何必需的提供程序、模型或本地组件。 | 开启所需的编辑器工具集,并使用适合所选MCP客户端的配置。 |
使用你的确切引擎版本和客户端的连接和访问说明。 一个MCP客户端的配置文件不一定是另一个客户端的正确格式。 Unreal Canvas使用编辑器连接进行相关操作,同时单独管理其媒体生成服务和代理连接。
成本和制作注意事项
开销
费用取决于所选的服务和提供程序,而不是卡片操作的名称。
根据提供程序的定价和你的账户安排,云端图像、视频、网格、音频、文本和代理服务可能会产生费用。
批处理模式和重新运行可以发出额外的服务调用。 在开始大型作业之前,请检查模型和预期的运行次数。
代理的使用可能会产生与它所调用的媒体生成服务不同的费用。
符合条件的缓存工作可以重复使用,但明确的“运行”或“重新运行”可能会强制重新执行选定的生成或输出路径。 图表不变并不能保证免开销运行。
制片注意事项
在制作过程中使用Unreal Canvas时,请考虑以下几点:
与你的法律和制作团队确认内容权利、出处标签、提供程序条款和数据处理。
评估生成输出的预期用途,而不是假设成功生成就意味着可以投入生产。
在计划使用版本的生产工作之前,请确认该版本的支持和发布状态。
观察计算机的计算能力、内存和存储。本地渲染和安装的本地处理不会产生云提供程序生成费用。