炒股就看金麒麟分析师研报，权威，专业，及时，全面，助您挖掘潜力主题机会！

（来源：新智元）

新智元报道

编辑：LRST

【新智元导读】Canvas-to-Image 是一种新型图像生成框架，将多种控制方式（如身份、姿态、空间布局）整合到一个统一画布中，用户可通过直观操作生成高保真、多控制的图像。它简化了创作流程，让用户在单一界面完成复杂创作，为AI创作工具提供了新范式。

大型扩散模型虽然能生成高质量图像，但在处理复杂的组合场景时仍存在挑战。现有方法往往有如下缺点：

最新研究Canvas-to-Image在交互式可控生成方面提供了一种新的范式：用户可以在统一画布上直接叠加多种视觉控制提示，包括放置人物参考图以指定身份外观、绘制骨架来约束姿态结构，以及通过边界框指示物体或元素的大致空间位置。

模型在推理时会将这些异构线索共同解析，在遵循文本描述的同时，实现复合控制条件下的协调生成。

项目地址：https://snap-research.github.io/canvas-to-image/

论文地址：https://arxiv.org/abs/2511.21691

用户能够在画布上任意位置摆放参考人物图像，在其旁边放置特定宠物，并通过边界框指定帽子、棕榈树等元素的大体位置。

随后，模型会综合文本指令（例如「女孩在海边轻拍她的狗」）与画布中的多模态提示，生成符合语义逻辑与视觉构图的照片级图像。

这种统一画布带来的灵活性使编辑过程更加直观：将小狗替换为猫咪手办、更换棕榈树为遮阳伞、调整人物姿态等修改，只需对画布进行对应的局部替换或几何调整，无需重新构建多控制流程。

Canvas-to-Image能够在不破坏整体结构一致性的前提下，响应这些局部修改，展现出高效而自然的多控制可编辑性。

Canvas-to-Image的目标，就是要将这些异构的控制信号整合到一个统一的画布界面中，让用户直观地创作可控的个性化内容。

Canvas-to-Image的工作示例

核心技术

Canvas-to-Image的设计理念

多任务画布（Multi-Task Canvas）

Canvas-to-Image 的核心是一个统一的 RGB 画布，能够将多种异构控制信号整合到单一表示中，Canvas-to-Image训练过程中的控制信号有：

所有这些信息都被编码在同一个画布图像中，模型利用VLM- Diffusion架构（基于Qwen-Image-Edit) 可以直接解读并进行视觉-空间推理。

单控制训练，多控制推理

在训练时教会模型单独理解「身份」、「姿态」和「位置」，但推理时它却能自然地将这三者融合在一起。

这种「涌现能力」让模型在从未见过的组合控制下，也能生成高质量的结果。 这是 Canvas-to-Image 设计的精妙之处，在保证推理阶段的灵活性的同时，极大地简化了训练的复杂度。

实验结果

多控制、高保真、强组合

多控制组合（Multi-Control Composition）

Canvas-to-Image能够同时处理身份、姿态和布局框，而基线方法往往会失败。

在复杂的多控制场景中，Canvas-to-Image能：

身份+物体组合

Canvas-to-Image支持将特定人物与物体在各种场景中组合。与基线方法相比，Canvas-to-Image更好地保持了人物和物体的一致性。

背景人物组合

在输入背景图的前提下，Canvas-to-Image能够依据参考图粘贴或边界框标注，将新的主体自然植入场景。 借助统一画布的表达方式，模型能够生成几何关系合理、光照匹配、语义一致的合成画面，显著提升人物或物体的场景融合质量。

消融研究

研究人员系统地测试了当逐步添加控制时模型的表现：

关键发现：虽然训练时使用单任务画布，但模型自然学会了在推理时组合多种控制——这种涌现能力验证了设计理念。

总结

Canvas-to-Image将组合式生成从「分散控制」推向「统一画布」。

用户不再需要在多个控制模块间切换，而是在单一界面中完成所有创作，以「统一画布」为核心的多模态控制范式，将成为下一代AI创作工具的重要基础。

参考资料：

https://snap-research.github.io/canvas-to-image/

秒追ASI

⭐点赞、转发、在看一键三连⭐

点亮星标，锁定新智元极速推送！