一种基于深度学习的服装手绘图像上色算法

本发明属于计算机视觉中的图像上色领域，涉及一种基于深度学习的服装手绘图像上色算法，设计先验引导语义组件变换器网络，可用于图像处理场景。

背景技术：

1、服装手绘图像上色是指在给定的服装线稿图像和参考图像上产生服装效果图。服装效果图是服装设计总监决定该设计是否制成成衣方面的重要前提，然而，生成多样高质量的服装效果图需要耗费大量时间成本。近年来，人工智能赋能的线条艺术着色方法在这一任务中表现出巨大的潜力。然而，大多数现有的方法旨在提升渲染质量，集中于改进像素感知或区域感知的网络架构或管道。如texturegan、piti(pretraining is all you needfor image-to-image translation)、icon-gan等。时装线稿中语义级别区域感知的关键方面可能会被忽略，容易出现整体设计搭配不合理和设计面料组件中的生成溢出线稿等问题。

2、因此，引入服装设计先验指导对生成呈现整体时尚色彩美感的全身服装效果图是非常重要的。

技术实现思路

1、本发明提供一种基于深度学习的服装手绘图像上色方法，该上色方法基于sam语义分割大模型的方法获取线稿的组件区域，通过生成对抗网络实现高质量的服装效果图生成。本发明提出了基于语义组件区域的transformer结构(sct)，通过组件特征线性映射和特征传播，理解线稿中不同的语义区域及其上下文关系以保证生成的手绘设计局部面料组件与整体效果图的搭配统一。本发明提出了服装设计先验损失和服装设计组件损失以增强对时尚设计先验知识的理解。通过完成上述工作，为时装设计师提供一种符合技术需求和具有创造力的高质量服装效果图生成方法，达到减少重复性劳动，提高服装设计效率的目的。

2、本发明的技术方案：

3、一种基于深度学习的服装手绘图像上色算法，基于pytorch深度学习框架搭建整体算法网络，基础的数据处理采用python语言实现：

4、step1：构建一个包含11174个来自互联网的各种风格的手绘服装效果图。对原始服装效果图应用超分辨率技术并提取服装线稿，将线稿大小调整为正方形，使用纯白色进行填充并进行二值化，制作sketchcouture训练集。

5、step2：对服装效果图进行掩码获取面料小样作为网络输入，与手绘线稿进行拼接后由一个卷积层进行特征编码。

6、step3：由sam大规模语义分割模型获取组件区域映射，使用平均散点采样的方式进行处理后作为另一部分输入。

7、step4：使用最近邻插值的方式调节组件区域与区域编码特征的宽和高保持一致，进行组件特征线性映射根据组件区域提供的组件索引，获取某一索引的组件特征嵌入表示。使用正弦位置编码为前一步获取组件特征嵌入添加位置信息得到组件位置嵌入。

8、step5：执行组件特征传播操作，将每一个组件特征的线性映射向量传播至该组件区域，获取组件区域自身特征表示。

9、step6：采用多头注意力模块获取组件之间的相关性，获得每个组件与其他组件之间的多头注意力关联映射。

10、step7：再次执行组件特征传播操作，将每一个组件的多头注意力关联线性映射向量传播至该组件区域，获取组件与其他组件之间的多头注意力关联特征表示。

11、step8：将两种特征融合作为最终的组件区域编码特征，并在编码器的最后一层生成全局潜在编码，用于控制和保留输入的全局风格。

12、step9：解码器对组件区域编码特征和全局潜在编码进行调控，生成服装效果图；将生成的结果输入鉴别器经过训练后得到目标线稿的上色图像。

13、step10：网络框架构建完成，从以下四个方面进行优化，第一为了保证生成图像的颜色分布与真实图像的颜色分布保持一致，使用了对抗性损失第二保证生成图像的全局细节和纹理，使用了像素级损失第三为了保证生成图像颜色的搭配符合服装设计基本原则，提出服装设计先验损失函数第四为了在相同组件区域内生成风格一致的手绘面料，提出服装语义组件损失

14、step11：使用step10中的损失函数对生成器生成的服装效果图和真实服装效果图的差别进行量化与训练。

15、本发明的有益效果：本发明设计了语义组件transformer模块，分别考虑了组件区域自身以及与其他组件的相关性，促进语义级别区域感知，保证生成图像中各组件服装面料和颜色搭配的独立性以及和谐性，提供了更稳健、更准确的上色过程。提出了服装设计先验损失，保生成的服装设计在色调上符合多峰分布，保持服装搭配的整体一致性。提出了服装语义组件先验损失，能够保持单个服装组件内图案的一致性。采用本发明能够对服装线稿进行高质量的上色，创造出具有和谐色彩搭配且独具创意的服装效果图。

技术特征：

1.一种基于深度学习的服装手绘图像上色算法，其特征在于，设计先验引导的语义组件transformer网络架构分为两个阶段，第一个阶段为基于语义组件transformer模块的编码器生成多层级特征图和全局潜在编码，第二个阶段为由粗到细的解码器生成彩色图像，包括如下步骤：

技术总结本发明属于计算机视觉中的图像上色领域，公开了一种基于深度学习的服装手绘图像上色算法。本发明提出了基于语义组件区域的Transformer结构，通过组件特征线性映射和特征传播，理解线稿中不同的语义区域及其上下文关系以保证生成的手绘设计局部面料组件与整体效果图的搭配统一。本发明提出了服装设计先验损失和服装设计组件损失以增强对时尚设计先验知识的理解。通过完成上述工作，为时装设计师提供一种符合技术需求和具有创造力的高质量服装效果图生成方法，达到减少重复性劳动，提高服装设计效率的目的。实验结果表明，我们的方法有效地解决了现有上色方法在整体搭配和面料组件不一致等生成方面所存在的问题，得到更好的上色效果。技术研发人员：王宁,王智慧,王开欣受保护的技术使用者：大连理工大学技术研发日：技术公布日：2024/9/26