一种基于深度学习的漫画人物一致性上色方法与系统与流程

本发明涉及漫画人物上色领域，尤其涉及一种基于深度学习的漫画人物一致性上色方法与系统。背景技术：：：1、在传统漫画创作中，漫画上色占用人工的时间是相对较长的，随着生成式人工智能(aigc)技术的快速发展，ai漫画上色大大减少了人工的时间和成本，但是在ai漫画上色过程中，保持人物上色一致性是一个待解决的技术问题。其中，一致性指的是在整个漫画或漫画系列中，颜色、阴影、光照和质感等视觉元素的表现方式都保持统一，以确保故事的连贯性和视觉风格的统一。技术实现思路1、本发明提供一种基于深度学习的漫画人物一致性上色方法与系统，以克服上述技术问题。2、一种基于深度学习的漫画人物一致性上色方法，包括，3、步骤一、获取线稿数据，所述线稿数据为漫画线稿图，对线稿数据进行预处理，所述预处理是指检测漫画线稿图中的分格，获取所有的分格，4、步骤二、对每一个分格，基于sam+grounding dino实例分割算法对分格中的漫画人物进行分割，获取每一个分格中的漫画人物以及漫画人物所对应的掩码图，通过掩码图分割出漫画人物分割图，5、步骤三、基于卷积神经网络从漫画人物对应的漫画人物分割图中计算每一个漫画人物的图像特征，基于余弦相似度计算不同漫画人物图像特征之间的相似度，根据相似度的取值对漫画人物进行分类，所述根据相似度的取值对漫画人物进行分类为若任意两个漫画人物图像特征之间的相似度大于阈值，则表示这两个漫画人物为同一类并加入对应的图像集中，若相似度小于阈值，则表示这两个漫画人物不是同一类，6、步骤四、对分类后的漫画人物进行上色，所述对分类后的漫画人物进行上色包括获取每一类漫画人物的所有图像集，基于yolo算法依次检测图像集中漫画人物的头、脸部、手、脚与身体，若图像中包含了头、脸部、手、脚与身体，则将检测图像加入图像子集，反之，基于yolo算法检测下一张图像，从图像子集中随机选择一张图像作为待上色人物线稿图，获取所有类别漫画人物的待上色人物线稿图，基于stablediffusion模型对所有待上色人物线稿图进行上色，基于上色后的人物线稿图对当前类别中未上色的其他图像进行批量上色，7、步骤五、基于漫画人物所对应的掩码图将上色后的漫画人物分割图回填至漫画线稿图中。8、优选地，所述基于sam+grounding dino实例分割算法对分格中的漫画人物进行分割包括通过grounding dino算法检测分格中的漫画人物，将检测到的漫画人物输入至segment anything分割算法得到精细分割图，将精细分割图作为分格中的漫画人物。9、优选地，所述基于stablediffusion模型对所有待上色人物线稿图进行上色包括设计每一个待上色人物线稿图对应的文本，将文本和待上色线稿图输入至stablediffusion模型进行上色。10、优选地，所述对所有待上色人物线稿图进行上色还包括根据stable diffusion模型和controlnet lineart模型对待上色人物线稿图进行上色，所述根据stablediffusion模型和controlnet lineart模型对待上色人物线稿图进行上色包括设计每一个待上色人物线稿图对应的角色描述，将角色描述和待上色线稿图输入至stablediffusion模型和controlnet lineart模型进行上色。11、一种基于深度学习的漫画人物一致性上色系统，包括线稿输入模块、数据预处理模块、漫画人物分割模块、人物特征匹配模块、上色模块、数据回填模块与结果展示模块，12、所述线稿输入模块用于用户输入待上色的整页或整条漫画线稿图，13、所述数据预处理模块用于处理用户上传的整页或整条漫画线稿图，得到分格线稿图，14、漫画人物分割模块用于处理分格后的每格线稿图，得到每个分格中所有漫画人物和漫画人物所对应的掩码图，通过掩码图分割出漫画人物分割图，15、人物特征匹配模块用于基于卷积神经网络从漫画人物对应的漫画人物分割图中计算每一个漫画人物的图像特征，基于余弦相似度计算不同漫画人物图像特征之间的相似度，根据相似度的取值对漫画人物进行分类，获取所有类别漫画人物的待上色人物线稿图，16、上色模块用于对基于stablediffusion模型对所有待上色人物线稿图进行上色，基于上色后的人物线稿图对当前类别中未上色的其他图像进行批量上色，17、数据回填模块用于将上色后的漫画人物回填到整页或整条漫画线稿图，得到最终成稿图，18、结果展示模块用于向用户展示自动化人物上色后的成稿图。19、本发明提供一种基于深度学习的漫画人物一致性上色方法与系统，通过本方法实现漫画线稿到上色自动化流程，可以节省人力物力，通过对漫画人物分类进行上色，自动保持漫画人物上色的一致性，确保人物风格的统一，解决了ai上色过程中，人物色彩一致性难以保持的问题。技术特征：1.一种基于深度学习的漫画人物一致性上色方法，其特征在于，包括，2.根据权利要求1所述的一种基于深度学习的漫画人物一致性上色方法，其特征在于，所述基于sam+grounding dino实例分割算法对分格中的漫画人物进行分割包括通过grounding dino算法检测分格中的漫画人物，将检测到的漫画人物输入至segmentanything分割算法得到精细分割图，将精细分割图作为分格中的漫画人物。3.根据权利要求1所述的一种基于深度学习的漫画人物一致性上色方法，其特征在于，所述基于stablediffusion模型对所有待上色人物线稿图进行上色包括设计每一个待上色人物线稿图对应的文本，将文本和待上色线稿图输入至stablediffusion模型进行上色。4.根据权利要求1所述的一种基于深度学习的漫画人物一致性上色方法，其特征在于，所述对所有待上色人物线稿图进行上色还包括根据stable diffusion模型和controlnetlineart模型对待上色人物线稿图进行上色，所述根据stablediffusion模型和controlnetlineart模型对待上色人物线稿图进行上色包括设计每一个待上色人物线稿图对应的角色描述，将角色描述和待上色线稿图输入至stablediffusion模型和controlnet lineart模型进行上色。5.一种基于深度学习的漫画人物一致性上色系统，其特征在于，包括线稿输入模块、数据预处理模块、漫画人物分割模块、人物特征匹配模块、上色模块、数据回填模块与结果展示模块，技术总结本发明公开了一种基于深度学习的漫画人物一致性上色方法与系统，包括获取线稿数据并进行预处理，获取所有的分格，对每一个分格，基于SAM+Grounding DINO实例分割算法对分格中的漫画人物进行分割，获取每一个分格中的漫画人物以及漫画人物所对应的掩码图，通过掩码图分割出漫画人物分割图，基于卷积神经网络从漫画人物分割图中计算每一个漫画人物的图像特征，基于余弦相似度计算不同漫画人物图像特征之间的相似度并根据取值进行分类，对分类后的漫画人物进行上色，基于漫画人物所对应的掩码图将上色后的漫画人物分割图回填至漫画线稿图中。实现漫画线稿到上色自动化流程，可以节省人力物力，通过对漫画人物分类进行上色，自动保持漫画人物上色的一致性。技术研发人员：徐道奇,王彬,马一鸣受保护的技术使用者：鲲动利（杭州）智能科技有限公司技术研发日：技术公布日：2024/7/29