用于处理图像的方法、装置、设备以及存储介质与流程

技术特征：
1.一种用于处理图像的方法，包括：获取单通道灰度图像；获取所述单通道灰度图像的至少一张参考图像；分别对所述单通道灰度图像以及所述至少一张参考图像进行实例分割，根据实例分割结果，确定与所述单通道灰度图像对应的第一实例掩膜图像集合以及与所述至少一张参考图像对应的第二实例掩膜图像集合；基于所述单通道灰度图像、所述至少一张参考图像、所述第一实例掩膜图像集合以及所述第二实例掩膜图像集合，确定所述单通道灰度图像对应的彩色图像。2.根据权利要求1所述的方法，其中，所述获取所述单通道灰度图像的至少一张参考图像，包括：在预设的彩色图像库中利用所述单通道灰度图像进行图像检索，确定所述单通道灰度图像与所述彩色图像库中各彩色图像的相似度；根据各相似度，确定所述至少一张参考图像。3.根据权利要求1所述的方法，其中，所述根据实例分割结果，确定与所述单通道灰度图像对应的第一实例掩膜图像集合以及与所述至少一张参考图像对应的第二实例掩膜图像集合，包括：根据所述单通道灰度图像的实例分割结果，确定与每个实例对应的第一实例掩膜图像，得到所述第一实例掩膜图像集合；根据各参考图像的实例分割结果，确定与每个实例对应的第二实例掩膜图像，得到所述第二实例掩膜图像集合。4.根据权利要求1所述的方法，其中，所述基于所述单通道灰度图像、所述至少一张参考图像、所述第一实例掩膜图像集合以及所述第二实例掩膜图像集合，确定所述单通道灰度图像对应的彩色图像，包括：根据所述单通道灰度图像以及所述第一实例掩膜图像集合，确定第一融合图像；根据所述至少一张参考图像以及所述第二实例掩膜图像集合，确定第二融合图像；根据所述第一融合图像、所述第二融合图像以及预先训练的上色模型，确定所述单通道灰度图像对应的彩色图像。5.根据权利要求4所述的方法，其中，所述根据所述单通道灰度图像以及所述第一实例掩膜图像集合，确定第一融合图像，包括：将所述单通道灰度图像分别与各第一实例掩膜图像按像素相乘，确定各第一处理图像；融合各第一处理图像，得到所述第一融合图像。6.根据权利要求4所述的方法，其中，所述根据所述至少一张参考图像以及所述第二实例掩膜图像集合，确定第二融合图像，包括：对于每一参考图像，将该参考图像与对应的各第二实例掩膜图像按像素相乘，确定各第二处理图像；融合各第二处理图像，得到所述第二融合图像。7.根据权利要求4所述的方法，其中，所述上色模型包括第一子模型和第二子模型；以及
所述根据所述第一融合图像、所述第二融合图像以及预先训练的上色模型，确定所述单通道灰度图像对应的彩色图像，包括：根据所述第一融合图像、所述第二融合图像以及所述第一子模型，确定所述和白图像对应的粗略彩色图像；根据所述粗略彩色图像以及所述第二子模型，确定所述单通道灰度图像对应的彩色图像。8.根据权利要求7所述的方法，其中，所述根据所述第一融合图像、所述第二融合图像以及所述第一子模型，确定所述和白图像对应的粗略彩色图像，包括：分别提取所述第一融合图像和所述第二融合图像的特征，得到第一特征图像和第二特征图像；分别确定与所述第一特征图像和所述第二特征图像对应的矩阵，得到第一矩阵和第二矩阵；根据所述第一矩阵和所述第二矩阵，确定相似度矩阵；根据所述相似度矩阵以及所述至少一张参考图像，确定所述单通道灰度图像各像素的颜色；根据所述单通道灰度图像各像素的颜色，确定所述粗略彩色图像。9.根据权利要求7所述的方法，其中，所述根据所述粗略彩色图像以及所述第二子模型，确定所述单通道灰度图像对应的彩色图像，包括：对所述粗略彩色图像进行去噪，确定所述单通道灰度图像对应的彩色图像。10.一种用于处理图像的装置，包括：第一获取单元，被配置成获取单通道灰度图像；第二获取单元，被配置成获取所述单通道灰度图像的至少一张参考图像；实例分割单元，被配置成分别对所述单通道灰度图像以及所述至少一张参考图像进行实例分割，根据实例分割结果，确定与所述单通道灰度图像对应的第一实例掩膜图像集合以及与所述至少一张参考图像对应的第二实例掩膜图像集合；图像上色单元，被配置成基于所述单通道灰度图像、所述至少一张参考图像、所述第一实例掩膜图像集合以及所述第二实例掩膜图像集合，确定所述单通道灰度图像对应的彩色图像。11.根据权利要求10所述的装置，其中，所述第二获取单元进一步被配置成：在预设的彩色图像库中利用所述单通道灰度图像进行图像检索，确定所述单通道灰度图像与所述彩色图像库中各彩色图像的相似度；根据各相似度，确定所述至少一张参考图像。12.根据权利要求10所述的装置，其中，所述实例分割单元进一步被配置成：根据所述单通道灰度图像的实例分割结果，确定与每个实例对应的第一实例掩膜图像，得到所述第一实例掩膜图像集合；根据各参考图像的实例分割结果，确定与每个实例对应的第二实例掩膜图像，得到所述第二实例掩膜图像集合。13.根据权利要求10所述的装置，其中，所述图像上色单元进一步被配置成：根据所述单通道灰度图像以及所述第一实例掩膜图像集合，确定第一融合图像；
根据所述至少一张参考图像以及所述第二实例掩膜图像集合，确定第二融合图像；根据所述第一融合图像、所述第二融合图像以及预先训练的上色模型，确定所述单通道灰度图像对应的彩色图像。14.根据权利要求13所述的装置，其中，所述图像上色单元进一步被配置成：将所述单通道灰度图像分别与各第一实例掩膜图像按像素相乘，确定各第一处理图像；融合各第一处理图像，得到所述第一融合图像。15.根据权利要求13所述的装置，其中，所述图像上色单元进一步被配置成：对于每一参考图像，将该参考图像与对应的各第二实例掩膜图像按像素相乘，确定各第二处理图像；融合各第二处理图像，得到所述第二融合图像。16.根据权利要求13所述的装置，其中，所述上色模型包括第一子模型和第二子模型；以及所述图像上色单元进一步被配置成：根据所述第一融合图像、所述第二融合图像以及所述第一子模型，确定所述和白图像对应的粗略彩色图像；根据所述粗略彩色图像以及所述第二子模型，确定所述单通道灰度图像对应的彩色图像。17.根据权利要求16所述的装置，其中，所述图像上色单元进一步被配置成：分别提取所述第一融合图像和所述第二融合图像的特征，得到第一特征图像和第二特征图像；分别确定与所述第一特征图像和所述第二特征图像对应的矩阵，得到第一矩阵和第二矩阵；根据所述第一矩阵和所述第二矩阵，确定相似度矩阵；根据所述相似度矩阵以及所述至少一张参考图像，确定所述单通道灰度图像各像素的颜色；根据所述单通道灰度图像各像素的颜色，确定所述粗略彩色图像。18.根据权利要求16所述的装置，其中，所述图像上色单元进一步被配置成：对所述粗略彩色图像进行去噪，确定所述单通道灰度图像对应的彩色图像。19.一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1
‑
9中任一项所述的方法。20.一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行权利要求1
‑
9中任一项所述的方法。21.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1
‑
9中任一项所述的方法。

技术总结
本公开提供了用于处理图像的方法、装置、设备以及存储介质，涉及人工智能领域，具体涉及计算机视觉和深度学习技术领域，可用于图像处理场景下。具体实现方案为：获取单通道灰度图像；获取单通道灰度图像的至少一张参考图像；分别对单通道灰度图像以及至少一张参考图像进行实例分割，根据实例分割结果，确定与单通道灰度图像对应的第一实例掩膜图像集合以及与至少一张参考图像对应的第二实例掩膜图像集合；基于单通道灰度图像、至少一张参考图像、第一实例掩膜图像集合以及第二实例掩膜图像集合，确定单通道灰度图像对应的彩色图像。本实现方式可以利用单通道灰度图像和参考图像的实例分割结果进行上色，提高上色效果。提高上色效果。提高上色效果。


技术研发人员：郑贺
受保护的技术使用者：北京百度网讯科技有限公司
技术研发日：2021.09.29
技术公布日：2022/1/4