一种基于多模态图像的多任务缺陷分割方法及系统与流程

本技术实施例涉及缺陷检测，尤其涉及一种基于多模态图像的多任务缺陷分割方法及系统。

背景技术：

1、在现代工业制造领域，尤其是精密制造和自动化生产线中，对于产品质量的控制变得越来越严格。为了确保产品的高质量标准，制造商需要在生产过程中实施高效的缺陷检测。多模态图像数据的集成与分析成为了新的趋势，这种技术需求旨在通过多种传感方式采集的信息来更精确地识别产品缺陷，如表面瑕疵、内部裂缝或材料边缘不规则等。

2、传统的视觉检测方法往往仅依赖单一模态的图像数据，如可见光图像或者红外图像，这样的方法难以全面捕捉产品缺陷的细节信息。

3、由于传统的缺陷检测方法通常只使用单一模态的图像数据，这导致了信息的不完整性，尤其是在检测隐蔽或复杂缺陷时，单一模态的数据可能无法提供足够的诊断信息。

技术实现思路

1、本技术实施例提供一种基于多模态图像的多任务缺陷分割方法及系统，用以解决现有技术中缺陷检测效率差的问题。

2、第一方面，本技术实施例提供一种基于多模态图像的多任务缺陷分割方法，包括：

3、根据多模态图像数据构建多模态特征融合网络；

4、利用所述多模态特征融合网络的不同分支处理不同模态的图像数据，并通过特征变换器将不同模态的图像数据对应的特征向量映射至统一特征域，以形成融合特征；

5、基于所述融合特征，构建多任务分割网络，并通过包含已标注缺陷位置的多模态图像数据所构建的训练集对所述多任务分割网络进行训练，其中，所述多任务分割网络用以同时执行多个分割任务，所述多个分割任务包括表面缺陷分割、内部缺陷分割、边缘检测；

6、利用训练完成的多任务分割网络对获取的目标多模态图像进行分割，以输出所述目标多模态图像中每个像素所属的缺陷类别以及对应的置信度，所述置信度是指多任务分割网络对目标多模态图像中每个像素所属的缺陷类别预测结果的确定程度。

7、可选地，所述根据多模态图像数据构建多模态特征融合网络，包括：

8、设计多模态特征提取器，所述多模态特征提取器包含多个分支，每个分支用于处理不同模态的图像数据；

9、通过每个分支的深度卷积神经网络提取对应模态的图像数据中的特征向量，并在每个分支中引入自适应注意力机制，以增强从所述多模态图像数据中提取的特征向量；

10、基于不同模态的图像数据所提取到的特征向量以构建多模态特征融合网络。

11、可选地，所述基于所述融合特征，构建多任务分割网络，包括：

12、设计多头分割架构，所述多头分割架构包含多个分割头，每个分割头用于处理对应的分割任务；

13、通过每个分割头内部的至少一个卷积层对所述融合特征进行细化出库，以生成分割掩码；

14、基于所述分割掩码，构建多任务分割网络。

15、可选地，所述通过包含已标注缺陷位置的多模态图像数据所构建的训练集对所述多任务分割网络进行训练，包括：

16、使用在大型通用数据集上预先训练的模型参数来初始化所述多任务分割网络的初始参数值；

17、对于训练集中每一个包含已标注缺陷位置的多模态图像数据，分别计算每个分割任务对应的损失值，并依据预设的多任务损失函数及各个分割任务的损失值，计算出所述多任务分割网络的总损失值；

18、基于所述总损失值，动态调整每个分割任务的权重，以优化所述多任务分割网络在各个分割任务上的表现；

19、通过反向传播算法，根据调整后的任务权重和所述总损失值更新所述多任务分割网络的初始参数值，以完成对所述多任务分割网络的训练。

20、可选地，所述通过特征变换器将不同模态的图像数据对应的特征向量映射至统一特征域，以形成融合特征，包括：

21、通过预设的特征融合函数，将不同模态的图像数据对应的特征向量映射至统一特征域，以形成融合特征；

22、其中，所述预设的特征融合函数定义为：

23、

24、其中，表示预设的特征融合函数，表示权重系数，用以调整第种模态特征的重要性，表示第种模态图像数据对应的特征向量，表示交叉项系数，用于衡量不同模态特征之间的交互作用，表示对数项系数，用于调整模态特征的相对强度，表示的是不同模态图像数据的数量。

25、可选地，所述依据预设的多任务损失函数及各个分割任务的损失值，计算出所述多任务分割网络的总损失值，包括：

26、通过以下公式计算所述多任务分割网络的总损失值：

27、

28、其中，表示为总损失值，表示第个分割任务的损失值，表示第个分割任务的权重系数，表示调整任务间损失平方和的系数，表示调整任务间损失指数和的系数,表示的是多任务分割网络中不同分割任务的数量。

29、可选地，还包括：

30、在所述多任务损失函数中加入任务间协调项，其中，所述任务间协调项定义为：

31、

32、其中，表示任务间协调项，表示分割任务的损失值和分割任务的损失值之间的相关性，表示权重系数，用于调整任务间均值差异的影响程度，表示分割任务的损失值的均值，表示分割任务的损失值的均值；

33、其中，所述相关性通过皮尔逊相关系数确定，，表示分割任务在样本上的损失值，表示分割任务在样本上的损失值，表示分割任务的损失值的平均值，表示分割任务的损失值的平均值，表示样本数量；

34、则调整后的多任务损失函数表示为：

35、

36、其中，表示调整后的多任务损失函数,是任务间协调项的权重系数。

37、第二方面，本技术实施例提供一种基于多模态图像的多任务缺陷分割系统，包括：

38、构建模块，用于根据多模态图像数据构建多模态特征融合网络；

39、处理模块，用于利用所述多模态特征融合网络的不同分支处理不同模态的图像数据，并通过特征变换器将不同模态的图像数据对应的特征向量映射至统一特征域，以形成融合特征；

40、训练模块，用于基于所述融合特征，构建多任务分割网络，并通过包含已标注缺陷位置的多模态图像数据所构建的训练集对所述多任务分割网络进行训练，其中，所述多任务分割网络用以同时执行多个分割任务，所述多个分割任务包括表面缺陷分割、内部缺陷分割、边缘检测；

41、输出模块，用于利用训练完成的多任务分割网络对获取的目标多模态图像进行分割，以输出所述目标多模态图像中每个像素所属的缺陷类别以及对应的置信度，所述置信度是指多任务分割网络对目标多模态图像中每个像素所属的缺陷类别预测结果的确定程度。

42、第三方面，本技术实施例提供一种计算设备，包括处理组件以及存储组件；所述存储组件存储一个或多个计算机指令；所述一个或多个计算机指令用以被所述处理组件调用执行，实现如第一方面所述的基于多模态图像的多任务缺陷分割方法。

43、第四方面，本技术实施例提供一种计算机存储介质，存储有计算机程序，所述计算机程序被计算机执行时，实现如第一方面所述的基于多模态图像的多任务缺陷分割方法。

44、本技术实施例中，根据多模态图像数据构建多模态特征融合网络；利用所述多模态特征融合网络的不同分支处理不同模态的图像数据，并通过特征变换器将不同模态的图像数据对应的特征向量映射至统一特征域，以形成融合特征；基于所述融合特征，构建多任务分割网络，并通过包含已标注缺陷位置的多模态图像数据所构建的训练集对所述多任务分割网络进行训练，其中，所述多任务分割网络用以同时执行多个分割任务，所述多个分割任务包括表面缺陷分割、内部缺陷分割、边缘检测；利用训练完成的多任务分割网络对获取的目标多模态图像进行分割，以输出所述目标多模态图像中每个像素所属的缺陷类别以及对应的置信度。本技术提供的技术方案这种方法不仅能够提高工业图像处理系统的性能，还能为工业自动化检测提供强大的技术支持。

45、本技术的这些方面或其他方面在以下实施例的描述中会更加简明易懂。