焊接射线照片中缺陷视觉分割方法、装置、设备、及介质与流程

本技术涉及焊接缺陷检测，特别是涉及一种焊接射线照片中缺陷视觉分割方法、装置、计算机设备、存储介质和计算机程序产品。

背景技术：

1、焊缝射线照片分割是焊缝成像分析的一项基本任务，涉及识别和描绘 x 射线图像中的感兴趣区域 (roi)，例如裂纹、孔隙和未焊透。 焊接缺陷的准确分割对于下游任务（例如焊接缺陷的分类）至关重要。

2、传统的焊缝射线照片分割模型主要包括分割任何模型，其中最常用的是segmentanything model (sam)，它经过超过10 亿个掩模的训练，具有基于提示（例如，边界框、点、文本）或全自动方式。sam 的革命性功能主要基于其革命性架构，该架构由三个主要组件组成：图像编码器、提示编码器和掩模解码器。

3、然而，在实际应用中，由于自然图像和焊接射线照片之间的显着差异，常规的sam在焊接射线照片分割中的适用性仍然有限。研究表明，这些模型可能会在典型的焊接射线照片和其他具有挑战性的场景中无法实现准确的缺陷视觉分割，因此，目前急需一种准确实现对焊接射线照片中缺陷分割的方案。

技术实现思路

1、基于此，有必要针对上述技术问题，提供一种准确的焊接射线照片中缺陷视觉分割方法、装置、计算机设备、存储介质和计算机程序产品。

2、第一方面，本技术提供了一种焊接射线照片中缺陷视觉分割方法。所述方法包括：

3、冻结缺陷视觉分割模型sam中的图像编码器和提示编码器；

4、获取焊接射线照片的数据集，提取所述数据集中真实标注掩码，所述真实标注掩码用于指示感兴趣区域；

5、将所述数据集输入至所述缺陷视觉分割模型sam，由所述冻结的图像编码器和提示编码器生成中间表示，由所述缺陷视觉分割模型sam中的掩码解码器基于所述中间表示生成预测分割掩码；

6、将真实标注掩码与所述预测分割掩码进行比较，计算所述真实标注掩码与所述预测分割掩码之间的dice损失和交叉熵损失；

7、获取所述dice损失和交叉熵损失的加权和，构建所述真实标注掩码与所述预测分割掩码的损失函数；

8、计算所述损失函数相对于所述掩码解码器的权重梯度；

9、采用adam优化器调整所述掩码解码器的权重梯度，以最小化所述损失函数，得到优化后的缺陷视觉分割模型sam；

10、基于优化后的缺陷视觉分割模型sam进行焊接射线照片中缺陷视觉分割。

11、在其中一个实施例中，所述获取焊接射线照片的数据集包括：

12、获取初始焊接射线照片；

13、对所述初始焊接射线照片依次进行强度裁剪、归一化以及尺寸调整处理，得到焊接射线照片；

14、对所述焊接射线照片添加真实标注掩码，生成焊接射线照片的数据集。

15、在其中一个实施例中，所述对所述焊接射线照片添加真实标注掩码，生成焊接射线照片的数据集包括：

16、对所述焊接射线照片添加真实标注掩码；

17、从所述真实标注掩码中，提取包围感兴趣区域的边界框坐标；

18、对所述边界框坐标添加受控的随机变化，得到增强后的边界框坐标；

19、基于增强后的边界框坐标生成边界框提示；

20、组合所述焊接射线照片以及所述边界框提示，生成焊接射线照片的数据集。

21、在其中一个实施例中，所述获取焊接射线照片的数据集，提取所述数据集中真实标注掩码包括：

22、获取焊接射线照片的数据集；

23、将所述数据集划分为训练集和测试集；

24、剔除所述训练集中像素小于预设像素阈值的分割目标，得到筛选后的训练集；

25、提取所述筛选后的训练集中真实标注掩码。

26、在其中一个实施例中，所述将所述数据集输入至所述缺陷视觉分割模型sam，由所述冻结的图像编码器和提示编码器生成中间表示，由所述缺陷视觉分割模型sam中的掩码解码器基于所述中间表示生成预测分割掩码包括：

27、将所述数据集输入至所述缺陷视觉分割模型sam；

28、离线计算所述数据集对应的图像嵌入；

29、由所述冻结的图像编码器和提示编码器基于所述图像嵌入生成中间表示，并由缺陷视觉分割模型sam中的掩码解码器基于所述中间表示生成预测分割掩码。

30、在其中一个实施例中，所述构建所述真实标注掩码与所述预测分割掩码的损失函数，并调整所述掩码解码器，以最小化所述损失函数，得到优化后的缺陷视觉分割模型sam包括：

31、将真实标注掩码与所述预测分割掩码进行比较，计算所述真实标注掩码与所述预测分割掩码之间的dice损失和交叉熵损失；

32、获取所述dice损失和交叉熵损失的加权和，构建所述真实标注掩码与所述预测分割掩码的损失函数；

33、计算所述损失函数相对于所述掩码解码器的权重梯度；

34、采用adam优化器调整所述掩码解码器的权重梯度，以最小化所述损失函数，得到优化后的缺陷视觉分割模型sam；

35、基于优化后的缺陷视觉分割模型sam进行焊接射线照片中缺陷视觉分割。

36、第二方面，本技术还提供了一种焊接射线照片中缺陷视觉分割装置。所述装置包括：

37、冻结模块，用于冻结缺陷视觉分割模型sam中的图像编码器和提示编码器；

38、标注提取模块，用于获取焊接射线照片的数据集，提取所述数据集中真实标注掩码，所述真实标注掩码用于指示感兴趣区域；

39、预测模块，用于将所述数据集输入至所述缺陷视觉分割模型sam，由所述冻结的图像编码器和提示编码器生成中间表示，由所述缺陷视觉分割模型sam中的掩码解码器基于所述中间表示生成预测分割掩码；

40、优化训练模块，用于将真实标注掩码与所述预测分割掩码进行比较，计算所述真实标注掩码与所述预测分割掩码之间的dice损失和交叉熵损失；获取所述dice损失和交叉熵损失的加权和，构建所述真实标注掩码与所述预测分割掩码的损失函数；计算所述损失函数相对于所述掩码解码器的权重梯度；采用adam优化器调整所述掩码解码器的权重梯度，以最小化所述损失函数，得到优化后的缺陷视觉分割模型sam；

41、分割模块，用于基于优化后的缺陷视觉分割模型sam进行焊接射线照片中缺陷视觉分割。

42、第三方面，本技术还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

43、冻结缺陷视觉分割模型sam中的图像编码器和提示编码器；

44、获取焊接射线照片的数据集，提取所述数据集中真实标注掩码，所述真实标注掩码用于指示感兴趣区域；

45、将所述数据集输入至所述缺陷视觉分割模型sam，由所述冻结的图像编码器和提示编码器生成中间表示，由所述缺陷视觉分割模型sam中的掩码解码器基于所述中间表示生成预测分割掩码；

46、将真实标注掩码与所述预测分割掩码进行比较，计算所述真实标注掩码与所述预测分割掩码之间的dice损失和交叉熵损失；

47、获取所述dice损失和交叉熵损失的加权和，构建所述真实标注掩码与所述预测分割掩码的损失函数；

48、计算所述损失函数相对于所述掩码解码器的权重梯度；

49、采用adam优化器调整所述掩码解码器的权重梯度，以最小化所述损失函数，得到优化后的缺陷视觉分割模型sam；

50、基于优化后的缺陷视觉分割模型sam进行焊接射线照片中缺陷视觉分割。

51、第四方面，本技术还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：

52、冻结缺陷视觉分割模型sam中的图像编码器和提示编码器；

53、获取焊接射线照片的数据集，提取所述数据集中真实标注掩码，所述真实标注掩码用于指示感兴趣区域；

54、将所述数据集输入至所述缺陷视觉分割模型sam，由所述冻结的图像编码器和提示编码器生成中间表示，由所述缺陷视觉分割模型sam中的掩码解码器基于所述中间表示生成预测分割掩码；

55、将真实标注掩码与所述预测分割掩码进行比较，计算所述真实标注掩码与所述预测分割掩码之间的dice损失和交叉熵损失；

56、获取所述dice损失和交叉熵损失的加权和，构建所述真实标注掩码与所述预测分割掩码的损失函数；

57、计算所述损失函数相对于所述掩码解码器的权重梯度；

58、采用adam优化器调整所述掩码解码器的权重梯度，以最小化所述损失函数，得到优化后的缺陷视觉分割模型sam；

59、基于优化后的缺陷视觉分割模型sam进行焊接射线照片中缺陷视觉分割。

60、第五方面，本技术还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：

61、冻结缺陷视觉分割模型sam中的图像编码器和提示编码器；

62、获取焊接射线照片的数据集，提取所述数据集中真实标注掩码，所述真实标注掩码用于指示感兴趣区域；

63、将所述数据集输入至所述缺陷视觉分割模型sam，由所述冻结的图像编码器和提示编码器生成中间表示，由所述缺陷视觉分割模型sam中的掩码解码器基于所述中间表示生成预测分割掩码；

64、将真实标注掩码与所述预测分割掩码进行比较，计算所述真实标注掩码与所述预测分割掩码之间的dice损失和交叉熵损失；

65、获取所述dice损失和交叉熵损失的加权和，构建所述真实标注掩码与所述预测分割掩码的损失函数；

66、计算所述损失函数相对于所述掩码解码器的权重梯度；

67、采用adam优化器调整所述掩码解码器的权重梯度，以最小化所述损失函数，得到优化后的缺陷视觉分割模型sam；

68、基于优化后的缺陷视觉分割模型sam进行焊接射线照片中缺陷视觉分割。

69、上述焊接射线照片中缺陷视觉分割方法、装置、计算机设备、存储介质和计算机程序产品，冻结缺陷视觉分割模型sam中的图像编码器和提示编码器；获取焊接射线照片的数据集，提取数据集中真实标注掩码，真实标注掩码用于指示感兴趣区域；将数据集输入至缺陷视觉分割模型sam，由冻结的图像编码器和提示编码器生成中间表示，由缺陷视觉分割模型sam中的掩码解码器基于中间表示生成预测分割掩码；构建真实标注掩码与预测分割掩码的损失函数，并调整掩码解码器，以最小化损失函数，得到优化后的缺陷视觉分割模型sam，基于优化后的缺陷视觉分割模型sam进行焊接射线照片中缺陷视觉分割。整个过程中，一方面，对缺陷视觉分割模型sam中的图像编码器和提示编码器进行冻结，减少模型训练所需计算资源并且保持了模型内学习到的空间关系；另一方面，以最小化损失函数为目标合理调整掩码解码器，最终优化后的缺陷视觉分割模型sam可以准确实现对焊接射线照片中缺陷视觉分割。