一种基于大模型的多模态轨道缺陷分割方法

本发明涉及计算机视觉，涉及一种识别方法，具体涉及一种基于大模型的多模态轨道缺陷分割方法。

背景技术：

1、在轨道缺陷分割任务中，引入了深度学习技术如u-net、全卷积网络(fcn)和maskr-cnn，这些方法虽然提升了分割精度和处理能力，但仍面临若干关键挑战。首先，这些模型容易受到复杂环境中背景噪声的干扰，可能导致错误地识别非缺陷元素，从而影响分割的准确性。其次，这些深度学习模型的效果在很大程度上依赖于大规模且高质量的标注数据集，而在轨道缺陷分析领域，获取此类数据集既耗时又成本高昂。此外，对于对比度较低的图像，模型可能难以有效区分缺陷与正常轨道之间的细微差异，导致分割性能下降。最后，处理微小缺陷如细小裂纹或磨损对于这些模型来说仍是一个挑战，因为这类缺陷在图像中的表现通常较为不明显，难以通过模型捕捉其特征。

2、近年来，随着人工智能技术的迅猛发展，诸如meta ai提出的segment anythingmodel(sam)这样的通用大模型已广泛应用于图像分割领域。sam是一个结合了图像编码器、提示编码器和掩码解码器的通用、可提示的分割模型，其在超过1100万张图像上训练的超过10亿个掩码展示了卓越的零样本泛化能力，能够在无需额外训练的情况下精确“剪切”图像中的任何对象。

3、尽管sam模型在图像分割领域表现出了显著的能力，但在特定应用领域，例如轨道缺陷检测，仍面临一系列挑战。首先，复杂的网络结构和庞大的参数数量导致其推理时间较长，这在需要实时或近实时处理的应用场景中，成为一个显著的瓶颈。其次，尽管sam展示了良好的泛化能力，但在处理特定领域的图像时，与专门为该领域设计的模型相比，其性能尚有提升空间。

技术实现思路

1、针对现有技术中的上述不足，本发明提供的一种基于大模型的多模态轨道缺陷分割方法，解决了现有技术中对轨道缺陷分割不准确的问题。

2、为了达到上述发明目的，本发明采用的技术方案为：

3、一种基于大模型的多模态轨道缺陷分割方法，包括如下步骤：

4、s1、获取轨道缺陷训练数据和轨道缺陷数据；

5、s2、使用轨道缺陷训练数据对缺陷检测模型进行训练，得到训练好的缺陷检测模型；

6、缺陷检测模型包括智能裁剪模块、目标检测模块和综合检测模块；

7、智能裁剪模块用于对轨道缺陷训练数据进行裁剪；

8、目标检测模块对裁剪后的轨道缺陷训练数据进行缺陷检测，目标检测模块的输出中包括有提示框和提示点的轨道缺陷图像；

9、综合检测模块用于结合目标检测模块的输出，对裁剪后的轨道缺陷训练数据进行缺陷检测，输出轨道缺陷；

10、s3、将轨道缺陷数据输入训练好的缺陷检测模型，通过训练好的缺陷检测模型输出轨道缺陷检测结果。

11、上述方案的有益效果是：

12、(1)本发明通过构建包含边界框和关键点的多模态提示集，优化模型输入，提升了大模型对缺陷区域的关注度，引入图像大模型，减少了对大规模标注数据集的依赖，提升了检测效率和精确度。

13、(2)本发明通过引入多模态提示，有效应对背景干扰，同时提高了对细微缺陷的检测精度；利用多模态提示对图像处理大模型sam进行知识启发，显著降低了模型对标注数据的依赖，增强了数据处理的灵活性。

14、进一步地，步骤s2中，智能裁剪模块包括依次连接的初始卷积层、最大池化层、残差层、自适应平均池化层、全连接层和dropout层；

15、初始卷积层的卷积核大小为7*7，初始卷积层的卷积步长为2，初始卷积层的填充为3；

16、残差层的层数为4，每层卷积层中包含至少一个残差块，每个残差块包括两个卷积层和一个se层。

17、上述进一步方案的有益效果是：通过算法自动识别裁剪掉那些非目标区域，仅保留核心的目标区域，从而优化输入数据的质量，并显著提升后续处理步骤，如特征提取和模式识别的效果；这种智能裁剪不仅减少了不必要的计算资源消耗，还增强了模型对于关键信息的关注度。

18、进一步地，目标检测模块包括依次连接的主干层、中间层和预测输出层；

19、主干层采用darknet-53作为主干网络，包括依次连接的四个特征提取模块，每个特征提取模块包括依次连接的卷积模块和残差模块，残差模块包括shortcut分支和main分支；

20、main分支包括依次连接的至少一个c2f卷积层和归一化层，c2f卷积层的卷积核大小为3*3，c2f卷积层的卷积步长为1；

21、主干层输出的特征图尺寸为20×20×512；

22、中间层输出的特征图尺寸为20×20×512；

23、预测输出层采用decoupled-head为解耦头。

24、上述进一步方案的有益效果是：通过引入多模态提示，有效应对背景干扰，同时提高了对细微缺陷的检测精度。

25、进一步地，综合检测模块的表达式为：

26、m＝s(i′,b,p；θs)

27、其中，m为最终的预测结果，θs表示分割模型的参数，p表示点提示的坐标，i′表示裁剪后的轨道缺陷图像，b表示目标缺陷位置的方框坐标。

28、进一步地，智能裁剪模块的损失函数为：

29、

30、其中，n是训练样本的数量，outputi和yi分别是智能裁剪模块的第i个预测输出和第i个实际标签。

31、进一步地，目标检测模块的损失函数包括分布焦点损失(distribution focalloss，dfl)和完整iou损失(complete iou loss，ciou)，其中，分布焦点损失dfl为：

32、

33、其中，n为训练批次中的总样本数量，c为类别数量，pij为第i个样本属于第j个类别的概率，tij为指示变量，表示第i个样本是否属于第j个类别，a，b为焦点损失中的调节参数；

34、完整iou损失ciou为：

35、

36、其中，cx和cy为预测边界框的中心坐标，gx和gy为真实边界框的中心坐标，gw和gh为真实边界框的宽度和高度，iou为预测边界框和真实边界框的交并比，ciou为iou损失的归一化系数，areainter为预测边界框和真实边界框的交集面积，areaunion为预测边界框和真实边界框的并集面积。

37、上述进一步方案的有益效果是：可以加快智能裁剪模块和目标检测模块的训练，使得智能裁剪模块和目标检测模块的训练可以更好地收敛。

38、进一步地，该方法还包括：

39、s4、使用评价指标对训练好的缺陷检测模型进行评价；

40、评价指标包括平均交并比、jaccard相似度系数、dice相似度系数和精确率。

41、进一步地，平均交并比的公式为：

42、

43、其中，tp_i、fp_i和fn_i分别表示第i个类被正确分类为正类的样本数量、第i个类被错误分类为正类的样本数量和第i个类被错误分类为负类的样本数量；miou表示平均交并比；iou_i表示第i个类别的交并比指标，miou表示平均交并比；

44、jaccard相似度系数的公式为：

45、

46、其中，tp表示被正确分类为正类的样本数量，fp表示被错误分类为正类的样本数量，fn表示被错误分类为负类的样本数量，jsc表示jaccard相似度系数；

47、dice相似度系数的公式为：

48、

49、其中，tp表示被正确分类为正类的样本数量，fp表示被错误分类为正类的样本数量，fn表示被错误分类为负类的样本数量，dsc表示dice相似度系数；

50、精确率的公式为：

51、

52、其中，tp表示被正确分类为正类的样本数量，fp表示被错误分类为正类的样本数量，pre表示精确率。

53、上述进一步方案的有益效果是：通过评估结果，可以确定模型是否达到预期的效果，帮助决定是否需要进一步优化或改进模型；通过对比不同模型的评估结果，可以选择最优模型来解决具体的任务或问题，调整模型的复杂度或采取其他措施来解决过拟合或欠拟合问题，提高模型的泛化能力；通过评估不同参数设置下的模型表现，可以选择最优参数组合，提高模型的效果和泛化能力；通过对模型评估结果的分析，可以更好地理解数据和模型的特性，为业务决策提供支持。