一种基于SAM分割大模型的破损行李箱定损方法及系统

本发明属于计算机视觉，具体涉及一种基于结构先验和注意力增强的破损行李箱组件检测。

背景技术：

1、目前航空业关于旅客行李箱组件破损的定损分析主要采用人工定损方式，这种方式由于沟通周期长、赔付效率低，容易导致用户不满意并引发客户流失，并且会消耗大量的人力资源，给航空公司带来了重要挑战。这种定损分析实际上可以视为一种特殊的缺陷检测，其在学术界和工业界有着较为广泛的研究和应用。

2、目前的缺陷检测的方法大体可以分为四类，一类是检测网络，直接应用目标检测模型，或在此基础上进行改进；一类是分割网络，将缺陷检测转化为缺陷与正常区域的语义分割；一类是分类网络，首先分类正常样本和缺陷样本，然后对缺陷类型进行分类；一类是组合网络，将检测网络和分类网络级联，首先定位组件缺陷位置，最后对缺陷种类进行分类。

3、图像分割技术发展迅猛，2023年提出的sam大模型(segment anything)具有强大的自动分割能力和广泛的通用性，并且可以接受点、框、掩码等提示信息，进一步精准分割，但sam分割大模型只进行实例分割，并不具有语义信息。

4、使用上述方法进行行李箱组件破损的定损时还存在部分图片检测效果差的问题。这是由于损坏行李的图像是由乘客自行拍摄，拍摄距离和角度会随机变化，导致图像中目标对象的大小不一致，并且一些目标对象可能只在图片中显示部分特征，还有目标对象的旋转问题，由于计算机没有行李箱结构的先验知识，这些问题会给计算机带来很大的困扰。除此之外，使用上述方法进行行李箱组件破损的定损时还存在检测结果不够精细、检测结果与真实情况存在偏差的问题。这是由于检测和分割不同的任务特性造成的，分割的精细程度高于检测的精细程度，但分割的标注成本较高。

5、因此，亟需提供一种基于结构先验和注意力增强的基于sam分割大模型的破损行李箱定损方法及系统，以解决上述问题。

技术实现思路

1、针对现有技术的缺陷，本发明提供一种基于sam分割大模型的破损行李箱定损方法及系统。在定位目标对象层面，动态预测对象的中心和尺度，得到空间先验；在学习组件位置关系层面，通过聚焦函数，将相似的查询-键对拉进，将不相似的查询-键对推开，更好理解图像的全局结构和各组件的空间位置关系；在应对目标对象存在旋转关系的层面，利用极坐标的旋转不变性，通过极角差损失和组件定位损失。在提高检测结果的精细程度层面，通过将检测后的图片进行裁剪，获得目标对象的位置信息和语义信息，通过分类网络获得目标对象更精细的语义信息，最后借助sam分割大模型，实现无监督联合增强的破损精调。

2、本发明所采用的具体技术方案为：

3、本专利的第一发明目的是提供一种基于sam分割大模型的破损行李箱定损方法，包括：

4、s1、对待检测图像进行预处理，得到各组件的边界框信息和类别信息；

5、s2、利用所述边界框信息和类别信息，首先进行图像裁剪，得到各组件的组件图像，然后利用组件破损分类网络对组件图像进行处理，得到各组件是否存在破损的语义信息，并统计图像中破损的行李箱组件的数量；

6、s3、将所述边界框信息作为提示，通过分割精调网络对所述待检测图像进行处理，得到实例分割结果，结合所述类别信息和所述是否存在破损的语义信息，获得语义分割结果；

7、s4、根据所述破损的行李箱组件的数量，对行李箱进行定损，并输出所述语义分割结果作为可视化结果。

8、优选地，s1具体为：通过组件检测网络对待检测图像进行预处理，得到各组件的边界框信息和类别信息；其中：

9、所述组件检测网络包括编码器、解码器、检测头以及在训练过程中用于优化网络参数的损失函数；

10、所述编码器通过聚焦函数进行注意力增强，将相似的查询-键对拉进，将不相似的查询-键对推开；所述解码器包括空间注意力增强模块，动态预测对象的中心和尺度，得到空间先验，用于指导解码器中的共同注意映射，更好地理解图像的全局结构和各组件的空间位置关系；

11、在训练过程中，损失函数通过比较网络的输出与真实标签来计算损失，并通过反向传播算法调整网络参数。

12、优选地，所述损失函数包括：

13、组件-行李箱定位损失函数，将各组件约束在行李箱内部，用于定位各组件的位置；

14、组件-组件位置损失函数，学习各组件之间的空间位置关系。

15、优选地，所述空间注意力增强模块包括：

16、通过空间先验对图像不同位置赋予不同的权重，指导解码器中的共同注意映射；

17、通过聚焦函数，调整每个查询和键特征的方向，理解图像的全局结构和各组件的空间位置关系。

18、优选地，所述组件-行李箱定位损失函数包括：

19、行李箱的各个组件都安装在行李箱上，在组件检测任务中，对于包含箱体这个对象的图片来说，图片中其他类别的组件都应在箱体这个对象的边界框内部，通过这一约束，帮助模型感知各组件的空间位置关系。

20、优选地，所述组件-组件位置损失函数包括：

21、应用极坐标来衡量不同区域之间的位置关系；

22、通过极角差损失来约束行李箱不同组件之间的空间依赖关系，使模型预测的极角逼近真实极角。

23、优选地，所述组件破损分类网络包括若干个分类器。

24、优选地，所述分割精调网络为sam分割大模型。

25、本发明的第二目的是提供一种基于sam分割大模型的破损行李箱定损系统，包括：

26、图像预处理模块，对待检测图像进行预处理，得到各组件的边界框信息和类别信息；

27、语义信息生成模块，利用所述边界框信息和类别信息，首先进行图像裁剪，得到各组件的组件图像，然后利用组件破损分类网络对组件图像进行处理，得到各组件是否存在破损的语义信息，并统计图像中破损的行李箱组件的数量；

28、语义分割结果生成模块，将所述边界框信息作为提示，通过分割精调网络对所述待检测图像进行处理，得到实例分割结果，结合所述类别信息和所述是否存在破损的语义信息，获得语义分割结果；

29、结果输出模块，根据所述破损的行李箱组件的数量，对行李箱进行定损，并输出所述语义分割结果作为可视化结果。

30、本发明的第三目的是提供一种信息数据处理终端，用于实现上述的基于sam分割大模型的破损行李箱定损方法。

31、通过采用上述技术方案，本发明具有如下的技术效果：

32、(1)在定位目标对象层面，动态预测对象的中心和尺度，得到空间先验；

33、(2)在学习组件位置关系层面，通过聚焦函数，将相似的键-值对拉进，将不相似的键-值对推开，更好理解图像的全局结构和各组件的空间位置关系

34、(3)在应对目标对象存在旋转关系的层面，利用极坐标的旋转不变性，通过极角差损失和组件定位损失。

35、(4)在提高检测结果的精细程度层面，通过将检测后的图片进行裁剪，获得目标对象的位置信息和语义信息，通过分类网络获得目标对象更精细的语义信息，最后借助sam分割大模型，实现无监督联合增强的破损精调。