用于长尾声呐图像的开放集识别方法、设备、介质及产品

本发明涉及声呐图像识别，特别是涉及一种用于长尾声呐图像的开放集识别方法、设备、介质及产品。

背景技术：

1、在水下探测中，声呐成像发挥着重要的作用，尤其在浑浊、弱光的水下环境中，能够帮助人们更安全、高效地探索海底世界。近年来，声呐图像自动识别技术快速发展，在封闭、平衡的理想数据中已经取得了很不错的进展。

2、然而，在实际的应用场景中，识别模型遇到的声呐图像数据是开放的，通常很难在训练数据集中囊括所有的类别。同时真实环境中的声呐图像数据还存在自然的长尾分布问题，长尾分布的存在使得尾部类样本更容易与未知类样本混淆，为开放集识别带来了更大的挑战。虽然现在已经提出了不少先进的开放集识别方法，长尾识别的问题也得到了广泛关注。但是这两个研究通常是独立进行的，即对开放集识别的研究建立在平衡的理想条件下，而长尾识别的研究则没有考虑开放环境的问题。开放集和长尾识别研究的解耦使得这些方法在面临实际的声呐开放集长尾识别任务时性能受限。

技术实现思路

1、本发明的目的是提供一种用于长尾声呐图像的开放集识别方法、设备、介质及产品，可准确评估声呐开放集长尾识别任务。

2、为实现上述目的，本发明提供了如下方案：

3、第一方面，本发明提供了一种用于长尾声呐图像的开放集识别方法，其特征在于，包括：

4、获取目标长尾声呐图像；

5、将所述目标长尾声呐图像输入至训练后的开放集长尾识别模型，对所述目标长尾声呐图像中各物体的类别进行识别；

6、其中，所述开放集长尾识别模型的训练过程为：

7、获取样本长尾声呐图像；

8、基于所述样本长尾声呐图像，采用plud算法，对改进的开放集长尾识别分类器进行训练，得到训练后的开放集长尾识别模型；其中，改进的开放集长尾识别分类器为在原始分类器的基础上，采用宏观归一化精度评估指标和宏观开集分类率评估指标作为长尾开放问题的评估指标的分类器。

9、可选的，所述样本长尾声呐图像包括前视声呐图像分类数据集和公开声呐图像数据集；所述前视声呐图像分类数据集包括轮胎照片、软管照片、螺旋桨照片、铁管照片、浮板照片、渔网照片、柱体照片和大螺旋桨照片。

10、可选的，基于所述样本长尾声呐图像，采用plud算法，对改进的开放集长尾识别分类器进行训练，得到训练后的开放集长尾识别模型，具体包括：

11、基于所述样本长尾声呐图像，执行封闭集长尾识别任务，具体包括：

12、将每个训练批次的图像数据进行均分，得到第一数据和第二数据；

13、将搜索第一数据和搜索第二数据分别输入到所述开放集长尾识别模型的特征提取器中，生成第一特征和第二特征；

14、对所述第一特征执行流形混合，生成伪未知特征；

15、将所述伪未知特征和所述第二特征分别输入到改进的开放集长尾识别分类器中，得到伪未知分数和已知分数；

16、根据所述伪未知分数和已知分数，采用plud算法，对所述开放集长尾识别模型进行训练，当损失值小于设定阈值时，得到训练后的开放集长尾识别模型；所述损失值由闭集分类损失、push up损失和push down损失构成。

17、可选的，所述损失值的计算公式如下：

18、lplud＝lce+lpu+lpd；

19、其中，lplud为损失值，lce为闭集分类损失，y为真实标签，为预测概率最大的标签，c为已知类别数量，yi为第i个类别的真实标签，为预测概率最大的标签；lpu为push up损失，其中为真实标签y所对应的输出值，γ为调节函数倾斜程度的因子，b为一个mini-batch的数据大小；lpd为push down损失，zk为已知分数，zunki为样本的伪未知类得分zunk中第i个类别的输出logit值。

20、可选的，所述宏观归一化精度评价指标具体如下：

21、nma＝λraksmacro+(1-λr)aus；

22、其中，nma为宏观归一化精度评价指标，tpi,tni,fpi,fpi分别为真阳性，真阴性，假阳性和假阴性的样本数，tu，fu分别为未知类被正确分类和错误分类的样本数，aksmacro为已知样本类准确率，aus为未知样本类准确率，c为已知类别数，λr∈(0,1)为归一化参数。

23、可选的，所述宏观开集分类率评价指标的计算，具体如下：

24、根据第一比例曲线和第二比例曲线与坐标轴围成的面积，确定所述宏观开集分类率评价指标；所述第一比例曲线为未知类别以大于θ的置信度被错分为已知类别的样本数占未知类别样本总数比例的曲线；第二比例曲线为已知类别以大于θ的置信度被正确分类的样本数占已知类别样本总数比例的曲线。

25、可选的，所述第一比例曲线和所述第二比例曲线，具体如下：

26、

27、

28、其中，ccrmacro(θ)为第一比例曲线；fpr(θ)为第二比例曲线；du,dk分别是未知类和已知类样本空间，dki是已知类中第i类的样本空间，p(c|x)表示样本x为类别c的概率，为真实的类别标签，c为已知类类别总数；θ为变化的已知类/未知类的划分阈值，表示xc向量中最大的元素所对应的序号等于且大于阈值θ。

29、第二方面，本发明提供了一种计算机设备，包括：存储器、处理器以存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序以实现第一方面所述一种用于长尾声呐图像的开放集识别方法的步骤。

30、第三方面，本发明提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现第一方面所述一种用于长尾声呐图像的开放集识别方法的步骤。

31、第四方面，本发明提供了一种计算机程序产品，包括计算机程序，该计算机程序/指令被处理器执行时实现第一方面所述一种用于长尾声呐图像的开放集识别方法的步骤。

32、根据本发明提供的具体实施例，本发明公开了以下技术效果：

33、本发明提供了一种用于长尾声呐图像的开放集识别方法、设备、介质及产品，其中，识别方法包括：获取目标长尾声呐图像；将目标长尾声呐图像输入至训练后的开放集长尾识别模型，对目标长尾声呐图像中各物体的类别进行识别；其中，开放集长尾识别模型的训练过程为：获取样本长尾声呐图像；基于样本长尾声呐图像，采用plud算法，对改进的开放集长尾识别分类器进行训练，得到训练后的开放集长尾识别模型；其中，改进的开放集长尾识别分类器为在原始分类器的基础上，采用宏观归一化精度评估指标和宏观开集分类率评估指标作为长尾开放问题的评估指标的分类器。本发明提出了两个新的开放集长尾评估指标(宏观归一化精度评估指标、宏观开集分类率评估指标)来解决现有的开放集评估指标无法准确评估开放集长尾下的任务性能的问题，并且提出了plud方法来同时解决开放集长尾识别问题，实现了声呐开放集长尾识别任务的准确评估。

技术特征：

1.一种用于长尾声呐图像的开放集识别方法，其特征在于，包括：

2.根据权利要求1所述的一种用于长尾声呐图像的开放集识别方法，其特征在于，所述样本长尾声呐图像包括前视声呐图像分类数据集和公开声呐图像数据集；所述前视声呐图像分类数据集包括轮胎照片、软管照片、螺旋桨照片、铁管照片、浮板照片、渔网照片、柱体照片和大螺旋桨照片。

3.根据权利要求1所述的一种用于长尾声呐图像的开放集识别方法，其特征在于，基于所述样本长尾声呐图像，采用plud算法，对改进的开放集长尾识别分类器进行训练，得到训练后的开放集长尾识别模型，具体包括：

4.根据权利要求3所述的一种用于长尾声呐图像的开放集识别方法，其特征在于，所述损失值的计算公式如下：

5.根据权利要求1所述的一种用于长尾声呐图像的开放集识别方法，其特征在于，所述宏观归一化精度评价指标具体如下：

6.根据权利要求1所述的一种用于长尾声呐图像的开放集识别方法，其特征在于，所述宏观开集分类率评价指标的计算，具体如下：

7.根据权利要求6所述的一种用于长尾声呐图像的开放集识别方法，其特征在于，所述第一比例曲线和所述第二比例曲线，具体如下：

8.一种计算机设备，包括：存储器、处理器以存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序以实现权利要求1-7中任一项所述一种用于长尾声呐图像的开放集识别方法的步骤。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1-7中任一项所述一种用于长尾声呐图像的开放集识别方法的步骤。

10.一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序/指令被处理器执行时实现权利要求1-7中任一项所述一种用于长尾声呐图像的开放集识别方法的步骤。

技术总结本发明公开一种用于长尾声呐图像的开放集识别方法、设备、介质及产品，涉及声呐图像识别技术领域，该方法包括；获取目标长尾声呐图像；将目标长尾声呐图像输入至训练后的开放集长尾识别模型，对目标长尾声呐图像中各物体的类别进行识别；其中，开放集长尾识别模型的训练过程为：获取样本长尾声呐图像；基于样本长尾声呐图像，采用PLUD算法，对改进的开放集长尾识别分类器进行训练，得到训练后的开放集长尾识别模型；其中，改进的开放集长尾识别分类器为在原始分类器的基础上，采用宏观归一化精度评估指标和宏观开集分类率评估指标作为长尾开放问题的评估指标的分类器。本发明采用两个新评估指标和PLUD方法解决开放集长尾识别问题。技术研发人员：张建磊,张春燕,焦文沛,夏梓淇受保护的技术使用者：南开大学技术研发日：技术公布日：2024/9/17