一种面向机载智能目标识别模型的场景优化生成与测试装置

本发明涉及测试评估，具体涉及对机载智能目标识别模型进行测试评估，探测导致模型性能退化或失效的边界场景的。

背景技术：

1、基于人工智能的智能目标识别技术已成为无人机航拍领域的重要发展趋势。然而，由于机载目标识别算法模型的高复杂性和不确定性，即使在训练集和测试集上的识别准确率较高，也依然在某些实际应用场景中存在识别性能退化或失效的情况。因此，在机载目标识别算法模型投入实际使用之前，需要一种测试与评估方法来高效、准确探测导致机载目标识别算法退化或失效的边界场景，从而有针对性地提升目标识别算法模型的性能。

2、目前，针对机载目标识别算法失效场景测评的研究较少，主要测评方法为基于典型数据集进行模型训练，并针对特定领域基于人工经验构建典型场景下的数据集进行模型的微调和基本验证。但是，实际应用中，真实场景存在不确定性，与构建的典型场景数据集有一定差异，导致机载目标识别算法模型验证不充分、结果不可靠。若采用场景遍历测试的方法查找机载目标识别算法模型的边界场景，则存在场景空间“爆炸”，算法模型测评效率难保证的问题。

技术实现思路

1、本发明为了解决现有针对机载目标识别算法失效场景的测评存在验证不充分、结果不可靠和算法模型测评效率难保证的问题。

2、为实现上述目的，本发明提供了如下方案：

3、本发明提供一种面向机载智能目标识别模型的场景优化生成与测试装置，所述装置包括场景参数定义单元、参数配置与场景生成单元、场景采集单元、机载目标识别测试单元、边界场景参数优化搜索单元和信息交互单元；

4、所述场景参数定义单元用于通过场景引擎对机载目标识别模型的场景进行建模，并确定场景参数和参数范围；

5、所述参数配置与场景生成单元用于根据选择的场景参数生成并渲染所需的场景图像；

6、所述场景采集单元用于对所述场景图像进行采集，并发送给所述机载目标识别测试单元；

7、所述机载目标识别测试单元用于调用机载智能目标识别算法模型对所述场景图像进行识别，并根据识别结果计算本次检测的不可靠度；

8、所述边界场景参数优化搜索单元用于根据基于马尔可夫链蒙特卡罗方法的场景生成参数采样方法判断是否需要进行状态转移，直至状态转移后达到平稳分布，再对场景参数进行采样，得出机载目标识别算法失效场景集合；

9、所述信息交互单元用于完成各单元之间的数据交互。

10、进一步，还有一种优选实施例，对上述机载目标识别模型的场景进行建模时需要考虑识别目标的俯视角、小目标、多遮挡和天气多变因素。

11、进一步，还有一种优选实施例，上述场景采集单元用于通过机载可见光传感器对所述场景图像进行采集，并在场景引擎中模拟飞机航线和可见光传感器的拍摄角度，采集一系列场景图像。

12、进一步，还有一种优选实施例，上述场景图像的识别结果包括识别目标的类别、置信度、目标的识别框位置和大小。

13、进一步，还有一种优选实施例，上述不可靠度u的计算公式为：

14、

15、其中，c为置信度，i为识别框与真实框交并比，cmax为可接受的置信度的最大值，imax为可接受的识别框与真实框交并比最大值，td为检测的目标种类，tt为真实的目标种类。

16、本发明还提供一种基于马尔可夫链蒙特卡罗方法的场景生成参数采样方法，所述采样方法嵌入在上述边界场景参数优化搜索单元中，所述采样方法为：

17、s1、初始化马尔可夫链蒙特卡罗方法的参数；

18、s2、随机初始化场景参数；

19、s3、进行一次马尔科夫链采样，得到新的场景参数；

20、s4、根据所述新的场景参数生成场景，采集场景图片，并采用机载目标识别算法处理采集到的场景图片，并计算处理结果的不可靠度；

21、s5、根据不可靠度确定接受率，并通过接受率判断是否使用上一次还是本次的场景参数；

22、s6、判断是否完成采样次数，若否，则重新进行马尔科夫链采样，得到新的场景参数，直至完成计划采样次数，最终得到机载目标识别算法失效场景集合。

23、进一步，还有一种优选实施例，上述接受率具体为：

24、接受率＝min(本次不可靠度/上次不可靠度，1)。

25、本发明所述的一种基于马尔可夫链蒙特卡罗方法的场景生成参数采样方法可以全部采用计算机软件实现，因此，对应的，本发明还提供一种基于马尔可夫链蒙特卡罗方法的场景生成参数采样系统，所述系统包括：

26、用于初始化马尔可夫链蒙特卡罗方法的参数的存储装置；

27、用于随机初始化场景参数的存储装置；

28、用于进行一次马尔科夫链采样，得到新的场景参数的存储装置；

29、用于根据所述新的场景参数生成场景，采集场景图片，并采用机载目标识别算法处理采集到的场景图片，并计算处理结果的不可靠度的存储装置；

30、用于根据不可靠度确定接受率，并通过接受率判断是否使用上一次还是本次的场景参数的存储装置；

31、用于判断是否完成采样次数，若否，则重新进行马尔科夫链采样，得到新的场景参数，直至完成计划采样次数，最终得到机载目标识别算法失效场景集合的存储装置。

32、本发明还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述的基于马尔可夫链蒙特卡罗方法的场景生成参数采样方法。

33、本发明还提供一种计算机设备，该设备包括存储器和处理器，所述存储器中存储有计算机程序，当所述处理器运行所述存储器存储的计算机程序时，所述处理器执行上述的基于马尔可夫链蒙特卡罗方法的场景生成参数采样方法。

34、本发明的有益效果为：

35、1、本发明针对机载目标检测算法边界场景高效探测需求，提出了一种面向机载智能目标识别模型的场景优化生成与测试装置，该装置通过对场景参数进行高效采样和机载目标识别算法的自动化测试，实现在虚拟、复杂的动态场景中快捷探测机载目标识别算法模型的边界场景，支撑识别算法模型的性能测评和缺陷改进。

36、本发明适用于对机载智能目标识别模型进行测试评估，探测导致模型性能退化或失效的边界场景。

技术特征：

1.一种面向机载智能目标识别模型的场景优化生成与测试装置，其特征在于，所述装置包括场景参数定义单元、参数配置与场景生成单元、场景采集单元、机载目标识别测试单元、边界场景参数优化搜索单元和信息交互单元；

2.根据权利要求1所述的一种面向机载智能目标识别模型的场景优化生成与测试装置，其特征在于，对机载目标识别模型的场景进行建模时需要考虑识别目标的俯视角、小目标、多遮挡和天气多变因素。

3.根据权利要求1所述的一种面向机载智能目标识别模型的场景优化生成与测试装置，其特征在于，所述场景采集单元用于通过机载可见光传感器对所述场景图像进行采集，并在场景引擎中模拟飞机航线和可见光传感器的拍摄角度，采集一系列场景图像。

4.根据权利要求1所述的一种面向机载智能目标识别模型的场景优化生成与测试装置，其特征在于，所述场景图像的识别结果包括识别目标的类别、置信度、目标的识别框位置和大小。

5.根据权利要求4所述的一种面向机载智能目标识别模型的场景优化生成与测试装置，其特征在于，所述不可靠度u的计算公式为：

6.基于马尔可夫链蒙特卡罗方法的场景生成参数采样方法，其特征在于，所述采样方法嵌入在权利要求1-5任意一项所述的一种面向机载智能目标识别模型的场景优化生成与测试装置中的边界场景参数优化搜索单元中，所述采样方法为：

7.根据权利要求6所述的基于马尔可夫链蒙特卡罗方法的场景生成参数采样方法，其特征在于，所述接受率具体为：

8.基于马尔可夫链蒙特卡罗方法的场景生成参数采样系统，其特征在于，所述系统包括：用于初始化马尔可夫链蒙特卡罗方法的参数的存储装置；

9.一种计算机可读存储介质，其特征在于，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行权利要求6或7所述的基于马尔可夫链蒙特卡罗方法的场景生成参数采样方法。

10.一种计算机设备，其特征在于，该设备包括存储器和处理器，所述存储器中存储有计算机程序，当所述处理器运行所述存储器存储的计算机程序时，所述处理器执行权利要求6或7所述的基于马尔可夫链蒙特卡罗方法的场景生成参数采样方法。

技术总结一种面向机载智能目标识别模型的场景优化生成与测试装置，涉及测试评估技术领域，解决现有针对机载目标识别算法失效场景的测评存在验证不充分、结果不可靠和算法模型测评效率难保证的问题。分别通过场景参数定义单元确定场景参数和参数配置与场景生成单元生成场景图像；通过场景采集单元采集场景图像；机载目标识别测试单元对场景图像进行识别并计算本次检测的不可靠度；通过边界场景参数优化搜索单元根据基于马尔可夫链蒙特卡罗方法的场景生成参数采样方法判断是否需要进行状态转移，直至状态转移后达到平稳分布，得出机载目标识别算法失效场景集合；本发明适用于对机载智能目标识别模型进行测试评估，探测导致模型性能退化或失效的边界场景。技术研发人员：王本宽,艾晟民,刘大同,刘益林,彭宇受保护的技术使用者：哈尔滨工业大学技术研发日：技术公布日：2024/7/29