一种智能目标识别算法的横向测试评估方法与流程

本发明涉及测量测试，具体涉及一种智能目标识别算法的横向测试评估方法。

背景技术：

1、sar/isar系统可以全天候、全天时地获得高分辨率遥感图像，随着基于人工智能的目标识别技术的快速发展，应用sar/isar图像进行目标分类和识别的设备越来越多。sar图像目标识别是sar图像解译的重要一环。isar是在sar基础上发展起来的另外一种雷达成像技术，旨在解决运动目标的成像问题，能够获得运动目标。和sar一样，isar目标识别已经成为极为重要的一种目标识别手段。

2、深度学习技术的发展为该任务提供了有效方法。大量目标识别算法的不断出现，需要一种可自动化的目标识别算法自动化检测技术。目标识别的技术路线及发展历史可大致划分为经典的统计模式识别方法、基于知识的自动目标识别方法、基于模型的自动目标识别方法、基于多传感器信息融合的自动目标识别方法、基于人工神经网络和专家系统混合应用的自动目标识别方法以及基于人工智能和深度学习的自动目标识别方法六个阶段。当前处于第6个发展阶段，即基于人工智能和深度学习的自动目标识别方法。

3、在面向实际应用中，基于深度学习的目标识别算法可分为以下两种应用场景：(1)在资源受限场景下：指计算、通信、部署空间等资源条件受限制，一般通过嵌入式平台或专用ai芯片等实现基于深度学习的图像目标识别应用，通过一系列方法对目标识别算法进行修枝剪枝，从而减少模型参数和存储空间占用，如mobilenet算法模型；(2)在资源不受限场景下：指计算、通信、部署空间等资源条件不受限制，一般通过gpu/cpu等计算机/服务器实现基于深度学习的图像目标识别应用，如faster-rcnn算法模型。但现有目标识别算法运行环境不同、硬件资源不同、应用场景不同，无法给出客观的测试评估结果，也无法进行横向测试评估。

技术实现思路

1、本发明是为了解决目标识别算法评估的问题，提供一种智能目标识别算法的横向测试评估方法，以数据库为管理中枢，结合人机交互界面，实现雷达成像目标识别算法的横向测试评估技术及平台。本发明具备完备的目标图像库，可利用图像库快速构建丰富的测试场景，并基于终端测试和性能无损测试两种测试模式自动生成测试流程，对被测算法进行精准、全面的测试，同时调用典型算法进行横向对比，给出性能评估结果。

2、本发明提供一种智能目标识别算法的横向测试评估方法，包括以下步骤：

3、s1、收集目标雷达影像并录入图像样本数据库；

4、s2、用户在测试分系统中输入数据集构建指令，测试分系统解析数据集构建指令并在图像样本数据库中搜寻索引图像位置构建数据集，数据集搜寻完毕后移入测试数据集存储路径；

5、s3、用户在测试分系统输入测试指令，调用待测试智能目标识别算法并使用测试数据集进行目标识别得到待测算法测试结果；

6、s4、用户在基准算法分系统中选择用于横向对比的内置基准目标识别算法，基准算法分系统调用选择的内置基准目标识别算法并使用与步骤s3相同的测试数据集进行目标识别得到横向比对测试结果；

7、s5、评估分系统调用测试数据集、待测算法测试结果和横向比对测试结果并根据用户选择的评估函数进行评估，得到待测试智能目标识别算法的横向测试评估结果，一种智能目标识别算法的横向测试评估方法完成。

8、本发明所述的一种智能目标识别算法的横向测试评估方法，作为优选方式，步骤s1中，目标雷达影像从公共数据集、星载影像数据集、实飞雷达影像数据集、仿真图像数据集收集的多源多目标雷达影像；

9、将目标雷达影像和对应的sar/isar图像标签信息均录入图像样本数据库；sar/isar图像标签信息包括目标种类、采集设备和采集角度；

10、图像样本数据库为postgresql数据库；

11、图像样本数据库包括人机交互界面，人机交互界面预留可选数据集目标参数，可选数据集目标参数包括目标种类、图像来源、采集设备、采集角度和扫描模式。

12、本发明所述的一种智能目标识别算法的横向测试评估方法，作为优选方式，步骤s1中，图像样本数据库包括标注界面，通过标注界面可调用基准算法分系统进行新目标类别的标注，也可自行导入新的目标雷达图像样本并进行手动标注。

13、本发明所述的一种智能目标识别算法的横向测试评估方法，作为优选方式，步骤s2中，测试分系统搜寻索引图像位置后将索引图像放置在缓存文件路径，直至测试数据集全部搜寻完毕后移入测试数据集存储路径。

14、本发明所述的一种智能目标识别算法的横向测试评估方法，作为优选方式，步骤s3中，测试分系统包括终端测试模式和性能无损测试模式；

15、终端测试模式下，待测试终端设备接入测试分系统的通信接口，测试分系统的终端测试模块查询连接状态并通过通信接口将测试数据集传输至待测试终端设备，待测试终端设备进行测试数据集的目标识别并通过通信接口向性能无损测试模块返回待测算法测试结果；

16、性能无损测试模式下，通过通信接口将待测试智能目标识别算法文件包上传至测试分系统的性能无损测试模块，待测试智能目标识别算法文件包包括待测试智能目标识别算法文件、脚本文件和权重文件，脚本文件包括待测试智能目标识别算法运行所需的运行环境和各目标类别对应标签，性能无损测试模块解析目标类别标签并本地化构建运行环境，性能无损测试模块调用测试数据集并使用待测试智能目标识别算法进行测试数据集的目标识别得到待测算法测试结果。

17、本发明所述的一种智能目标识别算法的横向测试评估方法，作为优选方式，终端测试模式下，通信接口的软件协议包括控制指令、图像数据、目标类别名称、状态上报、结果上报和校验方式，终端测试模式过程中，终端测试模块持续获取测试、传输状态并返回人机交互界面中的状态栏显示，状态栏显示连接状态、数据传输及测试情况，测试数据集测试结果返回后终断连接状态、断开通信接口；

18、性能无损测试模式下，权重文件提供待测试智能目标识别算法的初始权重或已训练好的权重参数；若无需训练算法，则可直接测试待测试智能目标识别算法；若需要训练算法，则在待测试智能目标识别算法训练完毕后进行测试。

19、本发明所述的一种智能目标识别算法的横向测试评估方法，作为优选方式，步骤s4中，基准算法分系统包括至少两种内置基准目标识别算法，用户设定选择内置基准算法权重文件和训练参数；

20、基准算法分系统根据测试数据集调用可测试被测目标的内置基准目标识别算法模型，基准算法分系统根据调用的内置基准目标识别算法模型构建运行环境并进行模型训练。

21、本发明所述的一种智能目标识别算法的横向测试评估方法，作为优选方式，基准算法分系统还包括代码编辑功能，用户可在人机交互界面右侧显示窗口修改代码、配置文件，基准算法分系统编译修改后文件并构建、训练算法模型。

22、本发明所述的一种智能目标识别算法的横向测试评估方法，作为优选方式，步骤s5中，评估函数的数量为至少两个；

23、评估函数包括加权评估函数eva；

24、

25、其中，ri为归一化后的智能目标识别算法评价指标，wi为各算法评价指标的权重，n为算法评价指标的总数量；

26、智能目标识别算法评价指标的种类和算法评价指标的权重均为用户自行选定。

27、本发明所述的一种智能目标识别算法的横向测试评估方法，作为优选方式，智能目标识别算法评价指标包括取精确率、召回率、准确率、f1分数、交并比；

28、评估分系统还包括新建评价指标和新建评估函数的自定义接口。

29、本发明提供一种基于雷达成像智能目标识别算法的横向测试评估技术及平台，用于横向对比雷达成像智能目标识别算法并评估其性能。其实现步骤为：1、图像样本数据库录入多源多目标影像；2、测试分系统构建测试数据集；3、测试分系统测试被测算法；4、基准算法分系统在相同测试数据集上测试；5、评估分系统横向对比被测算法与基准算法。本发明提供常见sar/isar目标识别算法数据集，包含不少于10种目标且附带代表sar\isar图像特征的目标种类、采集设备、采集角度等标签信息，聚合sar/isar特征信息，便于后续自定义数据集生成。本发明利用postgresql数据库管理样本，结合人机交互界面，设计雷达成像智能目标识别测试环境快速构建、流程自动生成、测试过程数据自动采集与输出等模块，除基本的性能测试外，还可用于目标检测相关算法的研发实验。本发明提供终端测试和性能无损测试两种测试模式，可根据用户需求直接测试算法或测试搭载被测算法的设备，适用于智能应用设备的测试以及备用算法的测试。本发明提供多种典型基准深度学习目标识别算法，在测试时提供横向对比算法。本发明提供多个维度、层次化的评价指标，包含多个评价指标及评价指标函数，用户可根据需求选取。本发明预留多个自定义接口，包括数据上传、标注、算法构建、代码辅助编写、运行环境构建、新建评价指标和评估函数等涵盖辅助搭建运行深度学习网络的功能，不仅可以用于设备测试，也可用于日常工作中算法的研发。

30、实现本发明目的的思路是，本发明提供大量sar/isar目标识别算法数据集，包含不少于10种目标且附带代表sar/isar图像特征的目标种类、采集设备、采集角度等标签信息，聚合sar/isar特征信息，便于后续自定义数据集生成。本发明利用postgresql数据库管理样本，结合人机交互界面，设计雷达成像智能目标识别测试环境快速构建、流程自动生成、测试过程数据自动采集与输出等模块。本发明提供终端测试和性能无损测试两种测试模式，可根据用户需求直接测试算法或测试搭载被测算法的设备，适用于智能应用设备的测试以及备用算法的测试。本发明提供多种典型sar/isar深度学习目标识别算法，在测试时提供横向对比算法。本发明提供多个维度、层次化的评价指标，包含多个评价指标及评价指标函数，用户可根据需求选取。本发明预留多个自定义接口，包括数据上传、标注、算法构建、代码辅助编写、运行环境构建、新建评价指标和评估函数等涵盖辅助搭建运行深度学习网络的功能，不仅可以用于设备测试，也可用于日常工作中算法的研发。

31、本发明可用于测试集成于雷达中的目标识别算法，通过调用典型算法，横向对比，评估被测算法性能。

32、本发明的具体步骤包括如下：

33、步骤1，图像样本数据库录入多源多目标影像：

34、步骤1.1，从公共数据集、星载影像数据、实飞雷达影像数据、仿真图像数据四个方面收集多源多目标雷达影像；

35、步骤1.2，录入postgresql数据库；

36、步骤1.3，在人机交互界面预留可选目标参数，包括目标种类、图像来源、采集设备、采集角度、扫描模式等；

37、步骤1.4，可根据需求，调用标注界面实现新目标类别的标注，也可自行导入新样本并进行标注。

38、步骤2，测试分系统构建测试数据集：

39、步骤2.1，后端解析数据集构建指令；

40、步骤2.2，数据库搜寻索引图像位置；

41、步骤2.3，图像放置缓存文件路径；

42、文件的缓存是为了防止出现软件崩溃等软硬件故障造成的数据冲突问题。

43、步骤2.4，数据集构建指令完毕后移入测试数据集存储路径。

44、步骤3，测试分系统测试被测算法：

45、根据被测算法测试模式，分为终端测试和性能无损测试两种操作流程。

46、终端测试为“测试系统——被测设备——测试结果返回”的测试应用。

47、性能无损测试为“被测设备算法软件——测试系统——显示测试结果”的测试应用。

48、步骤4，基准算法分系统在相同测试数据集上测试。

49、步骤4.1，根据测试数据集调用可测试被测目标的基准算法模型。

50、步骤4.2，根据调用的基准算法模型构建运行环境。

51、步骤5，评估分系统横向对比被测算法与基准算法。

52、步骤5.1，从数据库中调用数据集和测试结果。

53、步骤5.2，调用评价指标和评价指标函数评估被测算法与基准算法。

54、本发明具有以下优点：

55、(1)本发明提供常见sar/isar目标识别算法数据集，包含不少于10种典型目标且附带目标种类、采集设备、采集角度等代表sar\isar图像特征的标签信息，涵盖了大部分目标识别算法测试用目标，且附带丰富的采集图像信息，高度模拟不同算法应用场景。

56、(2)本发明利用postgresql数据库管理样本，结合人机交互界面，设计雷达成像智能目标识别测试环境快速构建、流程自动生成、测试过程数据自动采集与输出等功能模块。postgresql可以在操作系统或硬件崩溃时，该数据库将优先保存数据到磁盘中，防止sar/isar样本数据损坏，能够保护样本库中样本数据。除基本的性能测试外，还可用于目标检测相关算法的研发实验。

57、(3)本发明提供终端测试和性能无损测试两种测试模式，可根据用户需求直接测试算法或测试搭载被测算法的设备。终端模式适用于算法已经移植至设备中，与原算法有差异的情况。性能无损测试模式适用于算法应用设备具备高计算显存的情况，可在无性能损失情况下对算法进行测试。

58、(4)本发明提供多种典型sar/isar深度学习目标识别算法，在测试时提供横向对比算法，也可复用该功能底层代码进行被测算法的复现。利用典型算法作为对照，可客观反映出被测算法性能。

59、(5)本发明提供多个维度、层次化的评价指标，包含多个基础评价指标及加权量化的评价指标函数，用户可根据需求选取。

60、(6)本发明预留多个自定义接口，包括数据上传、标注、算法构建、代码辅助编写、运行环境构建、新建评价指标和评估函数等涵盖辅助搭建运行深度学习网络的功能，不仅可以用于设备测试，也可用于日常工作中算法的研发。