验证自动驾驶感知结果SPI输出正确性自动化测试方法与流程

本发明属于自动驾驶感知结果spi输出正确性验证，具体涉及一种验证自动驾驶感知结果spi输出正确性自动化测试方法。

背景技术：

1、在自动驾驶技术领域中，spi协议被广泛应用于mcu与soc之间的高速通信，实时传输传感器感知数据、can透传数据等。自动驾驶感知算法是自动驾驶技术中的关键组成部分，在soc上收集原始传感器数据经过一系列算法处理后输出感知目标结果，为自动驾驶决策与规控提供依据，故感知结果输出数据的正确性决定了自动驾驶系统控制的可靠性和稳定性，进而决定了自动驾驶的安全性。因此，对spi输出感知结果数据的正确性验证，对自动驾驶产品感知功能就尤为重要。

2、测试中，由于spi通信数据是标准十六进制报文格式不易读，无法直观查看到感知结果，目前普遍的测试方法spi通信数据的读取分析只能依赖于昂贵的硬件测试工具，在线从mcu端接收的数据里读取到，且只支持在变数监控窗口针对单帧场景输入某一个变数查看其值的显示。这种方法一方面需要连接硬件搭建测试环境进行实时在线通信才能读取；另一方面，工具显示的感知结果仍是十进制数字，想直接看出该值对应的具体含义，还必须人工根据spi协议去对应解读；第三方面利用工具读取到的是mcu端接收到的数据，是基于spi通信正确性前提下，在soc与mcu联调之前并不能保证soc端发送的数据一致性，也就无法直接验证soc发送的spi感知结果的正确性。当出现错误时只显示mcu透传后的数据，定位问题需要从mcu端开始查起问题，定位麻烦，降低了开发效率。

3、最重要的是，基于以上利用工具在线读取单帧spi感知结果后，目前普遍采用的测试方法是通过目视把spi感知结果与真值数据进行比对，人眼把一条条感知信号去转换比对，再手动录入测试用例中获得测试结论，该单帧目视的测试方法效率低下，对于自动驾驶海量里程的spi感知结果数据测试杯水车薪，无法全面测试各种工况场景，无法高度完成spi感知结果正确性的验证。

4、因此，基于上述技术问题需要设计一种新的验证自动驾驶感知结果spi输出正确性自动化测试方法。

技术实现思路

1、本发明的目的是提供一种验证自动驾驶感知结果spi输出正确性自动化测试方法。

2、为了解决上述技术问题，本发明提供了一种验证自动驾驶感知结果spi输出正确性的自动化测试方法，包括：

3、根据数采进行spi报文输出；

4、spi报文获取与解析，获取spi解析数据；

5、数采时获取真值数据；

6、spi解析数据与真值数据映射；

7、映射后进行目标匹配；

8、目标匹配后将spi感知结果数据与真值数据对比；

9、根据对比结果生成测试报告；

10、根据spi解析数据进行单变量多帧连续输出验证。

11、进一步，所述根据数采进行spi报文输出包括：

12、将数采获取的视频流与can数据进行板端回灌；

13、板端上的soc收集到传感器数据后，对这些原始数据进行去噪、滤波、校准预处理，通过感知算法对不同传感器采集的数据进行时间同步和数据融合；

14、然后利用融入后的数据对车辆周围的环境进行感知和理解，输出相应的spi感知结果传给mcu；

15、通过自动化程序运行把回灌pack包的spi感知结果数据输出到预设的指定文件地址中。

16、进一步，所述spi报文获取与解析，获取spi解析数据包括：

17、在远程终端上设置自动化程序；

18、将远程终端与板端连接，从预设的指定文件地址中获取到由soc直接输出的多帧spi感知结果数据，然后对spi感知结果数据进行格式化处理，并创建对象存储spi感知结果数据，循环解析各帧spi感知结果数据中的传感器数据与各项变量模块数据，直至所有帧的spi感知结果数据处理完成，最后创建文件输出流，输出格式化的解析结果；

19、所述解析结果即为spi解析数据。

20、进一步，所述数采时获取真值数据包括：

21、数采时，采集车上的激光雷达、gps、摄像头、惯性测量单元，以及采集到车辆的经纬度、速度、加速度、车辆姿态数据后，按时间戳存储，最终该数据被自动化程序进行数据预处理和数据融合以及感知处理后，输出序列化结构化的真值数据文件；

22、通过控制命令下载真值数据文件到预设的指定文件地址中。

23、进一步，所述spi解析数据与真值数据映射包括：

24、通过提取、定义、转换操作将spi解析数据与真值数据进行数据映射，包括实体结构、消息字段、类型、数值转换。

25、进一步，所述映射后进行目标匹配包括：

26、pack包中包括多帧多目标物的感知结果，通过时间戳匹配到对应到的帧号，然后再利用目标物检测框bbox信息进行目标匹配；

27、目标匹配的方法遵循交并比最大原则，获取到的候选目标再进行目标分类与筛选，如果候选目标不符合筛选条件，在当前的目标匹配中剔除该目标，重新进行交并比最大原则的匹配，以此循环，直到该帧中的目标匹配完毕，如若未找到对应的匹配目标，将记录目标漏检情况。

28、进一步，所述目标匹配后将spi感知结果数据与真值数据对比包括：

29、目标匹配完成后，将目标的所有变量逐一进行对比，在阈值范围内的变量测试通过，在阈值范围外的变量测试ng；

30、当对比完第一个目标全部变量后，进行第二个目标的感知比对，直至遍历完该帧内所有目标后，进入第二帧的对比，直至对比完pack包中包含的所有帧。

31、进一步，所述根据对比结果生成测试报告包括：

32、自动化程序会根据对比结果输出对比报告；

33、对比报告以时间戳为分割线展示该帧内所有目标物的变量名、spi感知原始值、感知结果、真值数据、比对结果，并标记出相应的ng项，最后统计并输出该pack包中所在变量的ng项情况。

34、进一步，所述根据spi解析数据进行单变量多帧连续输出验证包括：

35、根据解析结果中全部变量连续多帧的值，将单个变量以折线图的形式输出连续多帧的感知结果。

36、另一方面，本发明还提供一种采用上述验证自动驾驶感知结果spi输出正确性的自动化测试方法的测试系统，包括：

37、报文输出模块，被配置为，根据数采进行spi报文输出；

38、解析模块，被配置为，spi报文获取与解析，获取spi解析数据；

39、真值数据模块，被配置为，数采时获取真值数据；

40、映射模块，被配置为，spi解析数据与真值数据映射；

41、匹配模块，被配置为，映射后进行目标匹配；

42、对比模块，被配置为，目标匹配后将spi感知结果数据与真值数据对比；

43、报告模块，被配置为，根据对比结果生成测试报告；

44、验证模块，被配置为，根据spi解析数据进行单变量多帧连续输出验证。

45、本发明的有益效果是，本发明通过根据数采进行spi报文输出；spi报文获取与解析，获取spi解析数据；数采时获取真值数据；spi解析数据与真值数据映射；映射后进行目标匹配；目标匹配后将spi感知结果数据与真值数据对比；根据对比结果生成测试报告；根据spi解析数据进行单变量多帧连续输出验证；实现了不依赖于硬件测试工具的情况下，通过自动化程序从源头soc获取连续多帧spi感知数据、自动解析并存储为结构化的感知结果、与真值数据自动化对齐、一键式对比出结果的自动化快捷验证，还能自动化输出感知变量连续多帧的跟踪曲线图，大大提高自动驾驶spi感知结果正确性的测试效率和测试有效性，降低测试成本，提高测试场景覆盖度，对ng项精准定位问题，促进感知算法迭代优化。

46、本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书以及附图中所特别指出的结构来实现和获得。

47、为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。