一种自动驾驶场景自识别方法及存储介质与流程

1.本发明属于数据采集分析技术领域，具体涉及一种自动驾驶场景自识别方法及存储介质。


背景技术：

2.道路类型、车道线、标识、障碍物等交通场景元素的多样性、复杂性、不确定性、无法完全复现性等，导致自动驾驶功能的测试验证难以覆盖所有交通场景或者需付出巨额代价，同时也是实现无人自动驾驶真正规模量产的制约因素。通过数据驱动软件功能与性能不断迭代更新无疑是成本最优、迭代速度最快、自成长能力最强的方式。
3.为保证自动驾驶功能的安全性，任何一次软件的优化升级都需要某个单一场景下成百上千公里的仿真回灌与实车测试验证。如何大规模地采集数据、并自动按照场景进行分类，为后续的问题分析、仿真场景搭建、深度学习网络优化、自动驾驶模型的迭代升级提供数据保障，成为自动驾驶汽车开发过程中亟须解决的难题。
4.目前自动驾驶测试场景数据来源主要有三类：第一类基于prescan、carsim、vtd等商业软件设计的虚拟道路交通场景，这类虚拟场景与实际交通场景差异较大，且难以表征车载传感器与执行真实性能，该类数据通常用来验证软件模块的功能逻辑是否正常；第二类数据来源于实验室，使用实物传感器，但周围环境并非实际道路交通环境，该类数据偏差也较大；第三类数据来源于车辆实际运行过程中产生的数据，对于任一时刻的车辆状态、周围道路环境、驾驶员行为进行复现,但真实道路交通场景的多样复杂性、原始图片与点云数据量大等特性，要真正实现数据驱动开发，需解决对实车采集数据清洗、事件与场景提取、标签化分类管理进行高效处理。


技术实现要素：

5.针对现有技术的上述不足，本发明要解决的技术问题是提供一种自动驾驶场景自识别方法及存储介质，避免传统的实车采集数据方法面对定位分析问题时可行性低的问题，取得提升数据的利用效率与重复利用率的效果。
6.为解决上述技术问题，本发明采用如下技术方案：
7.一种自动驾驶场景自识别方法，具体包括以下步骤：
8.s1：数据采集存储，将采集车、试验车、量产车及第三方平台的整车网络信号、传感器原始数据上传到云存储服务器；
9.s2：数据清洗，对步骤s1中云存储服务器里的数据的完整性、连续性进行检查，并剔除已经损坏、无效的数据；
10.s3：事件、场景识别与埋点，基于车辆网络总线信号的逻辑关系，自动识别驾驶过程中的各类事件和交通场景，并对发生的事件和关注的场景进行埋点；
11.s4：数据切割，通过步骤s3中埋点的位置，对数据文件进行切割，只保留事故发生时前后5s内信息完整的数据；
12.s5：分类与标签标注，根据事件、场景的分类与标签规则，对于步骤s4后保留下的数据进行自动标签化处理；
13.s6：格式转换，将步骤s5中标签化处理后的数据文件进行数据转换；
14.s7：数据使用，将步骤s6所得的数据文件用于问题分析、仿真场景搭建及测试、回注测试、ai训练与测试、地图数据制作与更新。
15.进一步完善上述技术方案，所述步骤s1中，所述整车网络信号包括车辆正常状态、传感目标信号、gps信号和中间变量；所述传感器原始数据包括视频和雷达点云；
16.所述步骤s1采集存储的数据还包括车架号、软硬件版本号、采集的时间和地点。
17.进一步地，所述步骤s2还包括：
18.s201：从云存储服务器提取步骤s1所上传的数据；
19.s202：对步骤s201中的数据的完整性进行检测，如果数据完整，执行s203；如果数据不完整，则通知数据管理员，剔除云存储服务器上丢帧或信号缺失的数据；
20.s203：对完整的数据的采集时间、车架号和软硬件版本号进行检查并判断是否有效，如果数据有效，执行s3；如果数据无效，则通知数据管理员，剔除云存储服务器上冗余重复或过时的数据。
21.进一步地，所述步骤s3还包括：
22.s301：基于数据内容、地图制作需求、ai训练需求和测试需求建立事件与场景标签库；
23.s302：对所述事件与场景标签库内的事件、场景进行详细描述；
24.s303：定义可用于机器自识别的规则，利用相应的算法函数使得该规则通过单个信号、多个信号的逻辑组合和事件与场景标签库一一对应；
25.s304：开发事件与场景自识别软件，并基于该软件内的定义规则对步骤s2清洗后的数据文件进行识别与埋点。
26.进一步地，所述步骤s4中，对经过所述步骤s3识别与埋点后的数据文件进行解析，并根据埋点的位置对数据文件进行切割，并对每个被切割的文件添加车架号、时间、软硬件版本号和识别标记。
27.进一步地，所述步骤s5中，完成自动标签化处理后，将数据文件分层分类保存至云存储服务器。
28.进一步地，所述步骤s6中，将分类分层的数据文件转换为不同格式的数据文件以适应不同的数据使用环境以及数据的同源性，不同格式包括：blf格式、open drive格式、mf4格式和压缩及标注后的图片格式。
29.本发明还涉及一种存储介质，所述存储介质存储有一个或者多个程序，所述一个或者多个程序被处理器运行时，执行如上所述的一种自动驾驶场景自识别方法的步骤。
30.相比现有技术，本发明具有如下有益效果：
31.本发明的一种自动驾驶场景自识别方法，对所有采集整车网络信号、传感器原始信号数据进行自动识别提取、格式转换、标签化分类存储管理；其中，根据实车数据分层分类建立的场景库覆盖自然交通流场景、自动驾驶失效工况、驾驶员接管数据、驾驶整车驾驶数据、运行区域范围外工况、交通事故、交通参与者交互数据、人机交互数据，可以为自动汽车产品定义、功能规划、需求分析、软硬件开发、系统集成、仿真与实车验证、功能与性能快
速迭代更新、交通基础设施建设、自动驾驶标准法规制定等提供大数据支撑，提升了数据的利用效率与重复利用率；而传感器原始视频与点云数据、中间变量数据可为视觉语义分割、目标检测与跟踪、车道线识别、可行驶区域识别、博弈决策、自学习路径规划、驾驶员行为模拟学习提供训练和测试数据集，不断提升自动驾驶性能的稳定性与可靠性，逐步扩大自动驾驶场景边界。
附图说明
32.图1为实施例的一种自动驾驶场景自识别方法的逻辑框图；
33.图2为本发明中数据清洗的流程图；
34.图3为本发明中事件、场景识别与埋点的流程图；
35.图4为本发明中数据切割的流程图；
36.图5为本发明中格式转换的流程图。
具体实施方式
37.下面结合附图对本发明的具体实施方式作进一步的详细说明。
38.请参见图1-图5，具体实施例的一种自动驾驶场景自识别方法，具体包括以下步骤：
39.s1：数据采集存储，将采集车、试验车、量产车及第三方平台的整车网络信号、传感器原始数据上传到云存储服务器；
40.s2：数据清洗，对步骤s1中云存储服务器里的数据的完整性、连续性进行检查，并剔除已经损坏、无效的数据；
41.其中，步骤s2还包括：
42.s201：从云存储服务器提取步骤s1所上传的数据；
43.s202：对步骤s201中的数据的完整性进行检测，如果数据完整，执行s203；如果数据不完整，则通知数据管理员，剔除云存储服务器上丢帧或信号缺失的数据；
44.s203：对完整的数据的采集时间、车架号和软硬件版本号进行检查并判断是否有效，如果数据有效，执行s3；如果数据无效，则通知数据管理员，剔除云存储服务器上冗余重复或过时的数据；
45.s3：事件、场景识别与埋点，基于车辆网络总线信号的逻辑关系，自动识别驾驶过程中的各类事件和交通场景，并对发生的事件和关注的场景进行埋点；
46.实施时，这里的驾驶过程中的事件包括：误制动、漏制动和驾驶员接管；驾驶过程中的交通场景包括：隧道、车道线类型、红绿灯、匝道、环岛、十字路口和拥堵。
47.其中，步骤s3还包括：
48.s301：基于数据内容、odd(设计运行区域)、潜在失效模式、地图制作需求、ai训练需求和测试需求建立事件与场景标签库；
49.s302：对所述事件与场景标签库内的事件、场景进行详细描述；
50.s303：定义可用于机器自识别的规则，利用相应的算法函数使得该规则通过单个信号、多个信号的逻辑组合和事件与场景标签库一一对应；
51.s304：开发事件与场景自识别软件，并基于该软件内的定义规则对步骤s2清洗后
的数据文件进行识别与埋点；
52.s4：数据切割，通过步骤s3中埋点的位置，对数据文件进行切割，只保留事故发生时前后5s内信息完整的数据；
53.s5：分类与标签标注，根据事件、场景的分类与标签规则，对于步骤s4后保留下的数据进行自动标签化处理；
54.s6：格式转换，将步骤s5中标签化处理后的数据文件进行数据转换；
55.s7：数据使用，将步骤s6所得的数据文件用于问题分析、仿真场景搭建及测试、回注测试、ai训练与测试、地图数据制作与更新。
56.实施例的一种自动驾驶场景自识别方法，对所有采集整车网络信号、传感器原始信号数据进行自动识别提取、格式转换、标签化分类存储管理；其中，根据实车数据分层分类建立的场景库覆盖自然交通流场景、自动驾驶失效工况、驾驶员接管数据、驾驶整车驾驶数据、运行区域范围外工况、交通事故、交通参与者交互数据、人机交互数据，可以为自动汽车产品定义、功能规划、需求分析、软硬件开发、系统集成、仿真与实车验证、功能与性能快速迭代更新、交通基础设施建设、自动驾驶标准法规制定等提供大数据支撑，提升了数据的利用效率与重复利用率。
57.实施时，部分所述事件与场景标签库请参见下表：
[0058][0059][0060]
实施时，对该事件与场景标签库进行详细描述，请参见下表：
[0061][0062]
此处可以理解的是，上述两个表格只是对本发明所述的事件与场景标签库及其详细描述作了示例，具体情况中的标签库内容及其详细描述，应远不止上表内的内容，应根据实车测试情况来进行建立和制定，但都应包含在本发明所保护的范围内。
[0063]
实施时，所述步骤s303中所提及的各信号进行逻辑组合的表达式请参见下表：
[0064][0065][0066]
这里对前述“s303：定义可用于机器自识别的规则，利用相应的算法函数使得该规则通过单个信号、多个信号的逻辑组合和事件与场景标签库一一对应”作一下解释：例如当acc标识信号由激活状态跳变至取消状态且车辆减速度》3m/s2时间持续一秒，则判断为异常事件(一级标签)中的acc漏制动事件(二级标签)。
[0067]
请继续参见图1-图5，其中，所述步骤s1中，所述整车网络信号包括车辆正常状态、传感目标信号、gps信号和中间变量；所述传感器原始数据包括视频和雷达点云；
[0068]
所述步骤s1采集存储的数据还包括车架号、软硬件版本号、采集的时间和地点。
[0069]
这样，以便数据的追溯与复现；其中，传感器的原始视频和点云数据可以为视觉语义分割、目标检测与跟踪、车道线识别、可行驶区域识别、博弈决策、自学习路径规划、驾驶员行为模拟学习提供训练和测试数据集，不断提升自动驾驶性能的稳定性与可靠性，逐步扩大自动驾驶场景边界。
[0070]
实施时，采集车和试验车的数据通过移动硬盘上传到云存储服务器；量产车的数据则当车辆识别到发生一级标签中的一般事故、严重事故、异常事件时，将该事件前后各30s的数据自动通过车机端(t-box)上传到云存储服务器；第三方平台的数据通过专线网络上传到云存储服务器，第三方平台包含但不限于阿里云、腾讯云、百度云、供应商云平台等政府企事业单位的云平台。
[0071]
其中，所述步骤s4中，对经过所述步骤s3识别与埋点后的数据文件进行解析，并根据埋点的位置对数据文件进行切割，并对每个被切割的文件添加车架号、时间、软硬件版本号和识别标记。
[0072]
其中，所述步骤s5中，完成自动标签化处理后，将数据文件分层分类保存至云存储服务器。
[0073]
实施时，根据事件、场景分类与标签规则，对步骤s4切割后的文件进行自动化标签处理。
[0074]
其中，所述步骤s6中，将分类分层的数据文件转换为不同格式的数据文件以适应不同的数据使用环境以及数据的同源性，不同格式包括：blf格式、open drive格式、mf4格式和压缩及标注后的图片格式。
[0075]
如图5所示，blf格式用于回注测试；open drive格式用于地图数据制作与更新；mf4格式用于问题分析；压缩及标注后的图片格式用于ai训练与测试；存储的所有数据种类与格式均用于仿真场景搭建及测试。
[0076]
本发明还提供一种存储介质，所述存储介质存储有一个或者多个程序，所述一个或者多个程序被处理器运行时，执行如上所述的一种自动驾驶场景自识别方法的步骤。
[0077]
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0078]
最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。