一种自动驾驶车辆的多目标识别与分割系统的制作方法

本发明涉及自动驾驶车辆，尤其涉及一种自动驾驶车辆的多目标识别与分割系统。

背景技术：

1、自动驾驶车辆技术主要涉及通过计算机视觉、传感器技术、人工智能和机器学习方法，实现车辆的自主导航和驾驶决策，这项技术使车辆能够在没有人类司机操作的情况下自动行驶，通过集成的传感器和摄像头来监测周围环境，如其他车辆、行人、道路标志和交通状况，自动驾驶车辆还需通过算法来解析数据，确保行驶安全而有效，该技术也促进了车联网（v2x）的发展，使得车辆不仅能感知自身周围的环境，还能与其他车辆和路边基础设施通信，进一步提高安全性和行驶效率。

2、其中，自动驾驶车辆的多目标识别与分割系统的主要用途是通过摄像头和其他传感器实时识别和分割车辆周围的多个目标，如其他车辆、行人和自行车等，其目的是精确地识别出各种对象的位置和轮廓，从而使自动驾驶系统可以更准确地理解其周边环境，并作出适当的驾驶决策，是实现高级自动驾驶功能（如l3级以上）的关键组成部分，对提高道路安全和行驶效率具有重要意义。

3、现有技术在高动态环境中，难以实现数据的实时同步和精确处理，导致环境感知的延迟或误差，例如，传感器在恶劣天气或低光照条件下的性能不足，限制了车辆的操作安全，现有技术未能有效处理高密度交通场景中的多目标跟踪问题，识别和分割精度不足，使得车辆在复杂交通中的应对措施不灵活或准确，限制了在紧急避让和快速响应场景中导致不恰当的驾驶决策，增加交通事故的风险。

技术实现思路

1、本发明的目的是解决现有技术中存在的缺点，而提出的一种自动驾驶车辆的多目标识别与分割系统。

2、为了实现上述目的，本发明采用了如下技术方案：一种自动驾驶车辆的多目标识别与分割系统，所述系统包括：

3、数据对齐模块基于摄像头和lidar传感器收集的数据，进行时间戳对齐和空间校正，采用立体匹配算法合并点云和图像数据，并对合并数据和时间再融合，得到立体融合数据集；

4、边界优化模块基于所述立体融合数据集，利用图卷积网络执行边缘识别，识别图像与点云的边缘对应关系，对多个目标的边界进行细化，得到边界细化数据集；

5、阈值调整模块基于所述边界细化数据集，分析目标的光照和反射特性，调整图像分析中的阈值参数，根据差异化光照和反射条件，优化调整后的阈值参数和目标检测，获取光照适应性检测信息；

6、传感器融合模块基于所述光照适应性检测信息，结合超声波传感器数据，进行数据同步处理，将数据输入至多任务学习网络，并进行混合输入处理，得到多传感器协同输出结果。

7、本发明改进有，所述时间戳对齐和空间校正的步骤具体为：

8、基于摄像头和lidar传感器收集的数据，数据包括时间戳和空间坐标，并进行最小时间戳确定，获得基准时间戳；

9、基于所述基准时间戳，对时间戳进行校准，采用公式：

10、

11、得到校准后的时间戳集合，其中，是原始时间戳，是基准时间戳；

12、对空间坐标进行校正，使用转换矩阵和平移向量，采用公式：

13、转换原始空间坐标，获取校准后的空间坐标集合 ，其中，是原始空间坐标，是旋转和缩放的转换矩阵，是空间坐标的平移向量。

14、本发明改进有，所述立体融合数据集的获取步骤具体为：

15、利用所述立体匹配算法，计算点对点之间的空间差异和角度偏差，通过最小化偏差优化数据集的空间准确性，采用公式：

16、得到优化后的点云数据，其中，是点 到点的欧式距离，是点到点之间的角度差，代表空间距离的标准差，代表角度差异的标准差，是点对总数；

17、基于所述优化后的点云数据，进行时间再融合，优化传感器间的时间偏差，采用公式：

18、得到时间调整后的数据集，其中，表示连续时间戳之间的差值，表示时间差的二阶导数，和是调节系数，用于线性和加速度调整，是数据点的时间戳。

19、本发明改进有，所述边缘对应关系的识别步骤具体为：

20、基于所述立体融合数据集，对图像和点云进行边缘特征提取，计算图像的梯度，采用公式：

21、得到图像边缘特征，其中，和是图像 在和方向的偏导数；

22、对于点云，计算空间梯度，采用公式：

23、得到点云边缘特征，其中，、和是点云在、和方向的偏导数；

24、基于所述图像边缘特征和点云边缘特征，进行边缘匹配，确定特征间的匹配度，采用公式：

25、

26、得到边缘对应关系，其中，是图像边缘特征，是点云边缘特征，是避免除零的小常数。

27、本发明改进有，所述边缘细化数据集的获取步骤具体为：

28、筛选匹配度最优的边缘数据，对多目标边界进行细化处理，采用公式：

29、得到细化后的边界，其中，是最优的边缘数据，是权重系数，根据边缘关键性分配，是单个边缘的相似度得分；

30、将所述细化后的边界合并至立体融合数据集中，获取边界细化数据集。

31、本发明改进有，所述阈值参数的调整步骤具体为：

32、基于所述边界细化数据集，提取目标的图像数据，计算每个目标在差异光照和反射条件下的光照强度和反射率，采用公式：和

33、得到平均光照强度和平均反射率，其中，是数据点总数，是单个数据点的光照强度，是单个数据点的反射率；

34、基于所述平均光照强度和平均反射率，调整图像分析的阈值参数，采用公式：

35、得到调整后的阈值，其中，是当前阈值，是平均光照强度，是平均反射率，和是调整系数。

36、本发明改进有，所述目标检测的优化步骤具体为：

37、根据所述差异化光照和反射条件，评估光照和反射率的波动性，对调整后的阈值进行优化，采用公式：

38、得到优化后的阈值，其中，是调整后的阈值，和是调节光照和反射率变异性影响的系数，和分别是光照和反射率的变异系数。

39、本发明改进有，所述多传感器协同输出结果的获取步骤具体为：

40、基于所述光照适应性检测信息，捕捉超声波传感器数据，确定最新时间戳，并进行数据同步处理，得到同步后的数据；

41、基于所述同步后的数据，对原始数据进行重采样或插值处理，利用线性插值计算缺失的数据点，采用公式：

42、得到插值的数据值，其中，是时间戳同步之前的相邻数据点中较早的数据值，是时间戳同步之前的相邻数据点中较晚的数据值，是同步后的时间戳，是相邻数据点中较晚的时间戳，是相邻数据点中较早的时间戳；

43、对所述插值的数据值进行分析，提取关键特征，并应用多任务学习网络进行混合处理，采用公式：

44、得到多传感器协同输出结果，其中，是插值的数据值，和分别代表光照和超声波传感器的当前数据值，、和是数据源权重，用于调整传感器输入的影响力。

45、与现有技术相比，本发明的优点和积极效果在于：

46、本发明中，通过立体匹配算法优化了从摄像头和 lidar收集的数据的深度融合，实现了高精度的空间和时间对齐，从而为后续处理提供了更为丰富和准确的输入数据，图卷积网络的应用增强了系统对复杂环境中多个目标的边缘和细节的识别能力，尤其是在低光照和高反光条件下的性能表现，阈值的动态调整根据环境光照和反射变化自适应优化，提高了图像分析的稳定性，通过多任务学习网络的数据融合处理，实现了多传感器信息的高效整合，提升了自动驾驶车辆的环境感知和决策能力。