一种路侧协同感知方法、装置及介质

本发明涉及计算机视觉和智能交通领域，尤其涉及一种路侧协同感知方法、装置及介质。

背景技术：

1、随着智能网联汽车技术的快速发展，车联网和车路协同通信技术在越来越多智能汽车上普及应用。搭载obu(onboard unit，车载单元)的车辆能够在较短的时延内接收来自rsu(roadside unit，路侧单元)的路侧感知信息，从而提升自车环境感知能力、扩大车辆感知范围、减少车辆感知盲区。驾驶员或车辆智能驾驶系统获取到更大范围的路侧感知信息后，能够提前做出行驶速度和路径规划，进而提高车辆行驶安全性和效率。

2、现有路侧感知技术大多只关注在单一路侧点位的传感器感知，或者只考虑纯视觉或纯点云的目标检测研究，缺少多点位、多传感器、多视角的多源信息协同感知技术。此外，现有三维目标检测方法大多针对车载激光雷达进行设计，且大多模型计算量大、对算力要求高，缺少针对路侧固定场景的轻量化三维目标检测技术。在实际的交通场景中，往往需要利用轻量化的模型对路侧多传感器数据进行协同感知，以满足长距离、大范围、高精度的实时道路目标检测需求，从而扩大路侧感知范围、提高路侧感知精度、保证路侧感知信息的可靠性，为交通流管控和智能网联汽车提供高精度、高可靠、低时延的路侧感知信息。

技术实现思路

1、为至少一定程度上解决现有技术中存在的技术问题之一，本发明的目的在于提供一种路侧协同感知方法、装置及介质。

2、本发明所采用的技术方案是：

3、一种路侧协同感知方法，包括以下步骤：

4、建立路侧多点位、多视角相机和激光雷达统一坐标系，进行多传感器联合标定，以实现不同传感器坐标互相转换；

5、采集路侧多点位、多视角的图像和点云数据，对多激光雷达点云进行配准，根据道路边界划定点云感兴趣区域；

6、构建基于特征注意力引导的轻量化点云三维目标检测网络rp3d；

7、将点云感兴趣区域内的点云输入所构建的轻量化点云三维目标检测网络rp3d进行三维目标检测，将路侧多视角图像输入预设网络进行二维目标检测；

8、根据匹配代价值最小原则进行三维目标检测结果和二维目标检测结果的最优匹配，并输出路侧协同感知结果。

9、进一步地，所述建立路侧多点位、多视角相机和激光雷达统一坐标系，进行多传感器联合标定，以实现不同传感器坐标互相转换，包括：

10、对同一道路或相邻道路部署的多个激光雷达和相机进行联合标定，建立道路基准坐标系；

11、将不同激光雷达的空间坐标系进行联合标定，得到不同激光雷达空间坐标的映射关系、旋转矩阵和平移矩阵，实现多个激光雷达点云三维坐标的互相转换；

12、将道路上每个路侧相机与最邻近的激光雷达进行联合标定，包括传感器内参标定和外参标定，得到相机与激光雷达坐标系的映射关系、旋转矩阵和平移矩阵，实现点云三维坐标与图像二维坐标的互相转换。

13、进一步地，所述采集路侧多点位、多视角的图像和点云数据，对多激光雷达点云进行配准，根据道路边界划定点云感兴趣区域，包括：

14、利用路侧边缘计算设备同步采集路侧多个激光雷达和相机的点云和图像数据，将不同激光雷达点云数据在基准坐标系上进行配准、拼接，实现点云数据前融合；

15、根据道路边界划定点云感兴趣区域，去除道路之外的点云数据，以减少计算量。

16、进一步地，所述轻量化点云三维目标检测网络包括体素特征提取网络、特征注意力模块、骨干网络以及检测头；

17、所述体素特征提取网络用于根据点云数据生成特征图feature和权重图weight；

18、所述特征注意力模块，用于将特征图feature和权重图weight加权相乘，用权重图引导特征图更加关注z坐标特征，再将加权相乘后的特征图输入骨干网络；

19、所述骨干网络包括卷积层conv-1、卷积层deconv-1、卷积层conv-2和卷积层deconv-2；特征注意力模块输出的特征图经过卷积层conv-1，输出第一特征图；将第一特征图输入卷积层deconv-1，输出第二特征图；将第一特征图输入卷积层conv-2，输出第三特征图，将第三特征图输入卷积层deconv-2，输出第四特征图；将第二特征图和第四特征图进行合并，获得最终的特征图；

20、所述检测头包括目标分类模块、检测框尺寸回归模块、检测框方向回归模块，用于根据最终的特征图输出点云三维目标检测框。

21、进一步地，所述体素特征提取网络的具体工作方式如下：

22、将三维坐标系下的点云沿x-y平面，均匀分割成一系列体素网格，并对每个体素内的点云进行采样；

23、采用(x，y，z，r)分别表示每个体素内所有采样后的点的x、y、z坐标值和反射强度值r的集合，(xc,yc,zc)分别表示每个体素内所有采样后的点的x、y、z坐标到该体素内所有点的重心的x、y、z坐标偏置值的集合，(xp,yp,zp)分别表示每个体素内所有采样后的点的x、y、z坐标到该体素中心点的x、y、z坐标偏置值的集合；将(x,y,z,r,xc,yc,zc,xp,yp,zp)总共9种特征输入网络线性层linear，再经过relu激活函数，生成一个64通道特征图feature；

24、沿点云空间坐标系z轴，划分感兴趣区域，下边界z坐标为alow，上边界z坐标为aup；用zmax和zmin分别表示每个体素内所有采样后的点的z坐标的最大值和最小值的集合，用zlow和zup分别表示每个体素内所有采样后的点z坐标到感兴趣区域下边界和上边界的坐标偏置值的集合，zind和zatt分别表示每个体素内采样后的落到感兴趣区域内的点的索引值和z坐标值的集合；将(z,zc,zp,zind,zatt,zup,zlow,zmin,zmax)总共9种特征作为输入网络线性层linear，再经过sigmoid激活函数，生成一个64通道权重图weight。

25、进一步地，zlow,zup,zmin,zmax,zind,zatt的计算公式如下：

26、zlow(i)＝z(i)-alow

27、zup(i)＝z(i)-aup

28、zmin＝min(z)

29、zmax(i)＝max(z)

30、

31、zatt(i)＝z(i)gzind(i)

32、进一步地，所述骨干网络由pointpillars算法的骨干网络及检测头裁剪获得，具体工作方式如下：

33、将尺寸为b×64×h×w的特征图输入骨干网络后，经过2层卷积核大小为3×3的卷积层conv-1，其中第一层步幅stride为2，输出尺寸为b×64×h/2×w/2的特征图，再经过2个分支，其中一条分支为1层卷积核大小为1×1的卷积层deconv-1，输出尺寸为b×128×h/2×w/2的特征图；另一条分支为3层卷积核大小为3×3的卷积层conv-2，其中第一层步幅stride为2，输出尺寸为b×128×h/4×w/4的特征图，将该特征图输入1层积核大小为1×1的卷积层deconv-2，输出尺寸为b×128×h/2×w/2的特征图；将卷积层deconv-1和卷积层deconv-2输出的2个尺寸为b×128×h/2×w/2的特征图合并，得到尺寸为b×256×h/2×w/2的特征图；其中b为输入的数据批大小，h为特征图的高，w为特征图的宽。

34、进一步地，所述预设网络为yolov8网络；

35、所述将点云感兴趣区域内的点云输入所构建的轻量化点云三维目标检测网络进行三维目标检测，将路侧多视角图像输入预设网络进行二维目标检测，包括：

36、利用所构建的基于特征注意力引导的轻量化点云三维目标检测网络进行点云三维目标检测；利用yolov8网络进行二维目标检测；分别获得同一时刻下，多个路侧点位的激光雷达和多个视角下的相机所识别的道路交通参与者的三维目标检测框序列bboxes3d和二维目标检测框序列bboxes2d。

37、进一步地，所述根据匹配代价值最小原则进行三维目标检测结果和二维目标检测结果的最优匹配，并输出路侧协同感知结果，包括：

38、利用联合标定获得的传感器坐标映射关系、旋转矩阵和平移矩阵，将点云三维目标检测框投影到二维图像，转换为二维目标框

39、经转换后的二维目标框与图像二维目标检测框计算2d框的交并比iou(二维矩形框的交集与并集的比值)，并转换为匹配代价值cost；

40、经过最优匹配后，将能够与二维目标检测框匹配的三维目标检测框作为最终协同感知结果进行输出，完成多点位、多传感器、多视角的路侧协同感知。

41、进一步地，第i个二维目标框与第j个三维目标框的匹配代价值cost(i,j)计算公式为：

42、

43、根据匹配代价值最小原则进行三维目标检测框和二维目标检测框的最优匹配。

44、本发明所采用的另一技术方案是：

45、一种路侧协同感知装置，包括：

46、至少一个处理器；

47、至少一个存储器，用于存储至少一个程序；

48、当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现上所述方法。

49、本发明所采用的另一技术方案是：

50、一种计算机可读存储介质，其中存储有处理器可执行的程序，所述处理器可执行的程序在由处理器执行时用于执行如上所述方法。

51、本发明的有益效果是：本发明根据路侧点云数据特征，提出一种于特征注意力引导的轻量化点云三维目标检测方案，利用轻量化网络进行路侧协同感知，在保证实时性的前提下，相比纯视觉和纯雷达的方法，能够大大提高目标检测精度，在低功耗的路侧边缘计算设备上具有较高的检测效率和实用性，可广泛应用于智能交通领域。