一种基于雷视融合的地下车库盲区显示方法和系统

本发明涉及交通安全智能检测，尤其是涉及一种基于雷视融合的地下车库盲区显示方法和系统。

背景技术：

1、地下车库是一个特殊的道路交通运行场景，与开阔的公路、城市道路等相比，它更具有挑战性。这是因为地下车库的空间狭小，车道数量有限，同时具有很多特殊的交通结构，如十字交叉、直角转弯等。此外，地下车库的环境特点使其不可避免地拥有大量的结构柱、承重柱等立柱，这些立柱多分布在这类特殊道路交通结构附近，成为驾驶员视线遮挡的主要原因。随着新建地下车库的车位数量不断上升，地下车库的交通安全问题越来越受到关注。

2、雷视融合技术是一种利用雷达和摄像头数据进行融合的技术，具有很好的应用前景。在智能驾驶方向，摄像头和激光雷达的相互联系能够大大提高车辆前方目标定位的精确度。中国专利cn109978954a公开了一种基于箱体的雷达和相机联合标定的方法和装置，该发明将点云检测在40米处的误差控制在2cm以内，从而提高机器人驾驶交通工具自动驾驶的安全性，但并未将联合标定方法用于地下车库的场景中，也并未对地下车库盲区的交通安全问题做出改进。

3、因此，利用雷视融合技术来消除地下车库中环境遮挡带来的交通安全隐患具有重要意义。

技术实现思路

1、本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于雷视融合的地下车库盲区显示方法和系统，通过使用雷视融合技术，有效解决地下车库环境结构造成的盲区问题，使得行驶安全性提高。

2、本发明的目的可以通过以下技术方案来实现：

3、本发明提供一种基于雷视融合的地下车库盲区显示方法，包括以下步骤：

4、s1：对地下车库盲区采用棋盘格标定法和计算机视觉技术，获得标定板图像中特征点的像素坐标与世界地理坐标的映射关系，基于实时获取的地下车库盲区图像和所述映射关系，得到图像数据集p；同时，对地下车库盲区采用特征匹配的方法标定激光雷达坐标系与相机像素坐标系之间的转换关系，基于激光雷达实时获得的地下车库盲区三维点云数据和所述转换关系，得到雷达点云数据集q；

5、s2：采用fgr算法对s1中的采集到的图像数据集p和雷达点云数据集q进行融合，并生成环境三维模型；

6、s3：将s2中生成的三维模型进行投影变换得到二维图像，并将二维图像投射至环境立柱上，根据二维图像画面获取盲区内车辆的实时位置信息，以消除盲区造成的行车安全隐患。

7、进一步地，s1中，所述棋盘格标定法采用以下转换矩阵：

8、

9、其中，f为像距；dx、dy分别表示x、y方向上一个像素在相机感光板上的物理长度；u0、v0分别表示相机感光板中心在像素坐标系下的坐标；θ表示感光板的横边和纵边之间的角度；z为尺度因子。

10、进一步地，s1中，通过求解标定矩阵转换方程或使用监督学习计算转换矩阵，确定雷达的内外参数，得到雷达点云数据集q，所述转换矩阵如下：

11、

12、其中，u、v为棋盘特征点在雷达中的坐标；x、y为棋盘特征点在图像中的坐标。

13、进一步地，s2中，所述采用fgr算法进行数据融合包括以下步骤：

14、s2-1：基于快速点云特征直方图计算点集p、q的特征集合f(p)、f(q)；

15、s2-2：基于向量二范数计算特征距离，通过特征距离的最近邻约束，对两个特征集合f(p)、f(q)进行匹配，计算最邻近点公式为；

16、

17、s2-3：进行第一次校验匹配，将s2-2中匹配好的特征集记为k1，对于k1中的每个特征对(pti,qi),计算：

18、

19、若则排除特征对(pti,qi)，得到特征集k2；

20、s2-4：进行第二次校验匹配，从s2-3中得到的特征集k2中任选三个特征对，若不满足不等式：

21、

22、则排除这三对特征对，得到最终数据融合结果k3。

23、进一步地，s1中，对雷达点云数据集q采用目标检测算法和目标跟踪算法，采用目标检测算法将雷达点云数据集q进行目标检测和分类，以确定场景中的车辆，并采用目标跟踪算法对车辆进行跟踪。

24、进一步地，s1中，对于图像数据集p采用基于计算机视觉技术的目标跟踪和目标识别算法，所述目标识别算法用于对车辆进行分类和识别，所述目标跟踪算法用于跟踪车辆在场景中的运动轨迹。

25、进一步地，s3中，所述二维投影变换具体为：将包含场景信息和车辆位置信息的点云数据集进行投影，将三维点投影到一个平面上，得到二维的点集，根据采集的图像数据集，将纹理信息贴在生成的二维投影上。

26、本发明还提供一种基于雷视融合的地下车库盲区显示系统，包括感知模块、通信模块、计算模块和显示模块；

27、所述感知模块、计算模块和显示模块均与通信模块连接；

28、所述感知模块用于获取图像数据集和雷达点云数据集；

29、所述计算模块用于将图像数据集和雷达点云数据集进行融合并生成三维模型；

30、所述显示模块用于将三维模型经投影变换后得到二维图像投射至环境立柱上；

31、所述通信模块用于感知模块、计算模块和显示模块之间的信息传输交互。

32、进一步地，所述显示模块包括激光投影机，所述激光投影机为可调节光源亮度和投射范围，使投影区域固定于柱面，不干扰其他区域。

33、进一步地，所述感知模块包括视频感知模块和雷达感知模块；

34、所述视频感知模块包括摄像机，所述摄像机设于遮挡结构附近的桥架避光处，以获得全面视角，避免光线干扰；

35、所述雷达感知模块包括雷达，所述雷达设于遮挡结构的对面或旁边，安装高度在0.5米至1.5米之间。

36、与现有技术相比，本发明具有以下优点和有益效果：

37、1、本发明通过使用雷视融合技术，有效解决地下车库环境结构造成的盲区问题，使得行驶安全性提高。

38、2、本发明中的雷达和摄像头能够在不同方面都能提供丰富的信息，雷视融合能够同时利用这两个传感器提供的信息，从而获得更加全面和丰富的场景信息。

39、3、本发明鲁棒性强，通过综合利用雷达和摄像头的信息，弥补单一传感器受到干扰的问题，提高系统的鲁棒性。

40、4、本发明中的雷达提供的距离信息提高了对场景的三维感知能力。

技术特征：

1.一种基于雷视融合的地下车库盲区显示方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种基于雷视融合的地下车库盲区显示方法，其特征在于，s1中，所述棋盘格标定法采用以下转换矩阵：

3.根据权利要求1所述的一种基于雷视融合的地下车库盲区显示方法，其特征在于，s1中，通过求解标定矩阵转换方程或使用监督学习计算转换矩阵，确定雷达的内外参数，得到雷达点云数据集q，所述转换矩阵如下：

4.根据权利要求1所述的一种基于雷视融合的地下车库盲区显示方法，其特征在于，s2中，所述采用fgr算法进行数据融合包括以下步骤：

5.根据权利要求1所述的一种基于雷视融合的地下车库盲区显示方法，其特征在于，s1中，对雷达点云数据集q采用目标检测算法和目标跟踪算法，采用目标检测算法将雷达点云数据集q进行目标检测和分类，以确定场景中的车辆，并采用目标跟踪算法对车辆进行跟踪。

6.根据权利要求1所述的一种基于雷视融合的地下车库盲区显示方法，其特征在于，s1中，对于图像数据集p采用基于计算机视觉技术的目标跟踪和目标识别算法，所述目标识别算法用于对车辆进行分类和识别，所述目标跟踪算法用于跟踪车辆在场景中的运动轨迹。

7.根据权利要求1所述的一种基于雷视融合的地下车库盲区显示方法，其特征在于，s3中，所述二维投影变换具体为：将包含场景信息和车辆位置信息的点云数据集进行投影，将三维点投影到一个平面上，得到二维的点集，根据采集的图像数据集，将纹理信息贴在生成的二维投影上。

8.一种基于雷视融合的地下车库盲区显示系统，其特征在于，包括感知模块、通信模块、计算模块和显示模块；

9.根据权利要求8所述的一种基于雷视融合的地下车库盲区显示系统，其特征在于，所述显示模块包括激光投影机，所述激光投影机为可调节光源亮度和投射范围，使投影区域固定于柱面，不干扰其他区域。

10.根据权利要求8所述的一种基于雷视融合的地下车库盲区显示系统，其特征在于，所述感知模块包括视频感知模块和雷达感知模块；

技术总结本发明涉及一种基于雷视融合的地下车库盲区显示方法和系统。实时获取的地下车库盲区图像和所述映射关系，得到图像数据集P；同时，得到雷达点云数据集Q；随后对图像数据集P和雷达点云数据集Q进行融合，并生成环境三维模型；再进行投影变换得到二维图像，并将投射至环境立柱上，以消除盲区造成的行车安全隐患。显示系统包括感知模块、通信模块、计算模块和显示模块。与现有技术相比，本发明通过综合利用雷达和摄像头的信息，弥补单一传感器受到干扰的问题；使用雷视融合技术，获得更加全面和丰富的场景信息，有效解决地下车库环境结构造成的盲区问题，使得行驶安全性提高。技术研发人员：蒋盛川,干宏程受保护的技术使用者：上海理工大学技术研发日：技术公布日：2024/5/19