智能驾驶汽车用摄像头场景分析方法、系统、设备及介质与流程

本发明涉及智能驾驶，更具体地，本发明涉及一种智能驾驶汽车用摄像头场景分析方法、系统、设备和介质。

背景技术：

1、在智能驾驶汽车领域，确保车辆安全、准确地感知周围环境并做出及时反应是至关重要的。传统的驾驶辅助系统通常依赖单一的传感器，如摄像头或雷达，来收集环境信息。然而，这些单一传感器存在局限性，例如摄像头在低光照条件下性能下降，雷达可能受到复杂天气条件的影响。为了克服这些限制，现代智能驾驶系统采用了多传感器融合技术，结合车载摄像头、激光雷达lidar、雷达和其它传感器的数据，以获得更全面的环境感知能力。这些传感器收集的数据需要通过高级数据处理算法进行分析，以识别和追踪车辆周围的动态对象，如其他车辆、行人和骑行者。

2、尽管多传感器融合技术在提高环境感知精度方面取得了进展，但现有技术在实时数据处理、动态对象识别准确性、以及复杂环境下的可靠性方面仍存在挑战。此外，现有系统在预测动态对象运动轨迹和评估潜在碰撞风险的准确性方面，也需进一步提高。

技术实现思路

1、本发明提供了一种智能驾驶汽车用摄像头场景分析方法、系统、介质和计算设备。

2、在本发明的第一方面中，提供了一种智能驾驶汽车用摄像头场景分析方法，包括：

3、获取车辆周围环境的图像数据、三维点云数据以及环境参数；

4、从图像数据中提取车辆周围的动态对象，对所述图像数据以及三维点云数据进行特征提取；

5、对图像数据和三维点云数据进行空间配准，建立图像点云模型，获取动态对象在图像点云模型中的间结构关系和连续帧数据；

6、结合提取的动态对象和图像点云模型，进行场景分析，并基于场景分析结果，实时调整智能驾驶汽车的行驶策略；其中，所述场景分析包括：

7、基于图像点云模型中的特征点坐标进行空间定位；

8、基于动态对象在图像点云模型中的连续帧数据进行运动轨迹预测；

9、基于所述空间结构关系、连续帧数据以及汽车环境参数进行行为模式识别。

10、进一步地，所述从图像数据中提取车辆周围的动态对象包括：

11、对采集到的每个图像的图像帧进行阈值分割，将图像分为前景和背景两部分；

12、在分割后的图像中，识别前景对象，通过像素连接性分析确定对象的轮廓和边界；

13、为每个识别的对象生成边界框，并在连续帧间维持边界框的一致性；

14、利用边界框的几何特性进行对象的初步分类；

15、通过边界框内的颜色直方图分析，区分不同颜色或纹理的对象；

16、采用模板匹配方法，将边界框内的特征与已知对象模板进行比较，以识别特定对象。

17、进一步地，对所述图像数据以及三维点云数据进行特征提取包括：

18、识别图像数据中的角点，确定所述角点为图像数据中的几何特征；

19、将三维点云数据中的空间点进行分组，以识别出不同的空间结构和形状；

20、计算点云数据中的法线信息，以表征点云表面的方向特性；

21、提取三维点云数据中的几何特征，所述几何特征包括平面特征和曲面特征；

22、将图像数据以及三维点云数据的几何特征相结合，形成可用于空间配准的复合特征集。

23、进一步地，所述对图像数据和三维点云数据进行空间配准包括：

24、确定所述复合特征集中每个图像数据和三维点云数据的初始空间关系；

25、利用所述初始空间关系，对图像数据中的角点和点云数据中的几何特征进行粗略配准；

26、通过粗略配准结果，计算并调整图像数据与三维点云数据之间的相对位置和姿态，以消除空间偏差，实现空间对齐。

27、进一步地，建立图像点云模型包括：

28、在统一坐标系下，将经过空间配准的图像数据和三维点云数据进行整合；

29、将图像数据的纹理信息映射到三维点云数据的对应点上，构建三维几何模型；

30、基于图像数据对三维几何模型进行图像化处理，生成图像点云模型。

31、在一些实施例中，所述对图像数据和三维点云数据进行空间配准还包括：

32、基于如式（1）所示的代价函数量化图像数据与三维点云数据之间的空间误差；式中，为图像数据中的第i个特征点；为三维点云数据中对应的特征点；为空间变换；为配准特征点的总数；为代价函数；

33、利用代价函数的梯度信息，计算变换参数的更新量，以控制空间变换的迭代优化；

34、在每次迭代中，更新空间变换以减少代价函数的值，直至满足预定的收敛条件。

35、进一步地，所述方法还包括：

36、通过式（2）基于动态对象在图像点云模型中的空间结构关系进行空间定位；式中，是空间变换矩阵；是是图像数据中第个特征点的坐标；是三维点云数据中与图像数据中第个特征点对应的三位点坐标；是匹配特征点对的总数；是最优变换矩阵；

37、通过式（3）基于动态对象在图像点云模型中的连续帧数据进行运动轨迹预测；式中，是当前帧中动态对象的位置；是动态对象的速度向量；是时间间隔；是动态对象在未来时刻的位置；

38、通过式（4）基于所述空间结构关系、连续帧数据以及汽车环境参数进行行为模式识别；式中，是行为模式；是环境参数几何；是行为模式识别函数；、、以及为权重系数；是同台对象的速度向量；是动态对象的加速度向量。

39、在本发明的第二方面中，提供了一种汽车用摄像头场景分析系统，包括：

40、获取模块，用于获取车辆周围环境的图像数据、三维点云数据以及环境参数；

41、提取模块，用于从图像数据中提取车辆周围的动态对象，对所述图像数据以及三维点云数据进行特征提取；

42、模型构建模块，用于对图像数据和三维点云数据进行空间配准，建立图像点云模型，获取动态对象在图像点云模型中的间结构关系和连续帧数据；

43、场景分析模块，用于结合提取的动态对象和图像点云模型，进行场景分析，并基于场景分析结果，实时调整智能驾驶汽车的行驶策略；其中，所述场景分析包括：基于动态对象在图像点云模型中的空间结构关系进行空间定位；基于动态对象在图像点云模型中的连续帧数据进行运动轨迹预测；基于所述空间结构关系、连续帧数据以及汽车环境参数进行行为模式识别。

44、在本发明的第三方面中，提供了一种电子设备，所述电子设备包括：至少一个处理器、存储器和输入输出单元；其中，所述存储器用于存储计算机程序，所述处理器用于调用所述存储器中存储的计算机程序来执行第一方面中任一项所述的方法。

45、在本发明的第四方面中，提供了一种计算机可读存储介质，其包括指令，当其在计算机上运行时，使得计算机执行第一方面中任一项所述的方法。

46、根据本发明的上述实施例至少具有以下有益效果：通过将多种传感器辅助车载摄像头，实现了对车辆周围环境的全面感知，包括二维图像和三维空间信息，实时采集和处理动态参数与环境参数，确保了场景分析的时效性和准确性，采用图像处理技术，包括阈值分割、前景对象识别、边界框生成和颜色直方图分析，提高了对动态对象的识别精度，通过融合三维点云数据和图像数据，构建了车辆周围环境的精确空间模型，增强了对场景的理解，利用传感器融合技术和车辆动态参数，对动态对象的空间位置和运动状态进行校准，提高了轨迹预测的准确性，应用运动学原理和校准后的对象信息，预测车辆和其他对象在未来的行动轨迹，综合考虑车辆、对象的轨迹、安全距离、相对速度和环境因素，评估风险。