一种基于视觉与激光雷达融合的智能数据采集与处理系统

本发明涉及智能系统管理，更具体地说，本发明涉及一种基于视觉与激光雷达融合的智能数据采集与处理系统。

背景技术：

1、在现代智能系统的发展中，数据的精确采集和高效处理是许多应用的关键，特别是在自动驾驶、机器人导航、智能监控等领域，准确且实时的环境感知能力至关重要，视觉传感器通过捕捉光线反射形成的图像，能够提供丰富的纹理和色彩信息，这种信息对物体识别和分类非常有用，然而视觉传感器在光线条件不佳下的性能受到严重影响，激光雷达通过发射激光脉冲并测量其反射回来的时间，生成环境的三维点云数据，激光雷达在不同光照条件下都能稳定工作，并且能够提供高精度的测量距离，但是激光雷达生成的点云数据在纹理和色彩信息方面较为贫乏，通过将视觉和激光雷达数据进行融合，能够综合利用这两种传感器的优点，视觉传感器提供的纹理信息和色彩信息能够弥补激光雷达在物体识别上的不足，而激光雷达的精确距离信息能够提高视觉传感器在深度信息上的精度，进而提高环境感知的精度和鲁棒性，但是视觉传感器和激光雷达传感器通常安装在不同的位置和角度，导致采集的数据在空间和时间上存在差异，如何在不同环境中感知环境变换，实现两种数据的精确对齐是当前亟待解决的技术难题。

技术实现思路

1、为了克服现有技术的上述缺陷，本发明提供一种基于视觉与激光雷达融合的智能数据采集与处理系统，是通过融合视觉和激光雷达数据，提升环境感知精度和鲁棒性，摄像头提供纹理和色彩信息，激光雷达提供高精度三维点云数据，采用多源数据对齐和优化公式，解决数据差异，实现精确对齐，通过环境感知模块和权重参数调整，动态适应环境变化，确保在各种条件下高效运行。

2、为实现上述目的，本发明提供如下技术方案：

3、一种基于视觉与激光雷达融合的智能数据采集与处理系统，包括摄像头、激光雷达、数据预处理模块、环境感知模块、环境感知分析模块、权重参数调整模块、数据对齐优化模块和数据处理分析模块，环境感知模块感知图像中的平均光照强度和综合天气指数，分析点云数据中的障碍物复杂度和传感器噪声水平，环境感知分析模块将环境感知模块分析获得的数据作为输入，输入预设的综合环境感知系数公式中，获取综合环境感知系数，权重参数调整模块根据预设的环境感知系数分类标准获取环境感知系数所属类别下权重参数的调整策略，获取权重系数，数据对齐优化模块使用加权多源数据对齐公式实现数据的初步对齐，使用精度优化公式进一步优化初步对齐结果，再结合两种方法的优势，基于权重参数使用联合多源数据优化公式实现两种数据源的数据融合，数据处理分析模块根据数据对齐优化模块的融合数据提取有用的特征信息，进行物体识别、场景理解，提供详细的环境分析结果。

4、作为本发明进一步的方案，摄像头、激光雷达与数据预处理模块相连，数据预处理模块与环境模块相连，环境感知模块与环境感知分析模块相连，环境感知分析模块与权重参数调整模块相连，权重参数调整模块与数据对齐优化模块相连，数据对齐优化模块与数据处理分析模块。

5、作为本发明进一步的方案，在环境感知模块中，通过统计摄像头图像中的每个像素的光照强度，并获取其平均值作为平均光照强度，通过多幅摄像头图像的平均光照强度和降雨量获取综合天气指数，其中每幅图像的降雨量通过边缘检测和形态学处理识别图像中的雨滴，提取雨滴的面积利用经验公式计算得到。

6、作为本发明进一步的方案，在环境感知模块中，降雨量的经验公式为：

7、

8、式中：r为图像中降雨量，k为经验系数，根据实验数据校准获得，用于调整降雨量计算的尺度，n为图像中检测到的雨滴数量，i为雨滴索引，ai为第i个雨滴的图像面积；

9、图像中的雨滴数量和面积反映了降雨的强度，更多和更大的雨滴意味着更大的降雨量，通过统计图像中的雨滴面积，可以直接量化降雨量的强弱，由于图像中的雨滴面积和实际降雨量之间存在非线性关系，经验系数用于校准和调整这个关系，通过实验数据，可以确定一个合适的经验系数值，使得公式能够准确反映降雨量。

10、综合天气指数的公式为：

11、

12、式中：w为综合天气指数，j为图像幅数索引，nj为第j幅图像中的像素总数，k为像素索引，ij,k为第j幅图像中的第k个像素的光照强度，rj为第j幅图像中的降雨量，m为观察时间段内图像的数量。

13、光照强度和降雨量是两个关键的环境因素，它们共同影响着天气状况，公式结合了这两者，通过对光照强度和降雨量的综合计算，提供了更全面的天气评估，计算的是第j幅图像中所有像素的平均光照强度，反映了当前图像的整体亮度，光照强度越高，说明天气状况越好，视觉数据质量越高，1-rj用于反映降雨量对天气状况的负面影响，降雨量越大，1-rj值越小，说明天气状况越差，通过这种方式，公式能够动态调整光照强度的影响，使得综合天气指数能够更准确地反映实际的天气状况。计算的是所有图像的平均值，避免了单幅图像带来的偶然误差，提供了更稳定的天气评估结果，考虑多个时间点的图像，能更全面地反映天气变化趋势。

14、作为本发明进一步的方案，在环境感知模块中，激光雷达获取的点云数据中障碍物复杂度为点云数据中不同分割区域的平均点密度，点云数据中障碍物复杂度公式为：

15、

16、式中：c为点云数据中障碍物复杂度，v为点云数据中的分割区域数量，通过点云分割算法得到，h为点云分割区域的索引，dh为第h个分割区域内的点云密度，等于该区域内点的数量除以区域的体积。

17、障碍物的数量和分布对点云数据的复杂性有直接影响，点云密度越高，说明该区域内障碍物越多，环境越复杂，通过计算不同分割区域的点云密度，可以量化整体障碍物的复杂度，提供详细的环境信息，将点云数据划分为多个区域，可以更细粒度地分析环境的复杂度，每个区域的点云密度反映了该区域内障碍物的分布情况，点云分割算法用于将整个点云数据划分为若干个较小的区域，每个区域可以更精确地分析障碍物的分布。障碍物复杂度作为环境感知的一个重要指标，可以用于动态调整数据对齐算法的权重参数，以适应不同的环境条件，提高对齐的精度和鲁棒性。

18、传感器噪声水平为观察时间段内各个时刻摄像头数据点均值与摄像头数据点距离的平方，同激光雷达数据点均值与激光雷达数据点距离的平方之和的均值的算术平方根，传感器噪声水平公式为：

19、

20、式中：q为传感器噪声水平，t为观察时间段内的数据点数量，t为时刻索引，pcamera,t为时刻t摄像头数据点，为摄像头数据点的平均值，plidar,t为时刻t激光雷达数据点，为摄像头数据点的平均值。

21、传感器噪声水平反映了摄像头和激光雷达在采集数据时的波动情况。波动越大，噪声水平越高，数据的可靠性越低。

22、通过计算每个时刻的数据点与其均值之间的偏差，可以量化这种波动情况，为了全面评估传感器的噪声水平，公式同时考虑了摄像头和激光雷达的数据，可以反映出整体传感器系统的噪声水平，通过综合两个传感器的数据，能够更准确地评估环境中的噪声情况，通过计算数据点与其均值之间的偏差平方和，公式实际上是在计算数据的方差，方差是衡量数据波动性的一个重要指标，取方差的算术平方根(即标准差)，可以得到一个与数据单位一致的噪声水平指标。通过考虑多个时间点的数据，可以更全面地反映传感器噪声水平的变化。

23、作为本发明进一步的方案，环境感知分析模块中，环境感知系数公式利用图像的平均光照强度、综合天气指数和障碍物复杂度之积与传感器噪声水平的比值乘以一个无量纲转化系数，作为环境感知系数，环境感知系数的公式为：

24、

25、式中：θ为环境感知系数，μ为无量纲转化系数，根据各个变量的单位转换需求设定，l为图像的平均光照强度。

26、光照强度、障碍物复杂度和综合天气指数是正向指标，这些因素越高，说明环境条件越复杂，对数据对齐的难度越大，这些因素的乘积可以综合评估环境的复杂性，传感器噪声水平是反向指标，噪声水平越高，说明传感器数据的可靠性越低，对数据对齐的影响越大，将这些正向指标的乘积除以噪声水平，可以合理地反映环境对数据质量的综合影响，光照强度、障碍物复杂度和综合天气指数的乘积反映了环境的综合复杂度，每个因素都对环境感知系数有乘法放大的作用，使得综合复杂度的评估更敏感和准确，通过将综合复杂度除以传感器噪声水平，可以消除噪声对环境感知的影响，确保环境感知系数更加稳定和可靠。不同环境因素的单位和量级不同，通过无量纲转化系数可以将这些因素的影响统一到一个合理的量级范围内，通过无量钢化处理，可以确保公式在不同的应用场景下具有广泛的适用性，避免因为单位差异导致的计算不合理。

27、作为本发明进一步的方案，权重参数调整模块中预设的环境感知系数类别包括低级环境感知、中级环境感知、高级环境感知：

28、0<θ≤1，为低级环境感知，权重参数的调整策略公式为

29、在低级环境感知下，光照强度l是主要影响因素，因为此时环境条件较好，光照影响较大，权重参数公式主要考虑光照强度的反向影响，表示光照强度在所有环境因素中的比例，通过确保在光照强度较高的情况下，减小权重参数λ，使得对光照影响的敏感度降低。

30、1<θ≤10，为中级环境感知，权重参数的调整策略公式为

31、在中级环境感知下，天气状况w是主要影响因素，因为此时环境条件中等，天气因素影响较大。通过确保在天气状况较差的情况下，增加权重参数λ，使得对天气因素的敏感度增强。

32、θ>10，为中级环境感知，权重参数的调整策略公式为

33、在高级环境感知下，障碍物复杂度c和传感器噪声水平q是主要影响因素，因为此时环境条件较差，障碍物和噪声影响较大。表示障碍物复杂度在所有环境因素中的比例，通过该项增加对障碍物复杂度的敏感度。表示噪声水平的反向影响，通过该项减小对噪声水平的敏感度。通过确保在复杂环境中，综合考虑障碍物和噪声的影响，调整权重参数λ达到最佳平衡。

34、作为本发明进一步的方案，在数据对齐优化模块中，加权多源对齐公式为：

35、

36、式中：g为初始加权多源对齐获得的图像，r为旋转矩阵，为摄像头坐标系到激光雷达坐标系的旋转关系矩阵，通过空间校准获得，pcamera,j为第j个摄像头图像中的三维点坐标，通过摄像头图像分析获得，t为平移向量，为摄像头坐标系到激光雷达坐标系的平移关系矩阵，通过空间校准获得，plidar,j为第j个激光雷达图像中的三维点坐标，b为摄像头图像和激光雷达点云中匹配的点对数量，ωj为第j个数据点的权重，根据需求设定,‖·‖为欧几里得距离计算符号。

37、作为本发明进一步的方案，在数据对齐优化模块中，精度优化公式为：

38、

39、式中：f(r,t)为初始加权优化后的图像进行精度优化后获得的图像，σ为尺度参数，通过训练过程确定。

40、作为本发明进一步的方案，在数据对齐优化模块中，在数据对齐优化模块中，联合多源数据优化公式为：

41、

42、相比于现有技术，本发明所提出系统的技术效果：本发明是通过融合视觉和激光雷达数据，显著提升了环境感知的精度和鲁棒性，摄像头提供丰富的纹理和色彩信息，而激光雷达提供高精度的三维点云数据，两者的结合弥补了各自的不足，在数据对齐方面，采用加权多源数据对齐、精度优化和联合多源数据优化公式，解决了摄像头和激光雷达数据在空间和时间上的差异，实现了精确对齐，通过环境感知模块实时监测环境条件，并利用综合环境感知系数公式和权重参数调整策略，能在不同环境下动态调整权重参数，确保数据对齐的精度和鲁棒性，显著提升了环境感知能力，确保在各种环境条件下高效运行。