一种路侧摄像头的外参动态标定方法及系统与流程

本发明涉及智能交通，具体涉及车路协同(cooperative vehicle-roadside infrastructure)，特别涉及一种路侧摄像头的外参动态标定方法及系统。

背景技术：

1、车路协同技术，是通过在车辆和道路设施之间建立双向通信，实现实时交通信息共享的技术。它主要由三个核心部分组成：智能车载系统(车端)、智能路侧系统(路侧端+云端)以及通信平台。这些组成部分共同工作，以确保车辆与道路之间的顺畅交互。

2、在车路协同技术中需实现精确的信息融合，而这首先依赖于车路空间对齐的精确执行。空间对齐过程旨在将车载感知系统与路侧感知系统所捕获的信息进行坐标系统一，以便进行后续的数据融合处理。若缺乏这一对齐步骤，车载与路侧感知到的目标或轨迹在关联时将会产生显著的误差，从而严重影响信息融合的准确性和效果。

3、在此过程中，对道路摄像头的精确标定显得尤为重要。摄像头标定涉及两类参数：内参和外参。内参，即相机的内部属性参数，涵盖了焦距、畸变系数等关键指标，这些参数在相机确定后通常保持恒定。而外参则描述了相机在全球坐标系中的空间位置和姿态，具体包括旋转矩阵和平移向量。

4、然而，由于外部环境的动态变化，如强风的影响、立杆的晃动或固定装置的松动，都可能导致相机产生微小的位移和旋转。这种微小的变化会对摄像头的外参产生影响，进而影响到摄像头在世界坐标系中的准确表征。因此，需要对这些外参进行重新标定，以确保感知系统的准确性。

5、当前研究中缺乏对路侧摄像头实时动态外参标定的深入探讨。如果不能及时对摄像头的外参进行纠偏和调整，感知系统的定位误差可能会显著增大，进而影响车路协同系统的整体性能和准确性。

6、为此，本发明提出一种路侧摄像头的外参动态标定方法及系统。

技术实现思路

1、有鉴于此，本发明实施例希望提供一种路侧摄像头的外参动态标定方法及系统，以解决或缓解现有技术中存在的技术问题，即如何减少路侧摄像头因为强风等外部因素造成的偏移导致的感知定位误差，并对此至少提供一种有益的选择；本发明的技术方案是这样实现的：

2、第一方面，一种路侧摄像头的外参动态标定方法：

3、(一)概述：

4、本发明旨在解决上述技术问题；通过标定路侧摄像头的初始外参，从而确立图像中路面像素坐标到世界坐标系的转换关系。利用特征点匹配技术来识别摄像头偏移前后的图像变化。在确定了摄像头偏移前后的特征点匹配关系后，此步骤旨在拟合偏移后坐标的映射关系，并重新计算摄像头偏移后的标定矩阵。这个新的标定矩阵将用于校正因外部因素导致的摄像头偏移，从而提高感知定位的精度。

5、(二)技术方案：

6、为实现上述技术目标，需执行如下的步骤s1～s3。

7、2.1步骤s1，数据工程：

8、标定出路侧摄像头的初始外参，得到图像中路面像素坐标到世界坐标系的转换关系；

9、其中，步骤s1中的路侧摄像头的初始外参可以在安装的时候标定，或者在静止没有晃动光线较好的时候标定；路侧摄像头的初始外参标定，可以采用手眼标定方法，也可以采用与激光雷达的联合标定方法，还可以采用基于高精度电子地图的标定方法。

10、2.1.1步骤s11，设定标定：

11、在相机视野范围内路面上均匀放置n个反光标定片，矩阵的求解至少需要4个标定片，但为减小随机误差，实际取n≥10；

12、距离相机20m至50m、靠近中心区域的平坦的地面。

13、2.1.2步骤s12，执行标定：

14、使用gps测量出n个标定片的经纬度，获得n个标定片的二维世界坐标；

15、2.1.3步骤s13，坐标获取：

16、从相机图像上标出n个标定片，获得n个标定片的像素坐标，是标定片中心位置的像素；

17、2.1.4步骤s14，计算转换矩阵：

18、根据n个标定点的gps坐标与像素坐标对，计算世界坐标与像素坐标间的转换矩阵，并采用最小二乘法求解；

19、从世界坐标到图像坐标的转换可以分为两步：首先是从世界坐标转换到相机坐标，然后再从相机坐标转换到图像坐标。这个过程涉及一个内参矩阵k和一个外参矩阵(包括旋转矩阵r和平移向量t)。

20、2.1.4.1世界坐标到相机坐标的转换：

21、pc＝rpw+t；

22、其中，pc＝[xc,yc,zc]t是相机坐标系中的点，r是3×3的旋转矩阵，t是3×1的平移向量。

23、相机坐标到图像坐标的转换：

24、

25、其中，k是内参矩阵：

26、

27、其中，fx和fy是相机在x和y方向上的焦距(以像素为单位)，

28、(u0,v0)是图像的主点坐标。

29、2.1.4.2平面假设与单应性矩阵：

30、在路面标定的场景中，由于路面可以近似看作一个平面，可以进一步简化模型。假设路面在世界坐标系中的zw＝0，那么可以使用一个单应性矩阵h来直接描述世界坐标与图像坐标之间的关系：

31、

32、其中，～表示尺度等价性，即两边可能相差一个非零的尺度因子。单应性矩阵h是一个3×3的矩阵，它融合了内参和外参的信息，并可以通过至少4个对应点来求解。

33、2.1.4.3求解转换矩阵：

34、给定一组对应点(世界坐标和图像坐标)，使用最小二乘法来求解单应性矩阵h。具体地设有n个对应点则可以构建以下方程系统：

35、

36、其中，h是待求解的单应性矩阵。这个方程系统可以通过奇异值分解(svd)方法来求解。

37、2.2步骤s2，特征点匹配：

38、使用特征点匹配的方法，通过特征点的特征值，将相机偏移前后的图像进行匹配；

39、2.2.1步骤s21，执行匹配：

40、特征点匹配的方法采用orb特征点检测算法或harris角点检测算法；提取图像的orb特征，对于两幅图像，分别提取它们的orb特征点和描述符：

41、r＝det(m)-k(trace(m))2；

42、其中，m是二阶矩阵，由图像灰度函数的二阶偏导数组成：

43、

44、其中，ixx、iyy和ixy分别是图像灰度函数在x方向和y方向的二阶导数以及它们的混合导数。k是一个经验常数，通常在0.04到0.06之间。

45、其中，特征点要求是地面上固定的颜色、亮度和纹理明显不同于周围的关键点，比如导向箭头的角点。提取图像的角点，比如导向箭头的角点，车道线或者斑马线的角点，对于两幅图像，分别使用harris角点检测算法提取它们的角点；

46、2.2.2步骤s22，计算两幅图像的特征点之间的匹配:

47、使用暴力匹配算法或快速最近邻(flann)算法；结合使用欧几里得距离进行度量：

48、

49、其中，n是描述符向量的长度。

50、2.2.3步骤s23，选择正确的匹配：

51、根据匹配结果选择正确的匹配，使用ransac(random sample consensus)算法筛选出正确的匹配点。

52、ransac算法是一种模型估计方法，用于从包含大量离群点的数据集中估计数学模型的参数。在特征点匹配中，ransac可以用来筛选出正确的匹配点。ransac算法通过随机采样数据点来生成模型假设，并使用一个评分函数来评估每个假设的优劣。通过多次迭代，算法最终选择一个最佳模型，该模型与数据中的内点(即正确的匹配点)一致。

53、其核心思想是通过随机采样和一致性检验来找到最佳模型参数，从而区分内点和外点(即错误的匹配点)。在这个过程中，算法会尝试找到满足以下条件的最大子集：这些点能够被一个模型(如单应性矩阵)很好地拟合。

54、2.3步骤s3，重新计算：

55、拟合偏移后坐标的映射关系，从而计算相机偏移后新的标定矩阵。

56、当相机发生偏移时，图像坐标系中的点会随之移动。为了拟合这种偏移后的坐标映射关系，使用单应性变换描述两个平面之间的映射关系，其过程通过一个3*3的矩阵h来表示：

57、

58、其中，(x,y)是原始图像坐标，(x′,y′)是偏移后的图像坐标。单应性矩阵h可以通过匹配的特征点对来计算得到。

59、一旦得到了坐标映射关系(如单应性矩阵h)，就可以结合原始的标定矩阵k来计算相机偏移后的新标定矩阵k′。如果相机的偏移主要是旋转和平移，而没有改变相机的内部参数(如焦距和主点位置)，则新的标定矩阵可能与原始标定矩阵相同，只是需要更新外部参数(旋转矩阵r和平移向量t)来反映相机的实际位置和方向。

60、(三)解决技术问题的机制：

61、车路协同需要在统一的时空维度下对状态进行融合，通过外参动态标定方法，可以在相机发生偏移或旋转的情况下，可以及时获取新的外参标定矩阵，及时反映出相机在世界坐标系中新的位姿。因此，可以避免因为相机偏移造成的感知定位误差问题，为基于位置点的车路协同融合创造了有利条件，从而有助于提高感知目标物的定位和跟踪精度。

62、第二方面，一种存储介质：

63、所述存储介质内存储有用于实现如上述所述的外参动态标定方法的程序指令。

64、与现有技术相比，本发明的有益效果是：

65、一、提高标定精度：本发明通过精确的相机标定(s2步骤中的特征点匹配)，可以准确获取摄像头的内外参数，从而校正因外部因素(如强风)导致的摄像头偏移。这有助于减少感知定位误差，确保摄像头捕捉到的图像数据与实际场景保持高度一致。

66、二、增强系统鲁棒性：本发明采用由粗到精的搜索策略(如s1中可能涉及的初步定位和s2中的精确匹配)，结合ransac等算法筛选正确匹配点，使得系统在面对摄像头偏移等异常情况时，仍能保持较高的稳定性和准确性。这种鲁棒性对于减少因外部因素干扰而导致的定位误差至关重要。

67、三、实时调整与优化：本发明通过s3步骤中的重新计算，系统能够实时拟合偏移后的坐标映射关系，并更新标定矩阵。即使在摄像头发生偏移后，系统也能迅速调整，确保感知定位的连续性和准确性。这种实时调整能力对于减少因外部因素导致的定位误差具有显著效果。

68、四、提升整体感知能力：本发明通过精确的相机标定和实时的调整优化，共同提升了系统的整体感知能力。使得路侧摄像头在面对强风等外部因素时，仍能准确捕捉道路情况，为自动驾驶车辆提供可靠的感知定位信息，从而降低因感知误差导致的安全风险。