一种视觉传感器的外参标定方法、电子设备以及存储介质与流程

本技术涉及智能驾驶，具体地涉及一种视觉传感器的外参标定方法、电子设备以及存储介质。

背景技术：

1、鸟瞰图(bi rd's eye view，bev)是指图像或者场景在鸟瞰视角下的视图，具体地，通过将原始图像进行透视变换，将图像投影到另一个平面上，以获取俯视视角，进而可以较为全面且清楚的显示车辆周围的障碍物、车道线、停车位等信息。当前大多数自动驾驶感知使用的是基于bev的自动驾驶视觉方案，其中，bev的生成依赖于车辆视觉传感器内部参数以及外部参数，即内参和外参。其中，视觉传感器的外参是用于描述视觉传感器相对于车辆的位置和姿态的参数，是将物体在真实的位置和图像中的像素位置连接起来的必要条件。

2、为了标定车辆视觉传感器的外部参数，现有技术中，通常将车辆以及标定板放置在指定位置，利用车辆上视觉传感器获取一张包含标定板的图像。然后根据获取的图像上的目标点的位置信息以及目标点相对于车辆的实际位置信息，标定视觉传感器的外参。

3、但是，在利用视觉传感器获取包含标定板的图像时，由于光线较暗或者光线太强导致标定板反光等，均会导致获取的包含标定板的图像不清晰，进而导致无法检测到标定板上的目标点。此时，工作人员通常会不断地对光照进行调整，重新利用视觉传感器获取包含标定板的图像，直到获取到图像可以清晰地确定检测出目标点为止。在此过程中，由于需要工作人员经常进行光照的调节，使的视觉传感器外参的标定时间较长，降低了视觉传感器外参的标定效率。

4、需要指出的是，公开于本技术背景技术部分的信息仅仅旨在加深对本技术的一般背景技术的理解，而不应当被视为承认或以任何形式暗示该信息构成己为本领域技术人员所公知的现有技术。

技术实现思路

1、有鉴于此，本技术提供一种视觉传感器的外参标定方法、电子设备以及存储介质，以利于解决现有技术中为了保证视觉传感器获取到足够清晰图像，需要工作人员花费大量的时间对光源位置以及强度进行反复调整，导致对视觉传感器外参的标定效率较低的问题。

2、第一方面，本技术实施例提供了一种视觉传感器的外参标定方法，包括：

3、根据用户输入的标定信息，确定标定板中n个目标点在三维坐标系中的三维坐标，所述视觉传感器和所述标定板在所述三维坐标系中的位置相对固定，n≥4；

4、接收所述视觉传感器按照相同的视角采集的m张原始标定图像，所述原始标定图像中包括标定板图像，m≥2；

5、将m张所述原始标定图像中至少两张所述原始标定图像进行融合，获得目标标定图像；

6、根据所述目标标定图像，确定所述标定板中n个所述目标点在像素坐标系中的二维坐标；

7、根据n个所述目标点对应的所述三维坐标和所述二维坐标，标定所述视觉传感器的外参。

8、在本技术实施例中，n个目标点不在同一条直线上，通过利用视觉传感器获取多张图像，并将多张图像中至少两张进行融合处理获得目标标定图像；然后通过目标标定图像，确定标定板中目标点在像素坐标系中的二维坐标；最终根据确定的二维坐标以及确定的目标点在三维坐标系下三维坐标标定视觉传感器的外参。在这个过程中，因为目标标定图像是根据多张图像融合确定的，所以目标标定图像足够清楚，进而使得车载控制器迅速的检测到目标标定图像中的目标点，避免工作人员花费大量的时间对光源位置以及强度进行反复调整，从而提高了对视觉传感器外参标定的效率。

9、在一种可能的实现方式中，所述将m张所述原始标定图像中至少两张所述原始标定图像进行融合，获得目标标定图像，包括：

10、按照每一张所述原始标定图像中所述标定板的位置，将m张所述原始标定图像进行对齐；

11、将对齐的m张所述原始标定图像中至少两张所述原始标定图像进行融合，获得目标标定图像。

12、在本技术实施例中，在将多张图像融合之前，可以先利用通过将m张所述原始标定图像进行对齐，将对齐后的原始标定图像进行融合。通过上述过程，可以使得获得的目标标定图像更加清晰，进而便于获取目标标定图像中的二维坐标，最终使得便于提取图像坐标系中目标点的二维坐标，从而提高对视觉传感器外参标定的效率。

13、在一种可能的实现方式中，所述按照每一张所述原始标定图像中所述标定板的位置，将m张所述原始标定图像进行对齐，包括：

14、利用图像配准算法，按照每一张所述原始标定图像中所述标定板的位置，将n张所述原始标定图像进行对齐。

15、图像配准算法，是通过根据采样每一张原始标定图像的关键点，并根据采样点的关键点对齐所有原始图像。在本技术实施例中，通过利用图像配准算法，可以更加准确且高效的将n张原始标定图像进行对齐，进而使得确定的目标标定图像更加准确，最终提高了对视觉传感器外参的标定效率。

16、在一种可能的实现方式中，所述将m张所述原始标定图像中至少两张所述原始标定图像进行融合，获得目标标定图像，包括：

17、利用曝光融合算法，将m张所述原始标定图像中至少两张所述原始标定图像进行融合，获得目标标定图像。

18、曝光融合算法，是根据图像的对比度、饱和度以及亮度，判断每个图像中的像素点对应的加权系数，进对每个图像中的像素点进行加权平均计算，实现图像的融合。在本技术实施例中，利用曝光融合算法，融合m张原始标定图像，进而使得确定的目标标定图像更加准确，最终提高了对视觉传感器外参的标定效率。

19、在一种可能的实现方式中，所述将m张所述原始标定图像中至少两张所述原始标定图像进行融合，获得目标标定图像，包括：

20、将m张所述原始标定图像中至少两张所述原始标定图像进行融合，获得第一标定图像；

21、利用颜色增强算法，对所述第一标定图像进行色彩校正，提高所述第一标定图像的亮度以及对比度，获得目标标定图像。

22、在本技术实施例中，利用利用颜色增强算法，对第一标定图像进行色彩校正，使得获得的目标表标定图像具有较高的亮度和对比度，进而使得确定的目标标定图像更加清楚，有利于视觉传感器对目标点的采集，最终提高了对视觉传感器外参的标定效率。

23、在一种可能的实现方式中，所述利用所述颜色增强算法，对所述第一标定图像进行色彩校正，提高所述第一标定图像的亮度以及对比度，获得目标标定图像，包括：

24、利用颜色增强算法，对所述第一标定图像进行色彩校正，提高所述第一标定图像的亮度以及对比度，获得第二标定图像；

25、利用双边滤波算法，对所述第二标定图像进行滤波处理，降低所述第二标定图像的噪声干扰，获得目标标定图像。

26、在本技术实施例中，通过双边滤波算法，对第二标定图像进行滤波处理，降低第二标定图像的噪声干扰，使得最终确定的目标标定图像更加清楚，有利于视觉传感器对目标点的采集，最终提高了对视觉传感器外参的标定效率。

27、在一种可能的实现方式中，所述利用双边滤波算法，对所述第二标定图像进行滤波处理，降低所述第二标定图像的噪声干扰，获得目标标定图像，包括：

28、利用双边滤波算法，对所述第二标定图像进行滤波处理，降低所述第二标定图像的噪声干扰，获得第三标定图像；

29、利用维纳滤波算法，对所述第三标定图像进行优化，提高所述第三标定图像的清晰度，获得目标标定图像。

30、在本技术实施例中，通过维纳滤波算法，对第三标定图像进行优化，使得最终确定的目标标定图像具有更好高的清晰度，有利于视觉传感器对目标点的采集，最终提高了对视觉传感器外参的标定效率。

31、在一种可能的实现方式中，

32、所述标定信息还包括：视觉传感器模型，所述视觉传感器模型用于修正畸变误差；

33、所述根据所述目标标定图像，确定所述标定板中n个所述目标点在像素坐标系中的二维坐标，包括：根据所述目标标定图像，确定所述标定板中n个所述目标点在像素坐标系中的初始二维坐标；将n个所述目标点在像素坐标系中的初始二维坐标输入所述视觉传感器模型，输出与所述标定板中n个所述目标点在像素坐标系中的二维坐标。

34、在本技术实施例中，在确定目标点在像素坐标系中的二维坐标时，通过利用视觉传感器模型对确定的初始二维坐标去畸变，进而使得最终确定的目标点在像素坐标系中的二维坐标更加准确，最终使得可以更加准确的对视觉传感器的外参进行标定。

35、在一种可能的实现方式中，所述根据n个所述目标点对应的所述三维坐标以及所述二维坐标，标定所述视觉传感器的外参，包括：

36、利用pnp算法，根据n个所述目标点对应的所述三维坐标和所述二维坐标，标定所述视觉传感器的外参。

37、在本技术实施例中，通过利用pnp算法，标定视觉传感器的外参，可以提高对视觉传感器外参标定的效率。

38、在一种可能的实现方式中，

39、所述标定板为aruco码标定板，所述aruco码标定板中的目标点为aruco码对应的角点，其中，所述aruco码标定板中包括多个所述aruco码；

40、所述标定信息中还包括：所述aruco码边长以及每一个所述aruco码相同角点位置对应目标点的三维坐标；

41、所述确定标定板中n个目标点在三维坐标系中的三维坐标，包括：根据所述aruco码的边长以及每一个所述aruco码对应的一个目标点的三维坐标，确定与每一个所述aruco码对应的四个目标点的三维坐标，其中，所述aruco码标定板与所述三维坐标系中的两个维度平行。

42、在本技术实施例中，通过aruco码的边长以及每一个aruco码对应的一个目标点的三维坐标，确定与每一个aruco码对应的四个目标点的三维坐标，可以降低工作人员需要测量的坐标的数量，进而提高了三维坐标的准确性，最终提高了对视觉传感器外参标定的准确性。

43、在一种可能的实现方式中，

44、所述标定信息还包括：aruco码id，其中所述aruco码id用于表征所述aruco码标定板中的唯一一个aruco码；

45、所述确定与每一个所述aruco码对应的四个目标点的三维坐标，包括：确定与至少一个所述aruco码id对应的四个目标点的三维坐标；

46、确定所述标定板中n个所述目标点在像素坐标系中的二维坐标，包括：根据所述aruco码id，确定与所述aruco码id对应的四个目标点在像素坐标系中的二维坐标。

47、在本技术实施例中，通过利用aruco码id可以更加迅速准确的匹配二维坐标以及三维坐标的对应关系，进而提高了对视觉传感器外参标定的效率。

48、第二方面，本技术提供了一种电子设备，包括：

49、处理器；

50、存储器；

51、以及计算机程序，其中所述计算机程序被存储在所述存储器中，所述计算机程序包括指令，当所述指令被所述处理器执行时，使得所述电子设备执行第一方面中任意一项所述的方法。

52、第三方面，本技术提供了一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的程序，其中，在所述程序运行时控制所述计算机可读存储介质所在设备执行第一方面中任意一项所述的方法。

53、可以理解地，上述第二方面电子设备、第三方面提供的计算机可读存储介质均用于执行本技术所提供的方法。因此，其所能达到的有益效果可参考对应方法中的有益效果，此处不再赘述。