一种基于相机与雷达融合的测距方法、装置、系统及介质与流程

本发明属于工程，具体涉及一种一种基于相机与雷达融合的测距方法、装置、系统及介质。背景技术：：：1、随着人工智能技术的快速发展，智能驾驶逐渐变为汽车行业的发展趋势，同时，在挖掘机等重工行业上，也在慢慢朝着智能化发展。在智能驾驶领域中主要包含三个技术，感知、决策和规划，其中感知部分是该技术的关键部分，目的在于识别车周围的环境。在挖掘机上使用单一传感器在复杂的环境下很难满足当前的项目需求。而且受限于传感器的自身特点。对于单一相机受限于无法准确得到目标的位置信息，对于点云的雷达受限于无法获得目标的纹理信息，所以基于单个相机或单个雷达都无法较好的满足在挖掘机的环境感知和精准的测距能力。为了解决挖机在视距外通过远程操控台遥控作业时，远程操控端往往不具有良好作业视角，对挖掘物料深度信息感知不直观，待挖掘物料区位置感知不直观，从而无法精准下铲等问题。技术实现思路1、为解决现有技术的不足，本发明提供的技术方案为：一种一种基于相机与雷达融合的测距方法、装置、系统及介质，该方法结合了雷视融合和目标分割技术，能够实现挖掘机前方物料区域的视频监控，获得目标物料位置信息和距离信息。2、为达到上述目的/为解决上述技术问题，本发明是采用下述技术方案实现的：3、一方面，本发明提供一种基于相机与雷达融合的测距方法，包括：4、通过雷达和相机，分别获取待挖物料区的点云数据和图像数据；5、将待挖物料区的图像数据输入到预训练好的目标分割模型中，输出含有类别的图像区域，并筛选出目标物料的图像区域；6、将待挖物料区的点云数据输入至预先标定好的挖掘机雷视融合成像模型中，获得待挖物料区的点云数据对应的图像数据，将点云数据及对应的图像数据结合目标分割模型中目标物料所在图像区域的分割检测框；得到只包含目标物料的点云数据，最终根据目标物料的点云数据，提取目标物料的距离信息。7、进一步的，所述目标分割模型为unet模型，8、所述输出含有类别的图像区域，并筛选出目标物料的图像区域，包括：9、将待挖物料区的图像数据输入到unet模型网络中进行特征学习和特征提取，使用softmax 函数将输出向量转换为概率分布，筛选出概率最高的类别为目标区域aij，其中，i为图像区域标序，j表示目标类别。10、进一步的，所述预先标定好的挖掘机雷视融合成像模型的标定方法，包括：一次标定和二次标定；11、所述一次标定包括：12、通过雷达和相机，分别获取标定板的点云数据和图像数据，13、通过标定板对雷达和相机的不同位姿进行初步标定，获得雷达到相机的旋转矩阵和平移矩阵；14、依据相机内参矩阵和雷达到相机的旋转矩阵和平移矩阵，将标定板的点云数据投影到图像数据中，获得标定板二维点云数据；15、所述二次标定包括：16、依据标定板二维点云数据和图像数据中标定板的相应位置，通过仿射变换生成修正矩阵，对映射到相机的雷达数据进行修正。17、进一步的，通过标定板对雷达和相机的不同位姿进行标定，获得雷达到相机的旋转矩阵和平移矩阵，18、依据相机内参矩阵和雷达到相机的旋转矩阵和平移矩阵，将标定板的点云数据投影到图像数据中，获得标定板二维点云数据，包括：19、获取雷达对标定板进行扫描得到的点云数据，以及相机对所述标定板进行拍摄得到的图像数据；通过在多组角度和范围下获得雷达和相机中标定板对应的特征点，最后求解雷达坐标系到相机坐标系下的转换矩阵；20、使用张正友棋盘格标定法获得相机内参矩阵：21、<mstyledisplaystyle="true"mathcolor="#000000"><msub><mi>z</mi><mi>c</mi></msub><mrow><mo>[</mo><mtable><mtr><mtd><mi>u</mi></mtd></mtr><mtr><mtd><mi>v</mi></mtd></mtr><mtr><mtd><mn>1</mn></mtd></mtr></mtable><mo>]</mo></mrow><mi>=</mi><mrow><mo>[</mo><mtable><mtr><mtd><msub><mi>f</mi><mi>x</mi></msub></mtd><mtd><mn>0</mn></mtd><mtd><msub><mi>u</mi><mn>0</mn></msub></mtd></mtr><mtr><mtd><mn>0</mn></mtd><mtd><msub><mi>f</mi><mi>y</mi></msub></mtd><mtd><msub><mi>v</mi><mn>0</mn></msub></mtd></mtr><mtr><mtd><mn>0</mn></mtd><mtd><mn>0</mn></mtd><mtd><mn>1</mn></mtd></mtr></mtable><mo>]</mo></mrow><mrow><mo>[</mo><mtable><mtr><mtd><msub><mi>x</mi><mi>c</mi></msub></mtd></mtr><mtr><mtd><msub><mi>y</mi><mi>c</mi></msub></mtd></mtr><mtr><mtd><msub><mi>z</mi><mi>c</mi></msub></mtd></mtr></mtable><mo>]</mo></mrow><mi>=</mi><mi>k</mi><mrow><mo>[</mo><mtable><mtr><mtd><msub><mi>x</mi><mi>c</mi></msub></mtd></mtr><mtr><mtd><msub><mi>y</mi><mi>c</mi></msub></mtd></mtr><mtr><mtd><msub><mi>z</mi><mi>c</mi></msub></mtd></mtr></mtable><mo>]</mo></mrow></mstyle>22、其中，fx和fy为相机等效焦距，23、u0为图像坐标系中心点到像素坐标系之间横向平移的像素值；24、v0为图像坐标系中心点到像素坐标系之间纵向平移的像素值；25、xc、yc、zc为相机坐标系；u、v为像素坐标系，k为相机内参矩阵；26、在标定板的点云数据中通过拟合方法，拟合出标定板的长方形形状，获得标定板对应的四个三维点；27、在标定板的的图像数据中，依据标定板的位置，获得对应标定板四个二维点的像素坐标；28、通过获取多组二维点到三维点的对应数据，求解雷达坐标系到相机坐标系下的转换矩阵：29、雷达到相机转换矩阵公式为：<mstyledisplaystyle="true"mathcolor="#000000"><msub><mi>z</mi><mi>c</mi></msub><mrow><mo>[</mo><mtable><mtr><mtd><mi>u</mi></mtd></mtr><mtr><mtd><mi>v</mi></mtd></mtr><mtr><mtd><mn>1</mn></mtd></mtr></mtable><mo>]</mo></mrow><mi>=</mi><mi>k</mi><mrow><mo>[</mo><mtable><mtr><mtd><msub><mi>r</mi><mi>lc</mi></msub></mtd><mtd><msub><mi>t</mi><mi>lc</mi></msub></mtd></mtr><mtr><mtd><mn>0</mn></mtd><mtd><mn>1</mn></mtd></mtr></mtable><mo>]</mo></mrow><mrow><mo>[</mo><mtable><mtr><mtd><msub><mi>x</mi><mi>l</mi></msub></mtd></mtr><mtr><mtd><msub><mi>y</mi><mi>l</mi></msub></mtd></mtr><mtr><mtd><msub><mi>z</mi><mi>l</mi></msub></mtd></mtr><mtr><mtd><mn>1</mn></mtd></mtr></mtable><mo>]</mo></mrow></mstyle>30、其中，(xl,yl,zl)表示雷达坐标系，（u,v）表示像素坐标系；zc为相机坐标系，k为相机内参矩阵，rlc为雷达到相机的旋转矩阵，tlc为雷达到相机的平移矩阵。31、进一步的，所述依据标定板二维点云数据和图像数据中标定板的相应位置，通过仿射变换生成修正矩阵，包括：32、给定二维标定板点云数据拟合的四边形的四个点坐标为（x1,y1）, （x2,y2）,（x3,y3）,（x4,y4）, 图像数据中标定板四个点坐标为（x’1,y’1）,（x’2,y’2）,（x’3,y’3）,（x’4,y’4）；将坐标代入下述修正公式，生成修正矩阵：33、34、其中，（x，y）表示点云数据中标定板的坐标，（x’,y’）表示为图像数据中标定板的坐标，ma表示修正矩阵，a表示为缩放参数，d表示为旋转参数，b和c表示为剪切参数，tx和ty表示为平移参数。35、进一步的，获取目标物料的距离信息后，将获取目标物料的雷达所在位置坐标系转换到挖掘机所在位置坐标系，包括：36、以挖掘机驾驶舱内驾驶人员为坐标原点，建立挖掘机坐标系，将雷达坐标系（xl,yl,zl）转换到挖掘机坐标系中（xb，yb，zb）；37、<mstyledisplaystyle="true"mathcolor="#000000"><mrow><mo>[</mo><mtable><mtr><mtd><msub><mi>x</mi><mi>b</mi></msub></mtd></mtr><mtr><mtd><msub><mi>y</mi><mi>b</mi></msub></mtd></mtr><mtr><mtd><msub><mi>z</mi><mi>b</mi></msub></mtd></mtr></mtable><mo>]</mo></mrow><mi>=</mi><mi>r</mi><mrow><mo>[</mo><mtable><mtr><mtd><msub><mi>x</mi><mi>l</mi></msub></mtd></mtr><mtr><mtd><msub><mi>y</mi><mi>l</mi></msub></mtd></mtr><mtr><mtd><msub><mi>z</mi><mi>l</mi></msub></mtd></mtr></mtable><mo>]</mo></mrow><mo>+</mo><mi>t</mi></mstyle>38、其中：r为雷达到挖掘机的旋转矩阵，t为雷达到挖掘机的平移矩阵；39、<mstyledisplaystyle="true"mathcolor="#000000"><mi>t</mi><mi>=</mi><mrow><mo>[</mo><mtable><mtr><mtd><msub><mi>x</mi><mi>t</mi></msub></mtd></mtr><mtr><mtd><msub><mi>y</mi><mi>t</mi></msub></mtd></mtr><mtr><mtd><msub><mi>z</mi><mi>t</mi></msub></mtd></mtr></mtable><mo>]</mo></mrow></mstyle>40、其中：xt、yt、zt是挖掘机坐标原点和雷达安装位置的三维方向的差值；41、雷达获取的数据依次绕雷达坐标系的xl，yl，zl轴旋转后得到r：42、43、其中：44、<mstyledisplaystyle="true"mathcolor="#000000"><msub><mi>r</mi><mi>yaw</mi></msub><mi>=</mi><mrow><mo>[</mo><mtable><mtr><mtd><mi>cos</mi><mi>θ</mi></mtd><mtd><mi>−</mi><mi>sin</mi><mi>θ</mi></mtd><mtd><mn>0</mn></mtd></mtr><mtr><mtd><mi>sin</mi><mi>θ</mi></mtd><mtd><mi>cos</mi><mi>θ</mi></mtd><mtd><mn>0</mn></mtd></mtr><mtr><mtd><mn>0</mn></mtd><mtd><mn>0</mn></mtd><mtd><mn>1</mn></mtd></mtr></mtable><mo>]</mo></mrow></mstyle>45、<mstyledisplaystyle="true"mathcolor="#000000"><msub><mi>r</mi><mi>pitch</mi></msub><mi>=</mi><mrow><mo>[</mo><mtable><mtr><mtd><mi>cos</mi><mi>β</mi></mtd><mtd><mn>0</mn></mtd><mtd><mi>sin</mi><mi>β</mi></mtd></mtr><mtr><mtd><mn>0</mn></mtd><mtd><mn>1</mn></mtd><mtd><mn>0</mn></mtd></mtr><mtr><mtd><mi>−</mi><mi>sin</mi><mi>β</mi></mtd><mtd><mn>0</mn></mtd><mtd><mi>cos</mi><mi>β</mi></mtd></mtr></mtable><mo>]</mo></mrow></mstyle>46、<mstyledisplaystyle="true"mathcolor="#000000"><msub><mi>r</mi><mi>roll</mi></msub><mi>=</mi><mrow><mo>[</mo><mtable><mtr><mtd><mn>1</mn></mtd><mtd><mn>0</mn></mtd><mtd><mn>0</mn></mtd></mtr><mtr><mtd><mn>0</mn></mtd><mtd><mi>cos</mi><mi>γ</mi></mtd><mtd><mi>−</mi><mi>sin</mi><mi>γ</mi></mtd></mtr><mtr><mtd><mn>0</mn></mtd><mtd><mi>sin</mi><mi>γ</mi></mtd><mtd><mi>cos</mi><mi>γ</mi></mtd></mtr></mtable><mo>]</mo></mrow></mstyle>47、其中：旋转角度是欧拉角中的航向角yaw；48、为绕航向角yaw旋转的旋转矩阵；49、旋转角度是欧拉角中的俯仰角pictch；50、为绕俯仰角pictch旋转的旋转矩阵；51、旋转角度是欧拉角中的横滚角roll；52、为绕横滚角roll旋转的旋转矩阵。53、进一步的，所述提取目标物料的距离信息包括：54、将目标物料的点云数据向目标区域aij进行映射，生成含有图像rgb信息和点云xyz三位坐标信息的多维数据，选取挖掘机坐标系（xb、yb、zb）多维数据中最小值或平均值作为目标物料到挖掘机的最终距离信息；55、<mstyledisplaystyle="true"mathcolor="#000000"><mrow><mo>[</mo><mtable><mtr><mtd><msub><mi>x</mi><mi>b</mi></msub></mtd></mtr><mtr><mtd><msub><mi>y</mi><mi>b</mi></msub></mtd></mtr><mtr><mtd><msub><mi>z</mi><mi>b</mi></msub></mtd></mtr></mtable><mo>]</mo></mrow><mi>=</mi><mi>r</mi><mrow><mo>[</mo><mtable><mtr><mtd><msub><mi>x</mi><mi>l</mi></msub></mtd></mtr><mtr><mtd><msub><mi>y</mi><mi>l</mi></msub></mtd></mtr><mtr><mtd><msub><mi>z</mi><mi>l</mi></msub></mtd></mtr></mtable><mo>]</mo></mrow><mo>+</mo><mi>t</mi></mstyle>56、57、其中，xdis、ydis、zdis表示目标物料到挖掘机（xb、yb、zb）维度的最终距离信息；xp、yp、zp表示转换到挖掘机坐标系（xb、yb、zb）维度下点的信息，min表示求最小值，avg表示求平均值。58、第二方面，本发明提供一种基于相机与雷达融合的测距装置，包括：59、获取模块：用于通过雷达和相机，分别获取待挖物料区的点云数据和图像数据；60、筛选模块：用于将待挖物料区的图像数据输入到预训练好的目标分割模型中，输出含有类别的图像区域，并筛选出目标物料的图像区域；61、提取模块：用于将待挖物料区的点云数据输入至预先标定好的挖掘机雷视融合成像模型中，获得待挖物料区的点云数据对应的图像数据，将点云数据及对应的图像数据结合目标分割模型中目标物料所在图像区域的分割检测框；得到只包含目标物料的点云数据，最终根据目标物料的点云数据，提取目标物料的距离信息。62、第三方面，本发明提供一种基于相机与雷达融合的测距系统，其特征在于，63、一个或多个处理器；64、存储器，用于存储一个或多个程序，65、当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现上述基于相机与雷达融合的测距方法。66、第四方面，本发明提供一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现上述基于相机与雷达融合的测距方法。67、与现有技术相比，本发明所达到的有益效果：本实施例首先依据雷达和相机获取的标定板的多种位姿进行初步标定，通过映射到图像的二维标定板数据和图像中的标定板数据进行比较，从而进一步调整旋转矩阵和平移矩阵；通过两次标定法获得的雷达到相机的旋转矩阵和平移矩阵更加准确，可以较为准确的实现挖掘机上的激光和雷达的融合。68、本发明方法采用多传感器融合方法，有效避免了单一传感器测量稳定性差，通过图像分割算法和雷视觉融合技术相结合，可以准确的获得挖掘机目标物料的距离信息。当前第1页12当前第1页12