一种基于单目相机进行稠密建图的方法与流程

技术特征：
1.一种基于单目相机进行稠密建图的方法，其特征在于，包括：第一步，将单目相机拍摄下的一段视频，以灰度图的形式读取第一帧图像，先以第一帧为参考帧，初始化深度滤波器的深度均值和深度方差；第二步，梯度剔除；以灰度图的形式读取第二帧图像，遍历参考帧上的每个像素块，计算每个像素块的灰度梯度，如果某个像素块的梯度的2范数小于设定的阈值，则剔除该像素块；第三步，深度剔除；遍历参考帧上经梯度剔除余下的其他像素块，读取深度滤波器存储的每个像素块的深度方差值，如果某个像素块的深度方差小于设定的最小方差或大于设定的最大方差，说明该像素块的深度已收敛或发散，则剔除该像素块；第四步，遍历第二帧图像上的像素块，用极线搜索方法查找每个像素块与所述参考帧上经第二、第三步剔除后余下像素块对应的位置；如果查找到参考帧上某个像素块在当前第二帧对应的位置，则通过三角化方法求出参考帧上该像素块的深度均值和深度方差，并将该深度均值和深度方差存入深度滤波器中，用于更新深度滤波器，对查找到的参考帧与当前第二帧有对应位置的所有像素块重复该步骤，直到每个像素块的深度都收敛；通过传感器得到当前相机在世界坐标系的位姿twc，通过该位姿twc的逆乘上参考帧在世界坐标系的位姿twr，得到参考帧到当前第二帧的位姿tcr；第五步，以灰度图的形式读取第三帧图像，遍历参考帧上经梯度剔除余下的其他像素块，读取深度滤波器存储的每个像素块的深度方差值，如果某个像素块的深度方差小于设定的最小方差或大于设定的最大方差，说明该像素块的深度已收敛或发散，则剔除该像素块；第六步，遍历第三帧图像上的像素块，以第四步所述方法得到第三帧与参考帧对应的所有像素块，得到参考帧到当前第三帧的位姿tcr；重复第五和第六步，遍历第四帧及之后的每一帧，直到查找得到单目相机拍摄视频中每一帧与该参考帧对应的所有像素块，通过三角化方法求出该参考帧上这些像素块的深度；再以第二帧为参考帧，重复上述步骤，遍历第三帧及之后的每一帧，直到查找得到单目相机拍摄视频中每一帧与该参考帧对应的所有像素块，通过三角化方法求出该参考帧上这些像素块的深度；重复上述步骤，得到单目相机拍摄视频中每一帧上用于稠密建图的像素块的空间位置。2.根据权利要求1所述的一种基于单目相机进行稠密建图的方法，其特征在于，第四步中极线搜索方法为：假设第一帧像素块x对应第二帧像素块y，将第一帧像素块x的像素坐标转化成归一化坐标，乘上深度均值，再左乘位姿tcr，转换回像素坐标，得到深度均值点在当前帧的像素位置；将深度均值取倒数，加减三倍的深度标准差得出需要搜索的深度的最小值和最大值的倒数，获得深度最值，将第一帧该像素块的像素坐标转化为归一化坐标，乘上深度最值，再左乘位姿tcr，转换回像素坐标，得到深度最值点在当前帧的像素位置。3.根据权利要求2所述的一种基于单目相机进行稠密建图的方法，其特征在于，沿着极线以一定步长遍历像素块，求出当前帧与参考帧上两个像素块之间的去均值ncc，如果分数大于阈值，则这两个像素块匹配对应，反之说明在当前帧上找不到与参考帧匹配的像素块，
即匹配失败。4.根据权利要求3所述的一种基于单目相机进行稠密建图的方法，其特征在于，将参考帧的像素坐标转成归一化坐标，乘上当前的深度，左乘位姿，再转化成当前帧的像素坐标；对于像素块中的每个像素，累加它们的灰度值，最后取平均值，然后代入公式求出ncc分数，公式为：其中，a为参考帧的像素块，b为当前帧的像素块，a(i,j) 为参考帧上某个像素块的像素灰度值，b(i,j)为当前帧上某个像素块的像素灰度值；为参考帧某个像素块的灰度均值，为当前帧某个像素块的灰度均值。

技术总结
本发明公开了一种基于单目相机进行稠密建图的方法，包括：将单目相机拍摄下的一段视频，以灰度图的形式读取每一帧图像，对参考帧进行梯度和深度剔除；用极线搜索方法查找当前帧上每个像素块与参考帧上余下像素块对应的位置，本发明用单目相机拍摄的视频，先以第一帧为参考帧，每次通过传感器读取当前相机的位姿，求出参考帧每个像素在当前帧对应的位置，通过三角化求出当前帧像素块与参考帧对应像素块所指向的空间点的深度，再以第二帧为参考帧，重复操作，直到得到单目相机拍摄视频中每一帧上用于稠密建图的像素块的空间位置，从而实现稠密建图，具有成本低、效率高、准确度高等优点。优点。优点。


技术研发人员：戴宇晗 牛潞东 余彰恒
受保护的技术使用者：河海大学
技术研发日：2021.08.23
技术公布日：2021/11/28