一种基于光轴偏移提升立体匹配网络泛化性的方法与流程

本发明涉及双目深度估计领域，特别是涉及了一种提升立体匹配网络泛化性的方法。

背景技术：

1、双目深度估计是计算机视觉领域的一个重要研究方向，旨在通过两个摄像头（左右相机）拍摄的图像来估计场景中不同点的深度信息。双目深度估计可以用于许多应用，如三维重建、立体视觉、自动驾驶、机器人导航等。

2、早期的双目深度估计方法主要基于视差计算原理，如块匹配算法。这些方法通过比较左右相机图像中对应像素的差异来计算视差，进而推断深度信息。然而，由于视差计算的精度和鲁棒性限制，这些方法在复杂场景中的深度估计效果有限。

3、近年来，深度学习方法在双目深度估计领域取得了显著的进展。深度学习模型可以通过大规模的训练数据学习到图像特征和深度之间的映射关系。这些方法可以直接从图像中学习深度信息，避免了手工设计的特征提取过程。卷积神经网络（cnn）和自编码器等模型被广泛应用于深度估计任务，并取得了令人瞩目的性能。

4、然而，双目深度估计仍然存在一些挑战和不足。经检索发现，公开号为cn109741388a的中国专利申请提供了一种用于生成双目深度估计模型的方法和装置，该方法仅提供了左右图满足对极约束的条件下进行深度估计的方法，并未考虑相机在推理过程由于硬件原因，例如安装不准确或相机固定位置不稳定等问题，导致左右图像之间不满足对极约束时的情况。在实际应用中，由于相机光轴偏移可能会导致双目深度估计的推理效果变差，对双目深度估计的准确性和鲁棒性产生负面影响。

5、为了在左右图像不满足对极约束仍能保持较好的推理效果，提高深度估计网络的泛化性，一种可行的方法是在训练阶段，使用带有光轴偏移的数据集进行模型训练，将经过调整的左右图像作为输入，相应的深度图像作为目标标签，训练深度学习模型来学习从输入图像到深度图像的映射关系。这样，网络模型能够学习到如何在光轴偏移情况下进行准确的深度估计。

技术实现思路

1、为了克服双目深度估计网络因相机发生光轴偏移导致推理效果变差的问题，本发明提供了一种基于光轴偏移提升立体匹配网络泛化性的方法，通过统计量产双目相机发生光轴偏移的角度，在改变训练阶段左右图像的分布，模拟出现光轴偏移时的情况，训练网络模型来学习从输入图像到深度图像的映射关系，提高双目深度估计网络的泛化性。

2、为实现上述目的，本发明公开了一种基于随机光轴偏移提升量产双目相机泛化性的方法，步骤包括：

3、步骤s10：对双目相机进行随机抽样，定量分析该批产品在双目标定后光轴偏移的角度；

4、步骤s101：选择一个特制的标定板，通常是一个平面的板状物体，上面绘制有一系列已知尺寸的标定点或标定棋盘格。将标定板放置在相机视野内，并确保标定板覆盖相机视野的各个角落和深度范围，以获取尽可能多的标定点；

5、步骤s102：在不同的位置和角度下，使用双目相机拍摄多张包含标定板的图像。对于每张图像，检测出标定板上的标定点或标定棋盘格的角点；

6、步骤s103：利用检测到的标定点的图像坐标和已知的标定点的世界坐标，应用相机标定算法计算相机的内外参数，通过分析旋转矩阵可以提取出相机的光轴偏移角度，即相机光轴相对于世界坐标系的偏移角度，包括俯仰角、偏航角、翻滚角；

7、步骤s20：根据步骤s10的统计结果，分别计算相机俯仰角、偏航角、翻滚角的均值与方差，通过该均值与方差构建满足正态分布的旋转矩阵；

8、步骤s30：根据旋转矩阵对右图进行重映射，得到符合真实分布的、发生光轴偏移的左右图像；

9、步骤s301：通过对像素坐标系下的坐标向量左乘内参矩阵的逆矩阵，将右图由像素坐标系重投影到相机坐标系；

10、步骤s302：将相机坐标系下的坐标向量左乘旋转矩阵，模拟相机在真实场景下的出现光轴偏移的情况；

11、步骤s303：通过对相机坐标系下的坐标向量左乘内参矩阵，将右图由相机坐标系投影到像素坐标系，得到发生光轴偏移后的左右图像；

12、步骤s40：模型在模拟出现光轴偏移的数据集上进行训练，将训练好的模型部署到双目相机中。

技术特征：

1.一种基于随机光轴偏移提升量产双目相机立体匹配网络泛化性的方法，其特征在于，通过定量分析量产双目相机在双目标定后光轴偏移的角度，构造未完全配准的数据集进行训练，提升立体匹配网络的泛化性，包括以下步骤：

2.根据权利要求1所述的一种模拟光轴偏移重映射的方法，其特征在于，通过对像素坐标系下的坐标向量左乘内参矩阵的逆矩阵，将右图由像素坐标系重投影到相机坐标系；将相机坐标系下的坐标向量左乘旋转矩阵，模拟相机在真实场景下的出现光轴偏移的情况；通过对相机坐标系下的坐标向量左乘内参矩阵，将右图由相机坐标系投影到像素坐标系，得到发生光轴偏移后的左右图像。

技术总结本发明公开了一种基于随机光轴偏移提升量产双目相机泛化性的方法，所述方法包括：对双目相机进行随机抽样，定量分析该批产品在双目标定后光轴偏移的角度；根据相机偏移角度的统计结果，计算偏移角度的均值与方差，通过该均值与方差构建满足正态分布的旋转矩阵；根据旋转矩阵对右图进行重映射，得到符合真实分布的、发生光轴偏移的左右图像；模型在模拟出现光轴偏移的数据集上进行训练，将训练好的模型部署到双目相机中。本发明通过统计量产双目相机在实际工作场景发生光轴偏移的角度，对数据集进行重映射，模拟真实场景发生光轴偏移时的数据分布，提高模型的泛化性，使其在相机结构发生轻微扰动时仍能保持好的推理效果。技术研发人员：郑嘉璇,吴佳昱,李杨,吴晓青,郭涛受保护的技术使用者：南京美基森信息技术有限公司技术研发日：技术公布日：2025/1/14