用于立体视觉在线自校正与自监督视差估计的优化方法

技术特征：
1.用于立体视觉在线自校正与自监督视差估计的优化方法，其特征在于，包括如下过程：利用权重共享的特征提取方法对未校正的立体图像进行特征提取，得到未校正图像对的特征，对未校正图像对的特征进行拼接，然后再进行编解码处理，得到四点法参数化后的单应性参数，将所述单应性参数用归一化的直接线性变换算法计算得到单应性变换矩阵，得到校正后的图像；将所述校正后的图像进行特征提取，得到不同尺度特征，再用关联的方式构建对应的多尺度代价体，最后进行代价聚合，利用视差回归得到最终的视差预测结果，实现立体视觉在线自校正和自监督视差估计的端到端联合优化。2.根据权利要求1所述的用于立体视觉在线自校正与自监督视差估计的优化方法，其特征在于，所述四点法参数化的过程包括：在未校正图像上随机找一个矩形区域，设该矩形区域的四个顶点坐标为(x
k
,y
k
)
k＝1,2,3,4
，校正后图像中对应点的四个顶点坐标为(x
′
k
,y
′
k
)
k＝1,2,3,4
，单应性参数h
4pt
如下：3.根据权利要求1所述的用于立体视觉在线自校正与自监督视差估计的优化方法，其特征在于，利用权重共享的特征提取方法对未校正的立体图像进行特征提取时，用二维卷积将输入图像逐级下采样到第一分辨率和第二分辨率，然后用若干个包含扩张卷积的残差块进一步提取图像特征。4.根据权利要求1所述的用于立体视觉在线自校正与自监督视差估计的优化方法，其特征在于，对未校正图像进行特征提取后，将立体图像对应的未校正两幅图像的特征进行拼接，连续用若干次编解码的过程，来学习这两幅图像特征之间的关联性，最后计算得到单应性参数。5.根据权利要求3所述的用于立体视觉在线自校正与自监督视差估计的优化方法，其特征在于，将所述校正后的图像进行特征提取时，得到第一分辨率、第二分辨率和第三分辨率下的特征。6.根据权利要求5所述的用于立体视觉在线自校正与自监督视差估计的优化方法，其特征在于，用关联的方式构建对应的多尺度代价体，最后进行代价聚合时：将第一分辨率、第二分辨率和第三分辨率下校正后图像对特征分别关联起来，并分别在第一分辨率、第二分辨率和第三分辨率尺度上构建三维代价体，随后用跨尺度聚合方法进行代价聚合；进行代价聚合时，在每个尺度上，一个聚合代价体由第一分辨率、第二分辨率和第三分辨率三个尺度的三维代价体加和产生；加和计算多尺度代价体时，通过下采样和上采样操作统一到相同尺寸；利用视差回归得到最终的视差预测结果时，使用soft argmin机制对所有尺度的聚合代价进行回归。7.根据权利要求5所述的用于立体视觉在线自校正与自监督视差估计的优化方法，其特征在于，第一分辨率为未校正的立体图像分辨率的1/2，第二分辨率为未校正的立体图像
分辨率的1/4，第三分辨率为未校正的立体图像分辨率的1/8；所述未校正的立体图像包含其对应的左图像和右图像。8.用于立体视觉在线自校正与自监督视差估计的优化系统，其特征在于，包括：立体校正模块：用于利用权重共享的特征提取方法对未校正的立体图像进行特征提取，得到未校正图像对的特征，对未校正图像对的特征进行拼接，然后再进行编解码处理，得到四点法参数化后的单应性参数，将所述单应性参数用归一化的直接线性变换算法计算得到单应性变换矩阵，得到校正后的图像；立体匹配模块：用于将所述校正后的图像进行特征提取，得到不同尺度特征，再用关联的方式构建对应的多尺度代价体，最后进行代价聚合，利用视差回归得到最终的视差预测结果，实现立体视觉在线自校正和自监督视差估计的端到端联合优化。9.根据权利要求8所述的用于立体视觉在线自校正与自监督视差估计的优化系统，其特征在于：所述立体校正模块包括：第一权值共享的特征提取模块：用于使用若干步长为2的3
×
3的卷积，使得输入的每个未校正图像被逐渐下采样为第一分辨率和第二分辨率，然后采用n个包含3
×
3扩张卷积、批处理归一化和relu激活的残差块进一步提取特征，其中扩张卷积的扩张率为[1，1，2，4，1，1]，然后使用一个3
×
3卷积获取特征表示；然后在每一个视差下，将未校正图像的右图特征沿水平方向向左进行相应视差值个单位的平移，并与未校正图像的左图特征在通道方向上进行拼接；编码-解码模块；包含三个级联的编码器-解码器架构，在每个编码器-解码器架构中，将权值共享的特征提取模块拼接得到的拼接特征进一步下采样到1/8和1/16分辨率，最后使用两个3
×
3卷积层和一个全连接层输出单应性参数，通过归一化直接线性变换算法和矩阵运算，得到校正后的图像对；立体匹配模块包括：第二权值共享的特征提取模块：用于使用若干步长为2的3
×
3的卷积，使得输入的校正后的图像对被逐渐下采样为第一分辨率、第二分辨率和第三分辨率，然后采用n 1个包含3
×
3扩张卷积、批处理归一化和relu激活的残差块进一步提取特征，其中扩张卷积的扩张率为[1，1，2，4，1，1]，然后使用一个3
×
3卷积获取特征表示；然后在每一个视差下，将校正图像的右图特征沿水平方向向左进行相应视差值个单位的平移，然后与校正图像的左图特征做内积，然后沿通道方向上取均值，得到各个分辨率尺度下的三维代价体；跨尺度聚合模块：用于统一各个分辨率尺度下的三维代价体的尺寸并对每个分辨率尺度下的三维代价体进行代价聚合，得到每个分辨率尺度下的聚合代价；其中，统一各个分辨率尺度下的三维代价体的尺寸的具体过程包括：对于某一分辨率，通过下采样和上采样操作将其它分辨率尺度下的三维代价体的尺寸统一到与该分辨率三维代价体相同的尺寸；对每个分辨率尺度下的三维代价体进行代价聚合的过程包括：对于某个分辨率尺度下的三维代价体，该分辨率尺度下的聚合代价由统一到该分辨率下的所有分辨率尺度的三维代价体加和产生；视差回归模块：用于对所有分辨率尺度下的聚合代价进行回归，得到所有分辨率尺度下的视差预测结果。
10.根据权利要求9所述的用于立体视觉在线自校正与自监督视差估计的优化系统，其特征在于，所述用于立体视觉在线自校正与自监督视差估计的优化系统的损失函数l＝l
sr
l
sm
；其中，l
sr
为立体校正模块的损失函数，l
sm
为立体匹配模块的损失函数，式中，n是图像的像素总数，i
r
是立体校正模块输出的右图，i
gt_r
是用于监督的原始右图，ssim是结构相似性度量，是左图的重构损失，是右图的重构损失，是左图的平滑损失，是右图的平滑损失，是左图的一致性损失，是右图的一致性损失。

技术总结
本发明公开了用于立体视觉在线自校正与自监督视差估计的优化方法，在立体校正子网络中，利用权重共享的特征提取器对输入的未校正图像进行特征提取，得到未校正图像对的特征，对未校正图像对的特征进行拼接，接着利用编解码器结构输出四点法参数化后的单应性参数，再利用归一化的直接线性变换算法得到单应性变换矩阵，最终实现图像的自校正。在立体匹配子网络中，以立体校正子网络输出的校正后图像作为输入，用特征提取模块得到若干尺度特征，再用关联的方式构建对应的多尺度代价体，最后用跨尺度聚合模块进行代价聚合，利用视差回归得到最终的视差预测结果。与现有工作相比，本发明可以显著提升立体视觉系统在实际应用中的鲁棒性。鲁棒性。鲁棒性。


技术研发人员：张旭翀 翟晗 孙宏滨 贾轶杰 朱凝华
受保护的技术使用者：西安交通大学
技术研发日：2022.03.18
技术公布日：2022/6/28