用于基于代价-体注意力的视差估计的系统和方法与流程

技术特征：
1.一种用于生成视差的方法，包括：从由第一相机拍摄的一侧图像提取第一特征图；从由第二相机拍摄的其他侧图像提取第二特征图；基于第一特征图和第二特征图的比较来计算匹配代价以生成代价体；从生成的代价体生成注意力-感知代价体；以及聚合注意力-感知代价体以生成输出视差。2.根据权利要求1所述的方法，其中，生成注意力-感知代价体的步骤包括：为生成的代价体中的不同视差水平分配不同的权重。3.根据权利要求1所述的方法，其中，生成注意力-感知代价体的步骤包括：将生成的代价体的4维特征图划分成d个3维特征图，3维特征图中的每一个具有大小c
×
h
×
w，其中，d表示视差水平，c表示通道的数量，h表示高度，并且w表示宽度；将视差注意力施加到3维特征图中的每一个以获得注意力-感知特征图；以及将注意力-感知特征图级联为注意力-感知代价体的4维特征图。4.根据权利要求3所述的方法，其中，利用c
×
c注意力矩阵以将视差注意力施加到3维特征图中的每一个。5.根据权利要求1所述的方法，其中，生成注意力-感知代价体的步骤包括：为生成的代价体中的不同通道分配不同的权重。6.根据权利要求1所述的方法，其中，生成注意力-感知代价体的步骤包括：将生成的代价体的4维特征图划分成c个3维特征图，3维特征图中的每一个具有大小d
×
h
×
w，其中，c表示通道的数量，d表示视差水平，h表示高度，并且w表示宽度；将通道注意力施加到3维特征图中的每一个以获得注意力-感知特征图；以及将注意力-感知特征图级联为注意力-感知代价体的4维特征图。7.根据权利要求6所述的方法，其中，利用d
×
d注意力矩阵以将通道注意力施加到3维特征图中的每一个。8.根据权利要求1所述的方法，其中，生成注意力-感知代价体的步骤包括：将具有大小c
×
d
×
h
×
w的生成的代价体的4维特征图重构为具有大小(whc)
×
d的2维特征图，其中，c表示通道的数量，d表示视差水平，h表示高度，并且w表示宽度；将通道注意力施加到2维特征图以获得注意力-感知特征图；以及将注意力-感知特征图重构为注意力-感知代价体的4维特征图。9.根据权利要求8所述的方法，其中，利用d
×
d注意力矩阵将通道注意力施加到2维特征图。10.根据权利要求1所述的方法，其中，生成注意力-感知代价体的步骤包括：将具有大小c
×
d
×
h
×
w的生成的代价体的4维特征图重构为具有大小(dwh)
×
c的2维特征图，其中，c表示通道的数量，d表示视差水平，h表示高度，并且w表示宽度；将通道注意力施加到2维特征图以获得注意力-感知特征图；将注意力-感知特征图重构为注意力-感知代价体的4维特征图。11.根据权利要求10所述的方法，其中，利用c
×
c注意力矩阵将通道注意力施加到2维特征图。12.根据权利要求1所述的方法，其中，生成注意力-感知代价体的步骤包括：
将具有大小c
×
d
×
h
×
w的生成的代价体的4维特征图重构为具有大小wh
×
cd的2维特征图，其中，c表示通道的数量，d表示视差水平，h表示高度，并且w表示宽度；将通道注意力施加到2维特征图以获得注意力-感知特征图；将注意力-感知特征图重构为注意力-感知代价体的4维特征图。13.根据权利要求12所述的方法，其中，利用cd
×
cd注意力矩阵将通道注意力施加到2维特征图。14.根据权利要求1所述的方法，其中，生成注意力-感知代价体的步骤包括：重构具有c
×
d
×
h
×
w大小的生成的代价体的4维特征图为具有cd
×
wh大小的2维特征图，其中，c表示通道的数量，d表示视差水平，h表示高度，并且w表示宽度；将通道注意力施加到2维特征图以获得注意力-感知特征图；将注意力-感知特征图重构为注意力-感知代价体的4维特征图。15.根据权利要求12所述的方法，其中，利用wh
×
wh注意力矩阵将通道注意力施加到2维特征图。16.根据权利要求1至15中的任一项所述的方法，还包括：融合来自使用不同视差范围训练的不同网络的两个或更多个聚合视差，以提供最终输出视差。17.根据权利要求16所述的方法，还包括：在融合所述两个或更多个聚合视差之前，在不同视差范围上训练所述两个或更多个聚合视差。18.一种用于生成视差的系统，包括：存储器；以及处理器，被配置为：从由第一相机拍摄的一侧图像提取第一特征图，从由第二相机拍摄的其他侧图像提取第二特征图，基于第一特征图和第二特征图的比较来计算匹配代价以生成代价体，从生成的代价体生成注意力-感知代价体，以及聚合注意力-感知代价体以生成输出视差。19.根据权利要求18所述的系统，其中，所述处理器还被配置为：通过为生成的代价体中的不同视差水平或不同通道分配不同的权重来生成注意力-感知代价体。20.一种用于生成视差的系统，包括：特征图提取模块，被配置为从由第一相机拍摄的一侧图像提取第一特征图，并且从由第二相机拍摄的其他侧图像提取第二特征图；代价体计算模块，被配置为基于第一特征图和第二特征图的比较来计算匹配代价以生成代价体；代价体注意力模块，被配置为从生成的代价体生成注意力-感知代价体；以及代价聚合模块，被配置为聚合注意力-感知代价体以生成输出视差。

技术总结
提供了用于基于代价-体注意力的视差估计的系统和方法。一种方法包括：从由第一相机拍摄的左图像提取第一特征图；从由第二相机拍摄的右图像提取第二特征图；基于第一特征图和第二特征图的比较来计算匹配代价以生成代价体；从生成的代价体生成注意力-感知代价体；以及聚合注意力-感知代价体以生成输出视差。感知代价体以生成输出视差。感知代价体以生成输出视差。


技术研发人员：任昊宇 李正元 穆斯塔法
受保护的技术使用者：三星电子株式会社
技术研发日：2021.06.30
技术公布日：2022/2/23