用于虚拟现实和增强现实的系统和方法与流程

技术特征：
1.一种计算机系统，包括：计算机可读介质；连接到所述计算机可读介质的处理器；以及在所述计算机可读介质上的一组指令，包括：深度中间端匹配器架构，其包括：注意力图神经网络，其具有：关键点编码器，其将关键点位置p及其视觉描述符d映射到单个向量；以及交替自注意力层和交叉注意力层，其基于所述向量重复l次以创建表示f；以及最优匹配层，其从所述表示f创建m
×
n分数矩阵，并基于所述m
×
n分数矩阵找到最优部分分配。2.根据权利要求1所述的计算机系统，其中，在所述关键点编码器中，每个关键点i的初始表示
(0)
x
i
结合视觉外观和位置，其中相应关键点位置嵌入到具有多层感知器(mlp)的高维向量中，如下：
(0)
x
i
＝d
i
mlp(p
i
)。3.根据权利要求2所述的计算机系统，其中，所述关键点编码器允许所述注意力图神经网络共同推理外观和位置。4.根据权利要求1所述的计算机系统，其中，在所述关键点编码器中包括具有单个完整图的多路图神经网络，所述完整图具有作为两个图像的关键点的节点。5.根据权利要求4所述的计算机系统，其中，所述图是多路图，所述多路图具有两种类型的无向边，即将关键点i连接到同一图像内的所有其它关键点的图像内边(自身边；e
self
)以及将关键点i连接到另一图像中的所有关键点的图像间边(交叉边，e
cross
)，并使用消息传递公式沿两种类型的边传播信息，使得所得的多路图神经网络从每个节点的高维状态开始，并通过同时聚合横跨所有节点的所有给定边的消息在每一层处计算更新的表示。6.根据权利要求5所述的计算机系统，其中，如果
(l)
x
ai
是在第l层的图像a中的元素i的中间表示，则消息m
e
→
i
是来自所有关键点{j:(i,j)∈e}的所述聚合的结果，其中e∈{e
self
,e
cross
}，并且a中所有i的剩余消息传递更新为：其中[
·
||
·
]表示级联。7.根据权利要求6所述的计算机系统，其中，具有不同参数的固定数量的层l被链接并且交替地沿着所述自身边和交叉边聚合，使得从l＝1开始，如果l是奇数，则e＝e
self
，并且如果l是偶数，则e＝e
cross
。8.根据权利要求6所述的计算机系统，其中，交替的自注意力层和交叉注意力层采用注意力机制计算，其计算所述消息m
e
→
i
并执行所述聚合，其中，所述自身边基于自注意力并且所述交叉边基于交叉注意力，其中，对于i的表示，查询q
i
基于一些元素的属性，键k
j
，取得这些元素的值v
j
，并将所述消息计算为所述值的加权平均值：9.根据权利要求8所述的计算机系统，其中，注意力掩码α
ij
是基于键查询相似性的
softmax：10.根据权利要求8所述的计算机系统，其中，所述相应的键、查询和值被计算为所述图神经网络的深度特征的线性投影，其中查询关键点i在图像q中并且所有源关键点在图像s中，(q,s)∈{a,b}2，在方程中：在方程中：11.根据权利要求1所述的计算机系统，其中，所述交替的自注意力层和交叉注意力层的最终匹配描述符是线性投影：12.根据权利要求1所述的计算机系统，其中，所述最优匹配层将集合的成对分数表达为匹配描述符的相似性：其中<
·
,
·
>是内积，与学习到的视觉描述符相反，所述匹配描述符没有被归一化，并且它们的大小可以每特征以及在训练期间改变以反映预测置信度。13.根据权利要求12所述的计算机系统，其中，用于遮挡和可见性的所述最优匹配层抑制被遮挡的关键点，并且采用垃圾箱分数扩充每组关键点，使得将不匹配的关键点明确分配给垃圾箱分数。14.根据权利要求13所述的计算机系统，其中，通过添加采用单个可学习参数填充的新的行和列、点到箱和箱到箱的分数，将所述分数s扩充到s-：15.根据权利要求13所述的计算机系统，其中，所述最优匹配层使用sinkhorn算法t次迭代来基于所述m
×
n分数矩阵找到所述最优部分分配。16.根据权利要求15所述的计算机系统，其中，在t次迭代之后，所述最优匹配层丢弃所述垃圾箱分数并恢复p＝p-1:m,1:n
，其中p1
n
≤1
m
并且是原始分配并且并且是具有扩充的所述垃圾箱分数的分配。17.一种计算机实现的方法系统，包括：采用深度中间端匹配器架构的注意力图神经网络的关键点编码器，将关键点位置p及
其视觉描述符d映射到单个向量；以及采用所述深度中间端匹配器架构的注意力图神经网络的交替自注意力层和交叉注意力层，基于所述向量执行重复l次以创建表示f；以及执行所述深度中间端匹配器架构的所述注意力图神经网络的最优匹配层，以从所述表示f创建m
×
n分数矩阵，并基于所述m
×
n分数矩阵找到最优部分分配。

技术总结
该说明书涉及特征匹配。我们的方法在具有挑战性的图像对之间建立逐点对应关系。它采用现成的局部特征作为输入并使用注意力图神经网络来解决分配优化问题。深度中间端匹配器充当中间端，并且优雅地处理部分点可见性和遮挡，产生部分分配矩阵。产生部分分配矩阵。产生部分分配矩阵。


技术研发人员：P-E
受保护的技术使用者：奇跃公司
技术研发日：2020.11.13
技术公布日：2022/7/9