视觉定位方法、装置及存储介质与流程

1.本技术涉及计算机领域，尤其涉及视觉定位方法、装置及存储介质。


背景技术：

2.随着移动机器人、无人机以及自动导引运输车(automated guided vehicle，agv)等的广泛应用，如何对这类载体在平面中进行准确定位是一项迫切的需求。这类载体通常在全球导航卫星系统(global navigation satellite system，gnss)信号缺失的地方运动，常用的北斗或者全球定位系统(global positioning system，gps)等卫星定位技术无法提供准确位置。
3.视觉标签定位是在环境中贴上可见的定位标签，通过摄像头拍摄标签，利用机器视觉、图像处理的方法对标签进行解析，以得到相机的位置。而通过视觉标签提供参考位置的技术方案中，使用pnp(perspective
‑
n
‑
point)或者迭代最近点算法(iterative closest point，icp)等算法的计算量偏大，在低端嵌入式设备中很难达到实时运行。


技术实现要素：

4.本技术提供了一种视觉定位方法、装置及存储介质，以减少计算量实现实时定位。本技术的技术方案如下：
5.根据本技术实施例的第一方面，提供一种视觉定位方法，包括：
6.通过相机采集标签单元的图像，其中，所述标签单元上设有至少四个锚点，至少四个所述锚点构成标签平面；所述标签平面的垂线与所述相机所属移动载体的运动平面平行，且所述标签平面的方向垂直于所述运动平面；
7.获取所述相机与所述标签平面的距离z；
8.获取图像平面与所述标签平面的夹角α；
9.获取所述标签平面的标签中心与相机坐标系z轴方向的水平夹角β；
10.获取所述标签平面的标签中心与相机坐标系z轴方向的竖直夹角θ；
11.根据所述距离z、夹角α、水平夹角β和竖直夹角θ，求解相机在世界坐标系中的位置。
12.在本技术的一些实施例中，所述标签单元上设有的锚点个数为至少四个；其中，所述标签单元包括一个标签，所述标签的四个角位置分别设置一个锚点；或者，所述标签单元包括多个标签，所述多个标签中最外侧的四个点处设置四个锚点。
13.在本技术的一些实施例中，所述获取所述相机与所述标签平面的距离z，包括：
14.通过第一公式获取所述相机与所述标签平面的距离z；其中，所述第一公式表示如下：
[0015][0016]
其中，f
y
为相机的第一焦距，l
w0
为两个垂直方向的锚点之间的实际长度，l
u0
为与
l
w0
对应的两个锚点之间的像素长度。
[0017]
在本技术的一些实施例中，所述获取图像平面与所述标签平面的夹角α，包括：
[0018]
从所述四个锚点之中选择与相机距离小的两个垂直方向的第一锚点和第二锚点，获取所述第一锚点与第二锚点之间的实际长度l
w2
，以及对应的像素长度l
u2
，根据所述第一公式得到所述标签平面距离所述相机平面的最小距离z1；
[0019]
从所述四个锚点之中选择另两个垂直方向的第三锚点和第四锚点，获取所述第三锚点与第四锚点之间的实际长度l
w3
，以及对应的像素长度l
u3
，根据所述第一公式得到所述标签平面距离所述相机平面的最大距离z2；根据所述最小距离z1和所述最大距离z2，通过第二公式获取图像平面与所述标签平面的夹角α，所述第二公式表示如下：
[0020][0021]
其中，l
w1
为所述第一锚点与所述第三锚点之间的实际长度，或者第二锚点与第四锚点之间的实际长度。
[0022]
在本技术的一些实施例中，所述获取所述标签平面的标签中心与相机坐标系z轴方向的水平夹角β，包括：
[0023]
通过第三公式获取所述标签平面的标签中心与相机坐标系z轴方向的水平夹角β，所述第三公式表示如下：
[0024][0025]
其中，px为所述图像的像素中心x方向的坐标，w
u
为所述图像的宽度，f
x
为所述相机的第二焦距。
[0026]
在本技术的一些实施例中，所述获取所述标签平面的标签中心与相机坐标系z轴方向的竖直夹角θ，包括：
[0027]
通过第四公式获取所述标签平面的标签中心与相机坐标系z轴方向的竖直夹角θ，所述第四公式表示如下：
[0028][0029]
其中，py为所述图像的像素中心y方向的坐标，h
u
为所述图像的像素高度，f
y
为所述相机的第一焦距。
[0030]
在本技术的一些实施例中，所述根据所述距离z、夹角α、水平夹角β和竖直夹角θ，求解相机在世界坐标系中的位置，包括：
[0031]
根据所述距离z、夹角α、水平夹角β和竖直夹角θ，通过第五公式求解相机在世界坐标系中的位置p
c
；所述第五公式表示如下：
[0032]
p
c
＝(x
o
zsinα
‑
zsinβ,y
o
z*tanθ,z
o
zcosα)
[0033]
其中，(x0,y
o
,z
o
)为所述标签中心的世界坐标。
[0034]
根据本技术实施例的第二方面，提供一种视觉快速定位装置，包括：
[0035]
采集模块，用于采集标签单元的图像，其中，所述标签单元上设有至少四个锚点，至少四个所述锚点构成标签平面；所述标签平面的垂线与所述相机所属移动载体的运动平面平行，且所述标签平面的方向垂直于所述运动平面；
[0036]
第一获取模块，用于获取所述相机与所述标签平面的距离z；
[0037]
第二获取模块，用于获取图像平面与所述标签平面的夹角α；
[0038]
第三获取模块，用于获取所述标签平面的标签中心与相机坐标系z轴方向的水平夹角β；
[0039]
第四获取模块，用于获取所述标签平面的标签中心与相机坐标系z轴方向的竖直夹角θ；
[0040]
求解模块，用于根据距离z、夹角α、水平夹角β和竖直夹角θ，求解相机在世界坐标系中的位置。
[0041]
根据本技术实施例的第三方面，提供一种视觉快速定位装置，其特征在于，包括：
[0042]
处理器；
[0043]
用于存储所述处理器可执行指令的存储器；
[0044]
其中，所述处理器被配置为执行所述指令，以实现上述第一方面所述的视觉定位方法。
[0045]
根据本技术实施例的第四方面，提供一种存储介质，当所述存储介质中的指令由视觉快速定位装置的处理器执行时，使得所述视觉快速定位装置能够执行上述第一方面所述的视觉定位方法。
[0046]
根据本技术实施例的第五方面，提供一种计算机程序产品，当所述计算机程序产品中的指令由处理器执行时，执行上述第一方面所述的视觉定位方法。
[0047]
本技术实施例提供的视觉定位方法及装置至少带来以下有益效果：
[0048]
针对标签平面的垂线与相机所属移动载体的运动平面平行，相机视线平行于运动平面，且标签平面的方向垂直于运动平面的场景，利用4自由度场景的特殊性，对相机(移动载体)进行快速定位，相比于现有的pnp或者icp等方法，不需要优化，计算量小，适用于计算能力缺乏的场合，可以在低端嵌入式设备中实现快速定位。
[0049]
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本技术。
附图说明
[0050]
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本技术的实施例，并与说明书一起用于解释本技术的原理，并不构成对本技术的不当限定。
[0051]
图1是根据一示例性实施例示出的一种视觉定位方法的流程图。
[0052]
图2是根据一示例性实施例示出的相机成像的投影模型的建模图。
[0053]
图3是根据一示例性实施例示出的图像平面与标签平面的夹角α建模图。
[0054]
图4是根据一示例性实施例示出的相机视场角建模图。
[0055]
图5是根据一示例性实施例示出的一种视觉快速定位装置的框图。
具体实施方式
[0056]
为了使本领域普通人员更好地理解本技术的技术方案，下面将结合附图，对本技术实施例中的技术方案进行清楚、完整地描述。
[0057]
需要说明的是，本技术的说明书和权利要求书及上述附图中的术语“第一”、“第
二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本技术的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本技术相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本技术的一些方面相一致的装置和方法的例子。
[0058]
在移动载体在gnss信号缺失的地方运动，常用的北斗或者gps等技术无法提供准确位置的场景，定位技术包含有源定位技术和无源定位技术，有源定位技术需要在移动载体之外布置传感器或者相关装置，无源定位技术仅仅依靠自身的传感器进行定位。
[0059]
无源定位技术用的比较多的是激光同时定位与地图构建slam(simultaneous localization and mapping，slam)、视觉slam、惯性导航以及他们之间的融合等。在无源定位技术中，惯性导航技术如果需要达到比较高的精度，则需要使用高精度的惯性传感器，成本极高，如果使用低成本的mems惯性传感器，则随着时间推移，定位的精度会急速下降。而激光slam、视觉slam以及它们和惯性传感器的融合定位等技术需要高昂的硬件成本和计算成本，且随着移动载体运动距离的增加，定位精度会降低。
[0060]
有源定位技术用得比较多的是超宽带(ultra wideband，uwb)、蓝牙、无线局域网(wireless fidelity，wifi)、射频识别(radio frequency identification，rfid)、超声波、zigbee、红外、伪卫星、光学捕捉等技术等。有源定位技术中，蓝牙和wifi成本较低，但定位的精度也比较低，普遍在米级，而uwb虽然能达到厘米级的定位精度，但需要在空间中布置多个基站或标签，且都需要单独供电，其成本也比较高且对本来的环境会产生影响。其他技术如rfid、zigbee红外等技术，精度也都在米级，超声波定位则只能在小范围内，伪卫星虽然可以较高精度，但成本高且布置困难，光学运动捕捉可以达到很高的精度，但也需要极高的成本。
[0061]
此外也有在环境中贴上可见的定位标签，通过摄像头拍摄标签，利用机器视觉、图像处理的方法对标签进行解析，以得到相机的位置。利用视觉标签定位时，可以利用pnp或者icp等方法来进行定位。如果使用pnp或icp等方法，迭代优化方法，计算量大，在低端嵌入式设备中很难达到实时运行。
[0062]
为了解决迭代优化方法计算量大不能满足在低端嵌入式设备中很难达到实时运行的问题，本技术实施例提供一种视觉定位方法及装置。
[0063]
图1是根据一示例性实施例示出的一种视觉定位方法的流程图。需要说明的是，本技术实施例视觉定位方法用于视觉快速定位装置中，例如，该视觉快速定位装置可以移动机器人、无人机以及agv小车等移动载体。如图1所示，该视觉定位方法包括以下步骤。
[0064]
s101，通过相机采集标签单元的图像。
[0065]
其中，本技术实施例中的标签单元上设有至少四个锚点，至少四个锚点构成标签平面。其中，术语“至少四个”可理解为“四个”或“四个以上”，例如，四个、五个等。为了方便描述，本技术仅对标签单元上设有四个锚点，四个锚点构成标签平面为例进行描述，可以理解，本技术以标签单元上设有四个锚点为示例进行描述，仅是方便本领域技术人员对本技术的理解，并不能够作为对本技术的具体限定。
[0066]
需要说明的是，在本技术一些实施例中，所述标签单元可为一个标签，所述标签上设有四个定位锚点(即上述锚点)，四个定位锚点设置在外周的四个角的位置。在本技术其
他实施例中，所述标签单元由多个标签组成，多个标签中最外侧的四个点设为四个定位锚点。
[0067]
作为一种可能实现方式的示例，以一个标签为例，标签上设有四个锚点，四个锚点构成正方形或者长方形。
[0068]
需要说明的是，本技术实施例的视觉定位方法适用于所述标签平面的垂线与相机所属移动载体的运动平面平行，且标签的方向垂直于运动平面的情形。例如，移动载体为扫地机器人，扫地机器人在地面内运动，而标签贴在与地面垂直的墙壁上，然后扫地机器人的眼睛(相机)看向标签。针对此种情形，利用4自由度场景的特殊性，对相机(移动载体)进行快速定位。
[0069]
所述标签平面的垂线与相机所属移动载体的运动平面平行，且标签平面的方向垂直于运动平面。对相机成像的投影模型进行建模如图2所示。在获取的图像平面上得到标签中的四个定位锚点(p
w0
‑
p
w3
)对应的p
u0
‑
p
u3
，p
u0
‑
p
u3
的中心为p
u0
；
[0070]
为了求解相机的位姿，需要求得所述相机与所述标签平面的距离z、图像平面与标签平面的夹角α，标签中心与相机坐标系z轴方向的水平夹角β，以及标签中心与相机坐标系z轴方向的竖直夹角θ。
[0071]
s102，获取所述相机与所述标签平面的距离z。
[0072]
根据图4所示，γ为相机垂直视场角的一半，相机垂直视场角公式(1)如下所示；
[0073][0074]
上式(1)中，h
u
为图像的像素高度，f
y
为相机的第一焦距；
[0075]
所述相机与所述标签平面的距离z满足如下公式(2)；
[0076][0077]
上式(2)中，h
w
为视野内实际能看到的高度；
[0078][0079]
上式(3)中，l
w0
为两个垂直方向的锚点之间的实际长度，l
u0
为与l
w0
对应的锚点之间的像素长度，h
u
为图像的像素高度，h
w
为视野内实际能看到的高度；
[0080]
将公式(1)、(2)、(3)联合，得到如下公式(4)：
[0081][0082]
s103，获取图像平面与所述标签平面的夹角α。
[0083]
在一种实现方式中，如图3所示，可对所述图像平面与所述标签平面的夹角α建模，参见图2，锚点p
w0
和锚点p
w1
为距离相机比较近的两个垂直方向的锚点，锚点p
w2
和锚点p
w3
为距离相机比较远的两个垂直方向的锚点。建模后，参见图3，p
w0
e为标签距离相机平面较近的深度，p
w3
f为标签距离相机平面较远的深度，(深度指目标点到相机平面的垂直距离)，p
w0
p
w3
的长度为锚点p
w0
与锚点p
w3
之间的长度l
w1
，对应的标签锚点的像素长度p
u0
p
u3
为l
u1
，b,c分别为p
w0
p
w3
和p
w3
d的中点，则得到如下公式(5)：
[0084]
[0085]
根据锚点p
w0
和锚点p
w1
之间的实际长度l
w2
，以及对应的像素长度l
u2
，根据上述公式(4)可求得p
w0
e；根据锚点p
w2
和锚点p
w3
之间的实际长度l
w3
，以及对应的像素长度l
u3
，根据上述公式(4)可求得p
w3
f。
[0086]
得到pw0e和p
w3
f后，进而求得p
w3
d；从而根据如下公式(6)得到α；
[0087][0088]
s104，获取所述标签平面的标签中心与相机坐标系z轴方向的水平夹角β。
[0089]
在标签坐标系下，在x方向，标签中心与相机坐标系z轴方向的水平夹角β满足如下公式(7)所示的关系：
[0090][0091]
其中，px为标签中心x方向的的像素坐标，w
u
为图像的像素宽度，f
x
指的是相机的第二焦距。因为标签中心点的坐标无法直接测量得到，根据射影变换后直线仍然为直线，则两条直线的交点坐标即为标签中心在像素坐标系的投影。因为四个点的像素坐标都可以测量得到，则其交点坐标即标签中心的像素坐标也可以计算得到。
[0092]
s105，获取所述标签平面的标签中心与相机坐标系z轴方向的竖直夹角θ；
[0093]
与步骤s104同理，根据标签中心的像素坐标y方向的坐标py，可根据如下公式(8)求得其在y方向与标签的偏差角度θ：
[0094][0095]
s106，根据所示距离z、夹角α、水平夹角β和竖直夹角θ，求解相机在世界坐标系中的位置。
[0096]
相机在世界坐标系中的位置通过如下公式(9)得到:
[0097]
p
c
＝(x
o
zsinα
‑
zsinβ,y
o
z*tanθ,z
o
zcosα)
ꢀꢀ
(9)
[0098]
其中(x
o
，y
o
，z
o
)为所示标签中心的世界坐标，当存在多个标签时，为多个标签的平均中心坐标。
[0099]
本技术实施例的定位方法可以在计算能力缺乏的场合(如只有低端的嵌入式处理器)，利用4自由度场景的特殊性，对相机(载体)进行快速定位，相比于现有的pnp或者icp等方法，不需要优化，可以在低端嵌入式设备中实现快速定位。
[0100]
图5是根据一示例性实施例示出的一种视觉快速定位装置框图。参照图5，该装置包括采集模块510、第一获取模块520、第二获取模块530、第三获取模块540、第四获取模块550和求解模块560。
[0101]
具体的，采集模块510，用于采集标签单元的图像，其中，所述标签单元上设有至少四个锚点，至少四个所述锚点构成标签平面；所述标签平面的垂线与所述相机所属移动载体的运动平面平行，且所述标签平面的方向垂直于所述运动平面；
[0102]
第一获取模块520，用于获取所述相机与所述标签平面的距离z；
[0103]
第二获取模块530，用于获取图像平面与所述标签平面的夹角α；
[0104]
第三获取模块540，用于获取所述标签平面的标签中心与相机坐标系z轴方向的水
平夹角β；
[0105]
第四获取模块550，用于获取所述标签平面的标签中心与相机坐标系z轴方向的竖直夹角θ；
[0106]
求解模块560，用于根据距离z、夹角α、水平夹角β和竖直夹角θ，求解相机在世界坐标系中的位置。
[0107]
关于上述实施例中的视觉快速定位装置，其中各个模块执行操作的具体方式已经在有关视觉定位方法的实施例中进行了详细描述，此处将不做详细阐述说明。
[0108]
本技术实施例的视觉快速定位装置利用4自由度场景的特殊性，对相机(移动载体)进行快速定位，计算量小，适用于计算能力缺乏的场合，例如，可以在低端嵌入式设备中实现快速定位。
[0109]
为了实现上述实施例，本技术还提出了一种视觉快速定位装置，包括：处理器；用于存储所述处理器可执行指令的存储器；其中，所述处理器被配置为执行所述指令时，以实现上述实施例所述的视觉定位方法。
[0110]
为了实现上述实施例，本技术还提出了一种存储介质，当所述存储介质中的指令由处理器执行时，实现上述实施例所述的视觉定位方法。
[0111]
为了实现上述实施例，本技术还提出了一种计算机程序产品，当计算机程序产品中的指令由处理器执行时，实现上述实施例所述的视觉定位方法。
[0112]
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本技术的其它实施方案。本技术旨在涵盖本技术的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本技术的一般性原理并包括本技术未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本技术的真正范围和精神由下面的权利要求指出。
[0113]
应当理解的是，本技术并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本技术的范围仅由所附的权利要求来限制。