一种残膜回收机防缠绕挑膜装置的制 一种秧草收获机用电力驱动行走机构

摄像头标定方法、装置、计算设备及介质与流程

2022-06-01 05:37:03 来源:中国专利 TAG:


1.本说明书涉及计算机技术领域,尤其涉及一种摄像头标定方法、装置、计算设备及介质。


背景技术:

2.近年来,随着人们对安全问题的重视程度的不断提高,监控类产品得到了飞跃式发展,其中,监控摄像头作为一种能够提供视频监控数据的监控类产品,在道路、展厅、办公楼等多种场景中,都得到了广泛的应用。而在监控摄像头的使用过程中,由于搭建环境、时间变化以及设备自身等多种因素,可能导致摄像头的位置和姿态等重要信息不准确,甚至缺失。因此,亟需一种摄像头标定方法,来校正摄像头的位置和姿态。
3.相关技术中,主要是通过人工逐一核查、重新统计的方式,来校正摄像头的位置和姿态。但这种人工校正的方式会耗费大量的人力和时间成本,导致摄像头标定的效率较差。


技术实现要素:

4.为克服相关技术中存在的问题,本说明书提供了一种摄像头标定方法、装置、计算设备及介质。
5.根据本说明书实施例的第一方面,提供一种摄像头标定方法,该方法包括:
6.获取目标摄像头采集到的查询图像以及目标摄像头的位置信息;
7.从目标数据库中,获取位于位置信息所对应的设定范围内且与查询图像匹配的目标图像,目标图像标注有采集目标图像的摄像头的第一绝对位姿;
8.获取查询图像与目标图像之间的预测相对位姿;
9.基于目标图像的第一绝对位姿以及对应的预测相对位姿,确定目标摄像头的绝对位姿。
10.在本说明书的一个实施例中,从目标数据库中,获取位于位置信息所对应的设定范围内且与查询图像匹配的目标图像,包括:
11.从目标数据库中,获取位于位置信息所对应的设定范围内的多个第一候选图像,第一候选图像标注有采集第一候选图像的摄像头的第一绝对位姿;
12.从多个第一候选图像中,确定场景与查询图像的场景匹配的多个第二候选图像;
13.从多个第二候选图像中,确定图像关键点与查询图像的关键点匹配的目标图像。
14.在本说明书的一个实施例中,从目标数据库中,获取位于位置信息所对应的设定范围内的多个第一候选图像,包括:
15.在位置信息所对应的设定范围内,每隔目标距离,确定一个目标点位;
16.从目标数据库中,获取各个目标点位在多个设定角度信息下的图像,作为多个第一候选图像。
17.在本说明书的一个实施例中,从多个第一候选图像中,确定场景与查询图像的场景匹配的多个第二候选图像,包括:
18.将查询图像和各个第一候选图像输入至场景识别网络,通过场景识别网络,输出查询图像和各个第一候选图像的场景特征;
19.确定各个第一候选图像的场景特征与查询图像的场景特征之间的相似度;
20.将相似度满足设定条件的第一候选图像,确定为多个第二候选图像。
21.在本说明书的一个实施例中,通过场景识别网络,输出查询图像和各个第一候选图像的场景特征,包括:
22.对于任一图像,通过场景识别网络的卷积模块,获取图像的卷积特征;
23.通过场景识别网络的编码模块,基于卷积特征,输出图像的场景特征。
24.在本说明书的一个实施例中,从多个第二候选图像中,确定图像关键点与查询图像的关键点匹配的目标图像,包括:
25.将查询图像和各个第二候选图像输入至关键点检测网络,通过关键点检测网络,输出查询图像和各个第二候选图像的关键点和描述符;
26.基于各个第二候选图像的关键点和描述符,从多个第二候选图像中,确定与查询图像的关键点和描述符匹配的目标图像。
27.在本说明书的一个实施例中,通过关键点检测网络,输出查询图像和各个第二候选图像的关键点和描述符,包括:
28.对于任一图像,通过关键点检测网络的编码模块,输出图像的编码特征;
29.通过关键点检测网络的关键点检测模块,基于编码特征,从图像中确定多个关键点,并通过关键点检测网络的描述符检测模块,基于编码特征,获取图像的描述符。
30.在本说明书的一个实施例中,目标图像为多个;
31.获取查询图像与目标图像之间的预测相对位姿,包括:
32.将每个目标图像分别与查询图像输入至位姿估计网络,通过位姿估计网络,输出查询图像与每个目标图像之间的预测相对位姿。
33.在本说明书的一个实施例中,通过位姿估计网络,输出查询图像与每个目标图像之间的预测相对位姿,包括:
34.对于任一目标图像,通过位姿估计网络的特征提取模块,分别获取查询图像所对应的第一特征和目标图像所对应的第二特征;
35.对第一特征和第二特征进行拼接,得到第三特征;
36.通过位姿估计网络的回归模块,基于第三特征,确定查询图像与目标图像之间的预测相对位姿。
37.在本说明书的一个实施例中,预测相对位姿包括四元数信息、横坐标信息和纵坐标信息;
38.该方法还包括:
39.基于预测相对位姿所包括的四元数信息,确定查询图像与目标图像之间的俯仰角信息、水平角信息和旋转角信息。
40.在本说明书的一个实施例中,目标图像为多个;
41.基于目标图像的第一绝对位姿以及对应的预测相对位姿,确定目标摄像头的绝对位姿,包括:
42.基于每个目标图像的第一绝对位姿以及对应的预测相对位姿,确定查询图像的一
个预测绝对位姿;
43.基于多个目标图像所确定出的查询图像的多个预测绝对位姿,确定目标摄像头的绝对位姿。
44.在本说明书的一个实施例中,基于多个目标图像所确定出的查询图像的多个预测绝对位姿,确定目标摄像头的绝对位姿,包括:
45.基于多个预测绝对位姿所对应的相对误差矩阵,确定目标摄像头的绝对位姿。
46.在本说明书的一个实施例中,绝对位姿包括位姿信息,位姿信息包括俯仰角信息、水平角信息、旋转角信息、横坐标信息以及纵坐标信息;
47.基于多个预测绝对位姿所对应的相对误差矩阵,确定目标摄像头的绝对位姿,包括:
48.对于多种位姿信息中的目标位姿信息,确定目标位姿信息所对应的相对误差矩阵;
49.基于相对误差矩阵,确定内点矩阵,内点矩阵基于相对误差矩阵中的各个元素的值与设定取值之间的大小关系确定;
50.基于内点矩阵,确定满足设定条件的预测绝对位姿;
51.基于满足设定条件的预测绝对位姿所包括的目标位姿信息,确定目标摄像头的绝对位姿所包括的目标位姿信息。
52.在本说明书的一个实施例中,基于相对误差矩阵,确定内点矩阵,包括下述任一项:
53.对于相对误差矩阵中的任一元素,在元素的取值大于或等于设定阈值的情况下,将内点矩阵中对应位置处的元素的值确定为1;
54.在元素的取值小于设定阈值的情况下,将内点矩阵中对应位置处的元素的值确定为0。
55.在本说明书的一个实施例中,基于满足设定条件的预测绝对位姿所包括的目标位姿信息,确定目标摄像头的绝对位姿所包括的目标位姿信息,包括:
56.将满足设定条件的预测绝对位姿所包括的目标位姿信息的均值,确定为目标摄像头的绝对位姿所包括的目标位姿信息。
57.根据本说明书实施例的第二方面,提供一种摄像头标定装置,该装置包括:
58.获取单元,用于获取目标摄像头采集到的查询图像以及目标摄像头的位置信息;
59.该获取单元,还用于从目标数据库中,获取位于位置信息所对应的设定范围内且与查询图像匹配的目标图像,目标图像标注有采集目标图像的摄像头的第一绝对位姿;
60.该获取单元,还用于获取查询图像与目标图像之间的预测相对位姿;
61.确定单元,用于基于目标图像的第一绝对位姿以及对应的预测相对位姿,确定目标摄像头的绝对位姿。
62.在本说明书的一个实施例中,该获取单元,在用于从目标数据库中,获取位于位置信息所对应的设定范围内且与查询图像匹配的目标图像时,包括获取子单元、第一确定子单元和第二确定子单元;
63.该获取子单元,用于从目标数据库中,获取位于位置信息所对应的设定范围内的多个第一候选图像,第一候选图像标注有采集第一候选图像的摄像头的第一绝对位姿;
64.该第一确定子单元,用于从多个第一候选图像中,确定场景与查询图像的场景匹配的多个第二候选图像;
65.该第二确定子单元,用于从多个第二候选图像中,确定图像关键点与查询图像的关键点匹配的目标图像。
66.在本说明书的一个实施例中,该获取子单元,在用于从目标数据库中,获取位于位置信息所对应的设定范围内的多个第一候选图像时,用于:
67.在位置信息所对应的设定范围内,每隔目标距离,确定一个目标点位;
68.从目标数据库中,获取各个目标点位在多个设定角度信息下的图像,作为多个第一候选图像。
69.在本说明书的一个实施例中,该第一确定子单元,在用于从多个第一候选图像中,确定场景与查询图像的场景匹配的多个第二候选图像时,用于:
70.将查询图像和各个第一候选图像输入至场景识别网络,通过场景识别网络,输出查询图像和各个第一候选图像的场景特征;
71.确定各个第一候选图像的场景特征与查询图像的场景特征之间的相似度;
72.将相似度满足设定条件的第一候选图像,确定为多个第二候选图像。
73.在本说明书的一个实施例中,该第一确定子单元,在用于通过场景识别网络,输出查询图像和各个第一候选图像的场景特征时,用于:
74.对于任一图像,通过场景识别网络的卷积模块,获取图像的卷积特征;
75.通过场景识别网络的编码模块,基于卷积特征,输出图像的场景特征。
76.在本说明书的一个实施例中,该第二确定子单元,在用于从多个第二候选图像中,确定图像关键点与查询图像的关键点匹配的目标图像时,用于:
77.将查询图像和各个第二候选图像输入至关键点检测网络,通过关键点检测网络,输出查询图像和各个第二候选图像的关键点和描述符;
78.基于各个第二候选图像的关键点和描述符,从多个第二候选图像中,确定与查询图像的关键点和描述符匹配的目标图像。
79.在本说明书的一个实施例中,该第二确定子单元,在用于通过关键点检测网络,输出查询图像和各个第二候选图像的关键点和描述符时,用于:
80.对于任一图像,通过关键点检测网络的编码模块,输出图像的编码特征;
81.通过关键点检测网络的关键点检测模块,基于编码特征,从图像中确定多个关键点,并通过关键点检测网络的描述符检测模块,基于编码特征,获取图像的描述符。
82.在本说明书的一个实施例中,目标图像为多个;
83.该获取单元,在用于获取查询图像与目标图像之间的预测相对位姿时,用于:
84.将每个目标图像分别与查询图像输入至位姿估计网络,通过位姿估计网络,输出查询图像与每个目标图像之间的预测相对位姿。
85.在本说明书的一个实施例中,该获取单元,在用于通过位姿估计网络,输出查询图像与每个目标图像之间的预测相对位姿时,用于:
86.对于任一目标图像,通过位姿估计网络的特征提取模块,分别获取查询图像所对应的第一特征和目标图像所对应的第二特征;
87.对第一特征和第二特征进行拼接,得到第三特征;
88.通过位姿估计网络的回归模块,基于第三特征,确定查询图像与目标图像之间的预测相对位姿。
89.在本说明书的一个实施例中,预测相对位姿包括四元数信息、横坐标信息和纵坐标信息;
90.该确定单元,还用于基于预测相对位姿所包括的四元数信息,确定查询图像与目标图像之间的俯仰角信息、水平角信息和旋转角信息。
91.在本说明书的一个实施例中,目标图像为多个;
92.该确定单元,在用于基于目标图像的第一绝对位姿以及对应的预测相对位姿,确定目标摄像头的绝对位姿时,包括第一确定子单元和第二确定子单元;
93.该第一确定子单元,用于基于每个目标图像的第一绝对位姿以及对应的预测相对位姿,确定查询图像的一个预测绝对位姿;
94.该第二确定子单元,用于基于多个目标图像所确定出的查询图像的多个预测绝对位姿,确定目标摄像头的绝对位姿。
95.在本说明书的一个实施例中,该第二确定子单元,在用于基于多个目标图像所确定出的查询图像的多个预测绝对位姿,确定目标摄像头的绝对位姿时,用于:
96.基于多个预测绝对位姿所对应的相对误差矩阵,确定目标摄像头的绝对位姿。
97.在本说明书的一个实施例中,绝对位姿包括位姿信息,位姿信息包括俯仰角信息、水平角信息、旋转角信息、横坐标信息以及纵坐标信息;
98.该第二确定子单元,在用于基于多个预测绝对位姿所对应的相对误差矩阵,确定目标摄像头的绝对位姿时,用于:
99.对于多种位姿信息中的目标位姿信息,确定目标位姿信息所对应的相对误差矩阵;
100.基于相对误差矩阵,确定内点矩阵,内点矩阵基于相对误差矩阵中的各个元素的值与设定取值之间的大小关系确定;
101.基于内点矩阵,确定满足设定条件的预测绝对位姿;
102.基于满足设定条件的预测绝对位姿所包括的目标位姿信息,确定目标摄像头的绝对位姿所包括的目标位姿信息。
103.在本说明书的一个实施例中,该第二确定子单元,在用于基于相对误差矩阵,确定内点矩阵时,用于下述任一项:
104.对于相对误差矩阵中的任一元素,在元素的取值大于或等于设定阈值的情况下,将内点矩阵中对应位置处的元素的值确定为1;
105.在元素的取值小于设定阈值的情况下,将内点矩阵中对应位置处的元素的值确定为0。
106.在本说明书的一个实施例中,该第二确定子单元,在用于基于满足设定条件的预测绝对位姿所包括的目标位姿信息,确定目标摄像头的绝对位姿所包括的目标位姿信息时,用于:
107.将满足设定条件的预测绝对位姿所包括的目标位姿信息的均值,确定为目标摄像头的绝对位姿所包括的目标位姿信息。
108.根据本说明书实施例的第三方面,提供一种计算设备,该计算设备包括存储器、处
理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行程序时实现上述第一方面以及第一方面的任一实施例所提供的摄像头标定方法所执行的操作。
109.根据本说明书实施例的第四方面,提供一种计算机可读存储介质,该计算机可读存储介质上存储有程序,程序被处理器执行时实现上述第一方面以及第一方面的任一实施例所提供的摄像头标定方法所执行的操作。
110.根据本说明书实施例的第五方面,提供一种计算机程序产品,包括计算机程序,程序被处理器执行时实现上述第一方面以及第一方面的任一实施例所提供的摄像头标定方法所执行的操作。
111.本说明书的实施例提供的技术方案可以包括以下有益效果:
112.本说明书实施例中,通过获取目标摄像头采集到的查询图像以及目标摄像头的位置信息,进而从目标数据库中,获取位于位置信息所对应的设定范围内且与查询图像匹配的标注有第一绝对位姿的目标图像,从而获取查询图像与目标图像之间的预测相对位姿,并基于目标图像的第一绝对位姿以及对应的预测相对位姿,确定目标摄像头的绝对位姿,实现目标摄像头的标定,无需人工处理,从而可以大大提高摄像头的标定效率。
113.应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本说明书。
附图说明
114.此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本说明书的实施例,并与说明书一起用于解释本说明书的原理。
115.图1是本技术提供的一种摄像头标定方法的实施环境示意图。
116.图2是本技术提供的一种摄像头标定方法的流程图。
117.图3是本技术提供的一种位姿估计网络的网络结构示意图。
118.图4是本技术提供的一种摄像头标定装置的框图。
119.图5是本技术提供的一种计算设备的结构示意图。
具体实施方式
120.这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本说明书相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本说明书的一些方面相一致的装置和方法的例子。
121.在本说明书使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本说明书。在本说明书和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
122.应当理解,尽管在本说明书可能采用术语第一、第二、第三等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本说明书范围的情况下,第一信息也可以被称为第二信息,类似地,第二信息也可以被称为第一信息。取决于语境,如在此所使用的词语“如果”可以被解释成为“在
……
时”或“当
……
时”或“响应于确定”。
123.本技术提供了一种摄像头标定方法,用于确定各个摄像头的绝对位姿。该摄像头标定方法可以由计算设备执行,计算设备可以为服务器,或者,计算设备还可以为终端设备。参见图1,图1是本技术提供的一种摄像头标定方法的实施环境示意图,该实施环境包括:摄像头101和计算设备102。
124.其中,摄像头101可以为网络摄像头、夜视摄像头、数字摄像头等监控摄像头,可选地,摄像头101还可以为其他类型的摄像头,本技术对摄像头101的类型不加以限定。计算设备102可以为服务器,如一台服务器、多台服务器、服务器集群、云计算平台等,可选地,计算设备102还可以为终端设备,如智能终端、台式计算机、便携式计算机等,本技术对计算设备102的设备类型不加以限定。
125.摄像头101可以用于采集摄像头的拍摄范围内的图像,摄像头101和计算设备102之间可以通过有线或无线的连接方式进行通信,以便计算设备102可以获取到摄像头101的位置信息,以及摄像头101所采集到的图像,进而采用本技术所提供的摄像头标定方法,基于所获取到的位置信息以及图像,确定摄像头101的绝对位姿,从而实现对摄像头101的标定。
126.在介绍了本技术的实施环境之后,接下来对本技术的各个实施例进行详细说明。
127.图2是本技术提供的一种摄像头标定方法的流程图,参见图2,该方法包括:
128.步骤201、获取目标摄像头采集到的查询图像以及目标摄像头的位置信息。
129.其中,位置信息可以粗略地指示出目标摄像头所处的位置,例如,目标摄像头位于某个路口,或者,目标摄像头位于某条街道,等等。位置信息可以为目标摄像头的全球定位系统(global positioning system,gps)坐标,可选地,位置信息还可以为其他类型的信息,本技术对位置信息的具体类型不加以限定。
130.以位置信息为gps坐标为例,在一种可能的实现方式中,目标摄像头可以具备定位功能,从而使得目标摄像头可以获取自身的gps坐标,进而将获取到的gps坐标发送给计算设备,以便计算设备可以获取到目标摄像头的gps坐标,作为目标摄像头的位置信息。
131.步骤202、从目标数据库中,获取位于位置信息所对应的设定范围内且与查询图像匹配的目标图像,目标图像标注有采集目标图像的摄像头的第一绝对位姿。
132.其中,目标数据库可以为计算设备所关联的开源的图像数据库,目标数据库中存储有多个绝对位姿已知的图像,每个图像均标注有第一绝对位姿,目标数据库中所存储的多个图像中包括位于位置信息所对应的设定范围内且与查询图像匹配的目标图像。
133.需要说明的是,第一绝对位姿可以为每个图像在预设标准下的位姿。图像的第一绝对位姿可以为用于采集该图像的图像采集设备的位姿,该图像采集设备可以为摄像头、图像采集车,等等。
134.步骤203、获取查询图像与目标图像之间的预测相对位姿。
135.其中,相对位姿可以为两个图像的绝对位姿之间的差异或对应关系。
136.步骤204、基于目标图像的第一绝对位姿以及对应的预测相对位姿,确定目标摄像头的绝对位姿。
137.本技术通过获取目标摄像头采集到的查询图像以及目标摄像头的位置信息,进而从目标数据库中,获取位于位置信息所对应的设定范围内且与查询图像匹配的标注有第一
绝对位姿的目标图像,从而获取查询图像与目标图像之间的预测相对位姿,并基于目标图像的第一绝对位姿以及对应的预测相对位姿,确定目标摄像头的绝对位姿,实现目标摄像头的标定,无需人工处理,从而可以大大提高摄像头的标定效率。
138.在介绍了本技术的基本实现过程后,下面结合本技术的多个可选实施例,对本技术所提供的摄像头标定方法进行进一步说明。
139.在一些实施例中,对于步骤202,在从目标数据库中,获取位于位置信息所对应的设定范围内且与查询图像匹配的目标图像时,可以包括如下步骤:
140.步骤2021、从目标数据库中,获取位于位置信息所对应的设定范围内的多个第一候选图像,第一候选图像标注有采集第一候选图像的摄像头的第一绝对位姿。
141.在一种可能的实现方式中,上述步骤2021可以通过如下步骤实现:
142.步骤2021-1、在位置信息所对应的设定范围内,每隔目标距离,确定一个目标点位。
143.其中,位置信息所对应的设定范围,可以为以位置信息所对应的位置为圆心,以设定长度为半径的圆形区域,设定长度可以为任意长度,例如,设定长度可以为1000米(m)。可选地,位置信息所对应的设定范围,还可以为其他类型的范围,本技术对设定长度的取值以及设定范围的类型均不加以限定。
144.可选地,目标距离可以为任意距离值,例如,目标距离可以为10m,或者,目标距离还可以为其他取值,本技术对目标距离的具体取值不加以限定。
145.在一种可能的实现方式中,在位置信息为gps坐标的情况下,在获取到目标摄像头的gps坐标后,可以将获取到的gps坐标转换为平面坐标(x,y),从而基于转换为平面坐标后的位置信息执行上述步骤2021-1。
146.其中,在将gps坐标转换为平面坐标时,可以通过如下公式(1)和公式(2)实现:
[0147][0148][0149]
其中,x为平面坐标中的横坐标,y为平面坐标中的纵坐标,a为地球椭圆长半轴,b为地球椭圆短半轴,bo为维度,tg为正切,ctg为反正切。
[0150]
步骤2021-2、从目标数据库中,获取各个目标点位在多个设定角度信息下的图像,作为多个第一候选图像。
[0151]
其中,设定角度信息可以为水平角以30度为间隔、旋转角为0度、俯仰角为设定角度范围内的任意角度值的角度信息,也即是,设定角度信息可以为水平角为0度、30度、60度、

、330度,旋转角度均为0度,俯仰角为-5度到10度之间的任意角度值的12个角度信息。可选地,还可以采用其他角度作为设定角度信息,本技术对此不加以限定。
[0152]
需要说明的是,第一候选图像都是标注有用于采集第一候选图像的摄像头的第一绝对位姿的,也即是,第一候选图像都是已知绝对位姿的,从而使得所获取到的多个第一候选图像可以作为确定目标摄像头的绝对位姿的检索图像库,以便后续可以基于这多个第一候选图像,来确定目标摄像头的绝对位姿。
[0153]
步骤2022、从多个第一候选图像中,确定场景与查询图像的场景匹配的多个第二
候选图像。
[0154]
在一种可能的实现方式中,上述步骤2022可以通过如下步骤实现:
[0155]
步骤2022-1、将查询图像和各个第一候选图像输入至场景识别网络,通过场景识别网络,输出查询图像和各个第一候选图像的场景特征。
[0156]
在一种可能的实现方式中,可以将查询图像和各个第一候选图像逐个输入至场景识别网络,从而使得可以通过场景识别网络,得到查询图像和每个第一候选图像的场景特征。
[0157]
可选地,还可以一次性输入第一设定数量的图像,从而通过场景识别网络,对第一设定数量的图像进行并行处理,进而可以一次性得到第一设定数量的图像的场景特征。其中,第一设定数量可以为任意正整数值,本技术对第一设定数量的具体取值不加以限定。
[0158]
其中,场景识别网络可以为采用基于全局特征的netvlad算法的神经网络,场景识别网络可以包括卷积模块和编码模块。
[0159]
在一种可能的实现方式中,对于上述步骤2022-1,在通过场景识别网络,输出查询图像和第一候选图像的场景特征时,可以通过如下方式实现:
[0160]
以对查询图像和多个第一候选图像中的任一图像进行处理的过程为例,对于任一图像,通过场景识别网络的卷积模块,获取图像的卷积特征,进而通过场识别网络的编码模块,基于卷积特征,输出图像的场景特征。
[0161]
卷积模块可以包括输入层和卷积(conv)层,在通过场景识别网络的卷积模块,获取图像的卷积特征时,可以通过输入层,将输入至卷积模块的图像转换为矩阵形式的图像数据,进而将转换得到的图像数据输入卷积层,通过卷积层输出图像的卷积特征。
[0162]
其中,卷积层可以有多个,在将转换得到的图像数据输入卷积层,通过卷积层输出图像的卷积特征时,可以将转换得到的图像数据输入第一个卷积层,通过第一个卷积层对图像数据进行卷积处理,得到经过一次卷积处理的卷积特征,再将经过一次卷积处理的卷积特征输入第二个卷积层,通过第二个卷积层继续对所输入的卷积特征进行卷积处理,以此类推,直至通过多个卷积层中的最后一个卷积层输出图像的卷积特征。
[0163]
步骤2022-2、确定各个第一候选图像的场景特征与查询图像的场景特征之间的相似度。
[0164]
需要说明的是,图像的场景特征可以为以向量形式表示的特征向量,因而,在确定各个第一候选图像的场景特征与查询图像的场景特征之间的相似度时,对于任一第一候选图像,可以确定表示该第一候选图像的场景特征的特征向量,与表示查询图像的场景特征的特征向量之间的距离,进而将确定出的距离作为该第一候选图像的场景特征与查询图像的场景特征之间的相似度,以此类推,即可得到各个第一候选图像的场景特征与查询图像的场景特征之间的相似度。
[0165]
步骤2022-3、将相似度满足设定条件的第一候选图像,确定为多个第二候选图像。
[0166]
其中,相似度满足设定条件,可以为相似度大于第一相似度阈值,第一相似度阈值可以为任意取值,或者,相似度满足设定条件,还可以为按照从大到小的顺序对所确定出的多个相似度进行排序后,排序位于第一设定位置之前,第一设定位置可以为任意位置,例如第一设定位置可以为第100位。可选地,还可以采用其他条件作为设定条件,本技术对此不加以限定。
[0167]
需要说明的是,上述步骤2022-1至步骤2022-3仅为确定第二候选图像的一种示例性方式,在更多可能的实现方式中,还可以采用其他方式来确定第二选图像。
[0168]
通过上述步骤2022-1至步骤2022-3,即可从数据量较大的目标数据库中,确定出与查询图像较为匹配的多个第二候选图像,实现基于查询图像的粗检索过程,后续即可基于所确定出的多个第二候选图像,来进行目标图像的确定。
[0169]
步骤2023、从多个第二候选图像中,确定图像关键点与查询图像的关键点匹配的目标图像。
[0170]
在一种可能的实现方式中,上述步骤2023可以通过如下步骤实现:
[0171]
步骤2023-1、将查询图像和各个第二候选图像输入至关键点检测网络,通过关键点检测网络,输出查询图像和各个第二候选图像的关键点和描述符。
[0172]
在一种可能的实现方式中,可以将查询图像和各个第二候选图像逐个输入至关键点检测网络,从而使得可以通过关键点检测网络,得到查询图像和每个第二候选图像的关键点和描述符。
[0173]
可选地,还可以一次性输入第二设定数量的图像,从而通过关键点检测网络,对第二设定数量的图像进行并行处理,进而可以一次性得到第二设定数量的图像的关键点和描述符。其中,第二设定数量可以为任意正整数值,本技术对第二设定数量的具体取值不加以限定。
[0174]
其中,关键点检测网络可以为采用基于局部关键点匹配的superpoint算法的神经网络,关键点检测网络可以包括编码模块、关键点检测模块和描述符检测模块。
[0175]
在一种可能的实现方式中,对于上述步骤2023-1,在通过关键点检测网络,输出查询图像和各个第二候选图像的关键点和描述符时,可以通过如下方式实现:
[0176]
以对查询图像和多个第二候选图像中的任一图像进行处理的过程为例,对于任一图像,通过关键点检测网络的编码模块,输出图像的编码特征;进而通过关键点检测网络的关键点检测模块,基于编码特征,从图像中确定多个关键点,并通过关键点检测网络的描述符检测模块,基于编码特征,获取图像的描述符。
[0177]
需要说明的是,编码模块为关键点检测模块和描述符检测模块共享的网络结构,也即是,编码模块输出的编码特征,可以分别输入关键点检测模块和描述符检测模块,从而通过关键点检测模块和描述符检测模块,分别获取图像的关键点和描述符。
[0178]
其中,关键点检测模块和描述符检测模块均相当于一个解码器,下面分别对关键点检测模块和描述符检测模块的结构和内部处理过程进行说明:
[0179]
对于关键点检测模块,关键点检测模块包括卷积层、类归一化(softmax)层和变换(reshape)层。在通过关键点检测模块,基于编码特征,从图像中确定多个关键点时,可以通过卷积层,基于编码特征,确定关键点检测模块对应的卷积特征,从而将所确定出的卷积特征输入类归一化层,通过类归一化层,输出图像中各个像素点为关键点的概率(概率值可以有0和1两个取值),从而通过变换层,基于图像中各个像素点为关键点的概率,从图像中确定出多个关键点。
[0180]
对于描述符检测模块,描述符检测模块可以包括卷积层、双三次插值(bi-cubic interpolate)层和正则化层。在通过描述符检测模块,基于编码特征,获取图像的描述符时,可以通过卷积层,基于编码特征,确定描述符检测模块对应的卷积特征,从而将所确定
出的卷积特征输入双三次插值层,通过双三次插值层,对所输入的卷积特征进行插值处理,进而将经过插值处理得到的特征输入正则化层,通过正则化层,输出图像的描述符。其中,该描述符用于描述图像中关键点的特征,如像素特征。
[0181]
步骤2023-2、基于各个第二候选图像的关键点和描述符,从多个第二候选图像中,确定与查询图像的关键点和描述符匹配的目标图像。
[0182]
需要说明的是,图像的关键点和描述符均可以为以向量形式表示,因而,在确定与查询图像匹配的目标图像时,对于任一第二候选图像,可以确定表示该第二候选图像的关键点的向量,与表示查询图像的关键点的向量之间的距离,进而将确定出的距离作为该第二候选图像的关键点与查询图像的关键点之间的相似度,以此类推,即可得到各个第二候选图像的关键点与查询图像的关键点之间的相似度。另外,还可以确定表示该第二候选图像的描述符的向量,与表示查询图像的描述符的向量之间的距离,进而将确定出的距离作为该第二候选图像的描述符与查询图像的描述符之间的相似度,以此类推,即可得到各个第二候选图像的描述符与查询图像的描述符之间的相似度。
[0183]
在确定出各个第二候选图像的关键点与查询图像的关键点之间的相似度,以及各个第二候选图像的描述符与查询图像的描述符之间的相似度后,可以对所确定出的两个相似度进行加权求和(或取平均),从而得到各个第二候选图像的关键点和描述符,与查询图像的关键点和描述符之间的相似度。
[0184]
进一步地,可以将相似度大于第二相似度阈值,或者,相似度按照从大到小的顺序排序后,位于第二设定位置之前的相似度所对应的第二候选图像,确定为目标图像,其中,第二相似度阈值可以为任意取值,第二设定位置可以为任意位置,例如第二设定位置可以为第8位。
[0185]
需要说明的是,上述步骤2023-1至步骤2023-2仅为确定目标图像的一种示例性方式,在更多可能的实现方式中,还可以采用其他方式来确定目标图像。
[0186]
通过上述步骤2023-1至步骤2023-2,即可从与查询图像较为匹配的多个第二候选图像中,确定出与查询图像最为匹配的目标图像,实现基于查询图像的细检索过程,以便后续可以基于目标图像来确定目标摄像头的绝对位姿。
[0187]
在一些实施例中,目标图像可以为多个。而在目标图像为多个的情况下,对于步骤203,在获取查询图像与目标图像之间的预测相对位姿时,可以获取查询图像与每个目标图像之间的预测相对位姿。
[0188]
在一种可能的实现方式中,在获取查询图像与每个目标图像之间的预测相对位姿时,可以通过如下方式实现:
[0189]
将每个目标图像分别与查询图像输入至位姿估计网络,通过位姿估计网络,输出查询图像与每个目标图像之间的预测相对位姿。
[0190]
其中,位姿估计网络可以包括特征提取模块和回归(regression)模块。参见图3,图3是本技术提供的一种位姿估计网络的网络结构示意图,如图3所示,该位姿估计网络即包括特征提取模块和回归模块。
[0191]
在一种可能的实现方式中,在通过位姿估计网络,输出查询图像与每个目标图像之间的预测相对位姿时,可以包括如下步骤:
[0192]
步骤2031、对于任一目标图像,通过位姿估计网络的特征提取模块,分别获取查询
图像所对应的第一特征和目标图像所对应的第二特征。
[0193]
其中,特征提取模块可以为残差网络(residual network,resnet),例如,特征提取模块可以为34层的resnet(或称resnet34)。
[0194]
以特征提取模块为resnet34为例,特征提取模块依次可以包括第一卷积层、池化(pool)层、多个第二卷积层、平均池化(arg pool)层和全连接(fully connected,fc)层。其中,第一卷积层可以为卷积核大小为7*7的卷积层,第二卷积层可以为卷积核大小为3*3的卷积层,第二卷积层的数量可以为32个。
[0195]
基于采用上述示例性结构的特征提取模块,以通过特征提取模块,获取查询图像所对应的第一特征的过程为例,可以将查询图像输入至特征提取模块,通过特征提取模块的第一卷积层,获取查询图像的卷积特征,从而将获取到的卷积特征输入池化层,通过池化层对卷积特征进行降采样,得到降采样后的卷积特征,将降采样后的卷积特征输入第一个第二卷积层,通过第一个第二卷积层,基于降采样后的卷积特征获取第一卷积特征,进而将第一卷积特征输入第二个第二卷积层,通过第二个第二卷积层,基于第一卷积特征获取第二卷积特征,以此类推,直至通过第32个第二卷积层完成相应的卷积处理过程,得到相应的卷积特征,从而将获取到的卷积特征输入至平均池化层,通过平均池化层对所输入的卷积特征进行降采样处理,并将降采样处理后的卷积特征输入至全连接层,通过全连接层输出查询图像所对应的第一特征。
[0196]
此外,通过特征提取模块,获取目标图像所对应的第二特征的过程与上述过程同理,此处不再赘述。
[0197]
其中,通过上述过程所获取到的第一特征和第二特征均为512*512维的特征。以目标图像为8个图像为例,通过上述过程即可获取到1个512维的第一特征和8个512维的第二特征。
[0198]
需要说明的是,上述仅为特征提取模块的示例性结构,也即是,上述仅为获取第一特征和第二特征的一种示例性方式,在更多可能的方式,还可以采用其他结构的特征提取模块,来获取第一特征和第二特征,本技术对具体采用哪种方式不加以限定。
[0199]
步骤2032、对第一特征和第二特征进行拼接,得到第三特征。
[0200]
在一种可能的实现方式中,可以将第一特征分别与各个第二特征进行拼接,从而可以得到多个第三特征。
[0201]
以目标图像为8个为例,第二特征即有8个,则在对第一特征和第二特征进行拼接,以得到第三特征时,可以将第一特征分别与这8个第二特征进行拼接,以得到8个第三特征。
[0202]
步骤2033、通过位姿估计网络的回归模块,基于第三特征,确定查询图像与目标图像之间的预测相对位姿。
[0203]
其中,回归模块可以包括第三卷积层、归一化(batchnorm)层、激活(relu)层和第四卷积层。可选地,第三卷积层可以为卷积核大小为1*1、输出特征为512维的卷积层,第四卷积层可以为卷积核大小为1*1、输出特征为6维的卷积层。
[0204]
在一种可能的实现方式中,对于任一第三特征,可以将该第三特征输入回归模块,通过回归模块的第三卷积层,输出该第三特征对应的卷积特征,从而将第三特征对应的卷积特征输入归一化层,通过归一化层,对所输入的卷积特征进行归一化处理,以防止梯度爆炸或梯度消失,进而将经过归一化处理的卷积特征输入激活层,通过激活层,将经过归一化
处理的卷积特征映射到高维的非线性区间,得到高维特征,最后将获取到的高维特征输入第四卷积层,通过第四卷积层对高维特征进行卷积处理,即可得到查询图像与该任一第三特征所对应的目标图像之间的预测相对位姿。
[0205]
通过第四卷积层所输出的特征为一个6维的特征,也即是,预测相对位姿的特征维度为6,例如,预测相对位姿可以包括四元数信息、横坐标信息和纵坐标信息,这6个维度的特征中,前4维是四元数信息,后2维是相对位置(其中一维是x方向的相对位置,另一维是y方向的相对位置),也即是横坐标信息和纵坐标信息。
[0206]
在一些实施例中,在获取到预测相对位姿所包括的四元数信息后,还可以基于四元数信息,确定查询图像与目标图像之间的欧拉角信息,也即是,俯仰角信息、水平角信息和旋转角信息。
[0207]
例如,可以通过如下公式(3),来基于四元数信息,确定查询图像与目标图像之间的欧拉角信息:
[0208][0209]
其中,pitch为俯仰角,yaw为水平角,roll为旋转角。
[0210]
通过上述步骤2031至步骤2033,即可获取到查询图像与多个目标图像中每个目标图像之间的相对位姿,而每个目标图像的绝对位姿都是已知的,因而即可获取到查询图像的多个预测绝对位姿。
[0211]
在一些实施例中,对于步骤204,在基于目标图像的第一绝对位姿以及对应的预测相对位姿,确定目标摄像头的绝对位姿时,可以包括如下步骤:
[0212]
步骤2041、基于每个目标图像的第一绝对位姿以及对应的预测相对位姿,确定查询图像的一个预测绝对位姿。
[0213]
在一种可能的实现方式中,对于任一目标图像,在该目标图像所对应的第一绝对位姿的基础上,叠加查询图像与该目标图像之间的预测相对位姿,得到基于该目标图像预测出的查询图像的一个预测绝对位姿。
[0214]
同理,即可得到基于其他目标图像预测出的查询图像的其他预测绝对位姿,从而得到查询图像的多个预测绝对位姿。
[0215]
其中,预测绝对位姿包括多种类型的位姿信息,例如,预测绝对位姿可以包括俯仰角信息、水平角信息、旋转角信息、横坐标信息以及纵坐标信息。其中,俯仰角信息、水平角信息和旋转角信息为目标摄像头的姿态信息,横坐标信息和纵坐标信息为目标摄像头的位置信息,位置信息和姿态信息组合即构成目标摄像头的位姿信息。
[0216]
步骤2042、基于多个目标图像所确定出的查询图像的多个预测绝对位姿,确定目标摄像头的绝对位姿。
[0217]
其中,上述步骤2042可以通过如下方式实现:
[0218]
基于多个预测绝对位姿所对应的相对误差矩阵,确定目标摄像头的绝对位姿。
[0219]
在一种可能的实现方式中,在基于多个预测绝对位姿所对应的相对误差矩阵,确定目标摄像头的绝对位姿,可以通过如下步骤实现:
[0220]
步骤2042-1、对于多种位姿信息中的目标位姿信息,确定目标位姿信息所对应的相对误差矩阵。
[0221]
以目标位姿信息为水平角信息为例,水平角信息所对应的相对误差矩阵可以参见如下公式(4):
[0222][0223]
其中,k为目标图像的个数,以目标图像为8个为例,k即为8,y1至yk分别表示基于k个目标图像所确定出的查询图像的k个预测绝对位姿中的水平角信息。
[0224]
上述仅以水平角信息为例,来示例性地说明了水平角信息所对应的相对误差矩阵的确定方式,其他类型的位姿信息的确定过程与之同理,此处不再赘述。
[0225]
步骤2042-2、基于相对误差矩阵,确定内点矩阵,内点矩阵基于相对误差矩阵中的各个元素的值与设定取值之间的大小关系确定。
[0226]
在一种可能的实现方式中,可以将相对误差矩阵中的各个元素与设定阈值进行比较,从而根据比较结果确定内点矩阵(inlier)中相对位置处的元素的取值。
[0227]
对于相对误差矩阵中的任一元素,在元素的取值大于或等于设定阈值的情况下,将内点矩阵中对应位置处的元素的值确定为1。
[0228]
而在元素的取值小于设定阈值的情况下,将内点矩阵中对应位置处的元素的值确定为0。
[0229]
其中,设定阈值可以为任意取值,不同类型的位姿信息所对应的设定阈值可以不同。例如,在目标位姿信息为水平角信息的情况下,该设定阈值可以为25度;在目标位姿信息为旋转角信息的情况下,该设定阈值可以为10度;在目标位姿信息为俯仰角信息的情况下,该设定阈值可以为5度;在目标位姿信息为横坐标信息的情况下,该设定阈值可以为10m;在目标位姿信息为纵坐标信息的情况下,该设定阈值可以为10m。
[0230]
步骤2042-3、基于内点矩阵,确定满足设定条件的预测绝对位姿。
[0231]
在一种可能的实现方式中,可以以行为单位,从内点矩阵中,基于每行所包括的元素,确定出包括元素1的数量最多的一行,从而将这行中取值为1的元素所对应的预测绝对位姿,确定为满足设定条件的预测绝对位姿。
[0232]
例如,以目标图像为8个,内点矩阵为如公式(5)所示的矩阵为例:
[0233]
[0234]
其中,包括元素1的数量最多的一行为第3行,其中,第2、5、6、7、8个元素为1,则满足设定条件的预测绝对位姿,即为第2、5、6、7、8个元素所对应的预测绝对位姿。
[0235]
步骤2042-4、基于满足设定条件的预测绝对位姿所包括的目标位姿信息,确定目标摄像头的绝对位姿所包括的目标位姿信息。
[0236]
在一种可能的实现方式中,可以对满足设定条件的预测绝对位姿所包括的目标位姿信息取均值,从而将得到的结果作为目标摄像头的绝对位姿所包括的目标位姿信息。
[0237]
仍以如公式(5)所示的内点矩阵为例,则满足设定条件的预测绝对位姿所包括的目标位姿信息也即是如上公式(4)中的y2、y5、y6、y7、y8,则在基于满足设定条件的预测绝对位姿所包括的目标位姿信息,确定目标摄像头的绝对位姿所包括的目标位姿信息时,可以将(y2 y5 y6 y7 y8)/5的值确定为目标摄像头的绝对位姿所包括的水平角信息,以此类推,得到目标摄像头的绝对位姿所包括的多种类型的位姿信息,从而即可得到目标摄像头的绝对位姿。
[0238]
通过上述步骤2042以及步骤2042所对应的实施例,可以实现多个预测绝对位姿的融合,从而可以提高所确定出的目标摄像头的绝对位姿的准确性。
[0239]
本技术从实际应用出发,提供出一套完整的、无需依赖人工和其他硬件设备的摄像头标定方案,以开源的目标数据库作为检索库,提出由粗到细的检索方案,并基于神经网络进行相对位姿的估计,最后利用预测得到的相对位姿和各个目标图像已知的第一绝对位姿,确定出准确性更高的目标摄像头位置信息和姿态信息,以得到目标摄像头的位姿信息,可以实现批量摄像头的位姿标定,并提高摄像头标定结果的准确性。
[0240]
与前述方法的实施例相对应,本说明书还提供了装置及其所应用的计算设备的实施例。
[0241]
如图4所示,图4是本技术提供的一种摄像头标定装置的框图,该装置包括:
[0242]
获取单元401,用于获取目标摄像头采集到的查询图像以及目标摄像头的位置信息;
[0243]
该获取单元401,还用于从目标数据库中,获取位于位置信息所对应的设定范围内且与查询图像匹配的目标图像,目标图像标注有采集目标图像的摄像头的第一绝对位姿;
[0244]
该获取单元401,还用于获取查询图像与目标图像之间的预测相对位姿;
[0245]
确定单元402,用于基于目标图像的第一绝对位姿以及对应的预测相对位姿,确定目标摄像头的绝对位姿。
[0246]
在本说明书的一个实施例中,该获取单元401,在用于从目标数据库中,获取位于位置信息所对应的设定范围内且与查询图像匹配的多个目标图像时,包括获取子单元、第一确定子单元和第二确定子单元;
[0247]
该获取子单元,用于从目标数据库中,获取位于位置信息所对应的设定范围内的多个第一候选图像,第一候选图像标注有采集第一候选图像的摄像头的第一绝对位姿;
[0248]
该第一确定子单元,用于从多个第一候选图像中,确定场景与查询图像的场景匹配的多个第二候选图像;
[0249]
该第二确定子单元,用于从多个第二候选图像中,确定图像关键点与查询图像的关键点匹配的目标图像。
[0250]
在本说明书的一个实施例中,该获取子单元,在用于从目标数据库中,获取位于位
置信息所对应的设定范围内的多个第一候选图像时,用于:
[0251]
在位置信息所对应的设定范围内,每隔目标距离,确定一个目标点位;
[0252]
从目标数据库中,获取各个目标点位在多个设定角度信息下的图像,作为多个第一候选图像。
[0253]
在本说明书的一个实施例中,该第一确定子单元,在用于从多个第一候选图像中,确定场景与查询图像的场景匹配的多个第二候选图像时,用于:
[0254]
将查询图像和各个第一候选图像输入至场景识别网络,通过场景识别网络,输出查询图像和各个第一候选图像的场景特征;
[0255]
确定各个第一候选图像的场景特征与查询图像的场景特征之间的相似度;
[0256]
将相似度满足设定条件的第一候选图像,确定为多个第二候选图像。
[0257]
在本说明书的一个实施例中,该第一确定子单元,在用于通过场景识别网络,输出查询图像和各个第一候选图像的场景特征时,用于:
[0258]
对于任一图像,通过场景识别网络的卷积模块,获取图像的卷积特征;
[0259]
通过场景识别网络的编码模块,基于卷积特征,输出图像的场景特征。
[0260]
在本说明书的一个实施例中,该第二确定子单元,在用于从多个第二候选图像中,确定图像关键点与查询图像的关键点匹配的目标图像时,用于:
[0261]
将查询图像和各个第二候选图像输入至关键点检测网络,通过关键点检测网络,输出查询图像和各个第二候选图像的关键点和描述符;
[0262]
基于各个第二候选图像的关键点和描述符,从多个第二候选图像中,确定与查询图像的关键点和描述符匹配的目标图像。
[0263]
在本说明书的一个实施例中,该第二确定子单元,在用于通过关键点检测网络,输出查询图像和各个第二候选图像的关键点和描述符时,用于:
[0264]
对于任一图像,通过关键点检测网络的编码模块,输出图像的编码特征;
[0265]
通过关键点检测网络的关键点检测模块,基于编码特征,从图像中确定多个关键点,并通过关键点检测网络的描述符检测模块,基于编码特征,获取图像的描述符。
[0266]
在本说明书的一个实施例中,目标图像为多个;
[0267]
该获取单元401,在用于获取查询图像与目标图像之间的预测相对位姿时,用于:
[0268]
将每个目标图像分别与查询图像输入至位姿估计网络,通过位姿估计网络,输出查询图像与每个目标图像之间的预测相对位姿。
[0269]
在本说明书的一个实施例中,该获取单元401,在用于通过位姿估计网络,输出查询图像与每个目标图像之间的预测相对位姿时,用于:
[0270]
对于任一目标图像,通过位姿估计网络的特征提取模块,分别获取查询图像所对应的第一特征和目标图像所对应的第二特征;
[0271]
对第一特征和第二特征进行拼接,得到第三特征;
[0272]
通过位姿估计网络的回归模块,基于第三特征,确定查询图像与目标图像之间的预测相对位姿。
[0273]
在本说明书的一个实施例中,预测相对位姿包括四元数信息、横坐标信息和纵坐标信息;
[0274]
该确定单元402,还用于基于预测相对位姿所包括的四元数信息,确定查询图像与
目标图像之间的俯仰角信息、水平角信息和旋转角信息。
[0275]
在本说明书的一个实施例中,目标图像为多个;
[0276]
该确定单元402,在用于基于目标图像的第一绝对位姿以及对应的预测相对位姿,确定目标摄像头的绝对位姿时,包括第一确定子单元和第二确定子单元;
[0277]
该第一确定子单元,用于基于每个目标图像的第一绝对位姿以及对应的预测相对位姿,确定查询图像的一个预测绝对位姿;
[0278]
该第二确定子单元,用于基于多个目标图像所确定出的查询图像的多个预测绝对位姿,确定目标摄像头的绝对位姿。
[0279]
在本说明书的一个实施例中,该第二确定子单元,在用于基于多个目标图像所确定出的查询图像的多个预测绝对位姿,确定目标摄像头的绝对位姿时,用于:
[0280]
基于多个预测绝对位姿所对应的相对误差矩阵,确定目标摄像头的绝对位姿。
[0281]
在本说明书的一个实施例中,绝对位姿包括位姿信息,位姿信息包括俯仰角信息、水平角信息、旋转角信息、横坐标信息以及纵坐标信息;
[0282]
该第二确定子单元,在用于基于多个预测绝对位姿所对应的相对误差矩阵,确定目标摄像头的绝对位姿时,用于:
[0283]
对于多种位姿信息中的目标位姿信息,确定目标位姿信息所对应的相对误差矩阵;
[0284]
基于相对误差矩阵,确定内点矩阵,内点矩阵基于相对误差矩阵中的各个元素的值与设定取值之间的大小关系确定;
[0285]
基于内点矩阵,确定满足设定条件的预测绝对位姿;
[0286]
基于满足设定条件的预测绝对位姿所包括的目标位姿信息,确定目标摄像头的绝对位姿所包括的目标位姿信息。
[0287]
在本说明书的一个实施例中,该第二确定子单元,在用于基于相对误差矩阵,确定内点矩阵时,用于下述任一项:
[0288]
对于相对误差矩阵中的任一元素,在元素的取值大于或等于设定阈值的情况下,将内点矩阵中对应位置处的元素的值确定为1;
[0289]
在元素的取值小于设定阈值的情况下,将内点矩阵中对应位置处的元素的值确定为0。
[0290]
在本说明书的一个实施例中,该第二确定子单元,在用于基于满足设定条件的预测绝对位姿所包括的目标位姿信息,确定目标摄像头的绝对位姿所包括的目标位姿信息时,用于:
[0291]
将满足设定条件的预测绝对位姿所包括的目标位姿信息的均值,确定为目标摄像头的绝对位姿所包括的目标位姿信息。
[0292]
上述装置中各个单元或子单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程,在此不再赘述。
[0293]
对于装置实施例而言,由于其基本对应于方法实施例,所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的模块、单元或子单元可以是或者也可以不是物理上分开的,作为模块、单元或子单元显示的部件可以是或者也可以不是物理模块,即可以位于一个地方,或者也可以分布到多
个网络模块上。可以根据实际的需要选择其中的部分或者全部单元或子单元来实现本说明书方案的目的。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
[0294]
本技术还提供了一种计算设备,参见图5,图5是本技术提供的一种计算设备的结构示意图。如图5所示,计算设备包括处理器510、存储器520和网络接口530,存储器520用于存储可在处理器510上运行的程序,处理器510用于在执行程序时实现本技术任一实施例所提供的摄像头标定方法,网络接口530用于实现输入输出功能。在更多可能的实现方式中,计算设备还可以包括其他硬件,本技术对此不做限定。
[0295]
本技术还提供了一种计算机可读存储介质,计算机可读存储介质可以是多种形式,比如,在不同的例子中,计算机可读存储介质可以是:ram(radom access memory,随机存取存储器)、易失存储器、非易失性存储器、闪存、存储驱动器(如硬盘驱动器)、固态硬盘、任何类型的存储盘(如光盘、dvd等),或者类似的存储介质,或者它们的组合。特殊的,计算机可读介质还可以是纸张或者其他合适的能够打印程序的介质。计算机可读存储介质上存储有计算机程序,计算机程序被处理器执行时实现本技术任一实施例所提供的摄像头标定方法。
[0296]
本技术还提供了一种计算机程序产品,包括计算机程序,计算机程序被处理器执行时实现本技术任一实施例所提供的摄像头标定方法。
[0297]
本领域技术人员应明白,本说明书一个或多个实施例可提供为方法、装置、计算设备、计算机可读存储介质或计算机程序产品。因此,本说明书一个或多个实施例可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且,本说明书一个或多个实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0298]
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于计算设备所对应的实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
[0299]
上述对本说明书特定实施例进行了描述。其它实施例在本技术的范围内。在一些情况下,在本技术中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
[0300]
本说明书中描述的主题及功能操作的实施例可以在以下中实现:数字电子电路、有形体现的计算机软件或固件、包括本说明书中公开的结构及其结构性等同物的计算机硬件、或者它们中的一个或多个的组合。本说明书中描述的主题的实施例可以实现为一个或多个计算机程序,即编码在有形非暂时性程序载体上以被摄像头标定装置执行或控制摄像头标定装置的操作的计算机程序中的一个或多个模块。可替代地或附加地,程序可以被编码在人工生成的传播信号上,例如机器生成的电、光或电磁信号,该信号被生成以将信息编码并传输到合适的接收机装置以由摄像头标定装置执行。计算机存储介质可以是机器可读存储设备、机器可读存储基板、随机或串行存取存储器设备、或它们中的一个或多个的组合。
[0301]
本说明书中描述的处理及逻辑流程可以由执行一个或多个计算机程序的一个或多个可编程计算机执行,以通过根据输入数据进行操作并生成输出来执行相应的功能。处理及逻辑流程还可以由专用逻辑电路—例如fpga(现场可编程门阵列)或asic(专用集成电路)来执行,并且装置也可以实现为专用逻辑电路。
[0302]
适合用于执行计算机程序的计算机包括,例如通用和/或专用微处理器,或任何其他类型的中央处理单元。通常,中央处理单元将从只读存储器和/或随机存取存储器接收指令和数据。计算机的基本组件包括用于实施或执行指令的中央处理单元以及用于存储指令和数据的一个或多个存储器设备。通常,计算机还将包括用于存储数据的一个或多个大容量存储设备,例如磁盘、磁光盘或光盘等,或者计算机将可操作地与此大容量存储设备耦接以从其接收数据或向其传送数据,抑或两种情况兼而有之。然而,计算机不是必须具有这样的设备。此外,计算机可以嵌入在另一设备中,例如移动电话、个人数字助理(pda)、移动音频或视频播放器、游戏操纵台、全球定位系统(gps)接收机、或例如通用串行总线(usb)闪存驱动器的便携式存储设备,仅举几例。
[0303]
适合于存储计算机程序指令和数据的计算机可读介质包括所有形式的非易失性存储器、媒介和存储器设备,例如包括半导体存储器设备(例如eprom、eeprom和闪存设备)、磁盘(例如内部硬盘或可移动盘)、磁光盘以及cd rom和dvd-rom盘。处理器和存储器可由专用逻辑电路补充或并入专用逻辑电路中。
[0304]
虽然本说明书包含许多具体实施细节,但是这些不应被解释为限制任何发明的范围或所要求保护的范围,而是主要用于描述特定发明的具体实施例的特征。本说明书内在多个实施例中描述的某些特征也可以在单个实施例中被组合实施。另一方面,在单个实施例中描述的各种特征也可以在多个实施例中分开实施或以任何合适的子组合来实施。此外,虽然特征可以如上所述在某些组合中起作用并且甚至最初如此要求保护,但是来自所要求保护的组合中的一个或多个特征在一些情况下可以从该组合中去除,并且所要求保护的组合可以指向子组合或子组合的变型。
[0305]
类似地,虽然在附图中以特定顺序描绘了操作,但是这不应被理解为要求这些操作以所示的特定顺序执行或顺次执行、或者要求所有例示的操作被执行,以实现期望的结果。在某些情况下,多任务和并行处理可能是有利的。此外,上述实施例中的各种系统模块和组件的分离不应被理解为在所有实施例中均需要这样的分离,并且应当理解,所描述的程序组件和系统通常可以一起集成在单个软件产品中,或者封装成多个软件产品。
[0306]
由此,主题的特定实施例已被描述。其他实施例在本技术的范围以内。在某些情况下,本技术中记载的动作可以以不同的顺序执行并且仍实现期望的结果。此外,附图中描绘的处理并非必需所示的特定顺序或顺次顺序,以实现期望的结果。在某些实现中,多任务和并行处理可能是有利的。
[0307]
本领域技术人员在考虑说明书及实践这里申请的发明后,将容易想到本说明书的其它实施方案。本说明书旨在涵盖本说明书的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本说明书的一般性原理并包括本说明书未申请的本技术领域中的公知常识或惯用技术手段。也即是,本说明书并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。
[0308]
以上所述仅为本说明书的可选实施例而已,并不用以限制本说明书,凡在本说明
书的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本说明书保护的范围之内。
再多了解一些

本文用于企业家、创业者技术爱好者查询,结果仅供参考。

发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表

相关文献