地图数据扩充方法、装置、电子设备、介质和程序产品与流程

1.本公开涉及计算机领域，尤其涉及地图绘制领域和自动驾驶领域，可应用于辅助驾驶和自动驾驶场景，并且更具体地，涉及地图数据扩充方法、地图数据扩充装置、电子设备、计算机可读存储介质和计算机程序产品。


背景技术：

2.对于例如提供自主泊车功能的辅助驾驶或者自动驾驶应用而言，需要根据提前构建好的停车场地图来实时计算车辆的位姿。然而，停车场环境可能会随着时间发生缓慢变化，尤其是室外停车场，不同天气或是同一天的不同时间段的不同光照情况也会导致地图可靠性下降或失效，这时会使得已经被构建好的地图的可靠性下降。因此，可以在用户经过建图区域时采集传感器数据，并且使用采集的传感器数据来扩充更新地图数据，从而使得地图能够自动地适应场景的变化，进而可以扩展该路线地图的可用时间。
3.然而，传统的用于地图数据扩充的技术的数据扩充精度不足，因此无法提供准确的地图数据。


技术实现要素：

4.根据本公开的实施例，提供了一种地图数据扩充方法、地图数据扩充装置、电子设备、计算机可读存储介质和计算机程序产品。
5.在本公开的第一方面中，提供了一种地图数据扩充方法，包括：获取与第一图像集合相关联的二维坐标点的第一集合以及与二维坐标点的第一集合相关联的第一特征描述子集合；获取地图数据，地图数据包括三维坐标点的集合以及与三维坐标点的集合相关联的第二特征描述子集合，第一图像集合与地图数据针对同一地图；针对第一图像集合中的第一图像，基于第一特征描述子集合和第二特征描述子集合，确定与第一图像相关联的二维坐标点的第一子集和三维坐标点的集合之间的第一匹配点对集合；基于第一匹配点对集合，确定第一图像相对于三维坐标点的集合的第一位姿；以及基于第一位姿，将二维坐标点的第一子集转换为可用于扩充地图数据的三维坐标点的第一子集。
6.在本公开的第二方面中，提供了一种地图数据扩充装置，包括：第一获取模块，被配置为对第一图像集合进行特征提取，以得到二维坐标点的第一集合以及与二维坐标点的第一集合相关联的第一特征描述子集合；第二获取模块，被配置为获取地图数据，地图数据包括三维坐标点的集合以及与三维坐标点的集合相关联的第二特征描述子集合，第一图像集合与地图数据针对同一地图；第一匹配点对集合确定模块，被配置为针对第一图像集合中的第一图像，基于第一特征描述子集合和第二特征描述子集合，确定与第一图像相关联的二维坐标点的第一子集和三维坐标点的集合之间的第一匹配点对集合；第一位姿确定模块，被配置为基于第一匹配点对集合，确定第一图像相对于三维坐标点的集合的第一位姿；以及转换模块，被配置为基于第一位姿，将二维坐标点的第一子集转换为可用于扩充地图数据的三维坐标点的第一子集。
7.在本公开的第三方面中，提供了一种电子设备，包括至少一个处理器；以及与至少一个处理器通信连接的存储器；其中存储器存储有可被至少一个处理器执行的指令，该指令被至少一个处理器执行，以使至少一个处理器能够实现根据本公开的第一方面的方法。
8.在本公开的第四方面中，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，计算机指令用于使计算机实现根据本公开的第一方面的方法。
9.在本公开的第五方面中，提供了一种计算机程序产品，包括计算机程序，计算机程序在被处理器执行时，执行根据本公开的第一方面的方法。
10.利用根据本技术的技术，提供了一种地图数据扩充方法，利用该方法的技术方案，可以利用较高精度实现对地图数据的扩充，从而不仅能够提供更为准确的地图数据，也能够提升需要使用经扩充的地图数据的用户的用户体验。
11.应当理解，发明内容部分中所描述的内容并非旨在限定本公开的实施例的关键或重要特征，亦非用于限制本公开的范围。本公开的其它特征将通过以下的描述变得容易理解。
附图说明
12.通过结合附图对本公开示例性实施例进行更详细的描述，本公开的上述以及其它目的、特征和优势将变得更加明显，其中在本公开示例性实施例中，相同的参考标号通常代表相同部件。应当理解，附图用于更好地理解本方案，不构成对本公开的限定。其中：
13.图1示出了可以在其中实现本公开的某些实施例中的地图数据扩充方法的地图数据扩充环境100的示意性框图；
14.图2示出了根据本公开实施例的地图数据扩充方法200的流程图；
15.图3示出了根据本公开实施例的地图数据扩充方法300的流程图；
16.图4示出了根据本公开的实施例的地图数据扩充装置400的示意性框图；以及
17.图5示出了可以用来实施本公开的实施例的示例电子设备500的示意性框图。
18.在各个附图中，相同或对应的标号表示相同或对应的部分。
具体实施方式
19.下面将参照附图更详细地描述本公开的优选实施例。虽然附图中显示了本公开的优选实施例，然而应该理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了使本公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。
20.在本文中使用的术语“包括”及其变形表示开放性包括，即“包括但不限于”。除非特别申明，术语“或”表示“和/或”。术语“基于”表示“至少部分地基于”。术语“一个示例实施例”和“一个实施例”表示“至少一个示例实施例”。术语“另一实施例”表示“至少一个另外的实施例”。术语“第一”、“第二”等等可以指代不同的或相同的对象。下文还可能包括其他明确的和隐含的定义。
21.如以上在背景技术中所描述的，传统的用于地图数据扩充的技术数据扩充精度不足，因此无法提供准确的地图数据。
22.为了至少部分地解决上述问题以及其他潜在问题中的一个或者多个问题，本公开
的实施例提出了一种地图数据扩充方法，利用该方法的技术方案，可以利用较高精度实现对地图数据的扩充，从而不仅能够提供更为准确的地图数据，也能够提升需要使用经扩充的地图数据的用户的用户体验。
23.图1示出了可以在其中实现本公开的某些实施例中的地图数据扩充方法的地图数据扩充环境100的示意性框图。根据本公开的一个或多个实施例，地图数据扩充环境100可以是云环境。如图1中所示，地图数据扩充环境100包括计算设备110。在地图数据扩充环境100中，扩充相关数据120作为计算设备110的输入被提供给计算设备110。扩充相关数据120例如可以包括第一图像集合、与第一图像集合相关联的二维坐标点的第一集合以及与二维坐标点的第一集合相关联的第一特征描述子集合以及地图数据，其中地图数据包括三维坐标点的集合以及与三维坐标点的集合相关联的第二特征描述子集合。
24.根据本公开的一个或多个实施例，也可以被称为点云的、例如三维坐标点的集合可以是具有三维坐标的点的集合，其中点的三维坐标可以是例如形式为(x,y,z)的世界坐标。
25.根据本公开的一个或多个实施例，例如第一特征描述子集合和第二特征描述子集合的特征描述子集合包括特征描述子，其中特征描述子可以是多维矢量的形式。特征描述子来源于由图像采集设备所采集到的图像集合中的特征点，特征点是图像的局部特征，其对旋转、尺寸缩放、亮度变化保持不变性，对视角变化、仿射变换、噪声也保持一定程度的稳定性。可以通过使用例如sift、superpoint、orb的特征提取算法对采集到的图像集合中的图像进行特征提取，来获取特征描述子集合。由于图像中的特征点具有对应的特征描述子，因此利用图像集合构建地图的地图数据中所包括的三维坐标点的集合中的三维坐标点会继承图像集合中的对应特征点的特征描述子。
26.根据本公开的一个或多个实施例，第一图像集合与地图数据针对同一地图。例如，第一图像集合可以是针对停车场场景所采集到的图像集合，并且地图数据可以是针对同一停车场场景所构建的三维地图的地图数据。
27.根据本公开的一个或多个实施例，第一图像集合可以是最新通过一趟采集获取的采集到的图像的集合，地图数据可以是当前现有地图的地图数据，其中地图数据可以是经过多次地图数据扩充而被形成的较大的地图数据。
28.在获取到作为输入的扩充相关数据120之后，计算设备110可以基于扩充相关数据120中所包括的特征描述子集合，通过确定匹配点对集合、确定位姿等操作来利用扩充相关数据120中所包括的第一图像集合来扩充地图数据，从而可以得到经扩充的地图数据，并且可以输出经扩充的地图数据。
29.应当理解，地图数据扩充环境100仅仅是示例性而不是限制性的，并且其是可扩展的，其中可以包括更多的计算设备110，并且可以向计算设备110提供更多的扩充相关数据120作为输入，从而使得可以满足更多用户同时利用更多的计算设备110，甚至利用更多的扩充相关数据120来同时或者非同时地进行地图数据扩充操作的需求。
30.在图1所示的地图数据扩充环境100中，向计算设备110输入扩充相关数据120的操作可以通过网络来进行，并且计算设备110例如可以是高算力云端平台中的计算设备。
31.图2示出了根据本公开的实施例的地图数据扩充方法200的流程图。具体而言，地图数据扩充方法200可以由图1中所示的地图数据扩充环境100中的计算设备110来执行。应
当理解的是，地图数据扩充方法200还可以包括未示出的附加操作和/或可以省略所示出的操作，本公开的范围在此方面不受限制。
32.在框202，计算设备110获取与第一图像集合相关联的二维坐标点的第一集合以及与二维坐标点的第一集合相关联的第一特征描述子集合。第一图像集合可以是由图像采集设备针对需要针对其构建地图数据的场景所采集的。
33.根据本公开的一个或多个实施例，计算设备110可以首先获取第一图像集合。而后，计算设备110可以使用例如sift、superpoint、orb的特征提取算法对第一采集图像集合进行特征提取，以获取例如可以是特征点集合的二维坐标点的第一集合以及与二维坐标点的第一集合相关联的第一特征描述子集合。
34.在框204，计算设备110获取地图数据。根据本公开的一个或多个实施例，地图数据包括三维坐标点的集合以及与三维坐标点的集合相关联的第二特征描述子集合，并且第一图像集合与地图数据针对同一地图。在一些实施例中，地图数据可以是基于对场景的一次采集所得到图像集合而被构建的地图数据。在另一些实施例中，地图数据可以是经过多次地图数据扩充而已经被形成的较大的地图数据。
35.在框206，计算设备110针对第一图像集合中的第一图像，基于第一特征描述子集合和第二特征描述子集合，确定与第一图像相关联的二维坐标点的第一子集和三维坐标点的集合之间的第一匹配点对集合。
36.根据本公开的一个或多个实施例，计算设备110可以首先针对与第一图像相关联的二维坐标点的第一子集中的第一二维坐标点，基于第一特征描述子集合中的、与第一二维坐标点相关联的第一特征描述子，以及第二特征描述子集合，确定第二特征描述子集合中的、与第一特征描述子距离最近的第二特征描述子。如前所述，特征描述子可以是多维矢量的形式，因此可以通过两个特征描述子之间的距离来确定两个特征描述子之间的相似度，其中两个特征描述子之间的距离越近则两个特征描述子之间的相似度越高。
37.而后，计算设备110可以确定第一特征描述子与第二特征描述子之间的距离是否小于第一阈值距离，并且在确定第一特征描述子与第二特征描述子之间的距离小于第一阈值距离时，将与第一特征描述子和第二特征描述子相关联的点对确定为第一匹配点对集合中的匹配点对。
38.根据本公开的一个或多个实施例，第一图像集合中的第一图像可以是指第一图像集合中的任一图像。在确定与第一图像相关联的二维坐标点的第一子集和三维坐标点的集合之间的第一匹配点对集合时，计算设备110可以针对二维坐标点的第一子集中的每个点，在三维坐标点的集合中寻找匹配的三维坐标点以形成匹配点对，并且针对二维坐标点的第一子集中的所有点所形成的匹配点对构成第一匹配点对集合中。在一些实施例中，二维坐标点的第一子集中只有少数点能够与三维坐标点的集合中的三维坐标点形成匹配点对。
39.根据本公开的一个或多个实施例，匹配点对中所包括的二维坐标点可以被初步认为是在被转化为地图数据中的三维坐标点之后，与匹配点对中所包括的三维坐标点是物理世界中的同一个三维坐标点。
40.在框208，计算设备110基于在框206确定的第一匹配点对集合，确定第一图像相对于三维坐标点的集合的第一位姿。根据本公开的一个或多个实施例，计算设备110利用视角n点(perspective
‑
n
‑
point，pnp)算法，基于第一匹配点对集合来确定第一图像相对于三维
坐标点的集合的第一位姿。
41.根据本公开的一个或多个实施例，计算设备110可以确定与第一图像相关联的第一匹配点对集合中的匹配点对的数目是否多于与第一图像集合中的、尚未被确定位姿的每个其他图像相关联的每个匹配点对集合中的匹配点对的数目，并且在确定与第一图像相关联的第一匹配点对集合中的匹配点对的数目多于与第一图像集合中的、尚未被确定位姿的每个其他图像相关联的每个匹配点对集合中的匹配点对的数目时，基于第一匹配点对集合，确定第一位姿。
42.根据本公开的一个或多个实施例，在确定第一位姿时，计算设备110可以首先基于第一匹配点对集合，确定第一图像相对于三维坐标点的集合的第二位姿。而后，计算设备110可以基于重投影误差约束，使用捆绑调整非线性优化算法来优化第二位姿，以得到第一位姿。
43.根据本公开的一个或多个实施例，在优化第二位姿时，计算设备110除了基于重投影误差约束之外，还可以基于以下至少一项：与第一图像集合中的相邻的两张图像相关联的位姿约束；与相邻的两张图像相关联的旋转角度约束；以及与相邻的两张图像相关联的点对距离误差约束。与第一图像集合中的相邻的两张图像相关联的位姿约束可以与采集相邻的两张图像时的轮速或者间隔距离相关联，其中对轮速和时间进行积分可以得到间隔距离。与相邻的两张图像相关联的旋转角度约束可以与物体的运动加速度、角速度等相关联，并且可以通过惯性传感器来测量，从而可以得到用于表示两张图像之间的旋转角度的姿态角。与相邻的两张图像相关联的点对距离误差约束可以与两张图像中的例如同一车位角点的相同的点相关联。
44.换言之，框208所涉及的步骤可以被迭代地进行，并且每次所针对的都是第一图像集合中的、尚未被确定位姿的多个图像中的、相关联的匹配点对集合中的匹配点对的数目最多的图像。
45.在框210，计算设备110基于在框208确定的第一位姿，将二维坐标点的第一子集转换为可用于扩充地图数据的三维坐标点的第一子集。根据本公开的一个或多个实施例，计算设备110可以基于第一图像相对于三维坐标点的集合的第一位姿，将与第一图像相关联的二维坐标点的第一子集中的每个二维坐标点转换为与地图数据相关联的三维坐标点的集合中的对应三维坐标点。经转换的这一对应的三维坐标点而后可以通过被添加到与地图数据相关联的三维坐标点的集合中来扩充地图数据。
46.根据本公开的一个或多个实施例，方法200可以被迭代地进行，直到基于第一图像集合中的每张图像都确定了可以用于扩充地图数据的三维坐标点。
47.由此可见，在地图数据扩充方法200中，主要涉及与第一图像集合相关联的二维坐标点和与地图数据相关联的三维坐标点之间的匹配。
48.图3示出了根据本公开实施例的地图数据扩充方法300的流程图。具体而言，地图数据扩充方法300同样可以由图1中所示的地图数据扩充环境100中的计算设备110来执行。应当理解的是，地图数据扩充方法300还可以包括未示出的附加操作和/或可以省略所示出的操作，本公开的范围在此方面不受限制。地图数据扩充方法300可以被认为是对地图数据扩充方法200的扩展。
49.在框302，计算设备110获取与第一图像集合相关联的二维坐标点的第一集合以及
与二维坐标点的第一集合相关联的第一特征描述子集合。框302的具体内容与框202的具体内容相同，在此不再赘述。
50.在框304，计算设备110获取地图数据。根据本公开的一个或多个实施例，地图数据包括三维坐标点的集合以及与三维坐标点的集合相关联的第二特征描述子集合，并且第一图像集合与地图数据针对同一地图。框304的具体内容与框204的具体内容相同，在此不再赘述。
51.在框306，计算设备110针对第一图像集合中的第一图像，基于第一特征描述子集合和第二特征描述子集合，确定与第一图像相关联的二维坐标点的第一子集和三维坐标点的集合之间的第一匹配点对集合。框306的具体内容与框206的具体内容相同，在此不再赘述。
52.在框308，计算设备110基于在框306确定的第一匹配点对集合，确定第一图像相对于三维坐标点的集合的第一位姿。框308的具体内容与框208的具体内容相同，在此不再赘述。
53.在框310，计算设备110基于在框308确定的第一位姿，将二维坐标点的第一子集转换为可用于扩充地图数据的三维坐标点的第一子集。框310的具体内容与框210的具体内容相同，在此不再赘述。
54.在框312，计算设备110确定第一图像集合中的、与第一图像间隔多个预定间隔的多个其他图像。根据本公开的一个或多个实施例，多个预定间隔可以包括1张图像、3张图像、7张图像、9张图像、12张图像等。在确定前述多个其他图像时，如果是从第一图像集合中的第一张图像开始，则只需要考虑在第一张图像后面的间隔前述预定间隔的图像。同时，在确定到例如第三张图像时，由于在针对第一张图像进行确定时已经对第一张图像和第三张图像进行了匹配，因此实际上同样只需要考虑在第三张图像后面的间隔前述预定间隔的图像。
55.在框314，计算设备110基于第一特征描述子集合，确定与第一图像相关联的二维坐标点的第一子集和与多个其他图像相关联的二维坐标点的多个子集之间的第二匹配点对集合。
56.根据本公开的一个或多个实施例，计算设备110可以首先针对二维坐标点的第一子集中的第一二维坐标点，基于第一特征描述子集合，确定与多个其他图像中的第二图像相关联的特征描述子的第一子集中的、与和第一二维坐标点相关联的第一特征描述子距离最近的第三特征描述子。
57.而后，计算设备110可以确定第一特征描述子与第三特征描述子之间的距离是否小于第二阈值距离，并且在确定第一特征描述子与第三特征描述子之间的距离小于第二阈值距离时，将与第一特征描述子和第三特征描述子相关联的点对确定为第二匹配点对集合中的匹配点对。
58.根据本公开的一个或多个实施例，二维坐标点的第一子集中的第一二维坐标点可以是二维坐标点的第一子集中的任一二维坐标点。在确定与第一图像相关联的二维坐标点的第一子集和与多个其他图像相关联的二维坐标点的多个子集之间的第二匹配点对集合时，计算设备110可以针对二维坐标点的第一子集中的每个点，在与多个其他图像相关联的二维坐标点的多个子集中寻找匹配的二维坐标点以形成匹配点对，并且针对二维坐标点的
第一子集中的所有点所形成的匹配点对构成第二匹配点对集合中。在一些实施例中，由于二维坐标点的多个子集与多个其他图像相关联，因此二维坐标点的第一子集中的第一二维坐标点可以与和多个其他图像中的多于一个其他图像相关联的二维坐标点形成多于一个匹配点对。在一些实施例中，二维坐标点的第一子集中只有少数点能够与三维坐标点的集合中的三维坐标点形成匹配点对。
59.在框316，计算设备110确定与第二匹配点对集合中的第一匹配点对中的任一点相关联的图像是否已被确定位姿。如果与第二匹配点对集合中的第一匹配点对中的任一点相关联的图像已被确定位姿，则方法300前进到框318。否则，方法300可以不执行操作。
60.根据本公开的一个或多个实施例，如果与第二匹配点对集合中的第一匹配点对中的任一点相关联的图像已被确定位姿，则说明这一匹配点对中的至少一个点已经与和地图数据相关联的三维坐标点的集合进行过匹配，此时这一匹配点对可以被用于扩充地图数据。
61.在框318，计算设备110通过特征点三角化，基于第一匹配点对生成可用于扩充地图数据的三维坐标点的第二子集。根据本公开的一个或多个实施例，对第一匹配点对进行特征点三角化可以被认为是从第一匹配点向地图数据的视觉重建。
62.在框320，计算设备110确定第一匹配点对集合中的、与三维坐标点的集合相关联的三维坐标点的子集。根据本公开的一个或多个实施例，由于第一匹配点对集合是与第一图像相关联的二维坐标点的第一子集和三维坐标点的集合之间的匹配点对集合，因此与第一匹配点对集合中的每个匹配点对中都会包括和与地图数据相关联的三维坐标点的集合中的点。因此，可以确定第一匹配点对集合中的、与三维坐标点的集合相关联的三维坐标点的子集。
63.在框322，计算设备110确定用于形成地图数据的，与三维坐标点的子集相关联的第二图像集合。根据本公开的一个或多个实施例，地图数据同样是由图像集合形成的，因此与地图数据相关联的三维坐标点的集合中的每个点都会与用于形成地图数据的至少一张图像相关联。因此，可以基于在框320确定的三维坐标点的子集来确定用于形成地图数据的第二图像集合，并且第二图像集合可以并不是用于形成地图数据的所有图像的集合，而是可以仅包括用于形成地图数据的所有图像中的一部分图像。
64.在框324，计算设备110基于第一特征描述子集合，确定与第一图像相关联的二维坐标点的第一子集和与第二图像集合相关联的二维坐标点的子集之间的第三匹配点对集合。
65.根据本公开的一个或多个实施例，计算设备110可以首先针对二维坐标点的第一子集中的第一二维坐标点，基于第一特征描述子集合，确定与第二图像集合中的第三图像相关联的特征描述子的第二子集中的、与和第一二维坐标点相关联的第一特征描述子距离最近的第四特征描述子。
66.而后，计算设备110可以确定第一特征描述子与第四特征描述子之间的距离是否小于第三阈值距离，并且在确定第一特征描述子与第四特征描述子之间的距离小于第三阈值距离时，将与第一特征描述子和第四特征描述子相关联的点对确定为第三匹配点对集合中的匹配点对。
67.根据本公开的一个或多个实施例，二维坐标点的第一子集中的第一二维坐标点可
以是二维坐标点的第一子集中的任一二维坐标点。在确定与第一图像相关联的二维坐标点的第一子集和与第二图像集合相关联的二维坐标点的子集之间的第三匹配点对集合时，计算设备110可以针对二维坐标点的第一子集中的每个点，在与第二图像集合相关联的二维坐标点的子集中寻找匹配的二维坐标点以形成匹配点对，并且针对二维坐标点的第一子集中的所有点所形成的匹配点对构成第三匹配点对集合中。在一些实施例中，由于二维坐标点的子集与多个图像相关联，因此二维坐标点的第一子集中的第一二维坐标点可以与和第二图像集合中的多于一个图像相关联的二维坐标点形成多于一个匹配点对。在一些实施例中，二维坐标点的第一子集中只有少数点能够与二维坐标点的子集中的二维坐标点形成匹配点对。
68.在框326，计算设备110通过特征点三角化，基于第三匹配点对集合生成可用于扩充地图数据的三维坐标点的第三子集。根据本公开的一个或多个实施例，对第三匹配点对集合中点匹配点对进行特征点三角化可以被认为是从第三匹配点对集合向地图数据的视觉重建。
69.在框328，计算设备110使用捆绑调整非线性优化算法来优化以下至少一项：三维坐标点的第一子集、三维坐标点的第二子集和三维坐标点的第三子集。使用捆绑调整非线性优化算法进行优化的方式与参照方法200中的框208所描述的内容相同，在此不再赘述。
70.在框330，计算设备110对三维坐标点的第一子集中的第一三维坐标点进行重投影，以得到重投影的二维坐标点。
71.在框332，计算设备110确定重投影的二维坐标点与二维坐标点的第一子集中的、和第一三维坐标点相关联的第二二维坐标点之间的距离是否大于第四阈值距离。如果重投影的二维坐标点与二维坐标点的第一子集中的、和第一三维坐标点相关联的第二二维坐标点之间的距离大于第四阈值距离，则方法300前进到框334。否则，方法300可以不执行操作。
72.根据本公开的一个或多个实施例，当重投影的二维坐标点与二维坐标点的第一子集中的、和第一三维坐标点相关联的第二二维坐标点之间的距离大于第四阈值距离时，说明用于生成重投影的二维坐标点的第一三维坐标点可能存在错误，因此需要对其进行进一步处理。
73.在框334，计算设备110从三维坐标点的第一子集删除第一三维坐标点。
74.根据本公开的一个或多个实施例，当重投影的二维坐标点与二维坐标点的第一子集中的、和第一三维坐标点相关联的第二二维坐标点之间的距离大于第四阈值距离时，也可以并不直接从三维坐标点的第一子集删除第一三维坐标点，而是可以例如通过人工判断来决定是否需要删除第一三维坐标点。
75.根据本公开的一个或多个实施例，框330至框334中的步骤同样可以适用于三维坐标点的第二子集和三维坐标点的第三子集。
76.根据本公开的一个或多个实施例，方法300可以被迭代地进行，直到基于第一图像集合中的每张图像都确定了可以用于扩充地图数据的三维坐标点。
77.以上参考图1至图3描述了与可以在其中实现本公开的某些实施例中的地图数据扩充方法的地图数据扩充环境100、根据本公开实施例的地图数据扩充方法200、以及根据本公开实施例的地图数据扩充方法300的相关内容。应当理解，上述描述是为了更好地展示本公开中所记载的内容，而不是以任何方式进行限制。
78.应当理解，本公开的上述各个附图中所采用的各种元件的数目和物理量的大小仅为举例，而并不是对本公开的保护范围的限制。上述数目和大小可以根据需要而被任意设置，而不会对本公开的实施方式的正常实施产生影响。
79.上文已经参见图1至图3描述了根据本公开的实施方式的地图数据扩充方法200和地图数据扩充方法300的细节。在下文中，将参见图4描述地图数据扩充装置中的各个模块。
80.图4是根据本公开实施例的地图数据扩充装置400的示意性框图。如图4所示，地图数据扩充装置400可以包括：第一获取模块410，被配置为对第一图像集合进行特征提取，以得到二维坐标点的第一集合以及与二维坐标点的第一集合相关联的第一特征描述子集合；第二获取模块420，被配置为获取地图数据，地图数据包括三维坐标点的集合以及与三维坐标点的集合相关联的第二特征描述子集合，第一图像集合与地图数据针对同一地图；第一匹配点对集合确定模块430，被配置为针对第一图像集合中的第一图像，基于第一特征描述子集合和第二特征描述子集合，确定与第一图像相关联的二维坐标点的第一子集和三维坐标点的集合之间的第一匹配点对集合；第一位姿确定模块440，被配置为基于第一匹配点对集合，确定第一图像相对于三维坐标点的集合的第一位姿；以及转换模块450，被配置为基于第一位姿，将二维坐标点的第一子集转换为可用于扩充地图数据的三维坐标点的第一子集。
81.在一个或多个实施例中，其中第一匹配点对集合确定模块430包括：第一特征描述子确定模块(未示出)，被配置为针对二维坐标点的第一子集中的第一二维坐标点，基于第一特征描述子集合中的、与第一二维坐标点相关联的第一特征描述子，以及第二特征描述子集合，确定第二特征描述子集合中的、与第一特征描述子距离最近的第二特征描述子；以及第一匹配点对确定模块(未示出)，被配置为如果第一特征描述子与第二特征描述子之间的距离小于第一阈值距离，则将与第一特征描述子和第二特征描述子相关联的点对确定为第一匹配点对集合中的匹配点对。
82.在一个或多个实施例中，其中第一位姿确定模块440包括：第二位姿确定模块(未示出)，被配置为如果与第一图像相关联的第一匹配点对集合中的匹配点对的数目多于与第一图像集合中的、尚未被确定位姿的每个其他图像相关联的每个匹配点对集合中的匹配点对的数目，则基于第一匹配点对集合，确定第一位姿。
83.在一个或多个实施例中，地图数据扩充装置400还包括：第一图像确定模块(未示出)，被配置为确定第一图像集合中的、与第一图像间隔多个预定间隔的多个其他图像；第二匹配点对确定模块(未示出)，被配置为基于第一特征描述子集合，确定与第一图像相关联的二维坐标点的第一子集和与多个其他图像相关联的二维坐标点的多个子集之间的第二匹配点对集合；以及第一子集生成模块(未示出)，被配置为如果与第二匹配点对集合中的第一匹配点对中的任一点相关联的图像已被确定位姿，则通过特征点三角化，基于第一匹配点对生成可用于扩充地图数据的三维坐标点的第二子集。
84.在一个或多个实施例中，其中第二匹配点对确定模块包括：第二特征描述子确定模块(未示出)，被配置为针对二维坐标点的第一子集中的第一二维坐标点，基于第一特征描述子集合，确定与多个其他图像中的第二图像相关联的特征描述子的第一子集中的、与和第一二维坐标点相关联的第一特征描述子距离最近的第三特征描述子；以及第三匹配点对确定模块(未示出)，被配置为如果第一特征描述子与第三特征描述子之间的距离小于第
二阈值距离，则将与第一特征描述子和第三特征描述子相关联的点对确定为第二匹配点对集合中的匹配点对。
85.在一个或多个实施例中，地图数据扩充装置400还包括：子集确定模块(未示出)，被配置为确定第一匹配点对集合中的、与三维坐标点的集合相关联的三维坐标点的子集；图像集合确定模块(未示出)，被配置为确定用于形成地图数据的，与三维坐标点的子集相关联的第二图像集合；第四匹配点对确定模块(未示出)，被配置为基于第一特征描述子集合，确定与第一图像相关联的二维坐标点的第一子集和与第二图像集合相关联的二维坐标点的子集之间的第三匹配点对集合；以及第二子集生成模块(未示出)，被配置为通过特征点三角化，基于第三匹配点对集合生成可用于扩充地图数据的三维坐标点的第三子集。
86.在一个或多个实施例中，其中第四匹配点对确定模块包括：第三特征描述子确定模块(未示出)，被配置为针对二维坐标点的第一子集中的第一二维坐标点，基于第一特征描述子集合，确定与第二图像集合中的第三图像相关联的特征描述子的第二子集中的、与和第一二维坐标点相关联的第一特征描述子距离最近的第四特征描述子；以及第五匹配点对确定模块(未示出)，被配置为如果第一特征描述子与第四特征描述子之间的距离小于第三阈值距离，则将与第一特征描述子和第四特征描述子相关联的点对确定为第三匹配点对集合中的匹配点对。
87.在一个或多个实施例中，其中第一位姿确定模块440包括：第三位姿确定模块(未示出)，被配置为基于第一匹配点对集合，确定第一图像相对于三维坐标点的集合的第二位姿；以及第一优化模块(未示出)，被配置为基于重投影误差约束，使用捆绑调整非线性优化算法来优化第二位姿，以得到第一位姿。
88.在一个或多个实施例中，其中第一优化模块还被配置为基于以下至少一项使用捆绑调整非线性优化算法来优化第二位姿：与第一图像集合中的相邻的两张图像相关联的位姿约束；与相邻的两张图像相关联的旋转角度约束；以及与相邻的两张图像相关联的点对距离误差约束。
89.在一个或多个实施例中，地图数据扩充装置400还包括：第二优化模块(未示出)，被配置为基于重投影误差约束，使用捆绑调整非线性优化算法来优化三维坐标点的第一子集。
90.在一个或多个实施例中，地图数据扩充装置400还包括：重投影模块(未示出)，被配置为对三维坐标点的第一子集中的第一三维坐标点进行重投影，以得到重投影的二维坐标点；以及删除模块(未示出)，被配置为如果重投影的二维坐标点与二维坐标点的第一子集中的、和第一三维坐标点相关联的第二二维坐标点之间的距离大于第四阈值距离，则从三维坐标点的第一子集删除第一三维坐标点。
91.通过以上参考图1至图4的描述，根据本公开的实施方式的技术方案相对于传统方案具有诸多优点。例如，利用该方法的技术方案，可以利用较高精度实现对地图数据的扩充，从而不仅能够提供更为准确的地图数据，也能够提升需要使用经扩充的地图数据的用户的用户体验。
92.应当理解，发明内容部分中所描述的内容并非旨在限定本公开的实施例的关键或重要特征，亦非用于限制本公开的范围。本公开的其它特征将通过以下的描述变得容易理解。
93.根据本公开的实施例，还提供了一种电子设备、一种计算机可读存储介质和一种计算机程序产品。
94.图5示出了可以用来实施本公开的实施例的示例电子设备500的示意性框图。例如，如图1所示的计算设备110和如图4所示的地图数据扩充装置400可以由电子设备500来实施。电子设备500旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
95.如图5所示，设备500包括计算单元501，其可以根据存储在只读存储器(rom)502中的计算机程序或者从存储单元508加载到随机访问存储器(ram)503中的计算机程序，来执行各种适当的动作和处理。在ram 503中，还可存储设备500操作所需的各种程序和数据。计算单元501、rom 502以及ram 503通过总线504彼此相连。输入/输出(i/o)接口505也连接至总线504。
96.设备500中的多个部件连接至i/o接口505，包括：输入单元506，例如键盘、鼠标等；输出单元507，例如各种类型的显示器、扬声器等；存储单元508，例如磁盘、光盘等；以及通信单元509，例如网卡、调制解调器、无线通信收发机等。通信单元509允许设备500通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
97.计算单元501可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元501的一些示例包括但不限于中央处理单元(cpu)、图形处理单元(gpu)、各种专用的人工智能(ai)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(dsp)、以及任何适当的处理器、控制器、微控制器等。计算单元501执行上文所描述的各个方法和处理，例如地图数据扩充方法200和300。例如，在一些实施例中，地图数据扩充方法200和300可以被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元508。在一些实施例中，计算机程序的部分或者全部可以经由rom 502和/或通信单元509而被载入和/或安装到设备500上。当计算机程序加载到ram 503并由计算单元501执行时，可以执行上文描述的地图数据扩充方法200和300的一个或多个步骤。备选地，在其他实施例中，计算单元501可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行地图数据扩充方法200和300。
98.本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(fpga)、专用集成电路(asic)、专用标准产品(assp)、芯片上系统的系统(soc)、负载可编程逻辑设备(cpld)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
99.用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处
理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
100.在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或快闪存储器)、光纤、便捷式紧凑盘只读存储器(cd
‑
rom)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
101.为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，crt(阴极射线管)或者lcd(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
102.可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(lan)、广域网(wan)和互联网。
103.计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端
‑
服务器关系的计算机程序来产生客户端和服务器的关系。
104.应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
105.上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。