一种人形机器人多场景下的高精度地图构建与导航方法

本发明属于机器人，具体涉及一种人形机器人多场景下的高精度地图构建与导航方法。

背景技术：

1、点云、栅格和拓扑是三种主要的地图表示形式，它们在人形机器人技术中发挥着关键作用。点云是由在三维空间中分布的大量点组成，能够高精度地捕捉和重建复杂的环境细节，使其非常适合于人形机器人的精确导航和障碍物避让，但其缺点在于需要大量的数据处理能力和存储空间。栅格地图通过像素化的方式将环境信息编码成网格形式，简化了图像处理流程，便于人形机器人进行快速地形分析和路径规划，然而其空间分辨率限制了细节的表现，可能影响导航精度。拓扑地图强调地理元素间的空间关系，如连通性和邻接性，优化了机器人的动态路径规划，但其复杂的数据结构要求较高的数据处理技术。这些地图技术的发展和应用为人形机器人的功能性和效率提供了强大的支持，使其能够在复杂多变的环境中更加自如地操作。

2、其中，拓扑地图的表示较为值观，存储成本也最小，在这个基础上实现导航功能的难度较小，并且运算成本较低。缺点是精度较低。

技术实现思路

1、为了克服现有技术的不足，本发明提供了一种人形机器人多场景下的高精度地图构建与导航方法，旨在解决现有技术中地图构建和导航精度不足的问题。该方法包括以下步骤：首先，通过惯性测量单元(imu)和深度像机实现硬件部分的准备；然后构建包含视觉网络和自然语言处理模块的网络模型，其中视觉网络用于实现2维图片的语义分割和实例分割，以及整个场景的分类，自然语言处理模块用于从描述中提取物体特征并与视觉特征对齐；接着，通过构建高精度拓扑地图，包括路径表示、界点对和小场景特征，来记录机器人在不同小场景间的移动路径；最后，基于自然语言描述进行导航，通过计算物体或场景特征与地图中记录的特征相似度，确定目标物体或场景的位置，并依次查找界点对，逐步导航至目标地点。本发明提高了地图构建和导航的精度，减少了存储成本，并实现了智能化的人机交互和高效的导航能力。

2、本发明解决其技术问题所采用的技术方案如下：

3、步骤1：实现高精度地图构建与导航方法的硬件部分需要配备惯性测量单元imu和深度像机；

4、步骤2：构建网络模型，包括如下部分：

5、视觉部分：实现2维图片的语义分割以及实例分割，并且整个场景进行分类；

6、主干网：逐像素编码与整图编码主体都由卷积层组成；逐像素编码的输出为[h,w,dim]，整图编码的输出为[1,dim]，输出省略了batch维度，h、w、dim分别为图片的高、宽、编码维度；主干网由n层组成，每一层都为一个resnet；

7、图像分割：逐像素特征用于语义分割以及实例分割，而整图特征用于物体分类以及场景分类；设实例分割后，一个物体的像素特征集合为(fetpix(1，dim)*n)，n为像素的数量，则物体的特征为objectfet＝avg((fetpix(1，dim)*n))；fetpix表示逐像素特征；

8、场景分类：一个场景有n张图片，则将n个图片的特征进行平均，升维得到最终的场景特征；设一个场景内，有num个物体，表示为(avg((fetpix(1，dim)*n))，num)，则场景的特征表示为mapfet＝avg((avg((fetpix(1，dim)*n))，num))；

9、总损失函数设定为：ltotal＝lcross+ldice+lcross2+lbinarycross；其中，lcross、ldice、lcross2、lbinarycross分别为用于语义分割的交叉熵损失、实例分割l1损失、场景分类交叉熵损失以及物体是否属于特定场景的二元交叉熵损失；

10、自然语言处理部分：自然语言处理部分从一句话中提取表示物体的部分，得到最终的特征；设物体的特征为objectlan；自然语言处理得到的一个物体的特征，需要与视觉网络的特征进行对齐即知识蒸馏；

11、自然语言处理模型与视觉模型的特征对齐损失函数的定义为：llan＝1-cos(flan,fvis),flan、fvis分别为物体的语言特征以及视觉特征；

12、步骤3：构建地图；

13、路径的表示：路径表示为一个有序的坐标列表，记为way＝{(x1,y1),(x2,y2)…(xn,yn),angle1((xi,yi),(xj,yj),α)…anglen((xi,yi),(xj,yj),α)},其中angle表示到达一个点到另一个点时非直线的情况，需要进行旋转，α为旋转的角度；(xi,yi),(xj,yj)分别表示场景不同地点的坐标；

14、界点对：进行场景划分，划分的尺度为：若两个场景之间仅存在一条可通过的道路，且道路上没有用户感兴趣的物体，或者一个恰好使机器人通过的分界，则以这个地方为界，将场景分为两个小场景，两个小场景之间的分界在拓扑地图中称为“界点”，界点的数据结构为coord(x,y)，其中连接两个小场景之间的界点坐标，加上两个场景之间高纬度特征，即为一个界点对，表示为：

15、lcoord＝([coord(x,y),fet(1,dim)],way，[coord(x,y),fet(1,dim)])

16、小场景相对坐标：小场景表示的数据结构为object＝[coord(x,y),fet(1,dim)]；

17、小场景内部物体坐标：采用一个高维度的特征表示相对类别，表示为object＝(coord(x,y),fet(1,dim))；

18、小场景内部地图的构建：

19、使机器人在小场景内物体之间，或者界点与物体之间进行移动，适用imu记录机器人的行走状况，若为直线，则行走时记录每隔t1秒记录其坐标做为路径，若进行了旋转，则记录其旋转角度，向左旋转为负，向右旋转为负。当行走至物体所在坐标时，结束一次路径记录，记录下的路径结构为(object1,object2,way)。并且将结构反向，得到(object2,object1,way)，其中将way所有点顺序进行反向排列，将way中angle部分也进行反向顺序，并且角度取相反数。表示物体2到物体一的路径。记录记录结束以后，开始新一轮的记录。

20、一个小场景构建完毕以后，需要依次去向界点到达另一个小场景；

21、小场景到另一个小场景的构建：

22、在小场景内部，当到达界点时，即识别到了小场景到另一个场景的通道，记录两个结构，分别为：界点的坐标与上一个物体到界点的路径；若当前小场景已经记录完成，则去往界点，到达下一个场景；记录数据结构(lcoord,fet_1,fet2)，代表的含义为小场景到另外一个小场景的界点对，以及两个场景的高维度特征；

23、步骤4：导航；

24、给机器人一个物体或者场景的描述，而不是固定的目的地描述，机器人通过这一段描述确定物体或者给定场景的位置，然后查找数据库进行导航；

25、步骤4-1：情况1；

26、步骤4-1-1：给定一个物体的描述：首先需提取物体的自然语言特征；

27、步骤4-1-2：设提取到的自然语言物体特征为objectlan，首先需要确定物体所在的小场景。此时计算物体与小场景之间的相似度；设置一个阈值α，若相似度得分大于α，则将这个小场景加入预选场景；若物体的位置就在当前场景，跳转到步骤4-1-8；

28、步骤4-1-3：若出现小场景较大，即一个小场景有多个特征，则分别计算与多个特征的相似度，得分取与这些特征相似度得分的最大值；

29、步骤4-1-4：将多个小场景按照相相似度得分进行排列；

30、步骤4-1-5：按顺序计算小场景内部的物体特征与自然语言特征的相似度，并且取得分最大值对应的物体为目标物体；

31、步骤4-1-6：在当前的场景下，以树形结构进行扩散式查找；即查找以当前场景为起点的所有界点对，然后以查找到的结果所在的所有小场景再次进行这个过程；直到查找到对应场景，并且将查找到的界点对都加入一个列表；

32、步骤4-1-7：根据界点对列表，界点对表示一个小场景到另一个小场景的路径，到达一个小场景的入口，查找下一个界点对，即当前小场景下，到达下一个目标小场景的界点；逐步进行这个过程，直到所有的界点对查找完毕；

33、步骤4-1-8：到达相应场景后，根据当前界点或者物体的位置，广播式查找目标物体的位置，得到一个元素为(object1,object2,way)的列表，根据列表中的way元素，进行导航；

34、步骤4-2：情况2；

35、步骤4-2-1：给定一个场景的描述，提取这个场景的自然语言特征；

36、步骤4-2-2：设提取到的自然语言物体特征为objectlan,计算objectlan与小场景之间的相似度，为了准确性，设置一个阈值α，若相似度得分大于α，则将这个小场景加入预选场景；

37、步骤4-2-3：若出现小场景较大，即一个小场景有多个特征，则分别计算与多个特征的相似度，得分取与这些特征相似度得分的最大值；

38、步骤4-2-4：将多个小场景按照相相似度得分进行排列；

39、步骤4-2-5：在当前的场景下，以树形结构进行扩散式查找；即查找以当前场景为起点的所有界点对，然后以查找到的结果所在的所有小场景再次进行这个过程；直到查找到对应场景，并且将查找到的界点对都加入一个列表；

40、步骤4-2-6：根据界点对列表，界点对表示一个小场景到另一个小场景的路径，到达一个小场景的入口，查找下一个界点对，即当前小场景下，到达下一个目标小场景的界点；逐步进行这个过程，直到所有的界点对查找完毕。

41、优选地，所述t1＝0.1。

42、本发明的有益效果如下：

43、1.给出了一种全新的拓扑地图表示方式，提高了精度的同时，减小了地图存储的成本。

44、2.给出了一种新的场景和物体表示方式，使用软分类的方式，一直用高维度特征表示物体。

45、3.结合深度学习，实现更加智能化的导航。