一种基于视觉信息的类脑导航方法与流程

本发明属于计算机视觉领域，涉及室内定位与导航技术，具体为一种基于视觉信息的类脑导航方法。

背景技术：

1、目前，全球卫星导航系统(global navigation satellite system,gnss)是最常用的定位导航系统，室外定位精度可达到厘米级；但是由于卫星信号无法穿透建筑物，室内定位无法依赖gnss而实现。人类在实际生活中，约有80％的时间在室内度过，对室内位置的需求更为迫切。在gnss无法提供室内定位服务的情况下，如何获取准确的室内位置信息成为智能导航系统的瓶颈。工业界和学术界均在探求高精度、高可靠性的室内定位技术，以期在电磁和地理环境复杂的室内环境中获取准确的位置信息。

2、室内定位技术根据定位信息源的不同，主要分为两类：第一类为基于外置信源的室内定位技术，主要包括wifi、蓝牙、超宽带(ultra wide band,uwb)、蜂窝移动网络和伪卫星等；第二类为基于天然信源的室内定位技术，例如：天文导航、地磁导航、地形匹配导航等。

3、即时定位与地图构建(simultaneous localization and mapping，slam)，最早由1985年cheeseman和smith撰写的文章提出，文中创立了描述几何不确定性和特征与特征之间相互关系的统计学原理，这些原理构成了求解slam问题的数学基础。smith，self和cheeseman在1987年提出基于卡尔曼滤波的slam算法，该理论研究框架使基于卡尔曼滤波的slam算法成为最广泛应用的方法。自从上世纪80年代slam概念的提出到现在，slam技术已经走过了30多年的历史。slam系统使用的传感器在不断拓展，从早期的声呐，到后来的2d/3d激光雷达，再到单目、双目、rgbd、tof等各种相机，以及与惯性测量单元imu等传感器的融合。slam的算法也从开始的基于滤波器的方法(ekf、pf等)向基于优化的方法转变，技术框架也从开始的单一线程向多线程演进。

4、语义slam(semantic simultaneous localization and mapping)是语义和slam的有效融合，是一种能够同时估计场景的3d几何形状并将语义标签附加到对象和结构之上的算法。结合语义信息的slam算法不仅能提升应用系统对环境的理解能力，还能提高slam算法定位与建图的精度。salas-moreno等提出的slam++系统将点云特征与目标数据库进行对比，并在地图中插入目标的对应点云，但slam++只能对预定义的物体进行建图。hermans等基于贝叶斯更新和稠密条件随机场进行2d/3d的标签转换，生成三维空间中的语义地图。concha等将语义分割与半稠密的大规模直接法(largescaledirectmethod,lsd)进行单目slam融合，通过超像素分割得到图像平面，利用大规模直接法得到边缘等显著特征，并将两者进行融合得到较稠密的实时建图结果，但该方法的平面精确度不够理想。tateno等提出将cnn预测与slam得到的深度图进行融合，从而得到单一视角下的语义地图，该方法主要侧重深度预测与融合。

5、随着神经网络相关研究的进步，语义slam技术已基本能够实现3d环境感知、地图绘制、路线规划等功能。然而，语义slam可以看作是视觉slam和语义分割识别的结合体，仍然具有视觉slam的一些问题，如运算负荷大、视觉里程器准确度低、位姿偏差大等。随着脑科学和人工智能的融合，仿生视觉导航逐渐开始被研究。仿生视觉导航从“生物脑”角度出发，借鉴神经生物学关于哺乳动物如何进行空间认知的研究成果，使机器人能够具有环境感知和空间记忆的神经计算机制，在未知环境中完成主动探索、位置识别，自定位、更新地图、规划路径等一系列导航任务。此研究领域对机器人导航技术的进一步发展虽然具有极大的推动力，但是由于脑科学探索难度高等一系列因素，目前该项研究的突破性进展仍然较少。

6、ratslam是一种通过模拟鼠类视觉感知和自主导航机制实现同步定位与地图构建的技术，它能够使运行体在陌生空间中自主完成空间地图构建和定位；在传统ratslam的基础上，基于海马认知机理的认知地图构建方法，更加准确地体现了生物在导航中的生理学现象和认知功能实现过程，为仿海马认知机理的机器人导航方法研究奠定了基础，利用卷积神经网络、循环神经网络和深度强化学习模拟大脑的图像处理、网格细胞放电和路径规划功能，使运行体具有空间认知、最优路径规划以及陌生环境自主导航的矢量导航能力，该矢量导航能力是现有导航方式所不具备的。

7、针对于传统slam惯性导航系统产生的位姿误差会随时间增加而累计，从而造成系统长期精度差的问题，基于卷积神经网络的类脑概念，将位置细胞模型应用到slam技术是一个十分可行的研究方向。

技术实现思路

1、本发明的目的在于克服上述现有技术存在的缺陷，提出了一种基于视觉信息的类脑导航方法，针对以上需求，本发明具体方案可以分为两大部分，基于语义信息的细胞节点模型和基于语义细胞节点的slam框架。其中，为了建立细胞节点，通过对输入场景图像进行语义分割，再根据不同区域内的语义特征建立细胞节点模型，从而得到细胞节点。基于细胞节点的slam框架，用语义特征代替原有的局部特征点，具有更好的语义表征能力，同时能够获取语义标签，从而在建立环境地图的过程中，得到带语义标签的地图。本发明解决了室内场景中3d地图绘制的精确度问题，实现解析自身位置、感知环境属性要素及相对空间关系的功能。

2、本发明采用的技术方案为：

3、一种基于视觉信息的类脑导航方法，包括如下步骤：

4、(1)使用高分辨率rgb-d相机系统捕获场景的图像信息；

5、(2)采用u-net神经网络对捕获的图像进行区域分割，获取基于语义信息的场景表示；

6、(3)对分割后的每个区域提取语义特征，然后结合语义特征和区域的空间坐标信息，构建2d细胞节点模型；

7、(4)将图像导入导航系统的视觉里程计进行初步的位姿估计，然后结合imu数据执行非线性优化算法，对初步估计得到的位姿进行去噪，得到局部位姿；

8、(5)利用去噪后的位姿估计结果和2d细胞节点模型，进行回环检测，通过回环检测消除导航过程中累积的位姿漂移，得到全局位姿；

9、(6)进行地图构建，地图构建包含网格建图与语义建图两个部分；其中网格建图为：综合利用场景的图像信息和全局位姿信息，生成单帧及多帧的网格建图结果，然后利用概率图模型优化技术对单帧和多帧的网格建图结果进行优化；其中语义建图为：使用步骤(2)中基于语义信息的场景表示和全局位姿估计值，进行全局语义建图，得到环境的语义表示。

10、进一步的，步骤(3)具体过程如下：

11、(301)对分割后的每个区域采用卷积神经网络识别和提取图像中的高级语义特征；对于任一个区域r，对应的高级语义特征向量fr通过深度网络模型d提取：

12、fr＝d(ir；θd)

13、式中，ir是区域r的图像数据，θd代表深度网络模型的参数；

14、(302)利用提取的高级语义特征及在图像中的空间坐标信息，构建2d细胞节点模型；其中对于2d细胞节点，结合空间位置、高级语义特征和区域的几何属性进行构建，则一个2d细胞节点表示为：

15、ni＝(pi,fi,gi)

16、式中，pi＝(xi，yi)表示节点在图像中的空间坐标，fi是从深度网络模型提取的语义特征向量，gi代表对应区域i的几何描述，包括边界框的尺寸、形状的几何中心；

17、(303)在获取2d细胞节点后，描述节点间的空间关系和连通性；通过定义邻接矩阵aij来描述节点间的空间关系和连通性：

18、

19、其中，邻接根据节点间的物理距离或者视觉连续性来定义，ni和nj为两个不同的2d细胞节点；

20、(304)描述完细胞节点间的空间连通性后，对每个2d细胞节点的权重进行评估，从而对2d细胞节点的权重进行误差补偿，权重通过以下公式计算：

21、wi＝α·entropy(fi)+β·functionality(gi)

22、式中，entropy(fi)为衡量特征的信息量，functionality(gi)为评估几何属性在导航中的实用性，α和β是调节因子，用于平衡特征信息量和几何功能性的影响，fi是从深度网络模型提取的特征向量，gi代表对应区域i的几何描述。

23、进一步的，步骤(5)具体过程如下：

24、通过步骤(3)获取2d细胞节点模型后，根据去噪后的位姿估计结果与细胞节点位置处的误差，建立基于时间序列的线性误差方程，相邻节点之间的线性误差方程表示为：

25、error＝k*pos+b

26、式中，error为当前时刻的位姿估计误差，k和b为线性误差方程的参数，根据实时数据进行动态调整，pos为当前时刻的位姿与基准细胞节点位置处位姿之间的误差；

27、利用建立的线性误差方程，根据前一时刻的误差和当前的位姿数据，通过轨迹误差修正模型调整当前的位姿估计值，以修正由于系统漂移或传感器误差所导致的位置偏差，得到修正后的全局位姿，并调整线性误差方程的系数值；其中，轨迹误差修正模型表示为：

28、tri(i+1)＝error(i)+tri(i)

29、式中，tri(i)为i时刻的位姿估计值，tri(i+1)是修正后的位姿估计值。

30、进一步的，步骤(6)的网格建图具体如下：

31、(601)初始化网格地图：定义网格地图，每个网格代表一个固定大小的区域，初始化所有网格单元的占用概率；

32、(602)建立因子图模型：构建因子图，其中节点代表随机变量，即网格单元的占用状态和当前的位置，边连接表示变量之间的条件依赖，因子表示这些依赖关系的概率模型；

33、(603)利用观测数据更新概率模型：根据从传感器获得的新观测数据，更新因子图中的概率分布，即与当前位置相关的网格单元的占用概率，并应用贝叶斯规则计算每个网格单元的后验占用概率：

34、

35、其中，p(占用|观测数据)是给定观测数据时网格被占用的后验概率，p(占用)是网格被占用的概率，p(观测数据)是观测数据的概率，p(观测数据|占用)是给定网格被占用时观测数据的先验概率；通过迭代更新网格状态的后验概率p(占用|观测数据)，从而优化整个网格地图；

36、(604)执行最大后验估计：使用最大后验估计方法求解最可能的地图配置：

37、

38、其中，m是地图的可能配置，z是观测数据集，mi和zi分别是单个网格的状态和相关的观测数据；

39、(605)迭代更新：随着每次新的观测数据，重复步骤(603)和步骤(604)，以不断优化和精细化地图的概率表示。

40、本发明与现有技术相比，具有以下优点：

41、本发明中采用了网格建图与语义建图，网格建图保证计算效率，语义建图相比于多帧网格建图，精度得到了很大提升。二者融合保证了建图质量。