一种图像处理方法、装置及机器人视觉里程计

本发明涉及计算机视觉，具体涉及一种图像处理方法、装置及机器人视觉里程计。

背景技术：

1、机器人视觉slam系统在动态环境中保持健壮性是一个挑战，虽然现在slam系统在特定情况下得到了成功的演示，但系统对状态变量的估计可能会受到环境中动态运动物体的影响，甚至导致salm系统无法进行跟踪，在基于视觉的slam系统中，环境中动态行走的人通过传感器进入到系统中，而视觉前端不加判断的从图像提取出全部特征点，其中就包括的运动人体生成的非静态特征点，系统将这些特征点加入到后端优化中，随着人体的移动，本应静态的特征点发生了巨大的偏移，这就使得整个系统求解出的位姿不再准确，导致系统的鲁棒性急速下降。

2、现有技术中学者们从不同角度去开展具体研究工作，例如，runz等学者在《maskfusion:real-time recognition,tracking and reconstruction of multiplemoving objects》提出了maskfusion，运用rgb-d摄像机，通过利用实例级语义分割技术来对运动物体生成语义掩膜，从而实现物体检测并构建物体级别的世界地图表示；再如yu等学者在《ds-slam:a semantic visual slam towards dynamic environments》提出了一种面向动态环境的健壮语义视觉ds-slam，该系统引入了语义分割网络模型，通过物体遮罩对动态特征点进行屏蔽，并运用运动一致性检测方法进行再次检测，通过两层筛选，将动态特征点屏蔽掉，从而提升了动态环境下的位姿求解的精度。但是，上述方法存在一个共同的重要问题，就是系统并不能实时运行。

技术实现思路

1、鉴于以上问题，本发明提出一种图像处理方法、装置及机器人视觉里程计。

2、根据本发明的一方面，提出一种图像处理方法，该方法包括：

3、获取包含目标的rgb图像序列和深度图序列；

4、对所述rgb图像序列和所述深度图序列进行处理，获取目标深度提取图序列；

5、利用基于k均值聚类的掩膜提取算法在所述目标深度提取图序列中筛选出目标，获得目标二值掩膜序列。

6、进一步地，在获得目标二值掩膜序列后，对动态特征点进行去除，获取最终的分割掩膜提取图。

7、进一步地，对所述rgb图像序列和所述深度图序列进行处理，获取目标深度提取图序列包括：利用目标检测模型对所述rgb图像序列中目标进行检测，获取检测框；根据所述检测框从所述深度图序列中，分割出检测框中目标，得到目标深度提取图序列。

8、进一步地，利用基于k均值聚类的掩膜提取算法在所述目标深度提取图序列中筛选出目标包括：

9、对所述目标深度提取图判断窗口大小，若窗口小于预设阈值则将所述目标深度提取图的深度最大值和深度最小值直接输出；若窗口不小于预设阈值，则剔除掉0值，将二维深度图转换为一维数据，其中一维数据中的元素定义为深度样本；

10、对一维数据进行三分类，设置k均值聚类算法的聚类数为3，进行k均值聚类，从聚类结果中取得最小质心簇的索引和次小质心簇的索引；

11、比较最小质心簇和次小质心簇的样本数量，将样本数量较多的簇定义为运动簇，并计算所述运动簇的标准差；

12、若运动簇的标准差小于经验值，且运动簇含有样本数量大于总样本数量的预设百分比，则将该运动簇中的深度最大值和深度最小值输出；

13、若运动簇的标准差大于经验值或运动簇含有样本的数量小于总样本数量的预设百分比，则重新进行k均值聚类，聚类数定为2，进行k均值聚类；并将得到的最小质心簇定义为运动簇，将该最小质心簇中的深度最大值和深度最小值输出。

14、进一步地，在获得目标二值掩膜序列后，对动态特征点进行去除包括：基于图像金字塔生成掩膜金字塔；根据掩膜金字塔，对掩膜范围内特征点进行标记，通过禁止该特征点生成地图点的方式，对动态特征点进行去除。

15、根据本发明的另一方面，提出一种图像处理装置，该装置包括：

16、图像序列获取模块，其配置成获取包含目标的rgb图像序列和深度图序列；

17、目标深度图提取模块，其配置成对所述rgb图像序列和所述深度图序列进行处理，获取目标深度提取图序列；

18、目标分割掩膜提取模块，其配置成利用基于k均值聚类的掩膜提取算法在所述目标深度提取图序列中筛选出目标，获得目标二值掩膜序列。

19、进一步地，还包括动态特征点去除模块，其配置成在获得目标二值掩膜序列后，基于图像金字塔生成掩膜金字塔；根据掩膜金字塔，对掩膜范围内特征点进行标记，通过禁止该特征点生成地图点的方式，对动态特征点进行去除，获取最终的分割掩膜提取图。

20、进一步地，所述目标分割掩膜提取模块中利用基于k均值聚类的掩膜提取算法在所述目标深度提取图序列中筛选出目标包括：

21、对所述目标深度提取图判断窗口大小，若窗口小于预设阈值则将所述目标深度提取图的深度最大值和深度最小值直接输出；若窗口不小于预设阈值，则剔除掉0值，将二维深度图转换为一维数据，其中一维数据中的元素定义为深度样本；

22、对一维数据进行三分类，设置k均值聚类算法的聚类数为3，进行k均值聚类，从聚类结果中取得最小质心簇的索引和次小质心簇的索引；

23、比较最小质心簇和次小质心簇的样本数量，将样本数量较多的簇定义为运动簇，并计算所述运动簇的标准差；

24、若运动簇的标准差小于经验值，且运动簇含有样本数量大于总样本数量的预设百分比，则将该运动簇中的深度最大值和深度最小值输出；

25、若运动簇的标准差大于经验值或运动簇含有样本的数量小于总样本数量的预设百分比，则重新进行k均值聚类，聚类数定为2，进行k均值聚类；并将得到的最小质心簇定义为运动簇，将该最小质心簇中的深度最大值和深度最小值输出。

26、根据本发明的又一方面，提出一种机器人视觉里程计，所述视觉里程计利用上述所述的图像处理方法对机器人上摄像头采集的图像序列进行处理，以确定机器人的位置和姿态。

27、进一步地，在利用目标检测模型对所述rgb图像序列中目标进行检测的目标检测线程中，前端视觉里程计使用目标检测线程对上一帧的检测结果。

28、本发明的有益技术效果是：

29、本发明提出一种图像处理方法、装置及机器人视觉里程计。首先，获取包含目标的rgb图像序列和深度图序列；对所述rgb图像序列和所述深度图序列进行处理，获取目标深度提取图序列；利用基于k均值聚类的掩膜提取算法在所述目标深度提取图序列中筛选出目标，获得目标二值掩膜序列；并按照上述过程对机器人上摄像头采集的图像序列进行处理，以确定机器人的位置和姿态。本发明计算速度极快，能够达到比实例分割更好的效果。

30、在公开数据集中对本发明进行实验验证，通过定性分析和定量分析两种方法得出结论，相比传统方法，本发明在动态场景中定位的精度和鲁棒性上有了极大的提升，同时与其他方法相比，本发明算法的均方根误差更小，证明了本发明算法的优越性。