一种电子地图更新方法、装置、机器人及存储介质与流程

本技术涉及机器视觉，特别是涉及一种电子地图更新方法、装置、机器人及存储介质。

背景技术：

1、机器人的精准应用依赖于实时地图的及时更新，例如，扫地机器人的清扫地图更新及时，有益于扫地机器人灵活避让障碍物、清扫全面；移动机器人的目标地图更新及时，有益于提高移动机器人抓取物体的成功率等。由于场景中常存在动态障碍物，且动态障碍物容易被误判为场景中的固定物体添加在电子地图中，进而导致机器人判断失误。如何降低动态障碍物给电子地图更新带来的不良影响，成为了机器人应用的关键问题之一。

技术实现思路

1、本技术实施例的目的在于提供一种电子地图更新方法、装置、机器人及存储介质，以实现降低动态对象给电子地图更新带来的不良影响。具体技术方案如下：

2、第一方面，本技术实施例提供了一种电子地图更新方法，包括：

3、获取待处理图像帧的语义分割结果，其中，所述语义分割结果包括至少一个目标对象及所述目标对象的类别信息；

4、获取已建立的电子地图中的历史对象及所述历史对象的类别信息；

5、针对每一个目标对象，根据该目标对象、该目标对象的类别信息、所述历史对象及所述历史对象的类别信息，确定该目标对象是否为运动对象；

6、在所述待处理图像帧中剔除所述运动对象对应的地图点，得到第一图像帧；

7、利用所述第一图像帧对所述电子地图进行更新。

8、本技术的一个实施例中，所述获取待处理图像帧的语义分割结果，包括：

9、获取待处理图像帧，其中，所述待处理图像帧包括时间对齐后的rgb信息及深度信息；

10、调用智能接口对所述待处理图像帧进行语义分割，得到语义分割结果。

11、本技术的一个实施例中，所述针对每一个目标对象，根据该目标对象、该目标对象的类别信息、所述历史对象及所述历史对象的类别信息，确定该目标对象是否为运动对象，包括：

12、针对每一个目标对象，比对该目标对象与所述历史对象的类别信息；

13、在存在与该目标对象类别信息相同的第一历史对象时，计算该目标对象与所述第一历史对象的对象距离；

14、在该目标对象的对象距离小于第一距离阈值的情况下，判定该目标对象为静态对象；

15、在该目标对象的对象距离不小于第一距离阈值的情况下，判定该目标对象为疑似动态对象；

16、针对每一个疑似动态对象，在该疑似动态对象的对象距离不大于第二距离阈值的情况下，比对该疑似动态对象与所述待处理图像帧中的其他疑似动态对象的类别信息；

17、在不存在与该疑似动态对象类别信息相同的其他疑似动态对象的情况下，判定该疑似动态对象为运动对象。

18、本技术的一个实施例中，在所述比对该疑似动态对象与所述待处理图像帧中的其他疑似动态对象的类别信息之后，所述方法还包括：

19、在存在与该疑似动态对象类别信息相同的第一疑似动态对象的情况下，确定所述第一疑似动态对象在所述电子地图中的第一位置信息，其中，所述第一位置信息由所述第一疑似动态对象在所述待处理图像帧中的第二位置信息转换得到；

20、在所述电子地图中以第一位置信息为中心，查询预设范围内是否存在与该疑似动态对象类别信息相同的第二历史对象；

21、若存在所述第二历史对象，则将该疑似动态对象作为历史对象添加到所述电子地图中；

22、若不存在所述第二历史对象，则判定该疑似动态对象为运动对象。

23、本技术的一个实施例中，在所述比对该目标对象与所述历史对象的类别信息之后，所述方法还包括：

24、在不存在类别信息与该目标对象的类别信息相同的历史对象时，将该目标对象作为历史对象添加到所述电子地图中。

25、本技术的一个实施例中，所述方法还包括：

26、获取历史图像帧；

27、对所述历史图像帧及所述待处理图像帧中相同的对象进行剔除；

28、对剔除相同对象后的历史图像帧及待处理图像帧进行比对，得到差异点云；

29、分别对所述历史图像帧及所述待处理图像帧的差异点云进行聚类及分割，得到所述历史图像帧的各第一聚类中心及所述待处理图像帧的各第二聚类中心；

30、根据所述第一聚类中心及所述第二聚类中心，确定所述待处理图像帧中的消失对象。

31、本技术的一个实施例中，所述方法还包括：

32、根据所述运动对象和/或所述消失对象，对所述电子地图中的历史对象进行更新。

33、第二方面，本技术实施例提供了一种机器人，包括rgb-d传感器、控制器、移动底盘及机械臂，所述rgb-d传感器与水平面之间存在夹角，视角为斜向下的方向，所述控制器设置于所述移动底盘中；

34、所述rgb-d传感器，用于获取场景的图像帧数据，其中，所述图像帧数据包括rgb信息及深度信息的；

35、所述控制器，用于基于所述图像帧数据，根据上述任一项中所述的电子地图更新方法对所述场景的电子地图进行实时更新，并根据所述场景当前的电子地图，控制移动底盘在所述场景中移动，以及控制机械臂在所述场景中抓取目标对象。

36、第三方面，本技术实施例提供了一种电子地图更新装置，包括：

37、语义分割结果获取模块，用于获取待处理图像帧的语义分割结果，其中，所述语义分割结果包括至少一个目标对象及所述目标对象的类别信息；

38、历史对象获取模块，用于获取已建立的电子地图中的历史对象及所述历史对象的类别信息；

39、运动对象确定模块，用于针对每一个目标对象，根据该目标对象、该目标对象的类别信息、所述历史对象及所述历史对象的类别信息，确定该目标对象是否为运动对象；

40、地图点剔除模块，用于在所述待处理图像帧中剔除所述运动对象对应的地图点，得到第一图像帧；

41、电子地图更新模块，用于利用所述第一图像帧对所述电子地图进行更新。

42、本技术的一个实施例中，所述语义分割结果获取模块，具体用于：

43、获取待处理图像帧，其中，所述待处理图像帧包括时间对齐后的rgb信息及深度信息；

44、调用智能接口对所述待处理图像帧进行语义分割，得到语义分割结果。

45、本技术的一个实施例中，所述运动对象确定模块，具体用于：

46、针对每一个目标对象，比对该目标对象与所述历史对象的类别信息；

47、在存在与该目标对象类别信息相同的第一历史对象时，计算该目标对象与所述第一历史对象的对象距离；

48、在该目标对象的对象距离小于第一距离阈值的情况下，判定该目标对象为静态对象；

49、在该目标对象的对象距离不小于第一距离阈值的情况下，判定该目标对象为疑似动态对象；

50、针对每一个疑似动态对象，在该疑似动态对象的对象距离不大于第二距离阈值的情况下，比对该疑似动态对象与所述待处理图像帧中的其他疑似动态对象的类别信息；

51、在不存在与该疑似动态对象类别信息相同的其他疑似动态对象的情况下，判定该疑似动态对象为运动对象。

52、本技术的一个实施例中，所述装置还包括：

53、第一位置信息确定模块，用于在存在与该疑似动态对象类别信息相同的第一疑似动态对象的情况下，确定所述第一疑似动态对象在所述电子地图中的第一位置信息，其中，所述第一位置信息由所述第一疑似动态对象在所述待处理图像帧中的第二位置信息转换得到；

54、第二历史对象查询模块，用于在所述电子地图中以第一位置信息为中心，查询预设范围内是否存在与该疑似动态对象类别信息相同的第二历史对象；

55、历史对象添加模块，用于若存在所述第二历史对象，则将该疑似动态对象作为历史对象添加到所述电子地图中；

56、运动对象判定模块，用于若不存在所述第二历史对象，则判定该疑似动态对象为运动对象。

57、本技术的一个实施例中，所述装置还包括：

58、目标对象添加模块，用于在不存在类别信息与该目标对象的类别信息相同的历史对象时，将该目标对象作为历史对象添加到所述电子地图中。

59、本技术的一个实施例中，所述装置还包括：

60、图像帧获取模块，用于获取历史图像帧；

61、对象剔除模块，用于对所述历史图像帧及所述待处理图像帧中相同的对象进行剔除；

62、图像帧比对模块，用于对剔除相同对象后的历史图像帧及待处理图像帧进行比对，得到差异点云；

63、点云聚类模块，用于分别对所述历史图像帧及所述待处理图像帧的差异点云进行聚类及分割，得到所述历史图像帧的各第一聚类中心及所述待处理图像帧的各第二聚类中心；

64、消失对象确定模块，用于根据所述第一聚类中心及所述第二聚类中心，确定所述待处理图像帧中的消失对象。

65、本技术的一个实施例中，所述装置还包括：

66、历史对象更新模块，用于根据所述运动对象和/或所述消失对象，对所述电子地图中的历史对象进行更新。

67、第四方面，本技术实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一所述的电子地图更新方法。

68、本技术实施例还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述任一所述的电子地图更新方法。

69、本技术实施例有益效果：

70、本技术实施例提供的电子地图更新方法，获取待处理图像帧的语义分割结果，得到至少一个目标对象及对应的类别信息，再获取已建立的电子地图中的历史对象及对应的类别信息。针对每一个目标对象，根据该目标对象、该目标对象的类别信息、历史对象及历史对象的类别信息，确定该目标对象是否为运动对象，运动对象指非固定不变的、具有移动能力的对象。在待处理图像帧中剔除运动对象对应的地图点，使得场景中的非固定物体(包括但不限于动态障碍物、行人等任意动态对象)能够被及时识别进而剔除，从而使得第一图像帧仅包括场景中的固定对象。利用第一图像帧对电子地图进行更新，能够得到更加准确的当前场景的电子地图，降低了动态对象给电子地图更新带来的不良影响。

71、当然，实施本技术的任一产品或方法并不一定需要同时达到以上所述的所有优点。