一种可清扫垃圾检测方法和清洁机器人与流程

本发明涉及清洁机器人的，尤其涉及一种可清扫垃圾检测方法和清洁机器人。

背景技术：

1、随着科技的发展，清洁机器人逐步应用于人们的生活中，并用于清扫处于地面的垃圾，在清洁机器人执行清扫任务时，清洁机器人能够检测和识别一定类型和尺寸的垃圾，可是，某些垃圾可能会对清扫清洁机器人的清扫机构造成损害或者清洁机器人不能碾压，如固体金属、手机、尖锐物体等，同时，对于复杂地面环境存在一些地方不需要清洁机器人反复清扫，如顽固脏污、地面破损等，现有的清洁机器人对周边垃圾的检测不够精准，影响了清洁机器人对周边垃圾的决策。

技术实现思路

1、本发明的目的在于克服现有技术的不足，本发明提供了一种可清扫垃圾检测方法和清洁机器人，基于深度学习网络对垃圾进行首次检测，以便于清洁机器人对周边环境进行实时检测，从而基于周边环境定义周边垃圾，以便于对周边垃圾进行重点管控，同时，基于周边垃圾定义对应的垃圾类型，并根据垃圾类型触发清洁机器人的清扫策略，实现了清洁机器人对各种垃圾的针对性清扫，提高了清洁机器人对垃圾的检测，保证了清洁机器人对垃圾的决策，进而对完全无法清扫的垃圾进行重点关注，实现了清洁机器人对完全无法清扫的垃圾的管控。

2、为了解决上述技术问题，本发明实施例提供了一种可清扫垃圾检测方法，应用于清洁机器人周边垃圾的检测场景；所述可清扫垃圾检测方法包括：

3、基于深度学习网络对垃圾进行检测；

4、实时检测清洁机器人的周边环境，并对周边环境进行垃圾的标记来定义周边垃圾；

5、基于周边垃圾定义对应的垃圾类型，垃圾类型包括完全无法清扫、部分清扫和可清扫中至少一种；

6、根据垃圾类型触发清洁机器人的清扫策略，其中，针对完全无法清扫的垃圾进行黑名单的标记，并对完全无法清扫的垃圾进行避让。

7、可选的，所述基于深度学习网络对垃圾进行检测，包括：

8、收集并构建了包含各种各样垃圾的图像数据集；

9、基于图像数据集对该深度学习网络进行训练，并定义权重参数；

10、基于权重参数以及深度学习网络加载至清洁机器人，并触发清洁机器人对垃圾的检测。

11、可选的，所述基于深度学习网络对垃圾进行检测，还包括：

12、将图像i依次通过编码网络e和解码网络d后得到通用特征图f＝d(e(i))，再经过检测分割头将特征图f分别映射为垃圾中心点热力图h、边界框b的长宽和分割掩码图m；

13、对于垃圾中心点热力图h的预测，采用焦点损失函数(focal loss)做损失函数：

14、

15、其中hgt为真值垃圾中心点热力图，n为像素总数；训练完成后，取垃圾中心点热力图h中大于0.3的位置即为垃圾中心点，其对应通道索引即为垃圾类别；对边界框b的预测，采用交并比iou作为损失函数来训练网络：

16、

17、其中bgt为真值框,k为图像上垃圾个数，边界框通过垃圾中心点和对应位置长宽表示；对于分割掩码m的预测，采用交叉熵作为损失函数：

18、

19、其中mgt为语义分割掩码真值。

20、可选的，所述实时检测清洁机器人的周边环境，并对周边环境进行垃圾的标记来定义周边垃圾，包括：

21、实时检测清洁机器人的周边环境，并采用相机对周边环境中的垃圾进行拍摄，以形成多相机图像；

22、基于相机内外参将多相机图像中的垃圾投影到地面，并保留各垃圾的特征。

23、可选的，所述实时检测清洁机器人的周边环境，并对周边环境进行垃圾的标记来定义周边垃圾，还包括：

24、通过匈牙利匹配算法找到不同相机观测到的垃圾的匹配关系并剔除重复垃圾；

25、采集垃圾的尺寸和形状，并基于垃圾所对应的点云的反射强度定义垃圾的材质；

26、对周边环境进行垃圾的标记来定义周边垃圾。

27、可选的，所述基于周边垃圾定义对应的垃圾类型，垃圾类型包括完全无法清扫、部分清扫和可清扫中至少一种，包括：

28、采集多个地面环境，并基于多个地面环境训练清洁机器人的垃圾类型识别模型。

29、可选的，所述基于周边垃圾定义对应的垃圾类型，垃圾类型包括完全无法清扫、部分清扫和可清扫中至少一种，还包括：

30、根据清洁机器人的垃圾类型识别模型对周边垃圾进行识别，并定义对应的垃圾类型，垃圾类型包括完全无法清扫、部分清扫和可清扫中至少一种。

31、可选的，所述根据垃圾类型触发清洁机器人的清扫策略，其中，针对完全无法清扫的垃圾进行黑名单的标记，并对完全无法清扫的垃圾进行避让，包括：

32、清洁机器人先对无法确定是否能清扫掉的垃圾进行正常清扫，同时清扫过程中对目标垃圾的清扫状况进行评估；

33、对部分清扫掉的垃圾开启强力清扫进行二次清扫。

34、可选的，所述根据垃圾类型触发清洁机器人的清扫策略，其中，针对完全无法清扫的垃圾进行黑名单的标记，并对完全无法清扫的垃圾进行避让，还包括：

35、对完全无法清扫的垃圾则标记为无需清扫垃圾记录在黑名单中；在后续清洁过程中，清洁机器人再次遇到该无需清理垃圾时则自动忽略，避免清洁机器人对顽固垃圾的反复清理。

36、本发明还公开了一种清洁机器人，包括机器人机体和用于控制所述机器人机体进行清洁作业的控制装置，所述控制装置，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如前述任一所述方法的步骤。

37、在本发明实施例中，通过本发明实施例中的方法，基于深度学习网络对垃圾进行检测；实时检测清洁机器人的周边环境，并对周边环境进行垃圾的标记来定义周边垃圾；基于周边垃圾定义对应的垃圾类型，垃圾类型包括完全无法清扫、部分清扫和可清扫中至少一种；根据垃圾类型触发清洁机器人的清扫策略，其中，针对完全无法清扫的垃圾进行黑名单的标记，并对完全无法清扫的垃圾进行避让，此时，基于深度学习网络对垃圾进行首次检测，以便于清洁机器人对周边环境进行实时检测，从而基于周边环境定义周边垃圾，以便于对周边垃圾进行重点管控，同时，基于周边垃圾定义对应的垃圾类型，并根据垃圾类型触发清洁机器人的清扫策略，实现了清洁机器人对各种垃圾的针对性清扫，提高了清洁机器人对垃圾的检测，保证了清洁机器人对垃圾的决策，进而对完全无法清扫的垃圾进行重点关注，实现了清洁机器人对完全无法清扫的垃圾的管控。

技术特征：

1.一种可清扫垃圾检测方法，其特征在于，应用于清洁机器人周边垃圾的检测场景；所述可清扫垃圾检测方法包括：

2.根据权利要求1所述的可清扫垃圾检测方法，其特征在于，所述基于深度学习网络对垃圾进行检测，包括：

3.根据权利要求2所述的可清扫垃圾检测方法，其特征在于，所述基于深度学习网络对垃圾进行检测，还包括：

4.根据权利要求2所述的可清扫垃圾检测方法，其特征在于，所述实时检测清洁机器人的周边环境，并对周边环境进行垃圾的标记来定义周边垃圾，包括：

5.根据权利要求4所述的可清扫垃圾检测方法，其特征在于，所述实时检测清洁机器人的周边环境，并对周边环境进行垃圾的标记来定义周边垃圾，还包括：

6.根据权利要求5所述的可清扫垃圾检测方法，其特征在于，所述基于周边垃圾定义对应的垃圾类型，垃圾类型包括完全无法清扫、部分清扫和可清扫中至少一种，包括：

7.根据权利要求6所述的可清扫垃圾检测方法，其特征在于，所述基于周边垃圾定义对应的垃圾类型，垃圾类型包括完全无法清扫、部分清扫和可清扫中至少一种，还包括：

8.根据权利要求7所述的可清扫垃圾检测方法，其特征在于，所述根据垃圾类型触发清洁机器人的清扫策略，其中，针对完全无法清扫的垃圾进行黑名单的标记，并对完全无法清扫的垃圾进行避让，包括：

9.根据权利要求8所述的可清扫垃圾检测方法，其特征在于，所述根据垃圾类型触发清洁机器人的清扫策略，其中，针对完全无法清扫的垃圾进行黑名单的标记，并对完全无法清扫的垃圾进行避让，还包括：

10.一种清洁机器人，其特征在于，包括机器人机体和用于控制所述机器人机体进行清洁作业的控制装置，所述控制装置，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1-9任一所述方法的步骤。

技术总结本发明公开了一种可清扫垃圾检测方法和清洁机器人，实时检测清洁机器人的周边环境，并对周边环境进行垃圾的标记来定义周边垃圾；基于周边垃圾定义对应的垃圾类型，垃圾类型包括完全无法清扫、部分清扫和可清扫中至少一种；根据垃圾类型触发清洁机器人的清扫策略，其中，针对完全无法清扫的垃圾进行黑名单的标记，并对完全无法清扫的垃圾进行避让，此时，基于深度学习网络对垃圾进行首次检测，以便于清洁机器人对周边环境进行实时检测，从而基于周边环境定义周边垃圾，以便于对周边垃圾进行重点管控，同时，基于周边垃圾定义对应的垃圾类型，并根据垃圾类型触发清洁机器人的清扫策略，实现了清洁机器人对各种垃圾的针对性清扫。技术研发人员：王磊,刘挺,王振华受保护的技术使用者：嘉兴新生纪智能科技有限公司技术研发日：技术公布日：2024/7/15