基于图像识别的智能垃圾分类监控方法、系统及产品与流程

本技术涉及图像监控，尤其是涉及一种基于图像识别的智能垃圾分类监控方法、系统及产品。

背景技术：

1、随着城市化的发展，垃圾分类成为城市管理的重要环节。目前，已有多种智能监控设备应用于垃圾分类（可回收垃圾、有害垃圾、厨余垃圾和其他垃圾）场景，通过图像识别技术实现对垃圾分类行为的监督。

2、现有的垃圾分类摄像机通常具备基本的图像识别功能，能够识别垃圾投放情况，但是摄像装置一般是按照固定的角度拍摄，能够拍摄到关键区域的图像，但是如果对于遮挡或者垃圾类型数量较多的情况时，拍摄的照片的可靠性低，进而，导致垃圾分类管理过程的监控的准确性低。

技术实现思路

1、本技术目的是提供一种基于图像识别的智能垃圾分类监控方法、系统及产品，能够提高拍摄照片的质量以提高垃圾分类管理过程监控的准确性。

2、第一方面，提供了一种基于图像识别的智能垃圾分类监控方法，包括：

3、当根据获取到的目标图像检测到用户投放垃圾时，确定目标图像中的用户投放的垃圾的位置信息；

4、根据位置信息确定拍摄角度，获取所述拍摄角度下的图像，确定所述拍摄角度下的图像中的垃圾区域所占目标图像的比例，并根据所述比例确定拍摄焦距，以根据拍摄焦距控制摄像装置拍摄照片，得到用户投放垃圾的投放图像；

5、根据所述投放图像，识别出垃圾类别以及当前正在投放的目标垃圾箱类别；

6、根据所述垃圾类别和所述目标垃圾箱类别，确定投放操作的行为结果；

7、根据所述行为结果，确定并播放提示音频。

8、通过上述技术方案，在检测到用户投放垃圾时，确定垃圾的位置信息，根据位置信息自动调整拍摄角度，以使得在该拍摄角度下获取到的图像能够有较多的垃圾的相关信息，进而，基于拍摄角度下的图像中的垃圾区域的占比在确定拍摄焦距，以使得在确定好的拍摄角度和拍摄焦距下得到的投放图像能够有更清晰完整的图像，提高了图像的质量；在基于投放图像进行分类识别时，能够精准评估投放操作并进行针对性提示，提高了分类的效果。

9、在一种可能的实现方式中，根据所述投放图像，识别出当前正在投放的目标垃圾箱类别，包括：

10、对所述投放图像进行垃圾箱字符识别，得到有效字符及字符数量；

11、若字符数量不小于预设字符数量，则根据所述有效字符确定目标垃圾箱类别；

12、若字符数量小于预设字符数量，则获取垃圾箱内的当前垃圾图像，识别所述当前垃圾图像中的垃圾类别，若垃圾类别的数量为1，则根据垃圾类别确定目标垃圾箱类别；若垃圾类别的数量大于1，则根据其他垃圾箱图像确定其他垃圾箱类别，并根据其他垃圾箱类别确定目标垃圾箱类别。

13、通过上述技术方案，通过对投放图像中的垃圾箱上的字符进行识别得到有效字符及其数量，当数量不足以支持确定目标垃圾箱类别时，参照垃圾箱内的垃圾图像进行识别，如果垃圾类别数量大于1，则结合其他垃圾箱类别推断目标垃圾箱类别，能够适用复杂情况，提高了识别的灵活性和适应性。

14、在一种可能的实现方式中，所述根据所述行为结果，确定并播放提示音频，包括：

15、根据所述投放图像进行垃圾落地识别，得到垃圾落地识别结果；

16、根据所述行为结果和所述垃圾落地识别结果，确定并播放提示音频。

17、通过上述技术方案，实时监测垃圾落地行为，综合行为结果和垃圾落地识别结果进行提示，能够实现垃圾分类投放行为的全面监测和管理。

18、在一种可能的实现方式中，所述根据所述比例确定拍摄焦距，包括：

19、根据所述比例，确定初始拍摄焦距；

20、确定垃圾类别的数量；

21、当所述垃圾类别的数量大于预设数量阈值时，根据所述垃圾类别的数量调整初始拍摄焦距，得到所述拍摄焦距；否则，将所述初始拍摄焦距作为所述拍摄焦距。

22、通过上述技术方案，根据比例确定初始拍摄焦距，然后当垃圾类别数量较多时，能够调整初始拍摄焦距得到最终的拍摄焦距，以使拍摄到更多细节，避免因为焦距不当导致的图像模糊或者信息丢失。

23、在一种可能的实现方式中，根据所述投放图像进行垃圾落地识别，得到垃圾落地识别结果之后，还包括：

24、识别所述投放图像中当前正在投放的垃圾箱的垃圾满溢情况；

25、根据所述垃圾满溢情况，更新所述垃圾落地识别结果；

26、相应的，所述根据所述行为结果和所述垃圾落地识别结果，确定并播放提示音频，包括：

27、根据所述行为结果和更新后的垃圾落地识别结果，确定并播放提示音频。

28、通过上述技术方案，在垃圾箱满溢的情况下，即使垃圾被投放进了垃圾箱，也可能因为满溢而散落出来，因而，当时识别到垃圾箱满溢情况后，对垃圾落地识别结果进行修正，以使的垃圾落地识别结果更加精准。

29、在一种可能的实现方式中，所述识别所述投放图像中当前正在投放的垃圾箱的垃圾满溢情况，包括：

30、根据所述投放图像，预估垃圾的体积；根据所述垃圾的体积和垃圾箱的容量，确定第一子结果；

31、根据所述投放图像确定垃圾的高度，根据所述垃圾的高度和垃圾箱的高度，确定第二子结果；

32、根据所述第一子结果和所述第二子结果，确定垃圾满溢情况。

33、通过上述技术方案，根据垃圾容量的评估结果和垃圾高度的评估结果共同确定垃圾满溢情况，得到的结果更加可靠。

34、在一种可能的实现方式中，还包括：

35、若垃圾满溢情况为垃圾箱满溢，则根据垃圾箱的地址以及所述投放图像，生成第一提示信息，并上报至后端管理平台；

36、和/或，

37、周期性的获取垃圾监控区域的视频信息；根据所述视频信息检测是否出现异常事件，若是，则生成第二提示信息，并上报至后端管理平台；

38、和或，

39、在识别出垃圾类别后，确定并播放所述垃圾类别对应的垃圾分类引导音频。

40、通过上述技术方案，能够及时响应垃圾满溢情况，进行提醒，以便于相关人员及时处理；通过周期性的获取视频信息并检测是否出现异常事件，能够迅速应对突发事件；在识别出垃圾类别后，能够播放引导音频，提高了垃圾分类的准确性和效率。

41、在一种可能的实现方式中，所述视频信息包括可见光视频和红外视频；

42、所述根据所述视频信息检测是否出现异常事件，包括：

43、根据所述可见光视频进行烟雾检测，得到第一火情信息；

44、根据所述红外视频确定温度信息，得到第二火情信息；

45、根据所述第一火情信息和第二火情信息，确定是否出现异常事件。

46、通过上述技术方案，结合烟雾以及温度共同确定是否出现火情，提高了火情检测的准确性和可靠性。

47、第二方面，提供了一种基于图像识别的智能垃圾分类监控系统，该基于图像识别的智能垃圾分类监控系统包括：

48、一个或多个处理器；

49、存储器；

50、一个或多个应用程序，其中一个或多个应用程序被存储在存储器中并被配置为由一个或多个处理器执行，一个或多个程序配置用于：执行根据第一方面中任一可能的实现方式所示的基于图像识别的智能垃圾分类监控方法对应的操作。

51、第三方面，提供了一种计算机可读存储介质，存储介质存储有至少一条指令、至少一段程序、代码集或指令集，至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现如第一方面中任一可能的实现方式所示的基于图像识别的智能垃圾分类监控方法。

52、第四方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如第一方面中任一可能的实现方式所示的基于图像识别的智能垃圾分类监控方法。

53、综上所述，本技术包括以下至少一种有益技术效果：

54、1. 在检测到用户投放垃圾时，确定垃圾的位置信息，根据位置信息自动调整拍摄角度，以使得在该拍摄角度下获取到的图像能够有较多的垃圾的相关信息，进而，基于拍摄角度下的图像中的垃圾区域的占比在确定拍摄焦距，以使得在确定好的拍摄角度和拍摄焦距下得到的投放图像能够有更清晰完整的图像，提高了图像的质量；在基于投放图像进行分类识别时，能够精准评估投放操作并进行针对性提示，提高了分类的效果；

55、2. 通过对投放图像中的垃圾箱上的字符进行识别得到有效字符及其数量，当数量不足以支持确定目标垃圾箱类别时，参照垃圾箱内的垃圾图像进行识别，如果垃圾类别数量大于1，则结合其他垃圾箱类别推断目标垃圾箱类别，能够适用复杂情况，提高了识别的灵活性和适应性。