一种智能垃圾识别分类方法与流程

本发明涉及图像识别，具体而言，涉及一种智能垃圾识别分类方法。

背景技术：

1、通过垃圾转运车将垃圾进行转运是环卫领域中的一种普遍环节。其中，垃圾分类对于垃圾的后续处理具有重要的作用。但是，在垃圾转运时，以及，在垃圾转运之前，由于各种因素的存在，使得垃圾的分类投放效果并不可靠，即普遍存在着垃圾分类投放错误的问题。因此，在转运的过程中，就需要再次进行分类识别，但是，在现有技术中，还是存在着垃圾识别的可靠度不高的问题，使得无法进行可靠地分类识别。

技术实现思路

1、有鉴于此，本发明的目的在于提供一种智能垃圾识别分类方法，以改善现有技术中存在的垃圾识别的可靠度不高的问题。

2、为实现上述目的，本发明实施例采用如下技术方案：

3、一种智能垃圾识别分类方法，包括：

4、对目标垃圾转运车转运的垃圾进行图像采集处理，得到原始垃圾图像；

5、利用目标垃圾图像优化网络，对所述原始垃圾图像进行图像优化处理，得到优化垃圾图像，其中，所述目标垃圾图像优化网络属于经过训练形成的神经网络，所述图像优化处理是指将所述原始垃圾图像中待识别垃圾进行丢失图像信息的还原处理，所述丢失图像信息至少包括因其它垃圾或其它物件遮挡而导致所述待识别垃圾丢失的图像信息，图像优化处理包括对图像信息进行多个层面的关键信息的挖掘操作和基于该挖掘操作的结果还原出对应的优化垃圾图像，所述多个层面的关键信息包括多个颜色通道的关键信息、提取出的轮廓的关键信息；

6、利用目标垃圾类型识别网络，对所述优化垃圾图像进行垃圾类型识别处理，得到所述待识别垃圾的目标垃圾类型信息，其中，所述目标垃圾类型识别网络属于经过训练形成的神经网络，所述目标垃圾类型信息作为对所述目标垃圾转运车转运的垃圾进行分类监控处理的依据，该分类监控处理至少包括在确定出存在分类错误的垃圾时进行对应的分类异常警示操作。

7、在一些优选的实施例中，在上述智能垃圾识别分类方法中，所述利用目标垃圾图像优化网络，对所述原始垃圾图像进行图像优化处理，得到优化垃圾图像的步骤，包括：

8、利用目标垃圾图像优化网络，将所述原始垃圾图像中的垃圾图像块进行图像信息挖掘操作，输出所述垃圾图像块对应的第一数量个垃圾图像特征表示，其中，所述第一数量大于1，所述第一数量个垃圾图像特征表示用于反映所述垃圾图像块在不同的第一数量个层面的关键信息，所述垃圾图像块通过对所述原始垃圾图像进行图像分割处理以形成，所述垃圾图像块在不同的第一数量个层面的关键信息包括多个颜色通道的关键信息、从所述垃圾图像块中提取出的轮廓的关键信息；

9、利用所述目标垃圾图像优化网络，将所述第一数量个垃圾图像特征表示进行融合处理，输出所述垃圾图像块对应的融合垃圾图像特征表示，并将所述融合垃圾图像特征表示进行聚焦特征挖掘处理，输出所述融合垃圾图像特征表示对应的聚焦垃圾图像特征表示；

10、利用所述目标垃圾图像优化网络，将所述原始垃圾图像对应的图像块关联参数分布和所述垃圾图像块对应的目标垃圾图像特征表示进行多层次的聚合处理，输出所述垃圾图像块对应的聚合垃圾图像特征表示，其中，所述目标垃圾图像特征表示基于所述聚焦垃圾图像特征表示和所述融合垃圾图像特征表示得到，所述图像块关联参数分布用于反映各所述垃圾图像块之间的关联关系；

11、利用所述目标垃圾图像优化网络，基于所述聚合垃圾图像特征表示对所述原始垃圾图像进行图像优化处理，得到优化垃圾图像。

12、在一些优选的实施例中，在上述智能垃圾识别分类方法中，所述第一数量个垃圾图像特征表示包括垃圾图像颜色特征表示；

13、所述利用目标垃圾图像优化网络，将所述原始垃圾图像中的垃圾图像块进行图像信息挖掘操作，输出所述垃圾图像块对应的第一数量个垃圾图像特征表示的步骤，包括：

14、对所述原始垃圾图像进行加载，使得目标垃圾图像优化网络中的图像信息挖掘模型获取到所述原始垃圾图像；

15、利用所述图像信息挖掘模型，确定出所述原始垃圾图像中的垃圾图像块的第二数量个颜色通道值，其中，所述第二数量大于1，所述第二数量个颜色通道值包括反映所述垃圾图像块中的各像素点在一个颜色通道的值；

16、确定出所述第二数量个颜色通道值各自对应的颜色通道值特征表示，以及，分别将所述第二数量个颜色通道值特征表示进行特征抽取处理，输出所述第二数量个颜色通道值特征表示各自对应的抽取颜色特征表示；

17、将输出的第二数量个所述抽取颜色特征表示进行特征压缩处理，输出所述垃圾图像块对应的垃圾图像颜色特征表示。

18、在一些优选的实施例中，在上述智能垃圾识别分类方法中，所述第一数量个垃圾图像特征表示包括垃圾图像轮廓特征表示；

19、所述利用目标垃圾图像优化网络，将所述原始垃圾图像中的垃圾图像块进行图像信息挖掘操作，输出所述垃圾图像块对应的第一数量个垃圾图像特征表示的步骤，包括：

20、对所述原始垃圾图像进行轮廓提取处理，以确定出所述原始垃圾图像中的每一个像素点是否属于轮廓上，并基于是否属于轮廓上的结果，对所述原始垃圾图像中的每一个像素点的像素值进行更新处理，得到对应的更新垃圾图像，其中，在所述更新垃圾图像中，若一个像素点属于轮廓上，则该像素点的像素值为1，若一个像素点不属于轮廓上，则该像素点的像素值为0；

21、对所述更新垃圾图像进行加载，使得目标垃圾图像优化网络中的图像信息挖掘模型获取到所述更新垃圾图像；

22、利用所述图像信息挖掘模型，确定出所述更新垃圾图像中的垃圾图像块的第二数量个轮廓表征值，其中，所述第二数量大于1，所述第二数量个轮廓表征值包括反映所述垃圾图像块中各像素点是否属于轮廓上的表征值；

23、确定出所述第二数量个轮廓表征值各自对应的轮廓表征值特征表示，以及，分别将所述第二数量个轮廓表征值特征表示进行特征抽取处理，输出所述第二数量个轮廓表征值特征表示各自对应的抽取轮廓特征表示；

24、将输出的第二数量个所述抽取轮廓特征表示进行特征压缩处理，输出所述垃圾图像块对应的垃圾图像轮廓特征表示。

25、在一些优选的实施例中，在上述智能垃圾识别分类方法中，所述利用所述目标垃圾图像优化网络，将所述第一数量个垃圾图像特征表示进行融合处理，输出所述垃圾图像块对应的融合垃圾图像特征表示，并将所述融合垃圾图像特征表示进行聚焦特征挖掘处理，输出所述融合垃圾图像特征表示对应的聚焦垃圾图像特征表示的步骤，包括：

26、对所述第一数量个垃圾图像特征表示进行加载处理，使得所述目标垃圾图像优化网络中的图像特征聚焦模型获取到所述第一数量个垃圾图像特征表示；

27、利用所述图像特征聚焦模型，将所述第一数量个垃圾图像特征表示进行级联组合处理，输出所述垃圾图像块对应的融合垃圾图像特征表示；

28、将所述融合垃圾图像特征表示进行矩阵映射处理，输出所述融合垃圾图像特征表示对应的第三数量个聚焦映射图像特征表示；

29、将所述第三数量个聚焦映射图像特征表示进行相似性融合处理，输出所述融合垃圾图像特征表示对应的聚焦垃圾图像特征表示。

30、在一些优选的实施例中，在上述智能垃圾识别分类方法中，所述第三数量个聚焦映射图像特征表示包括第一映射图像特征表示、第二映射图像特征表示和第三映射图像特征表示；

31、所述将所述第三数量个聚焦映射图像特征表示进行相似性融合处理，输出所述融合垃圾图像特征表示对应的聚焦垃圾图像特征表示的步骤，包括：

32、对所述第一映射图像特征表示进行参数的调整处理，使得所述第一映射图像特征表示中参数的分布情况被调整，得到调整映射图像特征表示；

33、将所述第三映射图像特征表示和所述调整映射图像特征表示进行相乘处理，输出对应的关联性参数分布，其中，所述关联性参数分布用于反映所述第一数量个垃圾图像特征表示之间的关联性关系；

34、将所述关联性参数分布进行参数映射处理，输出所述关联性参数分布对应的映射关联性参数分布；

35、将所述映射关联性参数分布和所述第二映射图像特征表示进行相乘处理，输出所述第一数量个垃圾图像特征表示对应的关联图像特征表示；

36、将所述关联图像特征表示进行线性映射操作，输出所述融合垃圾图像特征表示对应的聚焦垃圾图像特征表示。

37、在一些优选的实施例中，在上述智能垃圾识别分类方法中，所述利用所述目标垃圾图像优化网络，将所述原始垃圾图像对应的图像块关联参数分布和所述垃圾图像块对应的目标垃圾图像特征表示进行多层次的聚合处理，输出所述垃圾图像块对应的聚合垃圾图像特征表示的步骤，包括：

38、对所述原始垃圾图像对应的图像块关联参数分布和所述垃圾图像块对应的目标垃圾图像特征表示进行加载处理，使得所述目标垃圾图像优化网络中的深度聚合模型获取到所述图像块关联参数分布和所述目标垃圾图像特征表示，其中，所述深度聚合模型包括深度特征挖掘单元、第四数量个深度特征聚合单元和聚合输出单元，所述第四数量大于或等于1；

39、利用所述深度特征挖掘单元，将所述垃圾图像块对应的目标垃圾图像特征表示进行深度特征挖掘操作，输出所述垃圾图像块对应的深度垃圾图像特征表示；

40、利用所述第四数量个深度特征聚合单元，依据所述原始垃圾图像对应的图像块关联参数分布和所述垃圾图像块对应的深度垃圾图像特征表示，输出所述第四数量个深度特征聚合单元各自对应的中间垃圾图像特征表示；

41、对所述第四数量个深度特征聚合单元中的目标深度特征聚合单元对应的中间垃圾图像特征表示进行标记，形成所述垃圾图像块对应的目标深度图像特征表示，其中，所述目标深度特征聚合单元属于所述第四数量个深度特征聚合单元中的排序在最后的深度特征聚合单元，所述第四数量个深度特征聚合单元之间具有级联连接的先后关系；

42、利用所述聚合输出单元，在将所述垃圾图像块对应的目标深度图像特征表示和所述垃圾图像块对应的深度垃圾图像特征表示进行权重系数的融合处理之后，通过进行叠加聚合处理，输出所述垃圾图像块对应的聚合垃圾图像特征表示。

43、在一些优选的实施例中，在上述智能垃圾识别分类方法中，所述第四数量个深度特征聚合单元包括任意深度特征聚合单元；

44、所述利用所述第四数量个深度特征聚合单元，依据所述原始垃圾图像对应的图像块关联参数分布和所述垃圾图像块对应的深度垃圾图像特征表示，输出所述第四数量个深度特征聚合单元各自对应的中间垃圾图像特征表示的步骤，包括：

45、在所述任意深度特征聚合单元属于所述第四数量个深度特征聚合单元中排序在第一位的深度特征聚合单元时，利用所述任意深度特征聚合单元，将所述原始垃圾图像对应的图像块关联参数分布和所述垃圾图像块对应的深度垃圾图像特征表示进行关联聚合处理，输出所述任意深度特征聚合单元对应的中间垃圾图像特征表示；

46、在所述任意深度特征聚合单元属于所述第四数量个深度特征聚合单元中排序在第一位的深度特征聚合单元以外的其它深度特征聚合单元时，利用所述任意深度特征聚合单元，将所述原始垃圾图像对应的图像块关联参数分布和所述任意深度特征聚合单元的前一个深度特征聚合单元对应的中间垃圾图像特征表示进行关联聚合处理，输出所述任意深度特征聚合单元对应的中间垃圾图像特征表示。

47、在一些优选的实施例中，在上述智能垃圾识别分类方法中，所述利用所述目标垃圾图像优化网络，基于所述聚合垃圾图像特征表示对所述原始垃圾图像进行图像优化处理，得到优化垃圾图像的步骤，包括：

48、利用所述目标垃圾图像优化网络包括的图像重建模型，基于所述原始垃圾图像中的每一个垃圾图像块对应的聚合垃圾图像特征表示，对所述原始垃圾图像进行图像重建处理，得到对应的重建垃圾图像，并将所述重建垃圾图像作为对应的优化垃圾图像；或者

49、将所述聚合垃圾图像特征表示进行线性映射操作，输出所述垃圾图像块对应的映射垃圾图像特征表示，以及，将所述映射垃圾图像特征表示进行映射输出操作，输出所述映射垃圾图像特征表示对应的概率参数分布，以及，在所述概率参数分布中确定出具有最大值的概率参数，并基于该概率参数对应的图像像素调整方式，对所述垃圾图像块进行像素调整操作，得到对应的优化垃圾图像块，以及，将所述原始垃圾图像中的每一个垃圾图像块对应的优化垃圾图像块进行拼接处理，输出优化垃圾图像。

50、在一些优选的实施例中，在上述智能垃圾识别分类方法中，所述智能垃圾识别分类方法还包括所述目标垃圾图像优化网络的训练步骤，该训练步骤包括：

51、确定出候选垃圾图像优化网络、训练第一垃圾图像和所述训练第一垃圾图像对应的训练第二垃圾图像，其中，所述训练第一垃圾图像通过对所述训练第二垃圾图像进行图像信息调整处理以形成；

52、利用所述候选垃圾图像优化网络，将所述训练第一垃圾图像中的垃圾图像块进行图像信息挖掘操作，输出所述训练第一垃圾图像中的垃圾图像块对应的第一数量个训练中的垃圾图像特征表示；

53、利用所述候选垃圾图像优化网络，将所述第一数量个训练中的垃圾图像特征表示进行融合处理，输出所述训练第一垃圾图像中的垃圾图像块对应的训练中的融合垃圾图像特征表示，并将所述训练中的融合垃圾图像特征表示进行聚焦特征挖掘处理，输出所述训练中的融合垃圾图像特征表示的训练中的聚焦垃圾图像特征表示；

54、利用所述候选垃圾图像优化网络，将所述训练第一垃圾图像对应的训练中的图像块关联参数分布和所述训练第一垃圾图像中的垃圾图像块对应的训练中的目标垃圾图像特征表示进行多层次的聚合处理，输出所述训练第一垃圾图像中的垃圾图像块对应的训练中的聚合垃圾图像特征表示，其中，所述训练中的目标垃圾图像特征表示基于所述训练中的聚焦垃圾图像特征表示和所述训练中的融合垃圾图像特征表示得到；

55、利用所述候选垃圾图像优化网络，基于所述训练中的聚合垃圾图像特征表示，对所述训练第一垃圾图像进行图像优化处理，得到优化第一垃圾图像；

56、基于所述优化第一垃圾图像和所述训练第二垃圾图像，对所述候选垃圾图像优化网络进行训练更新处理，输出对应的目标垃圾图像优化网络。

57、本发明实施例提供的一种智能垃圾识别分类方法，首先，对目标垃圾转运车转运的垃圾进行图像采集处理，得到原始垃圾图像；其次，利用目标垃圾图像优化网络，对原始垃圾图像进行图像优化处理，得到优化垃圾图像；然后，利用目标垃圾类型识别网络，对优化垃圾图像进行垃圾类型识别处理，得到目标垃圾类型信息。基于上述方法，由于在进行垃圾类型的识别处理之前，会对原始垃圾图像进行优化处理，即将原始垃圾图像中待识别垃圾进行丢失图像信息的还原处理，使得丢失的图像信息可以被还原出来，以保障待识别垃圾的图像信息的完整性，如此，就可以保障基于完整的图像信息进行的垃圾类型识别处理的可靠度，因此，可以改善现有技术中存在的垃圾识别的可靠度不高的问题。

58、为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。