一种基于多目标图像识别的高速分拣方法和系统与流程

本发明涉及包裹分拣，具体涉及一种基于多目标图像识别的高速分拣方法和系统。

背景技术：

1、智能高速分拣是指在现代物流系统中，利用自动化设备与人工智能算法，实现对物品的高速准确分拣，分拣过程中涉及物品的识别、定位、分类以及目的地分配，旨在提高分拣效率并节约人力成本。

2、传统分拣方法虽然取得了一定的成效，但在高速分拣场景下仍存在一些明显的弊端。首先，由于高速分拣场景中包裹运动速度较快，传统的条形码识别方法实时性不足，在物体高速运动中会出现识别延迟或识别失败的情况；其次，当多个物品同时进入扫描区域时，传统的图像识别方法无法区分并跟踪每个包裹的数据，导致数据冲突与混淆，出现分拣错误的情况。

技术实现思路

1、有鉴于此，本发明旨在提供一种基于多目标图像识别的高速分拣方法和系统，旨在解决传统分拣方法在高速分拣时，多个包裹同时进入扫描区域，导致的数据冲突与实时性不足的问题。

2、一种基于多目标图像识别的高速分拣方法，包括以下步骤：

3、s1：采集目标包裹的原始分拣图像并计算清晰度得分，选择清晰度得分最高的一张原始分拣图像作为待处理图像；

4、s2：以yolov8网络为基准网络构建自适应条形码识别网络，包括：设计自适应阈值计算方法，根据条形码识别框的置信度分数动态调整阈值；再使用自适应阈值代替yolov8网络中的固定阈值，得到自适应条形码识别网络；

5、然后使用自适应条形码识别网络对待处理图像中的包裹条形码进行识别；再进行裁切、灰度化、二值化处理，得到二值化后的条形码区域；

6、s3：采用条形码解析算法，对二值化后的条形码区域解码；对解码结果进行校验，若校验正确，则输出解码结果；

7、s4：结合图像差值特征构建siamese网络，对目标包裹进行追踪，并将解码结果标注在原始分拣图像上；构建掩码网络，对原始分拣图像进行像素分割并输出掩码二值图像；结合掩码二值图像与带有解码结果标注的原始分拣图像，得到独立包裹信息；

8、s5：根据独立包裹信息，控制分拣系统进行包裹分拣。

9、进一步地，所述步骤s1包括：设置相机为连拍模式，在包裹经过传送带的过程中，采用网络进行目标检测，检测到目标包裹后，连续拍摄5张目标包裹在传送带上的图像，采集得到目标包裹的原始分拣图像；计算5张原始分拣图像的清晰度得分，并选择清晰度得分最高的一张原始分拣图像作为待处理图像。

10、进一步地，所述步骤s1中，目标检测的计算方式为：

11、；

12、其中，为检测出的目标包裹，为网络操作，为输入网络的图像；

13、清晰度得分的计算方式为：

14、；

15、；

16、其中，为经过canny计算后的二值图像在处的像素值，为横、纵坐标，为canny边缘检测操作，为原始分拣图像在坐标处的像素值；为经过边缘检测之后，原始图像的边缘位置的像素值；

17、；

18、；

19、；

20、；

21、其中，为图像边缘处在横坐标方向上的梯度，为卷积操作，为图像边缘处在纵坐标方向上的梯度，为像素梯度幅值，为像素梯度方向，为反正切函数；

22、；

23、；

24、；

25、其中，为图像平均梯度，n为边缘像素数量，为第i个边缘像素梯度幅值，i为边缘像素数量索引，为图像梯度方差；为原始分拣图像中第j幅图像的清晰度得分，j为图像索引，为原始分拣图像中第j幅图像的图像平均梯度，为原始分拣图像中第j幅图像的图像梯度方差，为原始分拣图像的图像平均梯度的集合，为原始分拣图像的图像梯度方差的集合，为取最小值操作，为取最大值操作。

26、传统的图像选择方法大多只是简单地选择第一张或最后一张图像，或者基于时间戳进行图像选择，因此无法确保所选图像的质量；尤其在高速运动场景下，由于物体运动速度较快，部分图像会非常模糊，不适合用于条形码识别；本发明通过采用canny边缘检测算法对连续拍摄的5张图像进行处理，然后计算每幅图像的梯度信息，得到图像的清晰度得分，为后续的条形码识别提供了高质量的输入数据，提高了条形码识别的准确率，缩短了识别时间，进而提高了整个分拣系统的处理速度。

27、进一步的，所述步骤s2包括：

28、s21：设计自适应阈值计算方法，计算方式为：

29、；

30、其中，为第u个边界框的自适应阈值，u为边界框索引，为所有边界框中的最小阈值，为所有边界框中的最大阈值，为第u个边界框的置信度分数；

31、使用自适应阈值代替yolov8网络中的固定阈值，得到自适应条形码识别网络；

32、使用自适应条形码识别网络识别待处理图像中的包裹条形码，计算方式为：

33、；

34、其中，为识别出的条形码边界框，为自适应条形码识别网络操作，为待处理图像；

35、yolov8网络为yolo（you only look once）系列中的第8代网络；在s2步骤中，本发明构建了采用自适应阈值的条形码识别模块，并根据每个边界框的置信度分数（即模型对该边界框内存在条形码的信心程度）动态调整阈值，当边界框的置信度分数较高时，采用较高的阈值，反之则使用较低的阈值，使得模型能够更灵活地应对不同的条形码场景；而传统的条形码识别算法使用固定的阈值从候选边界框中选择出最优边界框，固定阈值对于数据质量依赖程度较高，对于条形码质量参差不齐的情况，会导致识别准确率下降；与传统方法相比，本发明在步骤s21的改进降低了条形码识别算法对数据质量的依赖程度，同时采用yolov8网络进行条形码识别，实时性较好，能够确保在高速分拣场景下也能够实现高效的条形码识别；

36、s22：针对每个条形码边界框定位到的包裹条形码区域进行裁剪，裁剪的计算方式为：

37、；

38、其中，为裁剪出的条形码区域，为从横坐标为至的范围，纵坐标从至的范围；

39、对裁剪出的条形码区域进行灰度化、二值化处理，得到二值化后的条形码区域，计算方式为：

40、；

41、；

42、其中，为灰度化后的条形码区域，为条形码区域在红色通道的像素值，为条形码区域在绿色通道的像素值，为条形码区域在蓝色通道的像素值，为二值化后的条形码区域在横、纵坐标为时的像素值。

43、s22步骤通过先裁剪出条形码区域，再对其进行灰度化和二值化操作，有效地去除了背景噪声和干扰信息，提高了条形码识别的准确性和鲁棒性；同时，通过设定特定的坐标范围，准确地将条形码区域从整张图像中分离出来，减少了后续处理的复杂度和计算量。

44、进一步地，所述步骤s3包括：

45、s31：将二值化后的条形码区域输入到条形码解析算法中，分析条形码类型并进行解码，将二值化后的条形码区域转换为对应的数字或字符序列；

46、对于ean-13条形码，它包含13位数字，分为左侧6位、中间分隔符、右侧6位和最后一位校验码；条形码解析算法会按照ean-13的编码规则，从左到右依次解析，将不同宽度的条纹和间距转换为对应的数字；

47、对于code128条形码，它支持ascii字符集，并且通过不同的起始和终止字符来定义不同的子集；条形码解析算法首先识别起始字符，确定当前使用的子集，然后按照该子集的编码规则，将二值化后的条形码区域转换为对应的ascii字符；

48、s32：使用条形码自带的校验位，对解码结果进行校验；

49、s33：若校验正确，则输出解码结果；若校验失败则重新解码，当连续3次校验失败时，将条形码标记为错误并记录条形码图像。

50、进一步地，所述步骤s4包括：

51、s41：结合图像差值特征构建siamese网络，计算方式为：

52、；

53、；

54、；

55、；

56、；

57、其中，为差值图像，为第一原始分拣图像，为第二原始分拣图像，为变化差值特征，为卷积神经网络操作，为卷积神经网络的共享参数，为第一差值特征，为第二差值特征，为图像差值特征；

58、第一原始分拣图像为任一时刻的原始分拣图像，第二原始分拣图像为任一时刻之后的另一时刻的原始分拣图像；

59、对于目标包裹分拣场景，每帧图片的环境背景相似度较高，区别之处在于传送带上有无目标包裹、目标包裹类型以及目标包裹数量；通过图像差值，算法能够消除每帧图片相同部分的干扰，降低计算量，同时学习到更加丰富的特征表示，不仅包括目标包裹的静态外观信息，还包括其动态变化信息，提高了算法的特征表达能力；

60、另外，由于目标包裹包装的颜色与某些传送带颜色相近，通过图像差值，这部分的差异性将会被放大，更有利于模型提取目标包裹的边界信息，为后续的目标包裹追踪和掩码提供了条件；

61、s42：构建掩码网络，用于对目标包裹图像进行像素分割并输出掩码二值图像，所述掩码二值图像与第一原始分拣图像、第二原始分拣图像大小相同，掩码二值图像中目标包裹的像素被标记为1，其他像素被标记为0，掩码网络的计算方式为：

62、；

63、；

64、；

65、其中，为上采样后的图像特征，为上采样操作，为掩码概率，为sigmoid函数，为掩码二值图像的横、纵坐标值，为处的掩码概率，为横、纵坐标；

66、掩码网络通过上采样操作和卷积神经网络处理，精确地识别出输入图像中目标包裹的像素级位置，为每个目标包裹生成独立的掩码二值图像；在输出的掩码二值图像中，目标包裹的像素被标记为1，而其他无关像素被标记为0，这种精确的定位能力为后续的目标包裹追踪任务提供了重要依据；

67、在数据利用方面，掩码网络输出的掩码二值图像与第一原始分拣图像、第二原始分拣图像大小相同，很容易地与目标追踪算法进行集成；

68、s43：使用siamese网络进行目标包裹追踪，得到目标包裹在当前帧中的大致位置，并将步骤s3得到的解码结果标注在第二原始分拣图像上；

69、s44：将siamese网络输出的图像差值特征作为掩码网络的输入，通过掩码网络对第二原始分拣图像进行像素分割，输出得到的掩码二值图像；

70、s45：将掩码二值图像与带有解码结果标注的第二原始分拣图像进行通道叠加，得到独立包裹信息。

71、在识别出多个包裹时，借助掩码网络的能力，系统能够将除第一个包裹外的其他目标包裹进行掩码，优先处理第一个包裹，避免同时处理多个包裹信息导致的混乱和分拣错误；

72、通过掩码网络和目标追踪的结合，有效提升了系统对于图片中同时出现多个包裹的处理效果；掩码网络能够准确识别并掩码除第一个包裹外的其他目标包裹，为目标追踪提供可靠的数据基础；而目标追踪则能够精确地追踪到第一个包裹的位置和移动轨迹，为分拣系统提供准确的信息支持；

73、与传统方法相比，传统方法按照时间先后顺序进行目标识别并向分拣系统发送信息，但在高速分拣场景下，物体识别的准确性和稳定性可能受到多种因素的影响，目标识别算法不一定能够在每一帧图像中同时且准确地识别出所有物体，若出现某一帧未能识别部分包裹的情况，就会导致分拣错误。

74、进一步地，所述步骤s5包括：

75、s51：将独立包裹信息按照时间先后顺序，发送给控制系统；

76、当系统识别到多个包裹时，不立即基于识别顺序进行分拣，而是将所有识别到的包裹信息进行暂存；若有包裹在第一帧中未被识别而在后续的帧中被成功识别，则根据此目标包裹的轨迹信息与最新识别的包裹在图像中的上下位置关系，更新其信息，并将其添加到待分拣的包裹列表中；

77、s52：控制系统根据每个包裹的分拣区域，向分拣机发送指令；

78、s53：分拣机接收到控制系统的指令后，执行分拣操作。

79、本发明还提供了一种基于多目标图像识别的高速分拣系统，包括：

80、待处理图像选择模块：采集目标包裹的原始分拣图像并计算清晰度得分，选择清晰度得分最高的一张原始分拣图像作为待处理图像；

81、自适应条形码识别模块：构建自适应条形码识别网络，对待处理图像中的包裹条形码进行识别、裁切，再进行灰度化、二值化处理，得到二值化后的条形码区域；

82、条形码解析模块：采用条形码解析算法，对二值化后的条形码区域解码；对解码结果进行校验，若校验正确，则输出解码结果；

83、目标追踪与掩码模块：结合图像差值特征构建siamese网络，对目标包裹进行追踪，并将解码结果标注在原始分拣图像上；构建掩码网络，对原始分拣图像进行像素分割并输出掩码二值图像；结合掩码二值图像与带有解码结果标注的原始分拣图像，得到独立包裹信息。

84、与现有技术相比，本发明的优点在于：

85、（1）在整体方案上，本发明提出了清晰度得分并以此挑选待处理的图像；在此基础上，构建了自适应条形码识别网络、目标追踪与掩码网络，独立追踪各个包裹的信息，并根据这些信息控制分拣系统进行高速分拣，提高了高速分拣算法的实时性，并解决了多个包裹同时进入扫描区域时的数据冲突，进而导致的分拣错误的问题。

86、（2）在算法改进上，本发明结合canny边缘检测算法与梯度计算，得到图像的清晰度得分，为后续的条形码识别提供了高质量的输入数据，提高了条形码识别的准确率；针对高速分拣场景中包裹运动速度快、实时性要求高的特点，构建了自适应条形码识别网络，通过边界框的置信度自适应调整阈值，提高了识别速度和准确性，解决了传统条形码识别方法在高速运动中的识别延迟问题。

87、（3）在多包裹数据冲突上，本发明提出目标追踪与掩码网络，实时追踪每个包裹的运动轨迹，并为其生成独立的掩码图像，从而准确区分每个包裹的信息，避免了多个包裹同时进入扫描区域带来的数据冲突与混淆的问题。