一种包裹检测系统、方法、装置、电子设备及存储介质与流程

本技术涉及智慧物流，特别是涉及一种包裹检测系统、方法、装置、电子设备及存储介质。

背景技术：

1、物流条码指供应链中用以标识物流领域中具体实物的一种特殊代码，是整个供应链过程，包括生产厂家、配销业、运输业、消费者等环节的共享数据。物流运输时(例如对包裹进行卸车、装车等)对包裹进行记录与统计，大多以包裹面单上的条码为依据。

2、相关技术中，利用固定相机在包裹经过传送带时对包裹的条码进行扫描，当包裹摆放失误、面单不在相机的扫描视野中时，该包裹条码会漏扫，导致包裹漏检。

技术实现思路

1、本技术实施例的目的在于提供一种包裹检测系统、方法、装置、电子设备及存储介质，以实现降低包裹的漏检率。具体技术方案如下：

2、第一方面，本技术提供了一种包裹检测系统，包括：立体彩色相机、读码器、工业全景相机及控制设备；

3、所述立体彩色相机，用于采集第一预设视野范围内的包裹的包裹信息，其中，所述包裹信息包括所述包裹的第一位置信息；

4、所述读码器，用于采集第二预设视野范围内的包裹条码的条码信息，其中，所述条码信息包括所述包裹条码的第二位置信息；

5、所述工业全景相机，用于采集第三预设视野范围内的图像数据；

6、所述控制设备，用于基于所述第一位置信息和所述第二位置信息，获取所述工业全景相机所采集的第一图像数据；根据所述包裹信息、所述条码信息、所述第一图像数据，生成包裹检测数据。

7、本技术的一个实施例中，所述包裹信息还包括所述包裹的体积信息，所述条码信息还包括所述包裹条码的条码识别信息；

8、所述控制设备，用于对所述第一位置信息与所述第二位置信息进行位置匹配；针对位置匹配成功的一对第一位置信息及第二位置信息，将该对第一位置信息及第二位置信息表示的包裹及包裹条码进行绑定，标记为检测到包裹、且检测到条码的第一类包裹；

9、获取所述工业全景相机所采集的所述第一类包裹到达所述第三预设视野范围时的第一图像数据；基于所述第一类包裹的体积信息、所述条码识别信息及所述第一图像数据，生成所述第一类包裹的所述包裹检测数据。

10、本技术的一个实施例中，所述包裹信息还包括所述包裹的体积信息，所述条码信息还包括所述包裹条码的条码识别信息；

11、所述控制设备，用于对所述第一位置信息与所述第二位置信息进行位置匹配；针对位置匹配失败的第一位置信息，将该第一位置信息表示的包裹标记为检测到包裹、未检测到条码的第二类包裹；

12、获取所述工业全景相机所采集的所述第二类包裹到达所述第三预设视野范围时的第一图像数据、以及所述读码器所采集的所述第二类包裹到达所述第三预设视野范围时的第二图像数据；基于所述第二类包裹的体积信息、所述第一图像数据及所述第二图像数据，生成所述第二类包裹的所述包裹检测数据；将所述第二类包裹标记为异常包裹。

13、本技术的一个实施例中，所述包裹信息还包括所述包裹的体积信息，所述条码信息还包括所述包裹条码的条码识别信息；

14、所述控制设备，用于对所述第一位置信息与所述第二位置信息进行位置匹配；针对位置匹配失败的第二位置信息，将该第二位置信息表示的包裹标记为未检测到包裹、检测到条码的第三类包裹；

15、获取所述工业全景相机所采集的所述第三类包裹到达所述第三预设视野范围时的第一图像数据；基于所述第三类包裹的条码识别信息及所述第一图像数据，生成所述第三类包裹的所述包裹检测数据；将所述第三类包裹标记为异常包裹。

16、本技术的一个实施例中，所述系统还包括：移动机构；

17、所述移动机构，用于按照第一方向或第二方向传送包裹，其中，所述第一方向为包裹装车的方向，所述第二方向为包裹卸车的方向。

18、本技术的一个实施例中，

19、所述控制设备，用于创建所述第一位置信息表示的包裹对应的数据节点；针对位置匹配成功的一对第一位置信息及第二位置信息，基于所述第二位置信息表示的包裹条码，更新所述第一位置信息表示的包裹对应的数据节点；针对位置匹配失败的第二位置信息，创建所述第二位置信息表示的包裹对应的数据节点，其中，所述数据节点均缓存在数据节点列表中；在已生成所述包裹的所述包裹检测数据、且所述包裹离开所述第一预设视野范围的情况下，从所述数据节点列表中删除所述包裹对应的数据节点。

20、第二方面，本技术提供了一种包裹检测方法，包括：

21、获取由立体彩色相机采集的第一预设视野范围内的包裹的包裹信息，以及获取读码器采集的第二预设视野范围内的包裹条码的条码信息，其中，所述包裹信息包括所述包裹的第一位置信息，所述条码信息包括所述包裹条码的第二位置信息；

22、基于所述第一位置信息和所述第二位置信息，获取工业全景相机所采集的第一图像数据；

23、根据所述包裹信息、所述条码信息、所述第一图像数据，生成包裹检测数据。

24、本技术的一个实施例中，所述包裹信息还包括所述包裹的体积信息，所述条码信息还包括所述包裹条码的条码识别信息；所述基于所述第一位置信息和所述第二位置信息，获取工业全景相机所采集的第一图像数据，包括：

25、对所述第一位置信息与所述第二位置信息进行位置匹配；

26、针对位置匹配成功的一对第一位置信息及第二位置信息，将该对第一位置信息及第二位置信息表示的包裹及包裹条码进行绑定，标记为检测到包裹、且检测到条码的第一类包裹；

27、获取所述工业全景相机所采集的所述第一类包裹到达第三预设视野范围时的第一图像数据；

28、所述根据所述包裹信息、所述条码信息、所述第一图像数据，生成包裹检测数据，包括：

29、基于所述第一类包裹的体积信息、所述条码识别信息及所述第一图像数据，生成所述第一类包裹的所述包裹检测数据。

30、本技术的一个实施例中，所述包裹信息还包括所述包裹的体积信息，所述条码信息还包括所述包裹条码的条码识别信息；所述基于所述第一位置信息和所述第二位置信息，获取工业全景相机所采集的第一图像数据，包括：

31、对所述第一位置信息与所述第二位置信息进行位置匹配；

32、针对位置匹配失败的第一位置信息，将该第一位置信息表示的包裹标记为检测到包裹、未检测到条码的第二类包裹；

33、获取所述工业全景相机所采集的所述第二类包裹到达第三预设视野范围时的第一图像数据、以及所述读码器所采集的所述第二类包裹到达所述第三预设视野范围时的第二图像数据；

34、所述根据所述包裹信息、所述条码信息、所述第一图像数据，生成包裹检测数据，包括：

35、基于所述第二类包裹的体积信息、所述第一图像数据及所述第二图像数据，生成所述第二类包裹的所述包裹检测数据；

36、将所述第二类包裹标记为异常包裹。

37、本技术的一个实施例中，所述包裹信息还包括所述包裹的体积信息，所述条码信息还包括所述包裹条码的条码识别信息；所述基于所述第一位置信息和所述第二位置信息，获取工业全景相机所采集的第一图像数据，包括：

38、对所述第一位置信息与所述第二位置信息进行位置匹配；

39、针对位置匹配失败的第二位置信息，将该第二位置信息表示的包裹标记为未检测到包裹、检测到条码的第三类包裹；

40、获取所述工业全景相机所采集的所述第三类包裹到达第三预设视野范围时的第一图像数据；

41、所述根据所述包裹信息、所述条码信息、所述第一图像数据，生成包裹检测数据，包括：

42、基于所述第三类包裹的条码识别信息及所述第一图像数据，生成所述第三类包裹的所述包裹检测数据；

43、将所述第三类包裹标记为异常包裹。

44、本技术的一个实施例中，所述方法还包括：

45、利用移动机构按照第一方向或第二方向传送包裹，其中，所述第一方向为包裹装车的方向，所述第二方向为包裹卸车的方向。

46、本技术的一个实施例中，所述方法还包括：

47、创建所述第一位置信息表示的包裹对应的数据节点；

48、针对位置匹配成功的一对第一位置信息及第二位置信息，基于所述第二位置信息表示的包裹条码，更新所述第一位置信息表示的包裹对应的数据节点；

49、针对位置匹配失败的第二位置信息，创建所述第二位置信息表示的包裹对应的数据节点，其中，所述数据节点均缓存在数据节点列表中；

50、在已生成所述包裹的所述包裹检测数据、且所述包裹离开所述第一预设视野范围的情况下，从所述数据节点列表中删除所述包裹对应的数据节点。

51、本技术的一个实施例中，在获取由立体彩色相机采集的第一预设视野范围内的包裹的包裹信息，以及获取读码器采集的第二预设视野范围内的包裹条码的条码信息之前，所述方法还包括：

52、对所述立体彩色相机、所述读码器及所述工业全景相机进行时间标定；

53、对所述立体彩色相机、所述读码器及所述工业全景相机进行相机坐标系标定，得到所述立体彩色相机、所述读码器及所述工业全景相机统一的相机坐标系。

54、本技术的一个实施例中，所述对所述第一位置信息与所述第二位置信息进行位置匹配，包括：

55、将所述第二位置信息基于统一的相机坐标系转换至世界坐标系，得到所述包裹条码在所述世界坐标系中的第三位置信息，其中，所述第一位置信息为世界坐标系中的物理位置信息，所述第二位置信息为相机坐标系中的图像位置信息；

56、对所述第三位置信息与所述第二位置信息进行匹配，得到位置匹配结果。

57、第三方面，本技术提供了一种包裹检测装置，包括：

58、信息获取模块，用于获取由立体彩色相机采集的第一预设视野范围内的包裹的包裹信息，以及获取读码器采集的第二预设视野范围内的包裹条码的条码信息，其中，所述包裹信息包括所述包裹的第一位置信息，所述条码信息包括所述包裹条码的第二位置信息；

59、图像获取模块，用于基于所述第一位置信息和所述第二位置信息，获取工业全景相机所采集的第一图像数据；

60、数据生成模块，用于根据所述包裹信息、所述条码信息、所述第一图像数据，生成包裹检测数据。

61、本技术的一个实施例中，所述包裹信息还包括所述包裹的体积信息，所述条码信息还包括所述包裹条码的条码识别信息；所述图像获取模块，具体用于：

62、对所述第一位置信息与所述第二位置信息进行位置匹配；

63、针对位置匹配成功的一对第一位置信息及第二位置信息，将该对第一位置信息及第二位置信息表示的包裹及包裹条码进行绑定，标记为检测到包裹、且检测到条码的第一类包裹；

64、获取所述工业全景相机所采集的所述第一类包裹到达第三预设视野范围时的第一图像数据；

65、所述数据生成模块，具体用于：

66、基于所述第一类包裹的体积信息、所述条码识别信息及所述第一图像数据，生成所述第一类包裹的所述包裹检测数据。

67、本技术的一个实施例中，所述包裹信息还包括所述包裹的体积信息，所述条码信息还包括所述包裹条码的条码识别信息；所述图像获取模块，具体用于：

68、对所述第一位置信息与所述第二位置信息进行位置匹配；

69、针对位置匹配失败的第一位置信息，将该第一位置信息表示的包裹标记为检测到包裹、未检测到条码的第二类包裹；

70、获取所述工业全景相机所采集的所述第二类包裹到达第三预设视野范围时的第一图像数据、以及所述读码器所采集的所述第二类包裹到达所述第三预设视野范围时的第二图像数据；

71、所述数据生成模块，具体用于：

72、基于所述第二类包裹的体积信息、所述第一图像数据及所述第二图像数据，生成所述第二类包裹的所述包裹检测数据；

73、将所述第二类包裹标记为异常包裹。

74、本技术的一个实施例中，所述包裹信息还包括所述包裹的体积信息，所述条码信息还包括所述包裹条码的条码识别信息；所述图像获取模块，具体用于：

75、对所述第一位置信息与所述第二位置信息进行位置匹配；

76、针对位置匹配失败的第二位置信息，将该第二位置信息表示的包裹标记为未检测到包裹、检测到条码的第三类包裹；

77、获取所述工业全景相机所采集的所述第三类包裹到达第三预设视野范围时的第一图像数据；

78、所述数据生成模块，具体用于：

79、基于所述第三类包裹的条码识别信息及所述第一图像数据，生成所述第三类包裹的所述包裹检测数据；

80、将所述第三类包裹标记为异常包裹。

81、本技术的一个实施例中，所述装置还包括：

82、包裹传送模块，用于利用移动机构按照第一方向或第二方向传送包裹，其中，所述第一方向为包裹装车的方向，所述第二方向为包裹卸车的方向。

83、本技术的一个实施例中，所述装置还包括：

84、第一节点创建模块，用于创建所述第一位置信息表示的包裹对应的数据节点；

85、节点更新模块，用于针对位置匹配成功的一对第一位置信息及第二位置信息，基于所述第二位置信息表示的包裹条码，更新所述第一位置信息表示的包裹对应的数据节点；

86、第二节点创建模块，用于针对位置匹配失败的第二位置信息，创建所述第二位置信息表示的包裹对应的数据节点，其中，所述数据节点均缓存在数据节点列表中；

87、节点删除模块，用于在已生成所述包裹的所述包裹检测数据、且所述包裹离开所述第一预设视野范围的情况下，从所述数据节点列表中删除所述包裹对应的数据节点。

88、本技术的一个实施例中，所述装置还包括：

89、时间标定模块，用于对所述立体彩色相机、所述读码器及所述工业全景相机进行时间标定；

90、坐标系标定模块，用于对所述立体彩色相机、所述读码器及所述工业全景相机进行相机坐标系标定，得到所述立体彩色相机、所述读码器及所述工业全景相机统一的相机坐标系。

91、本技术的一个实施例中，所述图像获取模块，具体用于：

92、将所述第二位置信息基于统一的相机坐标系转换至世界坐标系，得到所述包裹条码在所述世界坐标系中的第三位置信息，其中，所述第一位置信息为世界坐标系中的物理位置信息，所述第二位置信息为相机坐标系中的图像位置信息；

93、对所述第三位置信息与所述第二位置信息进行匹配，得到位置匹配结果。

94、第四方面，本技术实施例还提供了一种电子设备，包括：

95、存储器，用于存放计算机程序；

96、处理器，用于执行存储器上所存放的程序时，实现上述任一所述的包裹检测方法。

97、第五方面，本技术实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一所述的包裹检测方法。

98、第六方面，本技术实施例还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述任一所述的包裹检测方法。

99、本技术实施例有益效果：

100、本技术实施例提供的包裹检测系统，利用立体彩色相机采集第一预设视野范围内的包裹的包裹信息，利用读码器采集第二预设视野范围内的包裹条码的条码信息，利用工业全景相机采集第三预设视野范围内的图像数据。控制设备基于第一位置信息和第二位置信息，获取工业全景相机所采集对应包裹的第一图像数据，并根据包裹信息、条码信息、第一图像数据，生成包裹检测数据。利用立体彩色相机、读码器及工业全景相机对包裹进行三次图像数据采集，提高了包裹检测的准确性，降低了包裹的漏检率。

101、当然，实施本技术的任一产品或方法并不一定需要同时达到以上所述的所有优点。