货物放置控制方法、装置、计算机设备和存储介质与流程

1.本技术涉及物流应用技术领域，特别是涉及一种货物放置控制方法、装置、计算机设备和存储介质。


背景技术：

2.随着物流产业的发展，货物数量不断增加，对货物放置的需求也日益攀升。目前，需要搬运设备在装车台上的库位放置货物，再由人工将库位上的货物搬运到车厢。当库位上放置的货物全部被人工取走之后，搬运设备需要将下一托货物放置到库位上。
3.但是，由于搬运设备自身无法判断库位上的货物是否已经全部被取走，从而导致搬运设备不能及时进行货物放置，进而影响货物放置的效率。


技术实现要素：

4.基于此，有必要针对上述技术问题，提供一种能够提高货物放置效率的货物放置控制方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。
5.第一方面，本技术提供了一种货物放置控制方法。所述方法包括：
6.获取针对库位进行图像采集得到的库位图；所述库位图中的库位对象为至少一个；所述库位对象所表征的库位用于存放货物；
7.定位检测所述库位图中的所述库位对象；
8.对所述库位对象进行货物放置状态识别，得到所述库位对象所表征库位所处的货物放置状态；所述货物放置状态用于表示所述库位对象所表征的库位上是否有货；
9.根据所述货物放置状态对搬运设备进行货物放置控制处理。
10.第二方面，本技术还提供了一种货物放置控制装置。所述装置包括：
11.图像获取模块，用于获取进行图像采集得到的库位图；所述库位图中的库位对象为至少一个；所述库位对象所表征的库位用于存放货物；
12.定位检测模块，用于定位检测所述库位图中的所述库位对象；
13.状态识别模块，用于对所述库位对象进行货物放置状态识别，得到所述库位对象所表征库位所处的货物放置状态；所述货物放置状态用于表示所述库位对象所表征的库位上是否有货；
14.放置控制模块，用于根据所述货物放置状态对搬运设备进行货物放置控制处理。
15.在一些实施例中，所述库位图是通过图像采集设备采集的，所述货物放置控制装置还包括设备安装模块，所述设备安装模块用于根据最高货物高度、所述图像采集设备的设备参数和预设安装位置，计算所述图像采集设备的视野范围；若目标库位上的货物能完整显示在所述视野范围内，则根据所述预设安装位置安装所述图像采集设备；其中，所述目标库位是所述库位图中各库位对象所表征的库位。
16.在一些实施例中，所述定位检测模块还用于获取预配置文件，从所述预配置文件获取所述库位对象的库位信息；所述库位信息是通过对样本库位图进行标定得到的；所述
样本库位图是通过所述图像采集设备预先针对所述库位对象所表征的所述库位进行图像采集得到的；根据所述库位信息对所述库位图进行定位检测，得到所述库位图中的所述库位对象。
17.在一些实施例中，所述货物放置状态是通过货物状态识别引擎对所述货物对象进行货物放置状态识别得到的；所述货物状态识别引擎是通过深度学习训练的货物状态识别模型转换得到的；所述货物状态识别引擎的检测推理速度优于所述货物状态识别模型。
18.在一些实施例中，所述放置控制模块还用于若所述货物放置状态为无货状态，则生成货物操作信号，以使所述搬运设备根据所述货物操作信号对所述库位对象表征的库位放置货物。
19.在一些实施例中，所述放置控制模块还用于若所述货物放置状态为有货状态，则生成用于提示所述库位对象表征的库位有货的通知。
20.在一些实施例中，所述放置控制模块还用于若多个所述库位对象所表征库位所处的货物放置状态为无货状态，则在所述搬运设备对上一个处于无货状态的库位放置货物后，生成下一个货物操作信号，以控制所述搬运设备基于所述下一个货物操作信号对下一个对应于无货状态的库位放置货物。
21.第三方面，本技术还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述货物放置控制方法中的步骤。
22.第四方面，本技术还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述货物放置控制方法中的步骤。
23.第五方面，本技术还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述货物放置控制方法中的步骤。
24.上述货物放置控制方法、装置、计算机设备、存储介质和计算机程序产品，通过获取针对库位进行图像采集得到的库位图；库位图中的库位对象为至少一个；库位对象所表征的库位用于存放货物；定位检测库位图中的库位对象；对库位对象进行货物放置状态识别，得到库位对象所表征库位所处的货物放置状态；货物放置状态用于表示库位对象所表征的库位上是否有货；根据货物放置状态对搬运设备进行货物放置控制处理。对库位图中的库位对象进行货物放置状态识别，就能通过程序化自动判断库位对象所表征的库位上是否有货，从而控制搬运设备及时进行货物放置，进而提高货物放置的效率。
附图说明
25.图1为一些实施例中货物放置控制方法的应用环境示意图；
26.图2为一些实施例中货物放置控制方法的流程示意图；
27.图3为一些实施例中图像采集设备的安装位置示意图；
28.图4为另一些实施例中货物放置控制方法的流程示意图；
29.图5为一些实施例中货物放置控制装置的结构框图；
30.图6为一些实施例中计算机设备的内部结构图。
具体实施方式
31.为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本技术，并不用于限定本技术。
32.本技术实施例提供的货物放置控制方法，可以应用于图1所示的应用环境中。其中，用于进行图像采集的图像采集设备102和所配服务端104需要连接于同一网络下，以确保服务端104可访问所有图像采集设备102，服务端104通过网络与图像采集设备102进行通信。图像采集设备102针对用于存放货物的库位进行图像采集，得到库位图，图像采集设备102还可以将采集到的库位图发送给服务端104进行货物放置控制。具体地，服务端104在获取到库位图之后，定位检测库位图中的库位对象，并对库位对象进行货物放置状态识别，得到库位对象所表征库位所处的货物放置状态，其中，货物放置状态用于表示库位对象所表征的库位上是否有货。此外，服务端104还根据货物放置状态对搬运设备进行货物放置控制处理。其中，图像采集设备102的数量可以为1台，也可以为多台，服务端104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
33.在一些实施例中，如图2所示，提供一种货物放置控制方法，该方法可以运用到服务端中，也可以通过服务端与图像采集设备之间的交互来实现，本技术实施例不做具体限定。以该方法应用于图1中的服务端为例，包括以下步骤：
34.步骤202，获取针对库位进行图像采集得到的库位图。
35.其中，库位是指仓库中货物的具体存放位置。可以理解，库位的形状可以为矩形，也可以为其他形状，本技术对库位的具体形状不做限定。
36.库位图，是通过图像采集设备对一个或多个库位进行图像采集得到的，库位图中的库位对象为至少一个，库位对象用于在库位图中表征库位。可以理解，库位对象所表征的库位用于存放货物。可以理解，库位图中不限于仅包括库位的图像内容，还可以包括其他位置区域的图像内容，只要保证库位图中有库位的图像内容即可。
37.图像采集设备，指的是具备拍照功能的设备，可以但不限于是各种相机和移动设备中的至少一种。
38.其他位置区域，可以包括安全区域，安全区域指的是位于库位周边的用于进行报警提示的区域，例如，可以识别安全区域内是否包括人或者搬运设备，且还能识别安全区域内人的数量或者搬运设备的数量，若识别出人或搬运设备进入设定好的安全区域范围内，还可以生成报警提示。需要说明的是，安全区域的形状可为多边形，安全区域具体的顶点数量、面积和位置都可根据实际需求设定。
39.具体地，图像采集设备针对用于存放货物的库位进行图像采集，得到库位图。服务端则获取图像采集设备进行图像采集得到的库位图，用于后续对库位图中的库位对象进行定位检测。
40.步骤204，定位检测库位图中的库位对象。
41.具体地，服务端可以从库位图中识别出需要进行货物放置状态识别的库位对象。可以理解，需要进行货物放置状态识别的库位对象可以是库位图中全部或部分库位对象。
42.在一些实施例中，服务端可以通过预先配置的用于标定库位的库位信息，来从库位图中定位库位对象。
43.在另一些实施例中，服务端可以对库位图自动进行图像分割处理，来定位检测库位对象。可以理解，本技术对如何从库位图中定位库位对象的具体实现方式不做限定。
44.步骤206，对库位对象进行货物放置状态识别，得到库位对象所表征库位所处的货物放置状态。
45.其中，货物放置状态识别指的是识别库位对象所表征的库位上是否有货，货物放置状态用于表示库位对象所表征的库位上有货还是无货。
46.在一些实施例中，服务端可以直接通过预先训练好的货物状态识别模型对库位对象进行货物放置状态识别，以此确定库位对象所表征的库位上是否有货。
47.在另一些实施例中，服务端还可以对货物状态识别模型进行优化推理后，对库位对象进行货物放置状态识别，以此确定库位对象所表征的库位上是否有货。
48.其中，货物状态识别模型指的是采用深度学习算法训练的神经网络模型，用于对货物的放置状态进行识别。可以理解，货物状态识别模型可以是多分类模型，即货物状态识别模型并不仅限于对货物的放置状态进行检测识别，还可以对人和叉车等对象进行识别。
49.深度学习，指的是学习样本数据的内在规律和表示层次，这些学习过程中能够识别文字、图像和声音等数据。
50.步骤208，根据货物放置状态对搬运设备进行货物放置控制处理。
51.其中，搬运设备是用于运输并放置货物的设备，搬运设备可以包括自动引导车(automated guided vehicle，agv小车)和叉车中的至少一种。
52.具体地，服务端根据货物放置状态确定库位对象所表征的库位是否有货，并在对应库位在有货或者无货的情况下，对搬运设备进行货物放置控制处理。
53.在一些实施例中，若服务端确定库位对象所表征库位所处的货物放置状态为无货状态，则控制搬运设备将货物放置到该库位上。
54.在另一些实施例中，若服务端确定库位对象所表征库位所处的货物放置状态为有货状态，则上报对应的库位上有货物。
55.上述货物放置控制方法中，通过获取针对库位进行图像采集得到的库位图；库位图中的库位对象为至少一个；库位对象所表征的库位用于存放货物；定位检测库位图中的库位对象；对库位对象进行货物放置状态识别，得到库位对象所表征库位所处的货物放置状态；货物放置状态用于表示库位对象所表征的库位上是否有货；根据货物放置状态对搬运设备进行货物放置控制处理。对库位图中的库位对象进行货物放置状态识别，就能通过程序化自动判断库位对象所表征的库位上是否有货，从而控制搬运设备及时进行货物放置，进而提高货物放置的效率。
56.在一些实施例中，库位图是通过图像采集设备采集的，在步骤202之前，货物放置控制方法还包括安装图像采集设备步骤。其中，安装图像采集设备步骤包括：根据最高货物高度、图像采集设备的设备参数和预设安装位置，计算图像采集设备的视野范围；若目标库位上的货物能完整显示在视野范围内，则根据预设安装位置安装图像采集设备。
57.其中，目标库位是库位图中各库位对象所表征的对应于现实世界中用于存放货物的库位。
58.最高货物高度，指的是库位上的货物能够堆叠的最高高度。
59.图像采集设备的设备参数，包括但不限于图像采集设备的焦距，例如2.8毫米、4毫
米和6毫米等。
60.预设安装位置，包括但不限于图像采集设备的预设安装高度和预设安装角度的至少一种。
61.具体地，根据图像采集设备的焦距，可以直接确定该焦距对应的水平视角和垂直视角的大小，例如焦距为4毫米的图像采集设备对应的水平视角为70度、垂直视角为40度。根据最高货物高度、水平视角、垂直视角和预设安装高度，就能计算图像采集设备在预设安装高度的视野长度和视野宽度，根据视野长度和视野宽度就能计算出图像采集设备在该预设安装高度的视野范围。其中，视野长度和视野宽度的具体过程如公式(1)和公式(2)所示：
62.l1＝2*(h-h)*tan(a/2)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)
63.l2＝2*(h-h)*tan(b/2)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)
64.其中，l1指的是视野长度，l2指的是视野宽度，h指的是预设安装高度，h指的是最高货物高度，a指的是水平视角，b指的是垂直视角。
65.通过公式(1)和公式(2)分别计算出视野长度和视野宽度之后，将视野长度和视野宽度相乘，就能得到图像采集设备在该预设安装高度下能够看到的视野范围。
66.在一些实施例中，在计算出视野范围之后，若目标库位上的货物能完整显示在视野范围内，则根据预设安装位置安装图像采集设备。具体地，可将视野范围和预设视野范围进行对比，若视野范围大于或等于预设视野范围，则确定目标库位上的货物能完整显示在视野范围内。其中，预设视野范围可根据目标库位的空间大小，具体根据目标库位的库位面积确定。
67.在实际应用中，如图3所示，若目标库位为单个库位，且该目标库位仅能放置有两个货物，根据最高货物高度为h、预设安装高度h、图像采集设备的水平视角和垂直视角计算图像采集设备在预设安装高度下的可视面积，即视野范围。若将预设视野范围设置为目标库位对应的一个库位的库位面积，且计算出的视野范围等于预设视野范围，则图像采集设备在视野范围内可以完整看到目标库位上的所有货物，即图3中的两个货物，此时说明该预设安装高度设置合理，可以直接根据预设安装高度h安装图像采集设备。
68.在一些实施例中，若目标库位上的货物不能完整显示在视野范围内，则调整预设安装位置，直至调整后的预设安装位置能够使目标库位上的货物完整显示在视野范围内；根据调整后的预设安装位置安装图像采集设备。
69.具体地，若目标库位上的货物不能完整显示在视野范围内，则说明图像采集设备的视野范围小于预设视野范围，且预设安装位置设置得不合理。此时需要调整预设安装位置，具体可以调整图像采集设备的预设安装高度和预设安装角度，根据调整后的预设安装高度和预设安装角度安装图像采集设备，以使图像采集设备在视野范围内可以完整看到目标库位上的所有货物。
70.可以理解，受镜头制造精度的影响，图像采集设备拍摄的库位图可能会出现不同程度的畸变。为了提高图像拍摄的识别效果，可以考虑在安装图像采集设备之前，通过标定图像采集设备内参的方法，对图像采集设备去畸变。
71.具体地，通过图像采集设备对标定板进行图像采集，得到标定板图像。在标定软件中导入标定板图像，由标定软件对标定板图像进行标定，得到图像采集设备内参和畸变参数。并将图像采集设备内参和畸变参数更新到图像采集设备的配置文件中，以完成对图像
采集设备去畸变的过程。
72.在实际应用中，可以考虑在装车台垂直上方或者斜上方使用固定装置安装图像采集设备，该图像采集设备的安装位置需要保证覆盖所有库位的区域，且能够看到所有货物。在安装完所有图像采集设备之后，就可以计算图像采集设备的安装数量。其中，需要保证每一台图像采集设备尽可能多的拍摄到库位，以此减少图像采集设备的安装数量，这样不仅能够通过单个图像采集设备采集到的库位图来自动识别多个库位上的货物放置状态，还能够降低图像采集设备的安装成本。
73.在一些实施例中，步骤204具体包括但不限于包括：获取预配置文件，从预配置文件获取库位对象的库位信息；根据库位信息对库位图进行定位检测，得到库位图中的库位对象。
74.其中，库位信息是通过对样本库位图进行标定得到的；样本库位图是通过图像采集设备预先针对库位对象所表征的库位进行图像采集得到的。
75.预配置文件用来设定库位对象的库位信息，并把库位对象绘制在图像采集设备拍摄到的库位图中，用于表示库位对象在库位图中的具体位置。
76.可以理解，库位信息包括但不限于包括库位的空间大小(例如库位的长度和宽度)、库位编号和库位对象在库位图中的具体位置。其中，库位对象在库位图中的具体位置指的是库位对象所表征的库位在像素坐标系下的各个顶点的像素坐标等。
77.具体地，服务端获取预配置文件，从预配置文件获取库位对象在库位图中的具体位置，即预配置文件中记录的库位对象所表征的库位在像素坐标系下的各个顶点的像素坐标。服务端根据各个顶点的像素坐标对库位图进行定位检测，就能定位得到库位图中的库位对象。
78.在实际应用中，预配置文件的配置过程可以为：通过图像采集设备采集多个库位的多张库位图，且保证每张库位图不重样。在货物状态识别程序的配置文件中设置库位区域，具体地，在配置文件中输入该库位区域中每一个库位的长度、宽度、库位编号(该库位编号与实际的库位对应的库位编号一一对应)，以及每一个库位在像素坐标系下的坐标点，以生成预配置文件。需要说明的是，库位区域包括所有库位，货物状态识别程序是一款集成tensorrt环境(即部署好货物状态识别引擎)的可执行程序，该程序能够检测识别出标定的目标，例如，当某个库位上有货物时，货物状态识别程序的识别界面中会通过检测框突出显示该库位有货物。
79.在一些实施例中，货物放置状态是通过货物状态识别引擎对货物对象进行货物放置状态识别得到的，货物状态识别引擎可集成部署在服务端，货物状态识别引擎是通过深度学习训练的货物状态识别模型转换得到的，货物状态识别引擎的检测推理速度优于货物状态识别模型。通过深度学习算法建立的货物状态识别模型，能够自动找到准确的特征，从而提高货物状态识别的准确率，将深度学习训练的货物状态识别模型转换成货物状态识别引擎，能够进一步优化推理，进一步提高货物状态识别的准确率。
80.货物状态识别引擎，指的是对训练好的货物状态识别模型进行优化的推理优化器，该货物状态识别引擎能够优化推理，对各种货物的识别更加准确，还能够进行部署加速。
81.在一些实施例中，货物状态识别模型的训练过程为：将安装好的图像采集设备和
所对应的服务端连接于同一网络下，以确保服务端可访问所有图像采集设备。通过服务端打开图像采集设备的采集图像功能，由图像采集设备针对不同库位的货物进行图像采集，并挑选出其中不重复的图像作为货物样本图像，从而保证训练样本的平衡，其中，货物样本图像包括但不限于单个货物的图像、处于不同的间距、角度和位置等多个货物堆叠的图像和不同种类货物的图像等。接着，对每个货物样本图像进行标注，得到标注图像集，其中，标注的种类包括但不限于人、叉车和货物中的至少一种，例如其中一张货物样本图像的图像内容包括人、叉车和货物，则利用标注工具分别将人、叉车和货物对应的对象框选出来，并打上对应的标签，用于在模型训练的时候告诉模型什么是人、什么是叉车、什么是货物等。最后，将标注好的标注图像集放在原始的神经网络模型中训练，得到最优的模型参数，根据最优的模型参数更新神经网络模型，得到训练好的货物状态识别模型。
82.在一些实施例中，原始的神经网络模型可选取yolov5模型，其中，yolov5模型是一种利用单阶段目标检测算法训练得到的神经网络模型。根据yolov5模型训练得到的货物状态识别模型，推理速度快、占用空间小，且精度更高。
83.在一些实施例中，将货物状态识别模型转换成货物状态识别引擎过程为：将训练好的货物状态识别模型对应的模型文件的格式，转换为货物状态识别引擎对应的文件格式，生成引擎文件。具体地，将货物状态识别模型导入货物状态识别引擎，以生成引擎文件，将引擎文件序列化保存，之后即可以方便快速地调用它来执行货物状态识别模型的加速推理。
84.在实际应用中，可以选择tensorrt作为本技术的货物状态识别引擎，其中，tensorrt是一个高性能的深度学习推断的优化器和引擎。
85.可以理解，在一些实施例中，将货物状态识别模型转换成货物状态识别引擎(即tensorrt)的过程为：获取货物状态识别模型对应的.pt格式的模型文件，将.pt格式的模型文件转换为.wts格式的模型文件。将.wts格式的模型文件放入到tensorrt对应的文件夹下，双击运行文件夹中的引擎生成程序以生成新的引擎文件。对新的引擎文件进行复制，并替换原有的引擎文件，以此生成货物状态识别引擎。
86.在一些实施例中，步骤208具体包括但不限于：若货物放置状态为无货状态，则生成货物操作信号，以使搬运设备根据货物操作信号对库位对象表征的库位放置货物。通过程序化自动生成货物操作信号，从而控制搬运设备及时进行货物放置，进而提高货物放置的效率。
87.在一些实施例中，货物放置控制方法具体还包括但不限于：若货物放置状态为有货状态，则生成用于提示库位对象表征的库位有货的通知，表示搬运设备此时不需要对该库位进行放货。
88.在一些实施例中，货物放置控制方法具体还包括但不限于：若多个库位对象所表征库位所处的货物放置状态为无货状态，则在搬运设备对上一个处于无货状态的库位放置货物后，生成下一个货物操作信号，以控制搬运设备基于下一个货物操作信号对下一个对应于无货状态的库位放置货物，能够使搬运设备进行连续装车工作。
89.在实际应用中，在服务端上运行货物状态识别程序，对库位区域中的所有库位进行监控，在货物状态识别程序的程序界面中可以监控到当有货物进入到检测区域(即库位区域)时，货物状态识别程序会自动在货物对象上标注检测框并显示对应的货物标签。当识
别到货物被存放到库位上时，货物状态识别程序将上报对应的库位上有货物。当识别到库位上无货物时，生成特定格式(例如json格式)的数据，并通过数据接口(例如json-rpc接口)将获取到的数据传输到系统程序。系统程序根据接收到的数据生成货物操作信号，并将货物操作信号传输给搬运设备，搬运设备收到货物操作信号会到对应的库位上放货。
90.需要说明的是，json格式的数据形式可以为键值对形式，例如设置有货＝1，无货＝0，库位编号对应具体哪个库位等，系统程序在接收到键值对形式的数据之后，就生成货物操作信号，该货物操作信号告诉搬运设备某个库位上没有货物，以使搬运设备去对应的库位放货。此外，当搬运设备完成一次库位放货之后，系统程序就会发送下一个货物操作信号给搬运设备，以使搬运设备去下一个库位放货，直到所有库位上的货物都放置完成。
91.在一些实施例中，如图4所示，本技术的货物放置控制方法具体还包括但不限于包括以下步骤：
92.步骤402，确定图像采集设备的设备参数和安装信息。
93.步骤404，对图像采集设备进行去畸变操作。
94.步骤406，根据安装信息在装车台上方固定安装好图像采集设备。
95.步骤408，通过图像采集设备采集库位的库位图。
96.步骤410，根据库位图进行库位标定，并写入货物状态识别程序的配置文件。
97.步骤412，运行货物状态识别程序采集样本库位图。
98.步骤414，对样本库位图进行标注。
99.步骤416，通过标注好的样本库位图进行模型训练和转换，得到货物状态识别模型。
100.步骤418，根据货物状态识别模型生成货物状态识别引擎。
101.步骤420，根据货物状态识别引擎替换源文件的引擎。
102.步骤422，再次运行货物状态识别程序对所有库位进行监控。
103.步骤424，通过货物状态识别程序识别库位上是否有货，若有货，则执行步骤426，若无货则执行步骤428。
104.步骤426，货物状态识别程序上报库位有货物。
105.步骤428，货物状态识别程序传输放货信号给搬运设备。
106.具体地，确定图像采集设备的设备参数和安装信息，其中，图像采集设备的设备参数包括焦距，图像采集设备的安装信息包括图像采集设备的安装高度和安装角度。对图像采集设备进行去畸变操作后，在装车台上方固定安装好图像采集设备，其中，装车台指的是用于放货的区域，装车台上设有多个托盘(例如2个)，每一托盘对应一个库位。安装好图像采集设备之后，通过图像采集设备针对一个或多个库位采集库位图，并根据库位图进行库位标定，标定好后写入货物状态识别程序的配置文件中。配置完成之后，运行货物状态识别程序采集样本库位图，对样本库位图进行标注。通过标注好的样本库位图进行模型训练，将训练好的模型文件的格式进行转换后得到货物状态识别模型。对货物状态识别模型进行转换，生成货物状态识别引擎，根据货物状态识别引擎替换源文件的引擎。再次运行货物状态识别程序对所有库位进行监控，通过货物状态识别程序识别库位上是否有货，若有货，则上报库位有货物，若无货，则传输放货信号给搬运设备，以使搬运设备针对该库位进行放货操作。
107.应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
108.基于同样的发明构思，本技术实施例还提供了一种用于实现上述所涉及的货物放置控制方法的货物放置控制装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个货物放置控制装置实施例中的具体限定可以参见上文中对于货物放置控制方法的限定，在此不再赘述。
109.在一些实施例中，如图5所示，提供了一种货物放置控制装置，包括：图像获取模块502、定位检测模块504、状态识别模块506和放置控制模块508，其中：
110.图像获取模块502，用于获取进行图像采集得到的库位图；库位图中的库位对象为至少一个；库位对象所表征的库位用于存放货物。
111.定位检测模块504，用于定位检测库位图中的库位对象。
112.状态识别模块506，用于对库位对象进行货物放置状态识别，得到库位对象所表征库位所处的货物放置状态；货物放置状态用于表示库位对象所表征的库位上是否有货。
113.放置控制模块508，用于根据货物放置状态对搬运设备进行货物放置控制处理。
114.本技术通过上述货物放置控制装置，通过获取针对库位进行图像采集得到的库位图；库位图中的库位对象为至少一个；库位对象所表征的库位用于存放货物；定位检测库位图中的库位对象；对库位对象进行货物放置状态识别，得到库位对象所表征库位所处的货物放置状态；货物放置状态用于表示库位对象所表征的库位上是否有货；根据货物放置状态对搬运设备进行货物放置控制处理。对库位图中的库位对象进行货物放置状态识别，就能通过程序化自动判断库位对象所表征的库位上是否有货，从而控制搬运设备及时进行货物放置，进而提高货物放置的效率。
115.在一些实施例中，库位图是通过图像采集设备采集的，货物放置控制装置还包括设备安装模块，设备安装模块用于根据最高货物高度、图像采集设备的设备参数和预设安装位置，计算图像采集设备的视野范围；若目标库位上的货物能完整显示在视野范围内，则根据预设安装位置安装图像采集设备；其中，目标库位是库位图中各库位对象所表征的对应于现实世界中用于存放货物的库位。
116.在一些实施例中，定位检测模块504还用于获取预配置文件，从预配置文件获取库位对象的库位信息；库位信息是通过对样本库位图进行标定得到的；样本库位图是通过图像采集设备预先针对库位对象所表征的库位进行图像采集得到的；根据库位信息对库位图进行定位检测，得到库位图中的库位对象。
117.在一些实施例中，货物放置状态是通过货物状态识别引擎对货物对象进行货物放置状态识别得到的；货物状态识别引擎是通过深度学习训练的货物状态识别模型转换得到的；货物状态识别引擎的检测推理速度优于货物状态识别模型。
118.在一些实施例中，放置控制模块508还用于若货物放置状态为无货状态，则生成货
物操作信号，以使搬运设备根据货物操作信号对库位对象表征的库位放置货物。
119.在一些实施例中，放置控制模块508还用于若货物放置状态为有货状态，则生成用于提示库位对象表征的库位有货的通知。
120.在一些实施例中，放置控制模块508还用于若多个库位对象所表征库位所处的货物放置状态为无货状态，则在搬运设备对上一个处于无货状态的库位放置货物后，生成下一个货物操作信号，以控制搬运设备基于下一个货物操作信号对下一个对应于无货状态的库位放置货物。
121.上述货物放置控制装置中各个模块的划分仅用于举例说明，在其他实施例中，可将货物放置控制装置按照需要划分为不同的模块，以完成上述货物放置控制装置的全部或部分功能。
122.上述货物放置控制装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
123.在一个实施例中，提供了一种计算机设备，该计算机设备可以是图1中的服务端，其内部结构图可以如图6所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储图像数据和库位信息数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种货物放置控制方法。
124.本领域技术人员可以理解，图6中示出的结构，仅仅是与本技术方案相关的部分结构的框图，并不构成对本技术方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
125.在一些实施例中，还提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。
126.在一些实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
127.在一些实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
128.本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本技术所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(read-only memory，rom)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(reram)、磁变存储器(magnetoresistive random access memory，mram)、铁电存储器(ferroelectric random access memory，fram)、相变存储器(phase change memory，pcm)、石墨烯存储器等。易失性存储器可包括随机存取存储器(random access memory，
ram)或外部高速缓冲存储器等。作为说明而非局限，ram可以是多种形式，比如静态随机存取存储器(static random access memory，sram)或动态随机存取存储器(dynamic random access memory，dram)等。本技术所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本技术所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。
129.以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
130.以上所述实施例仅表达了本技术的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本技术专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术的保护范围应以所附权利要求为准。