计数识别方法、系统、可读存储介质及计算机程序产品与流程

本技术涉及人工智能，特别是涉及一种计数识别方法、系统、可读存储介质及计算机程序产品。

背景技术：

1、港口作为重要的货物集散地，每天需处理大量的进出口货物。以木材为例，木材运输到港口之后，需要利用岸桥大臂将木材从船舱吊起然后放在转运的卡车上。目前，木材理货主要靠人工进行统计，然而，人工理货易受疲劳、注意力不集中等因素的影响，容易产生计数误差，且在产生计数误差时，需要重新进行核对，使得木材理货周期较长。

技术实现思路

1、本技术的实施例提供了一种计数识别方法、系统、可读存储介质及计算机程序产品，主要目的在于解决目前在通过人工进行理货的方式使得木材理货周期较长的问题。

2、依据本技术第一方面，提供了一种计数识别方法，包括：

3、在确定起重设备的转运装置执行转运操作时，通过摄像机持续获取包括所述转运装置运动状态的视频信息，所述转运装置中设置有多个待转运目标；

4、确定用于预测轨迹的目标视频信息，以及基于所述目标视频信息，利用轨迹预测模型进行运动轨迹预测，确定所述转运装置的预测运动轨迹信息，获得所述预测运动轨迹信息中的目标拍摄位置；

5、每隔预设时间间隔利用目标跟踪算法从持续获取的视频信息中提取所述转运装置的当前实际运动轨迹信息，在检测到所述当前实际运动轨迹信息中具有与所述目标拍摄位置匹配的目标位置时，确定所述目标位置对应的时间为图像采集时间，从所述持续获取的视频信息中截取所述图像采集时间对应的图像帧；

6、对所述图像帧中的所述多个待转运目标进行放大处理，得到包括多个放大后待转运目标的目标图像帧，利用目标检测算法对所述目标图像帧中的所述多个放大后待转运目标进行数量识别，得到所述多个待转运目标的目标数量。

7、可选地，所述基于所述目标视频信息，利用轨迹预测模型进行运动轨迹预测，确定所述转运装置的预测运动轨迹信息，获得所述预测运动轨迹信息中的目标拍摄位置之前，还包括：

8、利用所述目标跟踪算法从所述目标视频信息中提取所述转运装置的初始实际运动轨迹信息；

9、将所述初始实际运动轨迹信息输入所述轨迹预测模型中，得到所述轨迹预测模型输出的所述转运装置的预测运动轨迹信息以及所述预测运动轨迹信息中的所述目标拍摄位置。

10、可选地，所述基于所述目标视频信息，利用轨迹预测模型进行运动轨迹预测，确定所述转运装置的预测运动轨迹信息，获得所述预测运动轨迹信息中的目标拍摄位置之前，还包括：

11、获取轨迹训练数据集，所述轨迹训练数据集包括不完整运动轨迹信息以及每个不完整运动轨迹信息对应的至少一个完整运动轨迹信息，且每个完整运动轨迹信息中一目标位置标注有用于指示目标拍摄位置的标签信息，其中，所述不完整运动轨迹信息为所述转运装置开始转动的起始时间与预设时间之间的所述转运装置的运动轨迹信息，所述完整运动轨迹信息对应的轨迹长度大于所述不完整运动轨迹信息的轨迹长度；

12、获取长短期记忆网络，利用所述轨迹训练数据集对所述长短期记忆网络进行训练，更新模型参数，得到所述轨迹预测模型。

13、可选地，所述在检测到所述当前运动轨迹信息中具有与所述目标拍摄位置匹配的目标位置时，确定所述目标位置对应的时间为图像采集时间之前，还包括：

14、从所述当前运动轨迹信息中提取至少一个待确定位置，获取所述至少一个待确定位置中各待确定位置的第一坐标；

15、确定所述目标拍摄位置的第二坐标，基于所述第一坐标和所述第二坐标确定所述至少一个待确定位置中是否具有与所述目标拍摄位置匹配的目标位置。

16、可选地，所述从所述持续获取的视频信息中截取所述图像采集时间对应的图像帧之后，还包括：

17、对所述图像帧进行去噪处理，得到去噪后的图像帧，以及对所述去噪后的图像帧进行图像增强处理，得到增强后的图像帧；

18、对所述增强后的图像帧进行畸变消除处理，得到畸变消除后的图像帧，以及对所述畸变消除后的图像帧进行拉伸处理，得到处理后的图像帧。

19、可选地，所述利用目标检测算法对所述目标图像帧中所述多个放大后待转运目标进行数量识别，得到所述多个待转运目标的目标数量之后，包括：

20、获得所述转运装置设置的所述多个待转运目标的实际数量，若所述实际数量与所述目标数量不一致，则生成用于指示识别结果不准确的预警信息，并将所述预警信息发送至管理人员所持终端，以使所述管理人员基于所述终端在接收到所述预警信息时，基于所述预警信息进行问题排查。

21、依据本技术第二方面，提供了一种计数识别系统，包括：摄像机、检测单元、控制单元和处理单元；

22、所述控制单元与所述摄像机、所述检测单元和所述处理单元连接；

23、所述摄像机设置于起重设备所在区域内的预设位置，用于在接收到所述控制单元下发的视频采集指令时，持续采集包括所述起重设备的视频信息，并将持续采集的视频信息发送至所述检测单元；

24、所述检测单元，用于在检测到持续采集的视频信息中所述起重设备的转运装置开始运动时，生成用于指示所述转运装置开始运动的检测信号，并将所述检测信号发送至控制单元；

25、所述控制单元，用于在接收到所述检测信号时，生成计数识别指令，并将所述计数识别指令发送至所述处理单元；

26、所述处理单元，用于响应所述计数识别指令，执行根据上述第一方面中任一项所述的计数识别方法。

27、可选地，所述计数识别系统还包括：预警单元；

28、所述预警单元，用于确定根据上述第一方面中任一项所述的计数识别方法得到的多个待转运目标的目标数量，以及获得所述起重设备的转运装置设置的所述多个待转运目标的实际数量，若所述实际数量与所述目标数量不一致，则生成用于指示识别结果不准确的预警信息，并将所述预警信息发送至管理人员所持终端，以使所述管理人员基于所述终端在接收到所述预警信息时，基于所述预警信息进行问题排查。

29、依据本技术第三方面，提供了一种可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面中任一项所述的方法的步骤。

30、依据本技术第四方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述第一方面中任一所述的方法的步骤。

31、借由上述技术方案，本技术提供了一种计数识别方法、系统、可读存储介质及计算机程序产品，本技术通过确定用于预测轨迹的目标视频信息，利用轨迹预测模型对起重设备的转运装置的运动轨迹进行预测，得到转运装置的预测运动轨迹信息和在预测运动轨迹信息中的最佳拍摄位置，也即目标拍摄位置，之后每隔预设时间间隔利用目标跟踪算法从持续获取的视频信息中提取转运装置的当前实际运动轨迹信息，在检测到当前实际运动轨迹信息中具有与目标拍摄位置匹配的目标位置时，确定目标位置对应的时间为图像采集时间，从持续获取的视频信息中截取图像采集时间对应的图像帧，随后对图像帧中的多个待转运目标进行放大处理，得到包括多个放大后待转运目标的目标图像帧，利用目标检测算法对目标图像帧中的多个放大后待转运目标进行数量识别，可以得到多个待转运目标的目标数量；通过建立起重设备的作业区域与多个待转运目标的端面之间的关系，适应作业过程中不同状态的控制方式，化复杂难操作为惯性轨迹跟随、等待，自动对多个待转运目标的数量进行识别，即可以快速且准确地识别出多个待转运目标的数量，大大缩短了理货周期。