暴力搬运行为的检测方法、系统、电子设备及存储介质与流程

本发明涉及人工智能，更具体的说，涉及一种暴力搬运行为的检测方法、系统、电子设备及存储介质。

背景技术：

1、在现代航空运输和物流行业中，行李和货物的安全与完整性是至关重要的。随着全球航空旅行和货物运输的快速增长，行李托运和物流搬运的规模也在不断扩大。然而，在这一过程中，暴力搬运行为的发生频率逐渐引起了业界的关注。暴力搬运行为通常指在搬运过程中采取不当的处理方式，例如剧烈抛掷、猛力撞击或粗暴堆叠等，这些行为不仅可能导致货物的物理损坏，还可能对搬运人员和周围环境造成安全隐患。

2、为了有效识别和预防暴力搬运行为，许多企业开始引入先进的监控技术和数据分析手段。这些技术包括视频监控系统、传感器技术和机器学习算法等。通过对搬运过程进行实时监控，系统能够捕捉到搬运人员的动作，并利用图像处理和模式识别技术分析其行为是否符合安全标准。但现有技术方案在中型和大型物件的搬运环境中，目标背对镜头等无法直接拍摄到人体关键点的情况下，会出现关键点位置丢失的问题，导致检测效果降低。

3、为此，本发明提供了一种暴力搬运行为的检测方法、系统、电子设备及存储介质，能够对模糊、遮挡、背对摄像头等场景导致的关键点丢失具有较好的抗性，从而优化了对暴力搬运行为的检测效果。

技术实现思路

1、为了克服现有技术的不足，本发明提供一种暴力搬运行为的检测方法、系统、电子设备及存储介质，解决了当前目标背对镜头等无法直接拍摄到人体关键点的情况下，会出现关键点位置丢失的问题而导致检测效果降低的问题，从而优化了对暴力搬运行为的检测效果。

2、本发明解决其技术问题所采用的技术方案是：一种暴力搬运行为的检测方法，应用于计算机系统，所述计算机系统至少包括摄像头、服务器、关键点模型、箱体检测模型以及行为识别模型，其改进之处在于，具体包括以下步骤：

3、s10，服务器将摄像头采集的卸货区视频解码为连续的单帧图像；

4、s20，服务器利用关键点模型获取所有单帧图像中每个搬运人员的人体关键点，并对每个搬运人员的人体关键点进行跟踪，且为每个搬运人员分配识别id；

5、s30，服务器利用箱体检测模型获取所有单帧图中每个行李箱的位置信息，并对每个行李箱的位置信息进行跟踪，且获取每个行李箱随时间变化的位置信息的序列；

6、s40，服务器对每个搬运人员的人体关键点的完整性进行检查，若人体关键点不完整，则结合行李箱随时间变化的位置信息的序列对人体关键点进行补全；

7、s50，服务器将相同识别id的人体关键点并入同一个集合中，以获取每个搬运人员的人体关键点序列；

8、s60，服务器利用行为识别模型分别获取每个搬运人员的人体关键点序列中存在暴力搬运行为的概率，并判定是否存在暴力搬运嫌疑；

9、s70，服务器分别将每个搬运人员的所有暴力搬运嫌疑合并为暴力搬运嫌疑序列，并分别对每个搬运人员的暴力搬运嫌疑序列进行分析，以判断是否存在暴力搬运事件。

10、进一步的，步骤s10中，所述服务器搭载有解码器软件，所述服务器通过解码器软件对卸货区视频进行解码，以得到连续的单帧图像。

11、进一步的，步骤s20和步骤s30中，服务器均采用跟踪算法分别对每个搬运人员的人体关键点和每个行李箱的位置信息进行跟踪；其中，所述人体关键点至少包括腕部、肘部、肩部、颈部、髋部、膝部以及踝部；所述行李箱的位置信息以物体检测框的形式表示。

12、进一步的，步骤s40中，所述结合行李箱随时间变化的位置信息的序列对人体关键点进行补全的具体方式为：

13、s401，通过对目标搬运人员已存在的人体关键点进行加权计算，并将身体不同部位的人体关键点的位置通过不同权重相加计算得到人体中心点；

14、s402，通过对箱体检测框的端点位置进行计算得到箱体检测框中心点；

15、s403，利用曼哈顿距离，按照箱体检测框中心点到人体中心点的距离对行李箱进行排序，取距离最短的行李箱作为候选行李箱；

16、s404，检查候选箱体是否满足可能被目标搬运人员抓取的条件，若满足，则对缺失的人体关键点进行补全；若不满足，取箱体检测框中心点到人体中心点的距离次短的行李箱作为候选箱体做条件检查，直到有行李箱满足条件或所有行李箱都检查不符合条件。

17、进一步的，步骤s60中，所述服务器利用行为识别模型分别获取每个搬运人员的人体关键点序列中存在暴力搬运行为的概率，并判定是否存在暴力搬运嫌疑的具体方式为：

18、s601，服务器采用滑动窗口的方式分别对每个搬运人员的人体关键点依序提取多个重叠的子序列；

19、s602，利用行为识别模型对每个子序列进行单独计算，得到每个子序列中存在暴力搬运行为的概率；其中，行为识别模型中预设有暴力搬运行为的概率检测阈值；

20、s603，将计算的存在暴力搬运行为的概率与预设的暴力搬运行为的概率检测阈值进行比较，若计算的存在暴力搬运行为的概率大于或等于预设的暴力搬运行为的概率检测阈值，则判定为存在暴力搬运嫌疑；若计算的存在暴力搬运行为的概率小于预设的暴力搬运行为的概率检测阈值，则判定为不存在暴力搬运嫌疑。

21、进一步的，步骤s70中，所述判断是否存在暴力搬运事件的具体方式为：

22、s701，分别将每个搬运人员在所有时间点上的暴力搬运嫌疑合并成暴力搬运嫌疑序列；其中，每个暴力搬运嫌疑序列均代表对应的搬运人员在时间范围内，每个时间点上是否存在暴力搬运嫌疑的序列；

23、s702，预设暴力搬运指数阈值以及初始暴力搬运指数；其中，初始暴力搬运指数为0；

24、s703，分别对每个暴力搬运嫌疑序列进行分析，同一个暴力搬运嫌疑序列内，每遇到一个存在暴力搬运嫌疑的时间点，则暴力搬运指数加1；每遇到一个不存在暴力搬运嫌疑的时间点，则暴力搬运指数减1；当暴力搬运指数首次达到预设的暴力搬运指数阈值时，则视为暴力搬运行为的发生，并将接下来经过的时间点都视为暴力搬运行为的发生过程，直到暴力搬运指数再次达到0，此时，该暴力搬运行为结束。

25、一种暴力搬运行为的检测系统，应用于如上所述的暴力搬运行为的检测方法，其改进之处在于，所述暴力搬运行为的检测系统包括：

26、视频解码模块，用于将摄像头采集的卸货区视频解码为连续的单帧图像；

27、人体关键点检测与跟踪模块，用于获取每个搬运人员的人体关键点，并对每个搬运人员的人体关键点进行跟踪和分配识别id；

28、箱体检测与跟踪模块，用于获取每个行李箱的位置信息，并对每个行李箱的位置信息进行跟踪，以得到每个行李箱随时间变化的位置信息的序列；

29、人体关键点完整性检查与补全模块，用于检查每个搬运人员的人体关键点的完整性，并结合行李箱的位置信息补全不完整的人体关键点；

30、人体关键点序列整合模块，用于将相同识别id的人体关键点并入同一个集合，得到每个搬运人员的人体关键点序列；

31、行为识别模块，用于获取每个搬运人员的人体关键点序列中存在暴力搬运行为的概率，并判定是否存在暴力搬运嫌疑；

32、暴力搬运事件分析模块，用于将每个搬运人员的所有暴力搬运嫌疑合并为暴力搬运嫌疑序列，并进行分析以判断是否存在暴力搬运事件。

33、一种电子设备，其改进之处在于，包括：至少一个处理器以及至少一个存储器，其中，

34、所述存储器上存储有计算机可读指令；

35、所述计算机可读指令被一个或多个所述处理器执行，使得电子设备实现如上所述的暴力搬运行为的检测方法。

36、一种存储介质，其上存储有计算机可读指令，其改进之处在于，所述计算机可读指令被一个或多个处理器执行，以实现如上所述的暴力搬运行为的检测方法。

37、本发明的有益效果是：本方案先后通过服务器将摄像头采集的卸货区视频解码为连续的单帧图像、利用关键点模型获取所有单帧图像中每个搬运人员的人体关键点，并对每个搬运人员的人体关键点进行跟踪，且为每个搬运人员分配识别id、利用箱体检测模型获取所有单帧图中每个行李箱的位置信息，并对每个行李箱的位置信息进行跟踪，且获取每个行李箱随时间变化的位置信息的序列、对每个搬运人员的人体关键点的完整性进行检查，若人体关键点不完整，则结合行李箱随时间变化的位置信息的序列对人体关键点进行补全、将相同识别id的人体关键点并入同一个集合中，以获取每个搬运人员的人体关键点序列、利用行为识别模型分别获取每个搬运人员的人体关键点序列中存在暴力搬运行为的概率，并判定是否存在暴力搬运嫌疑、分别将每个搬运人员的所有暴力搬运嫌疑合并为暴力搬运嫌疑序列，并分别对每个搬运人员的暴力搬运嫌疑序列进行分析，以判断是否存在暴力搬运事件；此过程中，能够实现在机场行李托运、物流搬运中转等环境下对暴力搬运行为的检测，且通过对因人体关键点检测丢失导致精度下降进行了人体关键点补全，使得本方案对模糊、遮挡、背对摄像头等场景导致的人体关键点丢失具有较好的抗性，从而优化了对暴力搬运行为的检测效果。