异常行为检测方法、装置、介质及电子设备与流程

本公开涉及图像，具体地，涉及一种异常行为检测方法、装置、介质及电子设备。

背景技术：

1、智能设备已成为现代社会人们生活中不可或缺的一部分，例如智能手机和平板电脑等。但沉迷于智能手机，尤其是花费大量时间浏览社交媒体和打游戏会严重影响正常的工作和学习等问题，特别是在一些特定工作环境中，在特定工作环境中玩智能设备可能造成注意力分散，甚至可能导致严重的安全问题。

2、在相关技术中，虽然存在一些自动化的玩智能设备的检测，但其检测方式精度不高，容易产生错误地判定。

技术实现思路

1、为克服相关技术中存在的问题，本公开的目的是提供一种异常行为检测方法、装置、介质及电子设备。

2、根据本公开实施例的第一方面，提供一种异常行为检测方法，所述方法包括：

3、获取视频流中的原始图像中的人体图像，所述人体图像用于指所述原始图像中的对象；

4、对所述人体图像进行关键点检测，得到所述人体图像中关键点的位置；

5、根据所述关键点的位置确定第一骨架图像，并根据所述关键点的位置和所述人体图像确定第二骨架图像，所述第二骨架图像携带有所述原始图像的纹理信息；

6、根据所述第一骨架图像和所述第二骨架图像，确定第一预测结果，所述第一预测结果用于表征所述对象的姿态是否处于执行异常行为的姿态；

7、在所述对象的姿态处于执行所述异常行为的姿态的情况下，确定所述对象的手部与智能设备的相对位置，所述关键点包括所述手部；

8、根据所述相对位置，确定第二预测结果，所述第二预测结果用于表征所述对象是否针对所述智能设备执行所述异常行为。

9、可选的，通过以下方式确定所述第二骨架图像：

10、将所述人体图像转换为灰度图像；

11、根据所述关键点的位置，在所述灰度图像中绘制所述关键点，以得到第二骨架图像。

12、可选的，所述根据所述第一骨架图像和所述第二骨架图像，确定第一预测结果，包括：

13、将所述第一骨架图像和所述第二骨架图像输至训练完成的分类模型中，得到所述分类模型输出的第一预测结果。

14、可选的，在所述对象的姿态处于执行所述异常行为的姿态的情况下，确定所述对象的手部与智能设备的相对位置，包括：

15、在所述对象的姿态处于执行所述异常行为的姿态的情况下，对所述人体图像进行目标检测，以确定所述人体图像中是否存在所述智能设备；

16、在所述人体图像中存在所述智能设备的情况下，确定所述对象的手部与智能设备的相对位置。

17、可选的，所述确定所述对象的手部与智能设备的相对位置，包括：

18、根据对所述人体图像的目标检测结果，确定所述智能设备的位置；

19、以所述手部所在位置为圆点，并以预设距离作为半径，确定目标圆，所述预设距离为所述手部到手肘之间的距离；

20、根据所述智能设备的位置，确定所述智能设备是否处于所述目标圆内，以确定所述手部与所述智能设备的相对位置，所述相对位置表征所述智能设备是否处于所述目标圆内。

21、可选的，所述根据所述相对位置，确定第二预测结果，包括：

22、在所述相对位置表征所述智能设备处于所述目标圆内的情况下，确定所述对象针对所述智能设备执行所述异常行为；

23、在所述相对位置表征所述智能设备未处于所述目标圆内的情况下，确定所述对象针对所述智能设备未执行所述异常行为。

24、可选的，所述手部包括左手和右手。

25、根据本公开实施例的第二方面，提供一种异常行为检测装置，所述装置包括：

26、获取模块，被配置为获取视频流中的原始图像中的人体图像，所述人体图像用于指所述原始图像中的对象；

27、第一检测模块，被配置为对所述人体图像进行关键点检测，得到所述人体图像中关键点的位置；

28、第一确定模块，被配置为根据所述关键点的位置确定第一骨架图像，并根据所述关键点的位置和所述人体图像确定第二骨架图像，所述第二骨架图像携带有所述原始图像的纹理信息；

29、第一预测模块，被配置为根据所述第一骨架图像和所述第二骨架图像，确定第一预测结果，所述第一预测结果用于表征所述对象的姿态是否处于执行异常行为的姿态；

30、第二确定模块，被配置为在所述对象的姿态处于执行所述异常行为的姿态的情况下，确定所述对象的手部与智能设备的相对位置，所述关键点包括所述手部；

31、第二预测模块，被配置为根据所述相对位置，确定第二预测结果，所述第二预测结果用于表征所述对象是否针对所述智能设备执行所述异常行为。

32、根据本公开实施例的第三方面，提供一种非临时性计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现第一方面中所述方法的步骤。

33、根据本公开实施例的第四方面，提供一种电子设备，包括：

34、存储器，其上存储有计算机程序；

35、处理器，用于执行所述存储器中的所述计算机程序，以实现第一方面中所述方法的步骤。

36、通过上述技术方案，基于关键点的位置确定第一骨架图像和携带有原始图像的纹理信息的第二骨架图像，进行对象的姿态的预测，可以提升对象的姿态的预测能力；此外，在对象的姿态处于执行异常行为的姿态的情况下，进一步确定手部与智能设备的相对位置，以根据相对位置评估智能设备是否在手部的附近，排除了智能设备只是在对象身体附近但并未手持使用的情况，提升了对象是否针对智能设备执行异常行为的判断能力，避免异常行为的误判，为公共场合的管理和安全提供有力的技术支持。

37、本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。

技术特征：

1.一种异常行为检测方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，通过以下方式确定所述第二骨架图像：

3.根据权利要求1或2所述的方法，其特征在于，所述根据所述第一骨架图像和所述第二骨架图像，确定第一预测结果，包括：

4.根据权利要求1所述的方法，其特征在于，在所述对象的姿态处于执行所述异常行为的姿态的情况下，确定所述对象的手部与智能设备的相对位置，包括：

5.根据权利要求4所述的方法，其特征在于，所述确定所述对象的手部与智能设备的相对位置，包括：

6.根据权利要求5所述的方法，其特征在于，所述根据所述相对位置，确定第二预测结果，包括：

7.根据权利要求1所述的方法，其特征在于，所述手部包括左手和右手。

8.一种异常行为检测装置，其特征在于，所述装置包括：

9.一种非临时性计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1-7中任一项所述方法的步骤。

10.一种电子设备，其特征在于，包括：

技术总结本公开涉及一种异常行为检测方法、装置、介质及电子设备，方法包括：获取视频流中的原始图像中的人体图像；根据人体图像中关键点的位置确定第一骨架图像，并根据关键点的位置和人体图像确定第二骨架图像；根据第一骨架图像和第二骨架图像，确定第一预测结果，第一预测结果用于表征对象的姿态是否处于执行异常行为的姿态；在对象的姿态处于执行异常行为的姿态的情况下，确定对象的手部与智能设备的相对位置，关键点包括所述手部；根据相对位置，确定第二预测结果，第二预测结果用于表征对象是否针对智能设备执行异常行为，提升了对象是否针对智能设备执行异常行为的判断能力，避免异常行为的误判，为公共场合的管理和安全提供有力的技术支持。技术研发人员：王雨田,刘建波,王丰,王亚平,彭加成,张明,邱振波,王家东,张立杰,李靖,原辉,沈军衡受保护的技术使用者：国能国华（北京）燃气热电有限公司技术研发日：技术公布日：2024/11/21