行为状态确定方法、装置、设备、介质及程序产品与流程

本技术涉及行为识别，尤其涉及一种行为状态确定方法、装置、设备、介质及程序产品。

背景技术：

1、随着视频监控和智能分析技术的发展，行为状态确定技术在安全监控、人机交互等领域的应用越来越广泛。目前，常见的行为状态确定方法主要依赖于复杂的传感器系统或多摄像头网络实现，因此，上述方案实现的成本高昂且实施难度较大。

技术实现思路

1、基于以上技术问题，本技术实施例提供了一种行为状态确定方法、装置、设备、介质及程序产品。

2、本技术实施例首先提供了一种行为状态确定方法，所述方法包括：

3、获取视频数据；

4、对所述视频数据进行处理，得到视频帧序列；

5、对所述视频帧序列中的第k视频帧进行识别，确定目标对象的至少部分部位所处的静态参数；其中，k为大于或等于1的整数；

6、对所述视频帧序列中的第m视频帧至第n视频帧进行特征提取，确定所述至少部分部位的动态参数；其中，m为大于或等于k且小于n的整数；n为大于1的整数；

7、基于所述静态参数以及所述动态参数，确定所述目标对象的行为状态。

8、在一些实施例中，所述动态参数包括所述至少部分部位的位移参数；所述基于所述静态参数以及所述动态参数，确定所述目标对象的行为状态，包括：

9、基于所述位移参数，确定所述至少部分部位的位移状态；

10、确定所述位移参数以及所述静态参数之间的关联信息；

11、基于所述关联信息以及所述位移状态，确定所述行为状态。

12、在一些实施例中，所述基于所述关联信息以及所述位移状态，确定所述行为状态，包括：

13、获取权重参数；

14、基于所述位移状态，确定所述至少部分部位的第一分类结果；

15、基于所述关联信息，确定所述至少部分部位的第二分类结果；

16、基于所述权重参数中的权重值，对所述第一分类结果以及所述第二分类结果进行整合统计，得到所述行为状态。

17、在一些实施例中，所述静态参数包括第k时刻所述至少部分部位的静态特征图；所述第k时刻与所述第k视频帧对应；所述位移参数包括第一时段内所述至少部分部位的动态特征图集合；所述第一时段包括所述第m视频帧对应的第m时刻至第n视频帧对应的第n时刻之间的时段；所述动态特征图集合的深度大于所述静态特征图的深度；所述确定所述位移参数以及所述静态参数之间的关联信息，包括：

18、基于所述动态特征图集合中的动态特征图，确定第一特征图；其中，所述第一特征图的深度与所述静态特征图的深度匹配；

19、对所述第一特征图以及所述静态特征图进行融合，得到第二特征图；

20、基于所述第二特征图，确定所述关联信息。

21、在一些实施例中，所述基于所述动态特征图集合中的动态特征图，确定第一特征图，包括：

22、若所述动态特征图集合中的动态特征图之间的波动程度小于第一阈值，确定所述动态特征图集合的任一动态特征图为所述第一特征图。

23、在一些实施例中，所述对所述第一特征图以及所述静态特征图进行融合，得到第二特征图，包括：

24、确定所述第一特征图的第一通道参数；

25、确定所述静态特征图的第二通道参数；

26、基于所述第一通道参数以及所述第二通道参数，对所述第一特征图以及所述静态特征图中的特征数据进行叠加融合，得到所述第二特征图。

27、在一些实施例中，所述基于所述第二特征图，确定所述关联信息，包括：

28、对所述第二特征图进行维度转换，得到第三特征图；其中，所述第三特征图的维度小于所述第二特征图的维度；

29、基于所述第三特征图，确定所述第二特征图中不同通道的特征数据之间的依赖状态；

30、基于所述依赖状态对所述第二特征图中不同通道的特征数据进行处理，得到所述关联信息。

31、在一些实施例中，所述对所述视频帧序列中的第k视频帧进行识别，确定目标对象的至少部分部位所处的静态参数之前，所述方法还包括：

32、获取候选图像区域；其中，所述候选图像区域包括包含检测对象的图像区域；所述检测对象包括所述目标对象；

33、确定所述第k视频帧中的对象关联区域；其中，所述对象关联区域至少关联至所述检测对象；

34、基于所述候选图像区域与所述对象关联区域，确定所述第k视频帧中是否包含所述目标对象。

35、在一些实施例中，所述基于所述候选图像区域与所述对象关联区域，确定所述第k视频帧中是否包含所述目标对象，包括：

36、确定所述候选图像区域与所述对象关联区域之间的区域交集；

37、确定所述候选图像区域与所述对象关联区域之间的区域并集；

38、基于所述区域交集以及所述区域并集，确定所述第k视频帧中是否包含所述目标对象。

39、在一些实施例中，所述基于所述区域交集以及所述区域并集，确定所述第k视频帧中是否包含所述目标对象，包括：

40、若所述区域交集与所述区域并集之间的比值大于或等于第二阈值，确定所述第k视频帧中包含所述目标对象。

41、在一些实施例中，所述静态参数包括所述至少部分部位的结构参数以及姿态参数；所述对所述视频帧序列中的第k视频帧进行识别，确定目标对象的至少部分部位所处的静态参数，包括：

42、通过深度识别模块对所述第k视频帧进行特征提取，确定所述目标对象的至少部分部位的关键点参数；

43、基于所述关键点参数所表征的关键点之间的距离信息，确定所述结构参数；

44、基于所述关键点参数所表征的关键点之间的相对位置信息，确定所述姿态参数。

45、在一些实施例中，所述对所述视频帧序列中的第m视频帧至第n视频帧进行特征提取，确定所述至少部分部位的动态参数，包括：

46、若所述第m视频帧至所述第n视频帧包含所述目标对象，对所述第m视频帧至所述第n视频帧进行特征提取，确定所述动态参数。

47、在一些实施例中，所述对所述视频帧序列中的第m视频帧至第n视频帧进行特征提取，确定所述至少部分部位的动态参数，包括：

48、将所述第m视频帧至所述第n视频帧分别转换为第m三维点云至第n三维点云；

49、对所述第m三维点云至第n三维点云进行特征提取，得到三维提取结果；

50、基于所述三维提取结果，确定所述动态参数。

51、在一些实施例中，所述方法还包括：

52、若所述行为状态与目标状态之间的匹配程度小于或等于第三阈值，输出第一信息；其中，所述第一信息至少包括所述匹配程度小于或等于第三阈值的信息。

53、在一些实施例中，所述方法还包括：

54、确定所述目标对象所处场景的场景参数；

55、确定与所述场景参数对应的所述目标状态。

56、在一些实施例中，所述方法还包括：

57、若所述目标对象所处场景为医疗监护场景，统计所述至少部分部位在第二时段内的行为状态，得到统计结果；其中，所述第二时段包括多个第一时段；所述第一时段包括所述第m视频帧对应的第m时刻至所述第n视频帧对应的第n时刻之间的时段；

58、若所述统计结果表征所述至少部分部位在所述第二时段内的位移程度小于或等于第三阈值，输出第二信息；其中，所述第二信息至少包括所述位移程度小于或等于所述第三阈值的信息。

59、在一些实施例中，所述方法还包括：

60、若所述统计结果表征所述目标对象在所述第二时段内的位移程度大于或等于第四阈值，输出第三信息；其中，所述第三信息至少包括所述位移程度大于或等于第四阈值的信息。

61、本技术实施例还提供了一种行为状态确定装置，所述行为状态确定装置包括：

62、获取模块，用于获取视频数据；

63、处理模块，用于对所述视频数据进行处理，得到视频帧序列；对所述视频帧序列中的第k视频帧进行识别，确定目标对象的至少部分部位所处的静态参数；对所述视频帧序列中的第m视频帧至第n视频帧进行特征提取，确定所述至少部分部位的动态参数；其中，k为大于或等于1的整数；m为大于或等于k且小于n的整数；n为大于1的整数；

64、确定模块，用于基于所述静态参数以及所述动态参数，确定所述目标对象的行为状态。

65、本技术实施例还提供了一种电子设备，所述电子设备包括处理器和存储器；所述存储器中存储有第一计算机程序；所述第一计算机程序被所述处理器执行时，能够实现如前任一所述的行为状态确定方法。

66、本技术实施例还提供了一种计算机可读存储介质，所述存储介质中存储有第二计算机程序；所述第二计算机程序被电子设备的处理器执行时，能够实现如前任一所述的行为状态确定方法。

67、本技术实施例还提供了一种计算机程序产品，所述计算机程序产品包括计算机程序；所述计算机程序在被处理器执行时，能够实现如前任一所述的行为状态确定方法。

68、本技术实施例提供的行为状态确定方法，在获取视频数据并对视频数据进行处理，得到视频帧序列之后，对视频帧序列中的第k视频帧进行识别，确定目标对象的至少部分部位所处的静态参数，且k为大于或等于1的整数，如此，通过确定目标对象的至少部分部位所处的静态参数，能够精准反应视频数据所表征的目标对象的至少部分部位在第k视频帧对应的时刻所处的静态特性；并且，对视频帧序列中的第m视频帧至第n视频帧进行特征提取，确定目标对象的至少部分部位的动态参数，如此，通过目标对象的至少部分部位的动态参数，能够体现第m视频帧至第n视频帧之间的时段内，目标对象的至少部分部位的动态特性；与此同时，由于m为大于或等于k且小于n的整数，n为大于1的整数，从而提高了第k视频帧与第m视频帧以及第n视频帧之间的关联程度，进而能够提高静态参数与动态参数之间在时间维度的关联性；在此基础上，通过基于静态参数以及动态参数，确定目标对象的行为状态，使得目标对象的行为状态不仅能够体现目标对象的至少部分部位的静态特性以及动态特性，而且能够体现目标对象本身在第m视频帧至第n视频帧之间的时段内的静态特征以及动态特性，从而能够从静态和动态两个维度、从时间和空间两个层次，全面、完整而丰富的体现目标对象的行为状态，进而能够提高目标对象的行为状态的精准度；如此，通过本技术实施例提供的上述方法，在无需依赖复杂的传感器系统以及多摄像头网络的情况下，通过对视频数据执行上述处理即可确定目标对象的行为状态，从而能够降低对传感器系统以及多摄像头网络等复杂硬件设备的依赖，也能够简化对多传感器系统以及多摄像头网络关联的采集数据进行处理所产生的数据处理流程，进而能够降低行为状态确定的成本和难度。

69、将本技术实施例提供的行为状态确定方法应用于医疗监护场景下时，若目标对象为处于监护状态的患者，通过本技术实施例提供的技术方案，不仅能够实现对处于监护状态的患者的行为状态的全面的、持续性的、完善的监控，从而能够提高医疗监护状态的精准度，满足实际的医疗监护需求，而且能够降低医疗监护的成本和复杂度。