一种重症监护室患者挣扎行为识别及报警方法

本发明涉及计算机视觉，尤其涉及一种重症监护室患者挣扎行为识别及报警方法。

背景技术：

1、由于疾病、焦虑和药物引起的幻觉等因素，部分患者会做出挣扎动作。患者在重症监护情况下的异常挣扎行为可能导致仪器脱落、病情加重等意外情况发生，从而对患者造成不可逆损伤，同时挣扎行为也是判断患者镇静程度及谵妄状态的一项指标，这对医护人员的监护工作提出了更高的要求。因此对于患者挣扎行为的及时识别至关重要。基于计算机视觉技术的患者动作识别方法可以自动检测患者卧床时的挣扎动作，帮助医护人员及时发现患者面临的风险，减低医护人员的工作强度。

2、目前，对重症患者的监护主要依靠分析心率、血压、血氧饱和度等生理数据，这类方法可以及时发现患者生理体征出现的异常情况。但在卧床患者行为识别方面，上述生理信号往往无法提供患者行为识别所需的运动信息。现有的基于雷达的方案，可以检测患者的位置和跌落情况，但受信号属性的限制，无法提供rgb图像所能提供的丰富运动信息用于对行为的识别。因此，设计基于rgb图像的患者行为识别方法，实现对重症监护室患者行为状态高效、准确的识别，对推动卧床场景下对患者智能监护的发展具有重要意义。

技术实现思路

1、本技术的目的是针对现有技术中存在的技术缺陷，而提供一种重症监护室患者挣扎行为识别及报警方法。

2、为实现本技术的目的所采用的技术方案是：

3、一种重症监护室患者挣扎行为识别及报警方法，包括以下步骤：

4、步骤1，实时采集重症监护室患者卧床时的视频数据，利用自适应帧分辨率网络确定每一帧视频数据的分辨率，根据所述分辨率对视频数据的视频帧进行编码分类，将视频数据划分为不同长度的视频序列；

5、步骤2，采用复杂度不同的模型分别对步骤1视频序列的视频帧进行处理，识别每一视频帧中人体关键点，并获取关键点坐标，利用关键点坐标构建人体骨架模型，将人体骨架模型与步骤1实时采集到的视频数据逐帧进行匹配，生成关键点匹配画面；

6、步骤3，根据关键点坐标得到人体关节特征和关键点时空特征，对人体关节特征和关键点时空特征进行融合，得到融合后的动作特征；

7、步骤4，构建变分贝叶斯模型，利用变分贝叶斯模型对步骤3得到的融合后的动作特征进行分析，识别患者行为状态并实时产生报警信号；

8、步骤5，将步骤2的匹配画面和步骤4的患者行为状态实时传输至显示报警模块，显示报警模块实时反映患者行为状态、显示关键点匹配画面；

9、步骤6，根据患者行为状态判断是否产生报警信号，当患者行为状态为复杂动作或异常挣扎时产生报警信号，并将报警信号实时传输至显示报警模块，显示报警信息。

10、在上述技术方案中，所述步骤1包括以下步骤：

11、s1.1：利用rgb相机实时采集重症监护室患者卧床时的视频数据，将所述视频数据输入自适应帧分辨率网络，确定每一帧视频数据的分辨率，根据所述分辨率对每一个视频帧进行编码分类或跳过；

12、s1.2：将编码为原始分辨率的视频帧作为中心帧，从剩余的视频帧中分别选择四帧视频帧添加到中心帧的前后组成视频序列，计算原始分辨率的视频帧的帧数是否达到8，若没有达到，则继续从剩余的视频帧中分别选择四帧视频帧添加到视频序列的前后，直到原始分辨率的视频帧的帧数达到8，生成初始视频序列s；

13、s1.3：计算初始视频序列s中相邻视频帧之间的分辨率变化率，根据相邻视频帧之间的分辨率变化率生成分辨率变化率序列，将所述分辨率变化率序列作为数据点进行聚类分析，得到视频序列的分辨率变化模式，根据所述分辨率变化模式确定若干起始帧和结束帧，并将初始视频序列s分为若干组视频序列，再将若干组视频序列拼接到一起组成视频序列s1；

14、s1.4：针对视频序列s，将分辨率低于原始分辨率的视频帧用零值补齐，并计算相邻视频帧之间的像素差，根据所述像素差将视频序列s的视频帧分成若干组视频序列s2；

15、s1.5：将视频序列s2引入视频序列s1对其进行校正，得到校正后的视频序列s。

16、在上述技术方案中，所述步骤2包括以下步骤：

17、s2.1：将校正后的视频序列s中每个视频帧的编码与复杂度不同的模型进行匹配，并将视频帧分别输入对应的模型；

18、s2.2：用所述模型对输入的视频帧进行关键点检测，并获取关键点的二维坐标；

19、s2.3：对相邻视频帧的关键点进行匹配校正，并计算每个关键点的三维坐标，根据所述三维坐标构建人体骨架模型，将人体骨架模型与步骤1实时采集到的视频数据逐帧进行匹配，生成关键点匹配画面。

20、在上述技术方案中，所述步骤3包括以下步骤：

21、s3.1：根据每个关键点的三维坐标得到每个关键点的速度，根据相邻关键点的速度得到每个关键点的加速度，并根据每个关键点的三维坐标定义关键点间的向量，根据关键点间的向量得到每个关键点的几何角度，分别根据每个关键点的加速度和每个关键点的几何角度得到关键点的几何角度和加速度时间序列；

22、s3.2：根据每个关键点的三维坐标计算各骨骼链路的长度，对不同骨骼链路的长度进行比较得到骨骼链路的比例，根据所述骨骼链路的比例得到骨骼链路的比例特征序列；

23、s3.3：利用快速凸包法对关键点三维坐标进行计算，得到骨架的凸包；

24、s3.4：将关键点的几何角度时间序列、关键点的加速度时间序列、骨骼链路的比例特征序列和骨架的凸包进行特征联合，得到联合特征序列；

25、s3.5：利用双向长短时记忆网络对联合特征序列进行分析，得到人体关节特征；

26、s3.6：基于时空图卷积神经网络提取关键点在时间和空间维度的特征，得到关键点时空特征；

27、s3.7：提取人体关节特征和关键点时空特征的特征向量，并对所述特征向量进行加权融合，得到融合后动作特征。

28、在上述技术方案中，所述关键点的几何角度计算公式如下：

29、

30、

31、

32、式中，γa代表关键点a的几何角度，代表关键点a指向关键点b的向量，代表关键点a指向关键点c的向量，(xa,ya,za)代表关键点a的三维坐标，(xb,yb,zb)代表关键点b的三维坐标，(xc,yc,zc)代表关键点c的三维坐标；

33、所述关键点的速度计算公式如下：

34、

35、式中，vai代表第i帧关键点a的速度，(xai,yai,zai)代表第i帧关键点a的三维坐标，(xai-1,yai-1,zai-1)代表第i-1帧关键点a的三维坐标；

36、所述关键点的加速度计算公式如下：

37、aai＝vai-vai-1

38、式中，aai代表第i帧关键点a的加速度，vai代表第i帧关键点a的速度，vai-1代表第i-1帧关键点a的速度。

39、在上述技术方案中，所述骨骼链路的长度和比例的计算公式如下：

40、

41、式中，l代表关键点所形成骨骼链路的长度，d1，即(x1,y1,z1)，代表关键点1的三维坐标，d2，即(x2,y2,z2)，代表关键点2的三维坐标。

42、在上述技术方案中，所述联合特征序列的表达式如下：

43、

44、式中，feakb代表联合特征序列，feakan代表关键点的几何角度时间序列，feakac代表关键点的加速度时间序列，feakl代表骨骼链路的比例特征序列，feakch代表骨架的凸包。

45、在上述技术方案中，所述s3.7包括以下步骤：

46、s3.7.1：采用主成分分析法将人体关节特征和关键点时空特征的维度变换为相同维度；

47、s3.7.2：计算维度相同的人体关节特征和关键点时空特征的方差，并对所述方差进行归一化，采用加权求和的方式对人体关节特征和关键点时空特征进行特征融合，得到融合后的动作特征。

48、在上述技术方案中，所述步骤4包括以下步骤：

49、s4.1：构建变分贝叶斯模型，根据预先设定的患者行为状态建立不同的后验分布，以高斯分布近似表示每个后验分布；

50、s4.2：根据高斯分布的概率迭代计算变分贝叶斯模型期望值，并迭代更新变分贝叶斯模型的参数，直至迭代收敛；

51、s4.3：训练变分贝叶斯模型，最大化目标函数；

52、s4.4：将步骤3融合后的动作特征输入训练后的变分贝叶斯模型，计算每个后验分布的概率，将概率最高的后验分布对应的患者行为状态作为最终的分类结果。

53、在上述技术方案中，所述分贝叶斯模型期望值计算公式如下：

54、

55、式中，qj(m(j)＝k)代表观测样本z(j)属于第k个类别的后验概率的期望值，代表第k个高斯分布的概率，σk代表第k个高斯分布的协方差矩阵，z(j)代表观测数据集的第j个样本，j代表融合后的动作特征观测数据集{z(1),z(1),...,z(n)}的第j个样本，j＝1,2,...,n，mj代表第j个样本的预测类别，μk代表第k个高斯分布的均值；

56、所述分贝叶斯模型的参数更新公式如下：

57、

58、

59、

60、

61、式中，代表第k个高斯分布的概率，σk代表第k个高斯分布的协方差矩阵，μk代表第k个高斯分布的均值，nk代表每个样本属于各个高斯分布的概率之和，z(j)代表融合后的动作特征的第j个样本，即qj(m(j)＝k)，代表观测样本z(j)属于第k个类别的后验概率的期望值。

62、本发明的有益效果如下：

63、1、本发明的重症监护室患者挣扎行为识别及报警方法适用于人体在卧床场景下行为状态的识别，无需受试者佩戴任何传感器设备即可实时准确地捕捉卧姿状态下的人体姿态信息；能够根据特定需求调整卧床人员肢体运动的判定标准和报警机制；检测画面、判定结果和报警信息会发送到显示器上，提醒监护人员。

64、2、本发明具有低成本、无接触、实时性强、识别精度高等优点，满足多场景下患者卧床状态动作识别的需求。

65、3、本发明不仅有益于对病房中患者的行为识别，还可应用到卧床老人状态监测等场景中，为养老护理行业提供可行方案。