多维度柔性感知与视觉态势混合的健康状态监测方法、装置及系统

本发明属于健康状况监测，具体涉及一种多维度柔性感知与视觉态势混合的健康状态监测方法、装置及系统。

背景技术：

1、随着物联网，大数据和虚拟现实等新一代信息技术的兴起，各行业都向数字化与智能化方向发展，特别是医疗领域。传统的医疗监测中病人需要住院，对医院的资源和病人的金钱负担都很重。同时，单独基于柔性传感或视觉的方式实现医疗诊断也存在难点。近年来柔性传感器已应用与医疗领域，可实时为人们监测心率血压等健康数据。柔性感知与视觉态势混合的中老年人远程健康检测系统，提供中老年人远程健康监测与虚实混合交互系统，可避免大医院的床位紧张，为居家健康监测提供可能。柔性传感技术只需通过可穿戴传感器捕捉肌肉动作并利用计算机分析含义，视觉识别可以捕捉大动作实现临床状态识别。具体来说，可穿戴柔性传感器可以贴在皮肤上或穿戴在身体上，具有很好的可穿戴性，可以实时采集人体各种生理指标的数据，基于视觉的态势感知能够辅助识别病人的大幅度动作和面部表情，医院中央通过收集这些数据，进行机器学习，利用大数据辅助医疗，实现远程病人的状态监测。

技术实现思路

1、针对上述问题，本发明提出一种多维度柔性感知与视觉态势混合的健康状态监测方法、装置及系统，通过开发贴在皮肤上的可穿戴式多维度柔性感知模块，实现触觉动作态势信号的采集，同时通过视觉态势感知模块实现病人的状态与态势感知，生成视觉动作态势信号，最后基于跨模态融合算法结合触觉动作态势信号和视觉动作态势信号获得健康监测信号，实现远程病人的状态监测。

2、为了实现上述技术目的，达到上述技术效果，本发明通过以下技术方案实现：

3、第一方面，本发明提供了一种多维度柔性感知与视觉态势混合的健康状态监测方法，包括：

4、获取通过多维度柔性感知模块获得的手势动作数据，并生成触觉动作态势信号；

5、获取通过视觉态势感知模块获得的动作视频数据，并生成视觉动作态势信号；

6、针对所述触觉动作态势信号和视觉动作态势信号进行特征提取，并基于跨模态融合算法进行特征融合，生成融合后的特征向量；

7、将所述特征向量输入至分类器，生成健康监测信号。

8、可选地，所述触觉动作态势信号的获取方法包括：

9、获取通过多维度柔性感知模块获得的病人在交互过程中的手势动作数据；

10、将所述手势动作数据转化为电信号，并进行信号降噪处理、降维和聚类处理，生成触觉动作态势信号。

11、可选地，所述健康状态监测方法还包括：

12、若基于预设手势交互规则和手势动作数据，判定病人此时通过手势发出指令，则基于手势动作数据与指令之间的对应关系，得到病人当前的手势动作数据对应的指令；

13、获取通过多维度柔性感知模块获得的病人当前的心率数据；

14、利用机器学习算法对病人当前的心率数据和病人当前的手势动作数据进行关联分析，以识别出指令的紧迫性。

15、可选地，所述视觉动作态势信号的获取方法包括：

16、获取通过视觉态势感知模块获得的包含病人骨骼关节点的动作视频数据；

17、对所述动作视频数据进行图像帧截取处理，生成若干个顺次的图像帧；

18、基于各个图像帧，找出各关节点移动的数据，生成视觉动作态势信号。

19、可选地，基于关节点移动的数据生成视觉动作态势信号包括：

20、获取通过视觉态势感知模块捕获到的图像数据，利用计算机视觉技术检测出图像数据中的关节点；

21、对于每个检测到的关节点，跟踪其在各图像帧中的运动轨迹；

22、根据跟踪到的关节点的运动轨迹，对关节点之间的相对位置和运动速度进行分析和计算，获得病人的身体在空间中的姿态；

23、基于所述病人的身体在空间中的姿态，使用预先训练好的动作分类模型来识别病人的动作态势，生成视觉动作态势信号；所述动作分类模型引入了自适应学习机制，根据病人个体特征和日常行为习惯，动态调整算法参数和模型结构，以适应不同病人的监测需求。

24、可选地，针对所述触觉动作态势信号和视觉动作态势信号进行特征提取，并基于跨模态融合算法进行特征融合，生成融合后的特征向量，包括：

25、将所述触觉动作态势信号和视觉动作态势信号分别输入至跨媒体两级循环神网络，所述跨媒体两级循环神网络基于接收到的数据执行以下步骤；

26、从所述触觉动作态势信号中提取第一特征，所述第一特征为时域特征、频域特征和/或时频域特征；

27、从所述视觉动作态势信号提取第二特征，所述第二特征为图像特征；

28、将所述第一特征何第二特征合并，生成融合后的特征向量。

29、可选地，所述跨媒体两级循环神网络包括顺次设置的两个lstm长短期记忆网络，两个lstm长短期记忆网络共享隐藏层参数。

30、第二方面，本发明提供了一种多维度柔性感知与视觉态势混合的健康状态监测装置，包括：

31、触觉动作态势信号获取模块，用于获取通过多维度柔性感知模块获得的手势动作数据，并生成触觉动作态势信号；

32、视觉动作态势信号获取模块，用于获取通过视觉态势感知模块获得的动作视频数据，并生成视觉动作态势信号；

33、特征提取模块，用于针对所述触觉动作态势信号和视觉动作态势信号进行特征提取，并基于跨模态融合算法进行特征融合，生成融合后的特征向量；

34、健康监测信号生成模块，用于将所述特征向量输入至分类器，生成健康监测信号。

35、第三方面，本发明提供了一种多维度柔性感知与视觉态势混合的健康状态监测系统，包括：

36、多维度柔性感知模块，包括手势感知传感器和手臂传感器，所述手势感知传感器被配置为获取病人在交互过程中的手势动作数据；所述手臂传感器被配置为获取当前病人的肌肉运动信息；

37、视觉态势感知模块，包括智能摄像头，被配置为获取包含病人骨骼关节点的动作视频数据；

38、健康状态监测模块，分别与所述多维度柔性感知模块和视觉态势感知模块相连，并基于接收到的数据执行第一方面中任一项所述的多维度柔性感知与视觉态势混合的健康状态监测方法。

39、第四方面，本发明提供了一种多维度柔性感知与视觉态势混合的健康状态监测系统，包括存储介质和处理器；

40、所述存储介质用于存储指令；

41、所述处理器用于根据所述指令进行操作以执行根据第一方面中任一项所述的方法。

42、与现有技术相比，本发明的有益效果：

43、本发明提供了一种多维度柔性感知与视觉态势混合的健康状态监测方法、装置及系统，通过开发贴在皮肤上的可穿戴式多维度柔性感知模块，实现触觉动作态势信号的采集，同时通过视觉态势感知模块实现病人的状态与态势感知，生成视觉动作态势信号，最后基于跨模态融合算法结合触觉动作态势信号和视觉动作态势信号获得健康监测信号，实现远程病人的状态监测。

44、进一步地，本发明中还提出获取通过多维度柔性感知模块获得的病人当前的心率数据；利用机器学习算法对病人当前的心率数据和病人当前的手势动作数据进行关联分析，以识别出指令的紧迫性，以防医护人员未及时根据指令操作，导致严重事故。