一种基于图像处理的姿态检测负反馈系统及方法与流程

本发明涉及姿态检测领域，具体为一种基于图像处理的姿态检测负反馈系统及方法。

背景技术：

1、在医疗技术与生活水平显著提高的今天，人们对于就医住院的看法以及医院的管理方法也在逐步发生着改变，从讳疾忌医、全家陪护的过去慢慢开始转变为住院全面医疗、单人陪护甚至无家属陪护，这也就使得对患者日常生活的照顾更为关键。

2、其中，对于患者摔倒行为的及时反馈与响应尤为重要，然而现行的防摔倒系统存在着一些需要改进的地方。首先，简单粗略地通过人体肢体检测框的长宽判断患者是否处于弯腰或倒下的状态，亦或者对于患者主动行为不加以区分，也无法动态地判断摔倒这一动态动作，不能精准辨别患者真实摔倒与相似的主动行为，给医护人员带来较大的精力负担；其次，现行的防摔倒系统大多处于独立于医疗系统的状态，在有人摔倒时无法辨别身份信息，盲目地警报提醒会在出现多次误判后导致系统置信度的下降；最后，现行的防摔倒系统无法根据患者摔倒时的姿态动作变化判断患者可能的摔伤部位，无法给非专业人员提供较为稳妥的提示，可能导致在非专业人员帮助时发生二次伤害。

技术实现思路

1、本发明的目的在于提供一种基于图像处理的姿态检测负反馈系统及方法，以解决上述背景技术中提出的问题。

2、为了解决上述技术问题，本发明提供如下技术方案：

3、一种基于图像处理的姿态检测负反馈系统，其特征在于：所述系统包括身份识别模块、信息处理模块、行为分析模块、摔倒警报模块；

4、所述身份识别模块输出端与所述行为分析模块及所述摔伤警报模块输入端相连接；所述信息处理模块输出端与所述行为分析模块输入端相连接；所述行为分析模块输出端与所述摔伤警报模块输入端相连接；

5、所述身份识别模块用于根据患者佩戴的电子手环进行远程识别患者身份信息，确定患者所处室内方位；所述信息处理模块用于采集室内图像，使用通过coco数据集训练的yolo-pose算法模型检测出人体关节关键点方位坐标，并将关键点根据连接关系连接检测患者人体姿态；所述行为分析模块用于将所述信息处理模块检测出的人体关节关键点坐标方位变化进行阈值判断，检测判断患者是否发生摔倒，并在患者摔倒时，通过摔倒时所检测的患者人体姿态判断患者摔伤部位；所述摔倒警报模块用于在出现患者摔倒时，将摔倒患者的身份信息、所判断的摔伤部位及患者摔伤时的图像反馈给分管医护人员，并显示患者所在房间，分管医护人员根据反馈的患者摔伤时的图像判断并处理摔伤警报；

6、根据上述技术方案，所述身份识别模块包括方位检测单元、身份识别单元；

7、所述方位检测单元输出端与所述行为分析模块输入端相连接；所述身份识别单元输出端与所述行为分析模块及所述摔伤警报模块输入端相连接；

8、所述方位检测单元用于根据患者佩戴电子手环的信号进行室内方位定位；所述身份识别单元通过患者佩戴电子手环的信号识别患者编号，从而查询患者身份信息；通过电子手环统一管理患者的身份信息，并实现对患者所处位置的精准定位，便捷了医护人员对患者的实时情况的了解与掌握，并为医护患者之间的沟通提供了极为便捷的扩展途径；

9、根据上述技术方案，所述信息处理模块包括图像采集单元、关节检测单元；

10、所述图像采集单元输出端与所述行为分析模块输入端相连接；所述关节检测单元与所述行为分析模块输入端相连接；

11、所述图像采集单元用于当室内有佩戴手环的患者时，采集室内图像；所述关节检测单元用于检测患者的实时姿态，通过采集到的实时室内图像，检测患者肢体关节关键点方位坐标，并根据关节关键点连接关系，判断患者的肢体连线方位，并将所检测出的关节关键点及肢体连线标注在实时图像中；

12、所述关节检测单元使用已标注人体肢体关节关键点的coco数据集进行yolo-pose模型训练，在室内存在多人的情境下可实现多人姿态检测，再根据手环定位确定患者方位，做到精确辨别患者与其余人员的姿态信息，减少系统的冗余占用；

13、根据上述技术方案，所述行为分析模块包括摔倒检测单元、摔伤部位判断单元；

14、所述摔倒检测单元及所述摔伤部位判断单元输入端与所述信息处理模块输出端相连接；所述摔倒检测单元及所述摔伤部位判断单元输出端与所述摔伤警报模块输入端相连接；

15、所述摔倒检测单元用于根据所述信息处理模块检测出的患者肢体关节关键点方位坐标，通过坐标阈值判断检测患者是否发生摔倒；所述摔伤部位判断单元用于根据患者摔倒时的肢体关节关键点方位坐标以及肢体连线方位判断摔伤患者的摔伤部位；

16、通过对患者肢体关节关键点方位坐标的实时检测，综合分析患者关节关键点方位坐标变化及运动速度判断患者是否发生摔倒，避免了因为患者的缓慢弯腰或坐下导致对患者行为动作的误判，提高了系统判断的精确性；通过实时检测判断方位坐标及速度超出阈值的肢体关节关键点，根据关节关键点及肢体连线关系，初步判断患者可能摔伤的部位，辅助医护人员对患者摔倒状况做出初步判断评估；

17、根据上述技术方案，所述摔倒警报模块包括信号传递单元、摔伤警报单元、警报反馈单元；

18、所述信号传递单元输入端与所述身份识别模块及所述行为分析模块输出端相连接；所述摔伤警报单元输入端与所述行为分析模块输出端相连接；所述摔伤警报单元输出端与所述警报反馈单元输入端相连接；

19、所述信号传递单元用于在出现患者摔倒时，将摔倒患者的身份信息、判断的摔伤部位及患者摔伤时的图像发送给分管医护人员，并显示出患者所在房间；所述警报反馈单元用于分管医护人员根据所述信号传递单元传递的患者摔伤时的图像初步判断患者摔倒是否属实，当判断患者确实摔伤时将摔伤警报发布给所在房间最近的警报器，发出患者摔伤警报，提醒医护人员到场检查患者情况，当患者摔倒动作为误判时，可忽略此次检测结果，不发布患者摔伤警报；所述摔伤警报单元用于当发生患者摔倒时，根据患者所在房间选择最近的警报器发出患者摔伤警报；

20、上述方案中当患者出现摔倒行为时，根据患者电子手环精准确认患者身份信息，定位患者所在位置，并将警报信息反馈给医护人员进行初步判断评估后采取措施，而当医护人员评估确实发生患者摔倒行为，通过及时精准反馈，为医护人员与患者争取更多的应急反应时间，而当医护人员评估为误判时，忽略本次警报，避免了医护人员时间精力无意义的消耗；

21、一种基于图像处理的姿态检测负反馈方法，应用如上述技术方案中的一种基于图像处理的姿态检测负反馈系统，所述方法步骤如下：

22、步骤s6-1.患者入院时分配电子手环，并将手环编号与个人信息绑定；

23、步骤s6-2.当患者进入病房时，房间内方位检测单元根据手环信号定位患者方位，图像采集单元实时采集室内图像；

24、步骤s6-3.所述关节检测单元根据实时采集的室内图像检测患者的关节关键点方位坐标并判断患者的肢体连线方位；

25、步骤s6-4.对患者的关节关键点方位坐标进行实时阈值判断，检测其是否发生摔倒，当判断患者摔倒时，根据患者的肢体连线方位估算患者摔伤部位；

26、步骤s6-5.判断患者摔伤时，通过患者电子手环的方位与患者关节关键点坐标方位距离判断检测患者手环编号信息，并查询患者身份信息；

27、步骤s6-6.将摔倒患者的身份信息、判断的摔伤部位及患者摔伤时的图像发送给分管医护人员；

28、步骤s6-7.医护人员根据患者摔伤时的实时图像判断患者摔伤是否为误判；当判断患者确实摔伤时，向其所在房间最近的警报器发布患者摔伤警报，并提醒医护人员到场检查患者状况；当患者摔伤动作为误判时，忽略本次检测结果，不发布患者摔伤警报；

29、根据上述技术方案，步骤s6-3中采用coco数据集中已标注好人体关节关键点的图像，使用yolo-pose算法训练出用于实时姿态检测的轻量化模型，再将实时采集的室内图像传入模型，检测出患者的肢体关节关键点坐标，通过肢体连接关系设置关键点的连接关系，判断患者的肢体连接方位；

30、根据上述技术方案，步骤s6-4中获取到患者关节关键点的方位坐标后进行阈值判断；当连续出现除双脚以外的肢体关节关键点的高度低于所述肢体关节关键点高度阈值时，根据连续图像检测肢体关节关键点方位坐标变化计算所述肢体关节关键点的实时运动速度v实时，根据公式：

31、

32、其中，k为真实肢体关节关键点运动距离与图像检测肢体关节关键点方位坐标变化距离缩放比，(x1，y1)为相邻两帧图像中肢体关节关键点在前一帧图像中的坐标，(x2，y2)为相邻两帧图像中肢体关节关键点在后一帧图像中的坐标，t0为两帧图像间的时间差；

33、当实时运动速度超过所述肢体关节关键点的速度阈值时，判定患者出现摔倒行为；当出现患者摔倒行为时，查找患者满足高度低于所述肢体关节关键点高度阈值且实时运动速度超过所述肢体关节关键点的速度阈值的肢体关节关键点，根据其对应的肢体关节判断患者肢体出现摔伤的部位；

34、根据上述技术方案，步骤s6-5中检测到患者出现摔伤时，室内定位患者电子手环的方位；

35、当手腕位置未被遮挡，根据实时图像计算患者手腕关节关键点与每一个电子手环方位的欧氏距离l1，当存在l1小于未遮挡时阈值距离l未遮挡时，可判定摔倒患者佩戴着距离最小的电子手环，通过电子手环的编号信息查询摔倒患者的身份信息；

36、当手腕位置被遮挡时，根据实时图像计算患者肢体关节关键点与手环方位的最近距离l2,当l2小于遮挡时阈值距离l遮挡时，可判定摔倒患者佩戴着距离最近的电子手环，通过电子手环的编号信息查询摔倒患者的身份信息。

37、与现有技术相比，本发明所达到的有益效果是：

38、1.本发明通过统一管理病患的信息，通过实时图像采集与检测及时发现可能出现摔倒的病患，集中反馈处理病患实时情况，在及时提醒的同时进行反馈预处理，避免延误救助时机的同时也减轻误判导致的医护人员在应对突发情况时的时间压力；

39、2.本发明通过患者特有的电子手环定位患者在室内的方位，并结合姿态检测辨别每个患者自身的姿态检测结果，避免无关健康人员的弯腰低头等相似摔倒动作导致系统误判，减轻医护人员精力负担；

40、3.本发明中对肢体关节关键点设置高度与速度阈值，根据不同关节耐受度不同以及一些动作的相似性，对不同的关键点设置不同的阈值，避免了不同关节部位混同判断导致精确度下降；提前判断摔伤部位，避免在非专业人员的帮助下出现二次伤害；而在判断摔伤部位时，针对可能发生的一次摔伤多处受伤的情况，对每个肢体关节关键点都进行阈值判断，精准判断配合医护人员后续问询与检查。