跌倒事件识别方法、装置及介质

本公开涉及计算机，特别涉及一种跌倒事件识别方法、装置及介质。

背景技术：

1、随着人口老龄化日益加重，老年化的现实和养老问题已摆在我们面前，其重要性已十分突出，由养老而引发的社会、家庭问题更是十分棘手。对于空巢老人来说，跌倒是常见确又严重的突发事件，该人群发生跌倒设置昏厥往往难以被及时发现。有部分老人选择了养老机构，但看护人员的精力有限，容易忽略跌倒事件的发生。另，病房病患发生昏厥摔倒后往往也可能不被及时发现，若，不能及时发现，将造成难以估量的后果。

2、目前，跌倒事件识别的方法有以下两种：

3、（1）基于环境传感器的跌倒事件识别方法：主要通过设置自监测区域中的地板压力传感器、雷达、声学传感器等获取人体的实时信息，综合多组数据对人体运动规律进行分析，从而发现异常运动行为，判定跌倒行为的发生。该方法虽然侵入性很小，但对噪音敏感。环境传感器有盲点，配置费用高，准确性差。

4、（2）基于穿戴设备的跌倒事件识别方法：通过内置于传递啊设备中的传感器采集人体运动数据，将人体运动数据与阈值进行比对，判定是否存在跌倒事件。该方法误报率高，需时刻穿戴设备，如忘记穿戴，则无法识别是否发生跌倒事件。电池续航也是该种方法的痛点。

5、（3）基于视觉信息的跌倒识别方法：该方法从监控设备中获得人体动作信息，通过对采集到的视频和图像进行分析，从而判断出摔倒的可能性。该算法无需携带任何设备，具有良好的用户体验和较高的检测准确率。与基于可穿戴设备的跌倒识别相比，基于视觉信息的跌倒识别干扰小，精度和鲁棒性更高。基于该方法的跌倒特征提取通常分为传统方法和深度学习方法。其中，基于深度学习的特征提取方法可以实现端到端的学习，在进行学习之前无需提取图像的边缘，颜色，空间位置等信息，可以通过深层的网络结构自动从原始数据中提取有用的特征。在跌倒识别方面，深度学习可实现对监控视频的自动特征提取和分析，减轻人工监测的负担，节省人力成本，并提取丰富的多维特征，包括姿势、动作、环境等信息，有助于更全面地识别跌倒事件。随着深度学习在人体姿态识别领域的不断发展，通过卷积神经网络对人体骨骼关键点进行准确提取，有利于对人体姿态做出有效分析。但目前基于该方法提出的准确度较高的算法大多网络结构比较复杂，无法满足实时性的需求。基于监控视频流的跌倒行为识别不同于其他图像分析任务，识别过程必须足够准确迅速，且算法需要考虑普通安防监控在光线条件不好时画面模糊、失真或噪点等问题。此外，目前常见的跌倒识别方法应用场景较为局限，当人所处环境中有可供躺卧休息的家具时，人处于躺卧姿态时，容易和跌倒行为混淆，产生误报。

技术实现思路

1、本公开提出一种跌倒事件识别方法、装置及介质，以解决上述技术问题。

2、根据本公开的第一方面，提供了一种跌倒事件识别方法，所述方法包括：利用传感器采集目标场所的图像，其中，所述目标场所内有人体和床；借助于目标检测模型对所述图像进行识别，得到人体的边界框、以及床的边界框，其中，在构建所述目标检测模型时，将结合通道注意力机制和空间注意力机制的cbam模块添加至yolov8n；根据所述人体的边界框、以及所述床的边界框，计算交并比；判断所述交并比是否小于交并比阈值；若所述交并比小于交并比阈值，判定所述人体处于活动状态；利用ghostnet-openpose姿态估计网络识别人体的骨骼关键点，且输出各个骨骼关键点的坐标，其中，在构建所述ghostnet-openpose时，将特征提取部分以ghostnet替换vgg-19，openpose多分支迭代机构仅保留初始阶段和一个细化阶段，合并部分卷积结构计算关键点热度图和部分亲和场，且使用coco数据集作为训练集；基于各个骨骼关键点的坐标，计算得到肘关节的实时关节角度和膝关节的实时关节角度；将所述肘关节的实时关节角度和所述膝关节的实时关节角度输入决策树跌倒分类算法，识别跌倒事件，其中，所述肘关节的关节角度的历史数据和所述膝关节的关节角度的历史数据作为训练集训练所述决策树跌倒分类算法，所述肘关节的关节角度的历史数据和所述肘关节的关节角度的历史数据是基于所述ghostnet-openpose姿态估计网络输出的各个骨骼关键点的坐标的历史数据计算得到的，所述骨骼关键点的坐标的历史数据是基于所述目标检测模型输出的人体的边界框的宽高比的历史数据计算得到的。

3、在一些实施例中，在所述借助于目标检测模型对所述图像进行识别之前，还包括：对所述图像进行逐帧读取；将每帧图片皆调整为预设大小；对调整之后的图片进行直方图均衡处理，完成对所述图像的预处理。

4、在一些实施例中，若所述交并比大于等于交并比阈值，判定所述人体在床上休息。

5、在一些实施例中，在所述将所述肘关节的实时关节角度和所述膝关节的实时关节角度输入决策树跌倒分类算法，识别跌倒事件之后，还包括：借助于报警系统播报“fall”报警信息。

6、根据本公开的第二方面，提供了一种跌倒事件识别装置，包括：图像采集模块，用于利用传感器采集目标场所的图像，其中，所述目标场所内有人体和床；图像识别模块，用于借助于目标检测模型对所述图像进行识别，得到人体的边界框、以及床的边界框，其中，在构建所述目标检测模型时，将结合通道注意力机制和空间注意力机制的cbam模块添加至yolov8n；交并比计算模块，用于根据所述人体的边界框、以及所述床的边界框，计算交并比；交并比判断模块，用于判断所述交并比是否小于交并比阈值；处于活动状态判定模块，用于若所述交并比小于交并比阈值，判定所述人体处于活动状态；骨骼关键点识别模块，用于利用ghostnet-openpose姿态估计网络识别人体的骨骼关键点，且输出各个骨骼关键点的坐标，其中，在构建所述ghostnet-openpose时，将特征提取部分以ghostnet替换vgg-19，openpose多分支迭代机构仅保留初始阶段和一个细化阶段，合并部分卷积结构计算关键点热度图和部分亲和场，且使用coco数据集作为训练集；实时关节角度计算模块，用于基于各个骨骼关键点的坐标，计算得到肘关节的实时关节角度和膝关节的实时关节角度；跌倒事件识别模块，用于将所述肘关节的实时关节角度和所述膝关节的实时关节角度输入决策树跌倒分类算法，识别跌倒事件，其中，所述肘关节的关节角度的历史数据和所述膝关节的关节角度的历史数据作为训练集训练所述决策树跌倒分类算法，所述肘关节的关节角度的历史数据和所述肘关节的关节角度的历史数据是基于所述ghostnet-openpose姿态估计网络输出的各个骨骼关键点的坐标的历史数据计算得到的，所述骨骼关键点的坐标的历史数据是基于所述目标检测模型输出的人体的边界框的宽高比的历史数据计算得到的。

7、根据本公开的第三方面，提供了一种跌倒事件识别装置，包括：存储器；以及耦接至所述存储器的处理器，所述处理器被配置为基于存储在所述存储器的指令，执行如上述的跌倒事件识别方法。

8、根据本公开的第四方面，提供了一种计算机可存储介质，其上存储有计算机程序指令，该指令被处理器执行时实现如上述的跌倒事件识别方法。

9、本公开的有益效果：

10、（1）在图像预处理阶段引入直方图均衡处理技术，增强了图像的对比度，提高了图像细节的可见性，有效提升图像质量，进而使得床和人体的识别准确率分别提高近三个百分点。

11、（2）cbam模块的引入结合了通道注意力机制和空间注意力机制，cbam模块能在不改变通道维度的情况下压缩空间维度，更好地关注目标的位置信息，准确生成人体的边界框、床的边界框。

12、（3）针对原始的openpose关键点检测网络进行优化，龙ghosenet作为主干特征提取网络，其中，包含了se注意力模块和深度可分离卷积等技术，将浮点运算次数由8.85gflops减少为6.28gflops，有效地减少了模型的参数量和计算复杂度，能够实现实时识别，在coco关键点识别数据集上的识别准确率提高了9.5%，适合在资源受限的环境中部署和应用。

13、（4）选择了最能代表人体异常姿态变化的多个特征，采用了能有效解决分类问题的决策树模型。通过实验评估证明该模型在整体上对跌倒事件的识别准确率达到95.46%，对跌倒事件响应更加可靠，同时，也在精确度和召回率间取得了较好的平衡，两者计算数值分别为94.87%和93.54%，可以兼顾正负样本的识别。

14、如上，本公开提供的技术手段能应用于包含床和人体的特定室内场所，作为辅助陪护的技术手段，能提高老年人和特定人群的生活质量，减少意外伤害的发生。