一种提高异常环境中声学跌倒检测系统性能的方法

本发明涉及机器学习，更具体地，涉及一种提高异常环境中声学跌倒检测系统性能的方法。

背景技术：

1、跌倒是直接或间接导致老年人死亡的主要原因，因此需要有效监测他们的生活条件并及时发现跌倒事件。为了提供及时的医疗援助并减少跌倒相关伤害的严重程度，跌倒检测系统在各种环境中保持可靠至关重要。

2、多项研究已经探索了使用可听声音进行跌倒检测。这些研究从跌倒的声音中提取可听声音特征，并应用机器学习分类器来检测跌倒。这类方法是非侵入性的，不需要受试者携带或佩戴任何设备，但对环境声音高度敏感，因为跌倒的声音可能会被嘈杂的环境声音淹没。一些研究探讨了使用超声波来检测跌倒。这些方案的原理类似于基于雷达的系统，其中人类活动使反射的超声波信号中携带具有人类活动信息的多普勒频移。然而，超声信号的衍射能力较弱，导致设备被阻挡时性能显著下降，并且可能需要部署大量超声波传感器阵列，因此在部署上具有挑战性。

3、现有技术也采用多传感器数据融合进行跌倒检测，通常分为部分融合、数据融合、特征融合和决策融合。例如，通过部署红外摄像机，使用部分融合来确认生物体的存在，然后仅使用rgb摄像机数据来检测跌倒。数据融合涉及直接融合来自不同传感器的数据，同步这些数据，并从融合数据中执行特征提取。又如，通过调整kinect相机的传输和曝光时间，以将rgb-d数据与可穿戴传感器数据同步。为了减轻每个传感器中原始数据时间的不一致，特征融合可从每个传感器中提取特征表示，然后将其组合成特征向量来训练分类模型。然而，特征融合不能充分利用模态之间的互补性和时序性。决策融合使用一系列分类器进行决策。例如，采用多普勒雷达和加速度计使用决策融合方法组合在一起，其中每个模型从特定传感器获取输入，然后这些模型的输出用于做出最终决策的最终模型的输入。

4、经分析，现有的基于声学的摔倒检测系统包括基于被动声学感知的方案以及基于主动声学感知的方案。基于被动声学感知方案只采集人体跌倒时与地面碰撞发出的可听声音，在噪声环境下会受到很大干扰，导致系统误报率较高。在基于主动声学感知的方案中，发射超声波并从超声波反射信号中提取人类活动信息，这类方案在设备被障碍物阻挡时，检测性能会急剧下降。此外，现有的融合多传感器数据的跌倒检测系统通常使用传统的融合方法，这可能导致在某个信号受损时做出错误的判断，并进一步影响最终的决策。总之，现有的跌倒检测方案难以在充满挑战的环境中有效运行。

技术实现思路

1、本发明的目的是克服上述现有技术的缺陷，提供一种提高异常环境中声学跌倒检测系统性能的方法。该方法包括以下步骤：

2、获取目标与地面碰撞产生的低频声音信号以及目标对超声波的反射信号的高频信号频谱图；

3、从所述低频声音信号中提取多个倒mel谱系数和多个线性预测编码的系数组成多维时间序列，作为低频信号特征；

4、基于所述高频信号频谱图，提取速度曲线特征、极值比率曲线特征和频谱熵特征组成多维时间序列，作为高频信号特征；

5、将所述低频信号特征和所述高频信号特征输入到经训练的多模态分类模型，获得跌倒事件的检测结果；

6、其中，所述多模态分类模型包括短时记忆网络、跨模态注意力机制模块、异常检测机制模块和分类模块，所述长短时记忆网络用于提取低频信号特征的高级表示以及高频信号特征的高级表示，所述跨模态注意力机制模块用于基于低频信号特征的高级表示以及高频信号特征的高级表示之间的注意力分数获得输出，所述异常检测机制模块用于检测异常环境下的低频信号质量和高频信号的质量，所述分类模块用于基于跨模态注意力机制模块的输出和异常检测机制模块的输出获得跌倒事件的检测结果。

7、与现有技术相比，本发明的优点在于，提供一种提高声学跌倒检测系统在异常环境下性能的方法，通过单个声学收发器融合被动和主动声学感知，充分利用了声学信号的潜力。并且，设计了一个具有注意力机制和异常检测机制的多模态分类模型，该模型不仅利用了声学信号的时序性，而且还利用了可听声音和超声波之间的互补性和补充性，从而不仅在正常环境中实现了出色的跌倒检测性能，同时在嘈杂或设备被遮挡的环境中保持了高检测精度。

8、通过以下参照附图对本发明的示例性实施例的详细描述，本发明的其它特征及其优点将会变得清楚。

技术特征：

1.一种提高异常环境中声学跌倒检测系统性能的方法，包括以下步骤：

2.根据权利要求1所述的方法，其特征在于，所述跨模态注意力机制模块执行以下步骤：

3.根据权利要求2所述的方法，其特征在于，训练所述多模态分类模型的损失函数设置为：

4.根据权利要求1所述的方法，其特征在于，所述异常检测机制模块包括噪声环境检测器和遮挡检测器，所述噪声环境检测器利用低频信号的倒mel谱系数特征序列的方差、均方根、峰值信号与平均信号之比、能量、过零率获得噪声异常评分sa；所述遮挡检测器基于高频信号截取一段起始位置位置t1，结束位置t2的长度为0.4s的无活动信号，计算enlos(t)＝max(s(f,t1),…s(f,t+t2)),f∈[2.03khz,20.12khz]来获得遮挡环境异常分数su，t表示时刻，f表示频率，enlos(t)表示提取的遮挡特征。

5.根据权利要求3所述的方法，其特征在于，根据以下公式获得所述跌倒事件的检测结果：

6.根据权利要求1所述的方法，其特征在于，所述低频信号特征包含倒mel谱系数的前四个系数和线性预测编码的第二到第五个系数，组成一个8维时间序列作为所述低频信号特征；

7.根据权利要求6所述的方法，其特征在于，对于所述速度曲线特征，提取频率曲线表示为：

8.一种计算机可读存储介质，其上存储有计算机程序，其中，该计算机程序被处理器执行时实现根据权利要求1至7中任一项所述的方法的步骤。

9.一种计算机设备，包括存储器和处理器，在所述存储器上存储有能够在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤。

技术总结本发明公开了一种提高异常环境中声学跌倒检测系统性能的方法。该方法包括：对麦克风采集到的声学信号进行频段分离；分别对低频信号和高频信号进行特征提取；使用长短时记忆神经网络提取两组特征的高级表示；分别将两组高级表示送入跨模态注意力机制模块；异常检测机制模块判断高低频信号质量；结合跨模态注意力机制模块和异常检测机制模块做出决策。本发明设计的多模态分类框架集成了注意机制和异常检测机制，不仅利用了声信号的时序性，而且还利用了可听声音和超声波的互补性和补充性，提高了声学跌倒检测系统能在异常环境中(嘈杂或设备被遮挡的环境)的鲁棒性和准确率。技术研发人员：伍楷舜,陈殿楠受保护的技术使用者：香港科技大学（广州）技术研发日：技术公布日：2024/1/15