用于监测飞行员的意识丧失的方法和装置与流程

本申请涉及用于监测飞行员的意识丧失的方法、介质、电子设备、计算机程序产品。

背景技术：

1、随着飞机机动性能的不断提高，飞行产生的持续性正加速度值已远超飞行员的生理耐受极限。当飞行员做机动飞行时，产生的径向加速度由飞机座舱底部指向舱盖，从而使飞行员承受与加速度相反的头足方向的过载作用，飞行员的纵向大血管血液流体静压差梯度增大，体液分布迅速变化，头部血压降低，下肢血压升高，血液重量成倍增加，心脏发生牵离、位移、变形，使心血管系统功能发生一系列的改变。随着正加速度的增加，视野从外周向中心呈收缩的趋势，人首先感觉到视力模糊，视野减小，直至视觉消失(灰视)。随着正加速度继续加大，中心视觉消失(黑视)，严重时脑组织发生急性缺血缺氧，飞行员进入晕厥状态，这一现象称为高过载失能，即持续性正加速度引起的意识丧失(g-induced loss ofconsciousness，g-loc)。g-loc发生后即使过载作用停止，飞行员的意识也不能立即恢复，需要一定的恢复时间。在意识丧失期间，飞行员失去控制飞机的能力。意识丧失恢复后，飞行员仍有冷漠、焦虑、健忘、空间定向失调、工效下降等症状表现，对飞行安全具有很大的威胁，甚至会导致机毁人亡的灾难性后果。

2、此外，飞行员在飞行过程中由于供氧设备发生故障、氧气面罩漏气等原因会导致缺氧，缺氧不易觉察，飞行员会在不知不觉中发生缺氧进而导致意识丧失，严重威胁飞行安全。

3、因此，需要实时检测飞行员的异常状态，并能够及时发出预警信息，提醒飞行员采取应对措施，避免严重飞行事故的发生。

4、当前针对g-loc的检测主要基于头眼水平血流动力学、血氧、耳水平脉搏波、心电和肌电等指标，但此类信号的传感器通常需要用夹子固定在皮肤上，需要施加一定的压力来获得可靠的信号。安静状态下，手指和前额测得的数据最为准确。但是在飞行环境下，读数受到严重干扰，测量的准确性较低，鲁棒性较低。且飞行员之间存在明显的个体差异性，此类方法的泛化性较低。因此，目前监测飞行员是否存在意识丧失的方案并不理想。

技术实现思路

1、本申请实施例提供了用于监测飞行员的意识丧失的方法、装置、介质、电子设备、计算机程序产品。

2、第一方面，本申请实施例提供了一种用于监测飞行员的意识丧失的方法，用于电子设备，所述方法包括：

3、实时地获取包含所述飞行员的原始图像；

4、使用图像分割模型，从所述原始图像中分割出包含所述飞行员的头部的头部区域图像；

5、使用头部姿态估计模型，从所述头部区域图像计算出所述头部的一组姿态角；

6、将所述一组姿态角输入训练好的深度学习模型，并根据所述深度学习模型的输出来确定所述飞行员是否存在意识丧失。

7、在上述第一方面的一种可能的实现中，所述训练好的深度学习模型是训练好的长短时记忆模型lstm，

8、其中，使用训练集对lstm进行训练，从而得到训练好的lstm，

9、其中，所述训练集包括预先获取的多组姿态角角度以及对应的多个意识标签，所述意识标签指示所述飞行员是否存在意识丧失。

10、在上述第一方面的一种可能的实现中，按照时间顺序将不同时刻得到的一组姿态角输入所述训练好的lstm，使得所述训练好的lstm输出所述飞行员在当前时刻的所述意识标签，以指示所述飞行员是否存在意识丧失。

11、在上述第一方面的一种可能的实现中，所述图像分割模型是多任务级联卷积神经网络mtcnn，使用所述mtcnn从所述原始图像中分割出所述头部区域图像。

12、在上述第一方面的一种可能的实现中，所述头部姿态估计模型是hopenet模型，其中，所述一组姿态角包括所述头部的偏航角、俯仰角和滚转角。

13、在上述第一方面的一种可能的实现中，当确定所述飞行员存在意识丧失时，发出语音提示。

14、第二方面，本申请实施例提供了一种用于监测飞行员的意识丧失的装置，所述装置包括：

15、获取单元，实时地获取包含所述飞行员的原始图像；

16、分割单元，使用图像分割模型，从所述原始图像中分割出包含所述飞行员的头部的头部区域图像；

17、计算单元，使用头部姿态估计模型，从所述头部区域图像计算出所述头部的一组姿态角；

18、确定单元，将所述一组姿态角输入训练好的深度学习模型，并根据所述深度学习模型的输出来确定所述飞行员是否存在意识丧失。

19、第三方面，本申请实施例提供了一种计算机可读存储介质，所述存储介质上存储有指令，所述指令在计算机上执行时使所述计算机执行上述第一方面中的用于监测飞行员的意识丧失的方法。

20、第四方面，本申请实施例提供了一种电子设备，包括：一个或多个处理器；一个或多个存储器；所述一个或多个存储器存储有一个或多个程序，当所述一个或者多个程序被所述一个或多个处理器执行时，使得所述电子设备执行上述第一方面中的用于监测飞行员的意识丧失的方法。

21、第五方面，本申请实施例提供了一种计算机程序产品，包括计算机可执行指令，所述指令被处理器执行以实施述第一方面中的用于监测飞行员的意识丧失的方法。

22、本发明在融合了mtcnn、hopenet、lstm这三个网络后，其组合优势在于，首先利用了mtcnn的优势特性实时快速地分割出摄像头的原始图像中的头部区域图像，避免了原始图像中的其他区域对接下来的头部姿态角预测的影响。接着利用hopenet的优势特性，不依赖人脸特征关键点直接从单张头部区域图像中推理预测得出头部的姿态角角度。最后，利用lstm的优势特性将当前时刻的头部姿态角与前一段时间内的头部姿态角序列数据形成前后关联，从而更加准确地得出当前时刻下飞行座舱内的飞行员的意识状态。

23、与现有技术中基于头眼水平血流动力学、心电和肌电等生理指标去监测飞行员g-loc的方法相比，本发明基于摄像头进行机器视觉的判断，在运动状态下，所受到的干扰小，可实现飞行员的头部姿态角度的实时识别，具有对加速度引起的意识丧失进行监测和告警的功能，且监测的准确性很高，鲁棒性很高，不依赖于飞行员之间存在的个体差异性，泛化性很高。

技术特征：

1.一种用于监测飞行员的意识丧失的方法，用于电子设备，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述训练好的深度学习模型是训练好的长短时记忆模型lstm，

3.根据权利要求2所述的方法，其特征在于，按照时间顺序将不同时刻得到的一组姿态角输入所述训练好的lstm，使得所述训练好的lstm输出所述飞行员在当前时刻的所述意识标签，以指示所述飞行员是否存在意识丧失。

4.根据权利要求3所述的方法，其特征在于，所述图像分割模型是多任务级联卷积神经网络mtcnn，使用所述mtcnn从所述原始图像中分割出所述头部区域图像。

5.根据权利要求3所述的方法，其特征在于，所述头部姿态估计模型是hopenet模型，其中，所述一组姿态角包括所述头部的偏航角、俯仰角和滚转角。

6.根据权利要求1所述的方法，其特征在于，当确定所述飞行员存在意识丧失时，发出语音提示。

7.一种用于监测飞行员的意识丧失的装置，其特征在于，所述装置包括：

8.一种计算机可读存储介质，其特征在于，所述存储介质上存储有指令，所述指令在计算机上执行时使所述计算机执行权利要求1至6中任一项所述的用于监测飞行员的意识丧失的方法。

9.一种电子设备，其特征在于，包括：一个或多个处理器；一个或多个存储器；所述一个或多个存储器存储有一个或多个程序，当所述一个或者多个程序被所述一个或多个处理器执行时，使得所述电子设备执行权利要求1至6中任一项所述的用于监测飞行员的意识丧失的方法。

10.一种计算机程序产品，包括计算机可执行指令，其特征在于，所述指令被处理器执行以实施权利要求1至6中任一项所述的用于监测飞行员的意识丧失的方法。

技术总结本申请公开了用于监测飞行员的意识丧失的方法和装置。该方法包括：实时地获取包含飞行员的原始图像；使用图像分割模型，从原始图像中分割出包含飞行员的头部的头部区域图像；使用头部姿态估计模型，从头部区域图像计算出头部的一组姿态角；将一组姿态角输入训练好的深度学习模型，并根据深度学习模型的输出来确定飞行员是否存在意识丧失。本发明可以准确地监测飞行员的意识状态。技术研发人员：姚永杰,陈志远,李川涛受保护的技术使用者：中国人民解放军海军特色医学中心技术研发日：技术公布日：2024/7/29