基于三维人脸图像识别的煤矿安全估算分析方法及系统与流程

本发明涉及煤矿安全估算分析，具体而言，涉及基于三维人脸图像识别的煤矿安全估算分析方法及系统。

背景技术：

1、煤矿行业在全球能源供应中占有重要地位，但同时也是高风险行业之一。煤矿作业环境复杂，存在各种安全隐患，如瓦斯爆炸、塌方、中毒等事故。这些安全隐患不仅对矿工的生命安全构成重大威胁，也会造成严重的经济损失，因此，提高煤矿安全水平一直是研究和技术发展的重要方向。目前煤矿安全监测技术主要集中在环境参数监测、设备状态监控以及人员定位等方面。

2、然而，现有技术在以下几个方面存在明显缺陷：首先是缺乏对工人状态的实时监测，现有系统主要依赖环境传感器和设备监控，对工人的情绪和行为状态关注较少；其次是现有系统通常各自为政，缺乏综合的数据分析平台，无法将多种传感器数据和历史安全数据进行整合分析；还有就是现有的煤矿安全监测系统大多停留在监测和预警层面，缺乏有效的预测模型，因此无法基于历史数据和实时数据进行动态分析和趋势预测，未能充分发挥大数据和人工智能技术的潜力。故，煤矿管理者迫切需要一种全方位的安全估算分析方法，以提高矿工的安全意识和降低事故发生的可能性。

技术实现思路

1、本发明的目的在于提供基于三维人脸图像识别的煤矿安全估算分析方法及系统，以改善上述问题。为了实现上述目的，本发明采取的技术方案如下：

2、第一方面，本技术提供了基于三维人脸图像识别的煤矿安全估算分析方法，包括：

3、获取煤矿安全历史数据和煤矿井下的人脸图像数据，其中煤矿安全历史数据包括煤矿的历史安全记录、事故数据、煤矿运营状态和环境参数；基于稀疏表示算法对煤矿井下工人的人脸图像数据进行提取和情感识别，并利用情感分析模型对识别到的面部表情信息进行情绪识别，得到工人的情绪状态，其中提取过程为将人脸图像数据表示为稀疏向量，并利用稀疏表示的方法提取煤矿井下工人的面部表情特征，其中人脸图像数据包括面部表情、表情强度和眼部表情；

4、利用声音传感器监测工人的语音数据，采用声学特征提取方法提取语音特征，并将提取到的语音特征作为模型的输入，结合预设的标注情感标签，建立并训练声音情绪识别模型，得到第一特征向量，其中语音数据包括工人的语音内容、音调和语速；

5、利用动作传感器监测姿势动作数据，并提取工人的姿势动作特征，将提取到的姿势动作特征作为模型的输入，结合预设的标注行为标签，建立并训练行为评估识别模型，得到第二特征向量，其中姿势动作数据包括工人的关节角度和运动轨迹；

6、将工人的情绪状态、第一特征向量与第二特征向量进行融合，得到综合特征信息；将煤矿安全历史数据按照时间顺序进行排序，构建时间序列数据集，其中每个时间点对应一个数据样本，并将综合特征信息作为输入特征输入至时间序列数据集中，构成完整的时间序列数据样本；

7、将时间序列数据样本作为输入数据源对预设的煤矿安全预测模型进行训练并估算未来的煤矿安全状态的变化趋势。

8、优选地，所述基于稀疏表示算法对煤矿井下工人的人脸图像数据进行提取和情感识别，并利用情感分析模型对识别到的面部表情信息进行情绪识别，得到工人的情绪状态，其中包括：

9、将采集到的煤矿井下工人的人脸图像数据进行人脸对齐和图像归一化处理，并将处理后的图像进行稀疏编码，利用k-svd算法构建字典，并通过正交匹配追踪算法得到稀疏系数向量，将稀疏系数向量记作人脸图像面部特征；

10、基于使人脸图像面部特征和预设标注的情感标签，利用支持向量机对情感分析模型进行训练，并通过优化支持向量机的损失函数来调整情感分析模型的参数，得到训练好的情感分析模型：

11、对实时获取煤矿井下工人的人脸图像数据进行稀疏表示特征提取，得到稀疏向量x实时，利用训练好的情感分析模型对稀疏向量x实时进行分类，得到工人的情绪状态。

12、优选地，所述利用声音传感器监测工人的语音数据，采用声学特征提取方法提取语音特征，并将提取到的语音特征作为模型的输入，结合预设的标注情感标签，建立并训练声音情绪识别模型，得到第一特征向量，其中包括：

13、获取煤矿井下工人的语音数据，并对语音数据进行预处理，得到第一语音数据；

14、采用梅尔频率倒谱系数方法提取第一语音数据中的关键特征，得到第一语音特征向量；

15、基于第一语音特征向量和预设的标注情感标签，利用长短期记忆网络进行训练，通过学习语音特征的时间序列特性来识别情感，得到训练好的声音情绪识别模型；

16、基于训练好的声音情绪识别模型，输入新的语音特征向量进行前向传播，识别语音情感，并生成第一特征向量。

17、优选地，所述利用动作传感器监测姿势动作数据，并提取工人的姿势动作特征，将提取到的姿势动作特征作为模型的输入，结合预设的标注行为标签，建立并训练行为评估识别模型，得到第二特征向量，其中包括：

18、利用动作传感器采集工人的姿势和动作数据并进行预处理，得到预处理后的姿势和动作数据；

19、根据小波变换法提取预处理后的姿势和动作数据，得到第一姿势动作特征向量；

20、基于第一姿势动作特征向量和预设的标注行为标签，利用马尔可夫模型进行训练，通过学习姿势和动作特征的时间序列特性来识别行为，得到行为评估识别模型：

21、基于训练好的行为评估识别模型，输入新的姿势动作特征向量进行前向算法，识别行为，并生成第二特征向量，其中前向算法为计算新的姿势动作特征向量对应的最可信的状态序列。

22、优选地，所述将工人的情绪状态、第一特征向量与第二特征向量进行融合，得到综合特征信息；将煤矿安全历史数据按照时间顺序进行排序，构建时间序列数据集，其中每个时间点对应一个数据样本，并将综合特征信息作为输入特征输入至时间序列数据集中，构成完整的时间序列数据样本，其中包括：

23、将工人的情绪状态特征、第一特征向量和第二特征向量在同一时间点进行切割，得到综合特征信息；

24、对煤矿安全历史数据根据时间戳同步和排序进行插值处理，得到按时间顺序排列的时间序列数据集；

25、将综合特征信息和时间序列数据集进行时间对齐和裁切，并将结果输入至时间序列数据集中，获得完整的时间序列数据样本，并将每个时间序列数据样本添加相应的标签，其中标签为根据煤矿安全历史数据中的事故记录或安全等级，为每个时间点分配相应的安全标签。

26、第二方面，本技术还提供了基于三维人脸图像识别的煤矿安全估算分析系统，包括：

27、获取情绪模块：用于获取煤矿安全历史数据和煤矿井下的人脸图像数据，其中煤矿安全历史数据包括煤矿的历史安全记录、事故数据、煤矿运营状态和环境参数；基于稀疏表示算法对煤矿井下工人的人脸图像数据进行提取和情感识别，并利用情感分析模型对识别到的面部表情信息进行情绪识别，得到工人的情绪状态，其中提取过程为将人脸图像数据表示为稀疏向量，并利用稀疏表示的方法提取煤矿井下工人的面部表情特征，其中人脸图像数据包括面部表情、表情强度和眼部表情；

28、第一提取模块：用于利用声音传感器监测工人的语音数据，采用声学特征提取方法提取语音特征，并将提取到的语音特征作为模型的输入，结合预设的标注情感标签，建立并训练声音情绪识别模型，得到第一特征向量，其中语音数据包括工人的语音内容、音调和语速；

29、第二提取模块：用于利用动作传感器监测姿势动作数据，并提取工人的姿势动作特征，将提取到的姿势动作特征作为模型的输入，结合预设的标注行为标签，建立并训练行为评估识别模型，得到第二特征向量，其中姿势动作数据包括工人的关节角度和运动轨迹；

30、融合构建模块：用于将工人的情绪状态、第一特征向量与第二特征向量进行融合，得到综合特征信息；将煤矿安全历史数据按照时间顺序进行排序，构建时间序列数据集，其中每个时间点对应一个数据样本，并将综合特征信息作为输入特征输入至时间序列数据集中，构成完整的时间序列数据样本；

31、预测估算模块：用于将时间序列数据样本作为输入数据源对预设的煤矿安全预测模型进行训练并估算未来的煤矿安全状态的变化趋势。

32、本发明的有益效果为：

33、本发明利用三维人脸图像识别技术对煤矿工人的面部表情进行实时监测，提取面部表情特征；结合稀疏表示算法和情感分析模型，对工人的情绪状态进行识别和评估，及时发现情绪异常。

34、本发明还通过声音传感器和动作传感器，监测工人的语音和行为特征，建立声音情绪识别模型和行为评估模型，将工人的情绪状态、语音特征和行为特征进行融合，得到综合特征信息，提升数据整合和分析的全面性。

35、本发明将煤矿安全历史数据和综合特征信息按照时间顺序进行整合，构建时间序列数据集，采用时间序列预测模型对未来的煤矿安全状态进行动态预测，提供更为精准的安全预警和干预措施，通过实时监测和综合分析工人的情绪状态和行为特征，不仅提高了安全监测的精准度，还增强了对潜在安全隐患的预测能力，弥补了现有技术的不足，为煤矿安全管理提供了新的技术手段。

36、本发明的其他特征和优点将在随后的说明书阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明实施例了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。