一种基于声音视频AI分析的特种设备智能运输监控方法与流程

本发明涉及特种设备运输监控，尤其涉及一种基于声音视频ai分析的特种设备智能运输监控方法。

背景技术：

1、风电项目建设的过程，就是工程物资材料消耗的过程，在运输中需要借助特种吊装和运输设备，因此传统物流企业往往无力承担其运输任务。总体看，风电项目建设中的工程物流是时效性强、风险性高的一次性物流，期间涉及超重、超大、超长零配件的运输，对运输质量和运输技术要求都非常高。

2、例如公开号为cn116055520a的中国专利公开了运输车辆信息远程监控系统，包括：数据采集模块：用于采集运输车辆信息数据；数据处理模块：用于对采集的运输车辆数据进行处理；告警模块：用于根据数据处理模块处理结果进行告警；通信模块：用于运输车辆与监控终端模块的通信；监控终端模块：用于接收运输车辆信息并进行远程监控。该发明通过传感器、酒精检测、疲劳驾驶检测对运输车辆和驾驶员状态进行监测，保证驾驶员的安全驾驶，通过位置采集实时更新车辆远程定位数据。便于监控终端实时掌握运输车辆定位数据，为运输车辆提供及时的帮助。

3、以上专利均存在本背景技术提出的问题：在实际应用中，由于环境噪声、设备运行噪音、视频质量因素的影响，导致ai算法的识别准确度不高，在运输过程中，由于设备处于驾驶人员视野盲区，可能存在潜在的安全风险，例如，设备之间的碰撞、设备内部的零件松动等，由于运输路程远、运输时间长的原因，驾驶人员在进入驾驶疲劳状态时会增大出现事故的风险，为解决以上问题，本技术设计了一种基于声音视频ai分析的特种设备智能运输监控方法。

技术实现思路

1、本发明所要解决的技术问题是针对现有技术的不足，提供了一种基于声音视频ai分析的特种设备智能运输监控方法，首先通过声学传感器获取车辆行驶过程中车厢内特种设备异常响动发出的声音信号，对特种设备运输过程中的特种设备状态进行识别，其次，通过摄像设备获取车辆行驶过程中驾驶人员的面部视频信息，进行驾驶人员面部特征提取，根据驾驶人员面部特征对特种设备运输过程中的驾驶人员疲劳状态进行识别，最后根据特种设备状态和驾驶人员疲劳状态对特种设备运输过程进行实时监控，对特种设备运输过程中的状态进行分析，根据分析结果进行预警。

2、为实现上述目的，本发明提供如下技术方案：

3、一种基于声音视频ai分析的特种设备智能运输监控方法，包括以下步骤：

4、s1：通过声学传感器获取车辆行驶过程中车厢内特种设备异常响动发出的声音信号，对声音信号进行预处理，根据预处理后的声音信号对特种设备运输过程中的特种设备状态进行识别；

5、s2：通过摄像设备获取车辆行驶过程中驾驶人员的面部视频信息，进行驾驶人员面部特征提取，根据驾驶人员面部特征对特种设备运输过程中的驾驶人员疲劳状态进行识别；

6、s3：根据特种设备状态和驾驶人员疲劳状态对特种设备运输过程进行实时监控，对特种设备运输过程中的状态进行分析，根据分析结果进行预警；

7、所述s1中所述预处理包括声音信号增强、声音信号去噪和声音信号归一化，所述特种设备运输过程中的状态包括正常运输状态、异常震动状态和刮擦碰撞状态；

8、所述s1具体步骤如下：

9、s1.1：通过声学传感器获取声音信号，对声音信号进行预处理；

10、s1.2：对预处理后的声音信号进行特征提取，获取声音特征信号，对声音特征信号进行短时傅里叶变换，计算声音特征信号的时域频谱特征；

11、s1.3：对时域频谱特征进行对数运算和尺寸重构，获得特种设备状态识别网络的输入参数，对输入参数进行卷积，计算输入参数的输入特征，输入特征的计算公式为：

12、

13、其中，f表示输入参数的输入特征，f3x3表示3x3的卷积核卷积操作，ftest表示训练阶段的历史输入参数，μ表示历史输入参数的标准差，表示历史输入参数的方差，ε表示训练阶段误差，表示向量点乘操作，fin表示输入参数；

14、s1.4：根据输入参数的输入特征，特种设备状态识别网络对特种设备状态进行识别，通过注意力机制计算特种设备状态类别参数，根据特种设备状态类别参数输出分类结果，特种设备状态类别参数的计算公式为：

15、sescp＝σ{f3×3[avgpool(γ·f+β)],maxpool(f')}，

16、其中，sescp表示特种设备状态类别参数，σ{·}表示激活函数，avgpool(·)表示平均池化函数，γ表示尺度因子，β表示平移因子，maxpool(·)表示最大池化函数，f'表示通过注意力机制的输入特征；

17、所述s2中所述驾驶人员面部特征包括驾驶人员眼部特征、驾驶人员嘴部特征和驾驶人员头部特征；

18、所述s2具体步骤如下：

19、s2.1：获取车辆行驶过程中驾驶人员的面部视频信息，按视频流时间截取帧间面部图像，通过行梯度算子将帧间面部图像转换为面部行梯度图；

20、s2.2：在梯度方向上检查面部行梯度图每个像素的梯度响应，设定响应阈值，将面部行梯度图中小于响应阈值的梯度响应置零，只保留面部行梯度图中大于等于响应阈值的梯度响应，并根据中值滤波消除面部行梯度图中的噪声；

21、s2.3：根据滤波后的面部行梯度图，进行驾驶人员面部特征提取，将驾驶人员面部特征作为驾驶人员疲劳识别网络的输入，通过多尺度卷积下采样进行特征重构，并根据重构误差函数补偿，计算驾驶人员的疲劳率，输出驾驶人员的疲劳状态，驾驶人员疲劳率的计算公式为：

22、

23、其中，fr表示驾驶人员疲劳率，re{·}表示重构误差函数，fm表示多尺度卷积，ωe表示眼部疲劳权重，ec表示驾驶人员的眼部特征，enc表示特征重构后的驾驶人员的眼部特征，be表示眼部状态偏置项，ωm表示嘴部疲劳权重，mc表示驾驶人员嘴部特征，mnc表示特征重构后的驾驶人员的嘴部特征，bm表示嘴部状态偏置项，ωh表示头部疲劳权重，hc表示驾驶人员头部特征，hnc表示特征重构后的驾驶人员的头部特征，bh表示头部状态偏置项；

24、所述驾驶人员眼部特征的特征提取步骤如下：

25、s601：对滤波后的面部行梯度图进行水平投影，根据水平投影函数的最值划分眼部区域的上下边界和左右边界，将上下边界和左右边界处函数值与面部行梯度图进行匹配，获取双眼区域图；

26、s602：根据双眼区域图的黑色像素纵横比，计算双眼区域图眼睛的闭合程度，与闭合阈值进行对比，如果大于闭合阈值，表示处于睁眼状态，如果小于等于闭合阈值，表示处于闭眼状态；

27、s603：对面部视频信息每一帧眼睛的闭合程度进行统计，计算驾驶人员眼部特征，驾驶人员眼部特征的计算公式为：

28、

29、其中，el表示驾驶人员左眼眼睑比，er表示驾驶人员右眼眼睑比，nc表示面部视频信息的闭眼总帧数，nt表示面部视频信息的总帧数，no表示面部视频信息的睁眼总帧数，t表示面部视频信息单帧时间，nb表示面部视频信息眨眼次数，t表示面部视频信息总时间；

30、所述驾驶人员嘴部特征的特征提取步骤如下：

31、s701：根据嘴部在面部中的几何分布规则，计算滤波后的面部行梯度图需要切分的嘴部区域，对面部行梯度图进行裁剪，获取嘴部区域图，根据残差回归树将嘴部区域图的残差叠加，对嘴部区域图中的关键点进行标定；

32、s702：通过嘴部区域图中上下关键点和左右关键点的坐标，计算嘴部区域图的嘴部纵横比，根据嘴部纵横比判断嘴部区域图嘴巴的张口程度；

33、s703：将嘴部区域图嘴巴的张口程度与张口阈值进行对比，如果大于张口阈值，计算后面连续5帧的面部视频信息的张口程度，并与张口阈值进行对比，如果均大于张口阈值，表示当前帧处于打哈欠状态；

34、s704：对面部视频信息每一帧嘴部的张口程度进行统计，计算驾驶人员的嘴部特征，驾驶人员嘴部特征的计算公式为：

35、

36、其中，j表示驾驶人员打哈欠的总次数，j表示驾驶人员单次打哈欠，ηj表示第j次驾驶人员打哈欠的张口程度，nj表示第j次驾驶人员发生打哈欠动作的帧数量；

37、所述驾驶人员头部特征的特征提取步骤如下：

38、s801：根据残差回归树将面部行梯度图的残差进行叠加，对面部行梯度图中的关键点进行标定，根据关键点获取驾驶员面部的二维坐标；

39、s802：将驾驶员面部的二维坐标通过摄像设备的内参矩阵进行标定，转换为三维空间坐标，计算三维空间坐标的欧拉角，所述欧拉角包括俯仰角、偏航角和滚动角；

40、s803：将三维空间坐标的欧拉角中偏航角和滚动角的与转头角度阈值进行对比，如果大于转头角度阈值，表示处于头部异常转动状态，将三维空间坐标的欧拉角中的俯仰角与低头角度阈值进行对比，如果大于低头角度阈值，计算后面连续5帧的面部视频信息的俯仰角，并与低头角度阈值进行对比，如果均大于低头角度阈值，表示处于头部异常低头状态；

41、s804：对面部视频信息每一帧头部的欧拉角进行统计，计算驾驶人员的头部特征，驾驶人员头部特征的计算公式为：

42、

43、其中，hc表示驾驶人员头部特征，k表示驾驶人员处于头部异常低头状态的总次数，k表示驾驶人员单次处于头部异常低头状态，z表示第k次驾驶人员处于头部异常低头状态的单帧面部视频信息，λ表示低头频率，pkz表示第k次驾驶人员处于头部异常低头状态时第z帧的俯仰角，ps表示低头角度阈值，a表示驾驶人员处于头部异常转动状态的总次数，a表示驾驶人员单次处于头部异常转动状态，ra表示第a帧驾驶人员处于头部异常转动状态的滚动角，ya表示第a帧驾驶人员处于头部异常转动状态的偏航角，rys表示转头角度阈值。

44、与现有技术相比，本发明的有益效果是：

45、1.本发明基于声音和视频图像的ai智能分析技术，对特种设备运输过程中特征设备状态和驾驶人员疲劳状态进行识别，实现对特种设备运输中异常状态的及时监控，对运输管理流程进行优化，节省运输成本；

46、2.本发明通过深度学习网络实现对故障以及运输过程的情况更准确的判断，对异常现象判断的算法进行改良，提高特种设备状态和驾驶人员疲劳状态的识别精准度。