基于音频特征与分层时频注意力卷积的生猪亚健康预警方法及装置

本发明属于音频检测、声音识别的，具体涉及一种基于音频特征与分层时频注意力卷积的生猪亚健康预警方法及装置。

背景技术：

1、当前，生猪亚健康预警主要依赖人工观察和经验判断，存在高误诊率、成本高和引发猪只应激等问题。声音信号作为反映生猪状态的重要指标，包括生猪对生理状态和行为需求的反馈。经验丰富的从业者可以通过生猪的叫声了解其目前的状态。如亚健康状态下，生猪会因为呼吸频率改变、行为模式变化等原因产生声音变化。通过音频检测技术监测征兆性症状的声音事件，有利于亚健康的早发现、早治疗，是实现亚健康监测的自动化、信息化的有效手段。

技术实现思路

1、本发明的主要目的在于克服现有技术的缺点与不足，提供一种基于音频特征与分层时频注意力卷积的生猪亚健康预警方法及装置，本发明展示了如何在音频数据中基于分层时频注意力卷积模块进行声音事件检测，可精确快速地提取长时间、多噪音、细颗粒度的养殖场环境内反应生猪亚健康状态时域分布结果。

2、为了达到上述目的，本发明采用以下技术方案：

3、第一方面，本发明提供了一种基于音频特征与分层时频注意力卷积的生猪亚健康预警方法，包括下述步骤：

4、采集养殖场内的生猪声音数据，并对部分生猪声音数据中的生猪亚健康的状态标注，形成带标签的标准数据集；

5、对所述标准数据集中的声音信号进行预处理，得到经预处理的频谱图；

6、提取经预处理的频谱图中含生猪声音的片段，并将这些片段转换为梅尔频谱图；

7、构建声音深度特征提取器，将梅尔频谱图输入多个依次设置的深度特征提取器进行特征提取，得到深度特征图；所述声音深度特征提取器包括频率动态卷积模块和层次时域卷积模块，所述频率动态卷积模块用于动态提取梅尔频谱图于频域分布的频域深度特征图，引导声音深度特征提取器自主探索更具普适性的高级语义表征；所述层次时域卷积模块用于提取梅尔频谱图于多尺度时域分布的时域深度特征图，并利用频域深度特征图和时域深度特征图各通道间的相互依赖关系，自适应地将频率动态卷积模块提取的动态频域深度特征图和层次时域卷积模块提取的不同感受野下的时域深度特征图进行校准；

8、基于双向门控循环-前馈神经网络设计帧级别声音分类器，利用帧级别声音分类器对所述深度特征图进行帧级别分类，得到每一帧的声音事件标签，最终输出生猪亚健康状态时域分布结果，所述生猪亚健康状态时域分布结果含生猪声音的事件类别和起止时间；

9、基于声音分类器的输出设计检测预警模块，将声音分类器的多次输出，输入到一个回归模型，输出存在亚健康猪只的概率值，当该概率值超出特定预定阈值时，触发警报机制。

10、作为优先的技术方案，所述对所述标准数据集中的声音信号进行预处理，具体为：

11、对声音信号进行进行重采样，将声音信号统一为同一采样率；

12、对重采样后的声音信号进行预加重处理，音频信号的高频分量进行补偿；

13、对预加重后的声音信号进行短时离散傅里叶变换，得到声音信号的频谱图；

14、对频谱图使用谱减法去噪。

15、作为优先的技术方案，所述提取经预处理的频谱图中含生猪声音的片段，并将这些片段转换为梅尔频谱图，具体为：

16、基于短时能量的单参数双门限端点检测方法计算每一帧声音信号的短时能量，根据短时能量判断该帧是否含生猪声音，裁剪含生猪声音的帧对应的频谱图，得到频谱图中的含生猪声音的片段；计算每帧生猪声音信号的短时能量，并使用双门限端点检测方法将其转换为梅尔频谱图。

17、作为优先的技术方案，所述频率动态卷积模块包括：一个平均池化、三个二维卷积层；第l层频率动态卷积模块的执行步骤如下：

18、第一步，将特征图xl输入平均池化层，在频率维度对特征图的每一通道做平均操作操作，从而提取特征图每一通道特征，形成频域信息嵌入；将频域信息嵌入输入到特征提取卷积层内的卷积模块u中；经过sigmoid和线性函数激活，得到声音特征图yl，计算公式如下：

19、yl＝σ(u*avgpool(xl)+b)

20、式中，b为偏移量，σ为sigmoid函数计算，avgpool为平均池化操作；

21、第二步，将声音特征图yl输入卷积层v1，将不同频率上的特征进行动态卷积并经过relu函数激活；将激活的声音特征图输入卷积层v2并经过sigmoid函数激活，得到注意力掩膜zl，计算公式如下：

22、zl＝σ(v2(δ(v1(yl))))

23、式中，δ为relu激活函数，σ为sigmoid函数计算；

24、第三步，将注意力掩膜和输入特征图yl相加，形成残差跳层连接，表达式为：

25、

26、综上，所述频率动态卷积模块全流程的表达式为：

27、

28、式中，m为所述第l层频率动态卷积模块的输出，avgpool为平均池化操作。

29、作为优先的技术方案，所述层次时域卷积模块包括：一个平均池化、四个二维卷积层和双层神经网络；第l层层次时域卷积模块的执行步骤如下：

30、第一步，将特征图xl输入平均池化层，在时间维度对特征图的每一通道做平均操作操作，从而提取特征图每一通道特征，形成频域信息嵌入；将频域信息嵌入输入到特征提取卷积层内的卷积模块u中；经过sigmoid和线性函数激活，得到声音特征图yl，计算公式如下：

31、yl＝σ)u*avgpool(xl)+b)

32、式中，b为偏移量，σ为sigmoid函数计算，avgpool为平均池化操作；

33、第二步，将声音特征图yl输入卷积层v1，将细颗粒时间尺度上的特征进行卷积并经过relu函数激活将激活的声音特征图输入卷积层v2并经过sigmoid函数激活，得到时域特征图zl，计算公式如下：

34、zl＝σ(v2(δ(v1(yl))))

35、式中，δ为relu激活函数，σ为sigmoid函数计算；

36、第三步，将时域特征图和输入特征图yl相加，形成残差跳层连接，该步骤表达式为：

37、

38、第四步，将声音特征图yl输入到双层神经网络中，所述双层神经网络参数共享，第一层网络fl2的激活函数为relu函数，第二层fl1的激活函数使用softmax函数，得到通道数目与基核大小k值相同的全局时域图计算公式如下：

39、

40、第五步，将全局时域信息作为卷积核，在时域特征图zl上进行卷积操作，获得层次时域特征图；将层次时域特征图与动态频率卷积模块的输出结果相加，计算公式如下：

41、

42、式中，n为层次时域卷积模块的输出，表示卷积操作。

43、作为优先的技术方案，所述基于双向门控循环-前馈神经网络设计帧级别声音分类器，具体为：

44、将声音深度特征输入双向循环递归模块，得到声音于每一时刻的标签概率向量；然后将输出值输入三层全连接层，得到每一帧对应声音事件标签；最后，计算某一时段内的时域标签平均值，得到时段对应生猪亚健康状态标签，从而输出生猪亚健康状态时域分布；对于时刻t，双向循环递归模块同时进行正向计算与反向计算，考虑过去的深度特征信息与未来的深度特征信息，则某时刻t，第l层输出的概率向量ht(l)表达式为：

45、

46、其中，分别表示在t时刻第l层隐藏层的前向输出值与反向输出值；在t时刻第l层隐藏层的前向输出值的计算公式为：

47、

48、

49、

50、

51、其中，和分别表示在t时刻第l层的前向隐藏状态、更新门和重置门，和表示循环神经元于第l层的权重矩阵，和表示循环神经元于第l层的隐藏状态的前向权重矩阵，和表示循环神经元于第l层的前向偏移量，控制了从隐藏状态到隐藏状态的计算；同样可以计算在t时刻第l层隐藏层的反向输出值对和做连接操作，所得结果即为ht(l)；对于某个时刻t，其声音事件标签表示为：

52、o′(t)＝o(t)⊙zloc(t)

53、其中，⊙表示哈达玛积，zloc(t)代表在t时刻的时域位置向量，o(t)表示概率向量经过前馈神经网络分类器后的结果，o′(t)即为时刻t分类结果；在某时间段t内的音频标签，则由该时间段内所有帧的平均值决定，故某一时间段内的亚健康猪只的概率值0″对应表达式记为：

54、

55、作为优先的技术方案，所述声音深度特征提取器与帧级别声音分类器连接，构成端到端的网络模型，所述端到端的网络模型训练过程使用二元交叉熵作为损失函数，表达式为：

56、

57、其中，e是二元交叉熵损失函数，ok和pk分别代表在样本索引k处的预估值与标签值，总数据量为k。

58、第二方面，本发明还提供了一种基于音频特征与分层时频注意力卷积的生猪亚健康预警系统，应用于所述的基于音频特征与分层时频注意力卷积的生猪亚健康预警方法，包括数据采集模块、预处理模块、转换模块、特征提取模块以及检测预警模块；

59、所述数据采集模块，用于采集养殖场内的生猪声音数据，并对部分生猪声音数据中的生猪亚健康状态类别和起止时间进行标注，形成带标签的标准数据集；

60、所述预处理模块，用于对所述标准数据集中的声音信号进行预处理，得到经预处理的频谱图；

61、所述转换模块，用于提取经预处理的频谱图中含生猪声音的片段，并将这些片段转换为梅尔频谱图；

62、所述特征提取模块，用于构建声音深度特征提取器，将梅尔频谱图输入多个依次设置的深度特征提取器进行特征提取，得到深度特征图；所述声音深度特征提取器包括频率动态卷积模块和层次时域卷积模块，所述频率动态卷积模块用于动态提取梅尔频谱图于频域分布的频域深度特征图，引导声音深度特征提取器自主探索更具普适性的高级语义表征；所述层次时域卷积模块用于提取梅尔频谱图于多尺度时域分布的时域深度特征图，并利用频域深度特征图和时域深度特征图各通道间的相互依赖关系，自适应地将频率动态卷积模块提取的动态频域深度特征图和层次时域卷积模块提取的不同感受野下的时域深度特征图进行校准；

63、所述检测预警模块，通过双向门控循环-前馈神经网络设计帧级别声音分类器，利用帧级别声音分类器对所述深度特征图进行帧级别分类，得到每一帧的声音事件标签，最终输出生猪亚健康状态时域分布结果，所述生猪亚健康状态时域分布结果含生猪亚健康状态类别和起止时间；当亚健康猪只概率值超出特定预定阈值时，将触发警报机制。

64、第三方面，本发明还提供了一种电子设备，所述电子设备包括：

65、至少一个处理器；以及，

66、与所述至少一个处理器通信连接的存储器；其中，

67、所述存储器存储有可被所述至少一个处理器执行的计算机程序指令，所述计算机程序指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行所述的基于音频特征与分层时频注意力卷积的生猪亚健康预警方法。

68、第四方面，本发明还提供了一种计算机可读存储介质，存储有程序，所述程序被处理器执行时，实现所述的基于音频特征与分层时频注意力卷积的生猪亚健康预警方法。

69、本发明与现有技术相比，具有如下优点和有益效果：

70、1.本发明提出了基于音频特征与分层时频注意力卷积的生猪亚健康预警方法，相较于传统的基于人工听取生猪声音进行状态判断的方法，本方法在分析过程中显著降低了时间和人工资源成本，同时实现了对生猪异常状态的实时监测。

71、2.本发明采用多种预处理方法，包括重采样、预加重、短时离散傅里叶变换等，对生猪声音数据集中的声音信号进行处理。这些预处理步骤有助于提取声音信号的频谱图，并应用谱减法进行降噪。这一系列步骤有助于增强生猪声音信号独特的声学特征，同时将时域的声学信号转换成频谱图，从而降低养殖场等嘈杂环境中噪音的干扰。这有利于进行后续的生猪亚健康状态的声学建模，提高了检测的准确性和可靠性。

72、3.本发明提出基于分层时频注意力卷积的声音深度特征提取器，提取生猪声音数据深度特征，与当前基于卷积的声音深度特征提取器相比，本发明的特征提取器提取的深度特征包含更丰富有效的生猪声学特性，控制网络中的数据量，利用时频域深度特征各通道之间的相互依赖关系，自适应调整时频域特征响应。

73、4.本发明基于生猪声音数据的深度特征，采用双向门控递归-前馈神经网络设计了帧级别的声音分类器，用以获取每一帧生猪声音的声音事件标签。该分类器具备较快的分类速度和高度的分类准确性。

74、5.本发明能够根据生猪亚健康状态检测结果，生成包含丰富生猪亚健康状态的时域分布图，其中蕴含了生猪亚健康状态的时序演变信息。这些信息可以反映生猪的状态时序演变，从而为猪只的生理状态检测提供了有力的参考依据。