一种基于云端检测鸟类鸣声的方法及系统

本发明涉及识别鸟类鸣声的，具体涉及一种基于云端检测鸟类鸣声的方法及系统。

背景技术：

1、生态环境下的鸟类声音包含着丰富的生物学信息，通过在山林、湿地、公园、绿地、森林、等野生鸟类聚居区域使用鸟类鸣声检测和识别技术对鸟类进行观察，尤其是在野外环境下对濒临灭绝的鸟类声音的检测和识别，有利于人们及时发现鸟类的行踪，以及所处环境下鸟类的物种信息，并采取相应的保护措施。

2、现有技术中，对鸟类声音数据的分析主要依赖于生态保护者或者相关领域的研究学者、工作人员，采用固定安装的野外声音采集设备，结合后台服务器为硬件基础，将声音数据传递至服务器，依靠声学数据库，花费数日时间进行手动声音比对。但是为了实现对鸟类鸣声的分离与识别，固定安装的野外声音采集设备装置体积大，数据采集成本高、区域有限、效率低，覆盖范围较窄，而且在固定设备的声纹识别技术方面，由于未考虑利用云计算和大数据策略，因此无法实时分析和处理动态鸟类鸣声数据和精准识别鸟类物种，更无法实时反馈结果，导致实用性差、难于推广给普通人进行鸟类鸣声的采集与识别，不利于科普推广。

3、因此，现有技术还有待于改进和发展。

技术实现思路

1、针对现有技术中的上述不足，本发明提供了一种基于云端检测鸟类鸣声的方法及系统，以解决现有技术中需要通过固定安装的野外声音采集设备进行拾音，并通过不同硬件设备对声音进行分离与识别，导致效率低、覆盖范围窄，且无法实时分析和处理动态鸟类鸣声数据和精准识别鸟类物种的问题。

2、为了达到上述发明目的，本发明第一方面公开了一种基于云端检测鸟类鸣声的方法，其中，所述方法包括：

3、接收智能终端获取的原始声音数据；

4、将所述原始声音数据输入经过训练的第一神经网络模型，分离得到鸟类鸣声数据；

5、将所述鸟类鸣声数据输入经过训练的第二神经网络模型，确定与所述鸟类鸣声数据对应的鸟类信息，并将所述鸟类信息发送给所述智能终端。

6、在一种实施方式中，所述经过训练的第一神经网络模型为经过训练的深度吸引子网络，以所述原始声音数据作为训练数据集；所述经过训练的第二神经网络模型为经过训练的时间延迟神经网络，以所述第一神经网络模型输出的鸟类鸣声数据作为训练数据集。

7、在一种实施方式中，所述接收智能终端获取的原始声音数据，包括：

8、获取所述智能终端的定位信息；

9、接收所述原始声音数据；

10、将所述定位信息标签化，并与所述原始声音数据匹配，得到具有位置标签的原始声音数据。

11、在一种实施方式中，所述将所述原始声音数据输入经过训练的第一神经网络模型，分离得到鸟类鸣声数据，包括：

12、提取与所述原始声音数据匹配的位置标签；

13、提取所述原始声音数据中不同音源的声纹特征；

14、将所述不同音源的声纹特征输入所述经过训练的深度吸引子网络，分离得到对应鸟类鸣声数据的声纹特征；

15、根据所述对应鸟类鸣声数据的声纹特征，确定所述鸟类鸣声数据以及对应所述鸟类鸣声数据的所述位置标签。

16、在一种实施方式中，所述提取所述原始声音数据中不同音源的声纹特征，包括：

17、对所述原始声音数据使用短时傅里叶变换，得到混合语谱图；

18、根据所述混合语谱图，分离得到不同音源的源音频语谱图；

19、对所述不同音源的源音频语谱图使用逆短时傅里叶变换，得到对应不同音源的声音源波形；

20、根据所述声音源波形，生成所述不同音源的声纹特征。

21、在一种实施方式中，所述将所述鸟类鸣声数据输入经过训练的第二神经网络模型，确定与所述鸟类鸣声数据对应的鸟类信息，并将所述鸟类信息发送给所述智能终端，包括：

22、预处理所述鸟类鸣声数据，得到强化鸟类鸣声数据；

23、基于梅尔频率倒谱系数处理所述强化鸟类鸣声数据，得到对应所述强化鸟类鸣声数据的声纹特征参数；

24、将所述声纹特征参数输入所述经过训练的时间延迟神经网络，确定对应所述声纹特征参数的所述鸟类信息，并将所述鸟类信息发送给所述智能终端。

25、在一种实施方式中，所述基于梅尔频率倒谱系数处理所述强化鸟类鸣声数据，得到对应所述强化鸟类鸣声数据的声纹特征参数，包括：

26、对所述强化鸟类鸣声数据进行快速傅里叶变换，获得所述强化鸟类鸣声数据的语谱图；

27、基于所述强化鸟类鸣声数据的所述语谱图和所述梅尔频率倒谱系数，得到梅尔频率倒谱系数特征向量作为对应所述强化鸟类鸣声数据的所述声纹特征参数。

28、在一种实施方式中，所述将所述声纹特征参数输入所述经过训练的时间延迟神经网络，确定对应所述声纹特征参数的所述鸟类信息，包括：

29、将所述声纹特征参数进行压缩操作和激励操作，获得若干层压缩-激励数据；

30、将若干层所述压缩-激励数据串联并融合，获得特征聚合数据；

31、将所述特征聚合数据进行基于注意力机制的概率池化处理，获得权重统计数据；

32、根据所述权重统计数据确定所述鸟类信息。

33、在一种实施方式中，所述将所述原始声音数据输入经过训练的第一神经网络模型，分离得到鸟类鸣声数据之前，还包括：

34、对所述原始声音数据依次进行降采样、分段和归一化处理，去除环境噪音，得到所述原始声音数据的标准化范围；

35、对所述标准化范围进行验证，若确定所述原始声音数据内具有鸟类鸣声数据，则将所述原始声音数据输入所述经过训练的第一神经网络模型。

36、本发明第二方面还公开了一种基于云端检测鸟类鸣声的系统，所述系统包括云端服务器和与所述云端服务器通信连接的若干智能终端，其中，所述云端服务器包括：

37、接收模块，所述接收模块接收所述智能终端获取的原始声音数据；

38、鸟类鸣声分离模块，所述鸟类鸣声分离模块将所述原始声音数据输入经过训练的第一神经网络模型，分离得到鸟类鸣声数据；

39、鸟类鸣声数据处理模块，所述鸟类鸣声数据处理模块将所述鸟类鸣声数据输入经过训练的第二神经网络模型，确定与所述鸟类鸣声数据对应的鸟类信息，并将所述鸟类信息发送给所述智能终端。

40、所述第二神经网络模型采用ecapa-tdnn网络结构，包括一维卷积层、压缩-激励层、特征融合层、注意力统计池化层、全连接层和信息分类层。

41、本发明公开了一种基于云端检测鸟类鸣声的方法及系统，其中所述方法包括：接收智能终端获取的原始声音数据；对所述原始声音数据进行处理，分离得到鸟类鸣声数据；以及根据所述鸟类鸣声数据，确定与所述鸟类鸣声数据对应的鸟类信息，并将所述鸟类信息发送给所述智能终端。本发明通过用户随身携带的智能终端采集环境声音，再在云端利用不同的神经网络模型分别实现对环境声音中鸟类鸣声的分离与识别，从而快速确定相应的鸟类信息且无需额外的硬件设备，可以精准识别鸟类声纹特征，并实时处理、分析和反馈环境中的鸟类信息，方便随身使用、应用范围广，易于推广及科普鸟类信息。