一种带辅助任务的深层胶囊网络语音深伪检测方法

本发明涉及语音深伪检测领域，尤其涉及的是带辅助任务的深层胶囊网络语音深伪检测方法。

背景技术：

1、随着科学技术的快速发展和各类音频编辑软件的广泛应用背景下，人们可以利用音频编辑软件随意生成自然的语音，并且可以根据具体对象产生具有个性特征的语音，但是人耳难以辨认这些语音的真假，如果通过技术手段也不能辨认出这些语音的真假将会给社会带来不利影响。

2、随着近年来语音伪造技术的快速发展，全球多个研究组织开始关注语音伪造检测技术，并在过去的几年里多次举办语音深度伪造检测相关的专题比赛，如asvspoof和add系列挑战赛等，已有的方法从传统的手工特征结合深度神经网络到提出端到端检测方法，再到现在语音预训练模型结合深度神经网络的方法，常用的语音伪造检测方法也逐渐将以上挑战赛的数据集asvspoof2019和asvspoof2021作为比较的基准。

3、随着技术的进步，现在也出现了许多更优秀的数据集，如decro等，但是目前提出的语音伪造检测方法仅仅在asvspoof2019或asvspoof2021数据集上进行检测，并没适应在其他数据集上的检测，因此不能结合更符合实际的数据对语音伪造技术进行检测，故需要提出一种能在多种语音深伪检测数据集上同时达到较高的检测性能的语音深伪检测方法。

4、因此，现有的语音深伪检测方法还存在无法适应多种语音深伪检测数据集的技术问题。

技术实现思路

1、本发明要解决的技术问题在于，针对现有技术缺陷，本发明提供一种带辅助任务的深层胶囊网络语音深伪检测方法，以解决现有的语音深伪检测方法无法适应多种语音深伪检测数据集的技术问题。

2、本发明解决技术问题所采用的技术方案如下：

3、第一方面，本发明提供一种带辅助任务的深层胶囊网络语音深伪检测方法，包括：

4、对语音波形数据集进行深度特征提取，得到所述语音波形数据集的深度特征，从所述深度特征中提取出主胶囊；

5、将所述主胶囊进行映射，通过第一激活函数激活后进行计算，得到高效胶囊；

6、根据所述高效胶囊的初始权重值计算注意力分数，得到数字胶囊；

7、将所述主胶囊、所述高效胶囊和所述数字胶囊进行连接，得到深层胶囊网络，并输出所述语音波形数据集的语音深伪检测结果。

8、在一种实现方式中，所述对语音波形数据集进行深度特征提取，得到所述语音波形数据集的深度特征，包括：

9、对所述语音波形数据集进行基础特征提取，得到所述语音波形数据集的基础特征；

10、对所述基础特征进行预加重处理，并通过窗函数进行加窗处理；

11、通过卷积层提取所述语音数据集的多维度梅尔尺度特征，将所述梅尔尺度特征进行映射得到所述深度特征。

12、在一种实现方式中，所述从所述深度特征中提取出主胶囊，包括：

13、将所述深度特征输入第一卷积层，通过归一化层和第二激活函数计算深度特征；

14、将计算后的深度特征输入第二卷积层，提取对应个数和维度的胶囊矢量；

15、将所述胶囊矢量通过第一激活函数进行激活，得到所述主胶囊。

16、在一种实现方式中，所述将所述主胶囊进行映射，通过第一激活函数激活后进行计算，得到高效胶囊，包括：

17、通过矩阵变换将所述主胶囊映射到输出维度，并将所述主胶囊的个数增加至n倍，通过第一激活函数得到激活的主胶囊；

18、计算所述激活的主胶囊的内积，并通过softmax函数计算注意力分数；

19、使用注意力分数对所述激活的主胶囊进行加权求和，并通过第一激活函数得到所述高效胶囊。

20、在一种实现方式中，所述对所述注意力分数进行加权求和，并通过第一激活函数得到所述高效胶囊，之后包括：

21、根据所述语音波形数据集中的语音伪造方式的种类确定多分类任务的类数；

22、根据多分类任务的类数确定所述高效胶囊的个数。

23、在一种实现方式中，所述根据所述高效胶囊的初始权重值计算注意力分数，得到数字胶囊，包括：

24、通过矩阵变换将所述高效胶囊映射到输出维度，将所述高效胶囊的个数增加至n倍，通过第一激活函数得到激活的高效胶囊；

25、根据所述高效胶囊的权重初始值，通过softmax函数计算注意力分数；

26、使用注意力分数对所述激活的高效胶囊进行加权求和，并通过第一激活函数得到所述数字胶囊。

27、在一种实现方式中，所述对所述注意力分数进行加权求和，并通过第一激活函数得到所述数字胶囊，之后包括：

28、计算所述数字胶囊和所述激活的高效胶囊之间的点积，更新所述高效胶囊的权重值；

29、在所述高效胶囊的权重初始值上叠加产生的注意力分数，重新计算得到数字胶囊矢量。

30、在一种实现方式中，所述输出所述语音波形数据集的语音深伪检测结果，包括：

31、将所述数字胶囊进行拼接，并将拼接后的数字胶囊输入二分类器，得到所述语音波形数据集的语音深伪检测结果。

32、第二方面，本发明还提供一种终端，包括：处理器以及存储器，所述存储器存储有带辅助任务的深层胶囊网络语音深伪检测程序，所述带辅助任务的深层胶囊网络语音深伪检测程序被所述处理器执行时用于实现如第一方面所述的带辅助任务的深层胶囊网络语音深伪检测方法的操作。

33、第四方面，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有带辅助任务的深层胶囊网络语音深伪检测程序，所述带辅助任务的深层胶囊网络语音深伪检测程序被处理器执行时用于实现如第一方面所述的带辅助任务的深层胶囊网络语音深伪检测方法的操作。

34、本发明采用上述技术方案具有以下效果：

35、本发明对语音的伪造方法溯源作为深层胶囊网络训练过程的一个辅助任务，达到在检测新数据集或新伪造方法出现时，能根据其特点进行学习，使深层胶囊网络能在不同的数据中更好地学习到有用的特征；并且使用路由机制更简洁的高效胶囊来构成深层胶囊，通过主胶囊、高效胶囊和数字胶囊的连接构成深层胶囊网络，提高了深层胶囊网络学习效率和深度伪造检测的准确性，并且能在多种数据集和新数据集中保持稳定的检测性能；本发明提出的带辅助任务的深层胶囊网络语音深伪检测方法，解决了现有的语音深伪检测方法无法适应多种语音深伪检测数据集的技术问题。

技术特征：

1.一种带辅助任务的深层胶囊网络语音深伪检测方法，其特征在于，所述带辅助任务的深层胶囊网络语音深伪检测方法包括以下步骤：

2.根据权利要求1所述的带辅助任务的深层胶囊网络语音深伪检测方法，其特征在于，所述对语音波形数据集进行深度特征提取，得到所述语音波形数据集的深度特征，包括：

3.根据权利要求1所述的带辅助任务的深层胶囊网络语音深伪检测方法，其特征在于，所述从所述深度特征中提取出主胶囊，包括：

4.根据权利要求1所述的带辅助任务的深层胶囊网络语音深伪检测方法，其特征在于，所述将所述主胶囊进行映射，通过第一激活函数激活后进行计算，得到高效胶囊，包括：

5.根据权利要求4所述的带辅助任务的深层胶囊网络语音深伪检测方法，其特征在于，所述对所述注意力分数进行加权求和，并通过第一激活函数得到所述高效胶囊，之后包括：

6.根据权利要求1所述的带辅助任务的深层胶囊网络语音深伪检测方法，其特征在于，所述根据所述高效胶囊的初始权重值计算注意力分数，得到数字胶囊，包括：

7.根据权利要求6所述的带辅助任务的深层胶囊网络语音深伪检测方法，其特征在于，所述对所述注意力分数进行加权求和，并通过第一激活函数得到所述数字胶囊，之后包括：

8.根据权利要求1所述的带辅助任务的深层胶囊网络语音深伪检测方法，其特征在于，所述输出所述语音波形数据集的语音深伪检测结果，包括：

9.一种终端，其特征在于，包括：处理器以及存储器，所述存储器存储有带辅助任务的深层胶囊网络语音深伪检测程序，所述带辅助任务的深层胶囊网络语音深伪检测程序被所述处理器执行时用于实现如权利要求1-8中任意一项所述的带辅助任务的深层胶囊网络语音深伪检测方法。

10.一种存储介质，其特征在于，所述存储介质存储有带辅助任务的深层胶囊网络语音深伪检测程序，所述带辅助任务的深层胶囊网络语音深伪检测程序被处理器执行时用于实现如权利要求1-8中任意一项所述的带辅助任务的深层胶囊网络语音深伪检测方法。

技术总结本发明公开了一种带辅助任务的深层胶囊网络语音深伪检测方法，方法包括：对语音波形数据集进行深度特征提取，得到所述语音波形数据集的深度特征，从所述深度特征中提取出主胶囊；将所述主胶囊进行映射，通过第一激活函数激活后进行计算，得到高效胶囊；根据所述高效胶囊的初始权重值计算注意力分数，得到数字胶囊；将所述主胶囊、所述高效胶囊和所述数字胶囊进行连接，得到深层胶囊网络，并输出所述语音波形数据集的语音深伪检测结果；本发明提出的带辅助任务的深层胶囊网络语音深伪检测方法，解决了现有的语音深伪检测方法无法适应多种语音深伪检测数据集的技术问题。技术研发人员：刘泽锋,李斌,许裕雄,黄继武受保护的技术使用者：深圳大学技术研发日：技术公布日：2024/2/6