基于全同态加密的隐私保护语音分类方法及系统

本发明涉及深度学习，具体涉及一种基于全同态加密的隐私保护语音分类方法及系统。

背景技术：

1、语音信息中通常包含着说话人年龄、身份、语义、情绪等隐私保护信息。然而，第三方云服务器是不完全可信的，存在泄露用户数据隐私的风险。语音冒用、盗用、伪装等侵犯个人隐私的行为愈演愈烈，例如苹果的siri以及谷歌的assistant就存在泄露用户个人隐私的案件。因此需要对语音数据进行必要的隐私处理，在确保数据和模型参数隐私性的同时，兼顾模型计算效率和模型准确度。

2、全同态加密(fully homomorphic encryption，fhe)可以直接对密文进行处理，被广泛用来研究隐私保护语音分类任务。然而，fhe仍存在一些局限性，比如说密文乘法效率低以及非多项式运算的计算精度不足等问题。为解决上述问题，本发明基于ckks全同态加密算法，在两台服务器安全协同的方式下设计安全乘法协议，通过在两台服务器之间传递混淆同态密文，将开销大的密文-密文乘法运算转换为密文-明文乘法运算以及密文-密文加法运算，降低计算开销的同时，也避免深度神经网络中网络层数过深而产生的噪声溢出的问题。其次，针对ckks算法不能有效处理非多项式运算的问题，本发明设计安全指数、安全倒数、安全比较等安全非多项式协议，通过在两台服务器之间传递添加随机掩码的混淆密文，从而解决fhe在深度神经网络推理运算过程中识别准确率低的问题。

技术实现思路

1、本发明的目的在于提供一种基于全同态加密的隐私保护语音分类方法及系统，该方法及系统有利于提高隐私保护语音分类准确性和语音信息隐私性。

2、为实现上述目的，本发明的技术方案是：一种基于全同态加密的隐私保护语音分类方法，首先发送方α将接收来自用户发送来的原始语音数据进行预处理操作，将原始语音信号转换为特征语谱图；发送方α生成公私钥对(pk,sk)，利用安全信道将私钥sk分发给第二服务器s2，公开公钥pk；发送方α以及模型提供方m分别利用公钥pk将所拥有的特征语谱图以及卷积神经网络模型cnn参数加密，生成密态语谱数据ca以及密态参数数据cm，并发送给第一服务器s1；而后第一服务器s1使用随机掩码将所持有的ca以及cm进行混淆处理，两台服务器s1和s2交互地使用安全乘法函数执行安全卷积、安全池化以及安全全连接操作，两台服务器s1和s2交互地使用安全指数函数、安全倒数函数以及安全比较函数执行安全激活操作；最后接收方β接收来自第一服务器s1的输出结果co，并进行解密以及解码操作，得到明文分类结果o。

3、在本发明一实施例中，对于一个原始语音i，发送方α对语音信号进行预处理操作，包括降噪、去除静音段、分帧操作，并对每个语音帧进行快速傅里叶变换，将时域信号转换为频域信号，计算每个频域帧的能量谱，表示每个频率分量的振幅大小；使用一组梅尔滤波器，将能量谱映射到梅尔频率刻度上，用来模拟人耳对声音的感知；在对能量值进行对数压缩以及倒谱转换后，对特征语谱图进行归一化操作，实现对i的转换工作。

4、在本发明一实施例中，发送方α生成公私钥对(pk,sk)，并利用安全信道将私钥sk分发给第二服务器s2，公钥pk公开出来；发送方α以及模型提供方m分别利用公钥pk将拥有的特征语谱图以及卷积神经网络模型参数加密，分别发送给第一服务器s1，其方法为：

5、步骤3.1、密钥生成算法ckks.keygen(n,l,1λ)→(sk,pk,evk)：输入安全参数λ，选取基p＞0，模数q0，令ql＝pl·q0，选择二次幂分圆多项式m＝m(λ,ql)，其中l表示同态电路计算深度(0＜l≤l)，正整数h＝h(λ,ql)，整数p＝p(λ,ql)和实数σ＝σ(λ,ql)；抽取表示从{0,±1}n中抽取一个n维向量s，h表示相应向量的汉明重量；抽取表示在模ql实数中抽取一个随机数a；抽取表示从整数多项式环中抽取一个n维多项式向量，其中每个系数都是取自方差为σ2的离散高斯分布；令私钥sk←(1,s)，公钥其中b←-a·s+e mod ql；抽取计算公钥其中b'←-a'·s+e'+ps2 mod p·ql；输出(sk,pk,evk)；

6、步骤3.2、加密算法ckks.encpk(m,δ)→ct：对于明文使用pk对m进行加密，输出密文ct。

7、在本发明一实施例中，两台服务器s1和s2按如下方法执行安全卷积操作，其中包含im2col算法、gemm算法以及安全乘法函数smp，各算法按如下步骤执行：

8、步骤4.1、im2col算法将输入特征语谱图划分为重叠的块，然后将每个块中的像素值展开成列向量，并将所有块连接在一起形成列方向图；gemm通过对输入矩阵的对应元素进行乘法和求和操作，得到输出矩阵；在卷积神经网络中，im2col操作将输入特征语谱图转换为列方向图，然后使用gemm操作将列方向图与卷积核进行矩阵乘法计算，实现卷积操作；

9、步骤4.2、函数smp按如下步骤执行：

10、步骤4.2.1、s1通过添加随机掩码的方式将混淆密文发送给s2进行解密得到混淆明文，并将混淆明文相乘以获得混淆乘法结果，最终s2将混淆乘法结果加密后发送给s1，s1对获得的混淆密文进行消除掩码操作，以获得最终的密文乘法数据；

11、步骤4.2.2、s1接收到密态语谱数据ca以及密态参数数据(cw,cb)执行卷积操作，即在密文形式下计算y＝w*a，其中，w代表明文条件下卷积层的卷积核参数，a表示明文输入矩阵；

12、步骤4.2.3、使用im2col算法、gemm算法以及安全乘法函数smp优化卷积操作；第一服务器s1对输入的加密特征图encpk(x)执行im2col操作，该操作将原始特征图根据卷积核大小划分为不重叠的块，并将每个块展开为行向量，从而将原始特征图数据转换为矩阵乘法形式，以便后续的矩阵运算；对展开后的密文特征数据encpk(x')和密文卷积核encpk(w')执行密文矩阵乘法运算；在同态加密的环境下，密文矩阵乘法运算使用安全乘法函数smp来加速计算过程；通过这个步骤，得到密文的卷积特征。通过以上步骤，可以在同态加密的环境下实现安全的卷积层计算。这种方法可以保护特征图的隐私，并且能够在不暴露明文数据的情况下进行加密计算。

13、在本发明一实施例中，两台服务器s1和s2按如下方法执行安全池化以及安全全连接操作；其中，

14、步骤5.1、安全池化操作按如下步骤执行：

15、平均池化层紧跟在卷积层之后，将输入的特征图分成若干个区域，对每个区域内的数值求平均值，得到一个输出结果；通过这样的操作，可以减少特征图的尺寸，并提取出更加显著的特征信息，从而使后续的卷积层能够更加有效地识别和分类中的目标。

16、步骤5.2、安全全连接操作如下步骤执行：

17、安全乘法协议用来构造安全全连接层；输入密文矩阵被展开成一个单独的向量，并通过权重矩阵进行线性变换；其中，x是密文输入向量，encpk(wf)是密文权重矩阵，encpk(bf)是密文偏置向量，y是密文输出向量；encpk(wf)与x之间采用安全乘法函数smp完成密文乘法协议，通过将密文-密文乘法运算转换为明文-密文乘法运算和密文-密文加法运算。

18、在本发明一实施例中，安全激活操作中使用的安全softmax函数ssp包括安全指数函数sexp、安全倒数函数sdip，其中，

19、步骤6.1、函数sexp按如下步骤执行：

20、已知输入密文特征c1，需要计算c1的指数结果s1选择随机数t,(0＜t＜1)，c1添加随机数t获得加密混淆特征γ并将γ发送给s2；s2解密γ获得混淆明文特征decsk(γ)并对其进行自然指数运算获得混淆指数特征m1'，s2使用公钥pk对m1'加密并发送给s1；s1接收到密文混淆数据并进行消除随机数操作，获得密文指数特征ce；

21、步骤6.2、函数sdip按如下步骤执行：

22、s1选择随机数k,(k≠0)，k与c2之间执行明文-密文乘法运算，获得加密混淆特征χ←c2⊙k，将χ发送给s2，s2解密χ并对解密后的数据执行倒数运算得到m2'，将m2'加密发送给s1，s1接收到密文混淆数据并进行消除随机数操作，获得密文倒数特征c1/m←c'·k；

23、步骤6.3、函数ssp按如下步骤执行：

24、(1)对输入密文向量c中的每个元素执行安全指数协议，得到每个元素的密文指数向量c'＝(ct'1,ct'2,...,ct'n)←sexp{ct1,ct2,...,ctn}；

25、(2)计算密文向量c'中所有密文指数之和s，并对s执行sdip协议，获得密文倒数指数和s-1；

26、(3)s-1与c'的每个元素相乘得到softmax激活特征向量z。

27、在本发明一实施例中，两台服务器s1和s2按如下方法执行安全relu操作，其中包含安全比较函数scp；按如下步骤展开

28、步骤7.1、安全比较函数scp按如下步骤展开：

29、s1选择不为零的随机数r,(r≠0)，计算得到加密混淆特征ξ，并将ξ发送给s2，s2将ξ解密得到混淆数据m3'，并判断m3'是否大于0，由于不清楚r的大小，因此s2不能够通过混淆数据推断出密文信息及其符号位，如果m3'大于0，则令o←1加密发送给服务器s1；否则，令o←0加密发送给服务器s1，s1接收到密文混淆特征并对其进行消除随机数操作，获得加密relu激活特征encpk(relu(m))；

30、步骤7.2、安全relu函数srp按如下步骤展开：

31、遍历持有密文矩阵特征图encpk(y)，对特征图中所有元素执行scp协议，最后输出加密relu激活特征矩阵encpk(relu(m))。

32、本发明还提供了一种应用上述所述方法的基于全同态加密的隐私保护语音分类系统，包括：

33、发送方α，用于进行图像对语音进行预处理以及加密操作，即将原始语音转换并加密为密文语谱数据，并生成公私钥对，将公钥广播出来，私钥通过安全信道发送给第二服务器s2；

34、模型提供方m，用于对卷积神经网络模型参数进行加密操作，即将明文模型参数加密为密文参数数据；以及

35、第一服务器s1，通过对密文添加随机掩码，与第二服务器交互地执行安全卷积操作、安全激活操作、安全池化操作以及安全全连接操作；

36、第二服务器s2，通过对混淆密文进行解密操作，对混淆明文进行乘法、指数、倒数以及比较运算，与第二服务器交互地执行安全卷积操作、安全激活操作、安全池化操作以及安全全连接操作；以及

37、接收方β，用于对密文分类结果进行解密操作，即对第一服务器s1输出结果进行解密操作，得到与原始语音分类结果相同的隐私保护语音分类结果。

38、相较于现有技术，本发明具有以下有益效果：本发明提供了一种基于全同态加密隐私保护语音分类方法，该方法及系统利用安全函数实现cnn网络中的线性层以及非线性层，解决了密态数据的语音分类问题，相比于直接对原始语音进行特征提取，本发明不仅可以实现正确的密态图像特征提取和识别，而且可以保证识别过程的隐私安全性，适合于大规模推广使用，能应用到rnn、lstm、transformer等其他语音处理深度神经网络中。