一种基于参数优化的量子机器学习差分隐私方法

本发明涉及量子机器学习和差分隐私领域，具体涉及一种基于差分隐私的量子经典混合算法的优化法。

背景技术：

1、随着量子计算能力的进步，越来越多的机器学习任务有望在量子计算机上实现。当前，成功的机器学习模型离不开海量的用户训练数据集。当然，量子机器学习模型(qml)同样也不例外。但是，敏感数据例如个人视频、语音记录、医疗记录和财务数据，绝不应被未经授权的第三方用户访问。即使恶意攻击者不能直接访问训练数据，他们仍然可以通过模型输出结果来推断给定的训练数据。其中最简单的隐私攻击之一是成员推理，攻击者试图预测给定的示例是否在训练集中。例如语言模型(如gpt2)来说，被未授权的第三方获取隐私信息依旧是一个重大问题，因为许多语言模型要么使用私有文本数据，要么使用敏感的公共文本进行训练。如果被恶意攻击者截取到输出结果，那么极有可能威胁到训练数据的隐私安全。已有文献表明，即使是指数级训练数据集的模型，也可以通过仔细分析和采样输出来提取训练数据。这种类型的数据提取攻击并不是“黑匣子”访问可能导致的唯一类型。差分隐私(differential privacy,dp)，则是解决上述问题的最好框架。

技术实现思路

1、为解决上述问题，本发明提供一种基于参数优化的量子机器学习差分隐私方法。该方法一共有八个步骤，在对量子机器学习模型输出进行隐私保护的同时对模型的计算效率进行优化，以下是该方法的步骤：

2、s1对数据集进行特征处理:对数据集进行标准化将缩放到[0,1]或[-1,1]的范围内。

3、s2对经典数据集进行量子态编码：对数据集t中具有n个属性的数据ti进行量子态编码中的振幅编码：

4、

5、其中:

6、

7、s3设计变分量子电路——variational quantum circuit(vqc)：

8、s3.1开辟一块存储空间(参数池p)来存储vqc的参数θk(k＝1，2，…，k)。其中每个元素pi，j表示第i行第j列的参数。在开辟参数池p之后，模型每一迭代后的参数θk，都将作为pi，j被存储在参数池p中。在每一次迭代过程中，将根据具体的实际应用场景按照一定分布(例如：正态，伯努利，均匀等)对参数池p进行参数取样，并将取样后的参数pi，j赋值给vqc中的量子门的参数θk，作为量子门的起始参数。

9、s3.2本发明的代价函数为在参数移位规则下，相同量子电路中对单个参数的梯度进行计算需要该电路重复进行两次。

10、

11、其中∈＝dθ，表示参数微小的偏移角度。

12、在vqc中添加两个额外的控制量子比特qa，qb，对于目标量子比特的电路中存在的参数门ry(θi)(i＝1，...，n)，添加两个额外的块，分别将参数θi转换为θi+∈和θi-∈。即在单个电路里就计算两次参数移位，避免电路重复计算。其中的每个块里有两个控制ry门，一个cx门，一个测量操作和一个复位操作。

13、s4定义差分隐私(differential privacy,dp)的噪声参数：差分隐私定义为在一个域中，随机算法其中

14、

15、在所有的和||x-y||1≤1的条件下有：

16、

17、其中ε为隐私预算，一般为0.01，0.1或者ln2，ln3。其中δ为容错率，一般为10-5。

18、s5在迭代器中添加符合高斯分布的噪声

19、设d，d′是相邻的数据库，则对于每个确定性函数f(d)，定义灵敏度sf＝max(|f(d)-f(d′)|)。基于某些噪声乘法器σ,如:

20、

21、对于高斯机制是具有差分隐私效果的，则随机算法即可表示为确定性f(d)函数加上符合高斯机制的噪声参数，即为：

22、

23、

24、s6梯度下降采用adam算法:

25、本发明中的模型采用adam(adaptive moment estimation)算法来进行梯度下降。其下降公式为：

26、

27、vt＝β1vt-1+(1-β1)gt

28、

29、其中β1，β2均为超参数，vt，st为β1，β2控制的梯度及梯度平方的向量平均值。当模型迭代到t时刻时，各动量权值之和为确保在t时刻时权值之后接近1，有：

30、

31、

32、则，参数更新公式为：

33、

34、其中α为学习率；η＝10-8其作用为避免除数变为0。

35、s7梯度剪切:

36、在向经典训练器器中添加dp之后，梯度下降可能会因为噪声的引入使得权重更新变得不稳定，从而发生梯度爆炸。这时，我们需要引进梯度剪切技术。梯度剪切技术可以减少任意单个数据输入对模型训练的影响。

37、本发明在现有的梯度剪切技术的基础上引入了对||gt-1||的参考。基本思路是：噪声乘法器σ和梯度的l2范数的截止值s作为超参数。在计算梯度之后，当前梯度gt若发生梯度爆炸，||gt||大于截止值s，则引入||gt-1||，更新截止值s，然后将gt按比例缩小，使其范数等于截止值s。其中s具体更新公式为：

38、

39、梯度剪切公式为：

40、

41、将vqc建模为q(t；θ)，则其偏导数为对数据集t经过量子态编码后得到由参数移位规则有：

42、

43、其中：将上述公式中的第一个酉算子看作准备态|t>，则其他酉算子刻看作对观测值的线性变换。即：

44、

45、

46、

47、则，本发明的梯度剪切公式为：

48、

49、s8模型评估：对模型使用精确率-召回率进行评估。

技术特征：

1.一种基于参数优化的量子机器学习差分隐私方法，其特征在于，在量子机器学习中变分量子算法的基础上添加一种参数优化的方法，所述方法包括以下步骤：

2.根据权利要求1所述的一种基于参数优化的量子机器学习差分隐私方法，其特征在于：在模型的量子电路中利用池化思想将量子门起始参数存储以作备用，其详细步骤为：

3.根据权利要求1所述的一种基于参数优化的量子机器学习差分隐私方法，其特征在于设计量子电路中的电路结构，根据梯度计算公式：

4.根据权利要求1所述的一种基于参数优化的量子机器学习差分隐私方法，其特征在于本发明在现有的梯度剪切技术的基础上引入了对||gt-1||的参考。基本思路是：噪声乘法器σ和梯度的l2范数的截止值s作为超参数。在计算梯度之后，当前梯度gt若发生梯度爆炸，||gt||大于截止值s，则引入||gt-1||，更新截止值s，然后将gt按比例缩小，使其范数等于截止值s。其中s具体更新公式为：

技术总结本发明涉及量子机器学习与差分隐私领域，具体涉及一种基于参数优化和经典迭代器优化的量子机器学习差分隐私方法包括：通过开辟新的存储空间的参数池P来对变分量子电路参数进行初始优化，提高模型训练效率及泛化性能；利用辅助量子比特进行量子梯度计算，提升量子电路计算效率；设计梯度剪切方法，优化经典迭代，提升迭代性能，防止梯度爆炸。本发明在电路参数初始化方面及迭代器计算效率方面加以优化，在有量子优势的同时对训练数据的加以隐私保护。技术研发人员：宋秀丽,黄益语,何陈诚,严洁受保护的技术使用者：重庆邮电大学技术研发日：技术公布日：2024/7/29