隐私泄漏风险检测方法、装置、电子设备及存储介质与流程

本技术涉及计算机，尤其涉及一种隐私泄漏风险检测方法、装置、电子设备及存储介质。

背景技术：

1、目前，用于大模型训练的语料数据往往是复杂多样的，这其中就包含了一些隐私信息，例如个人居住地和联系方式等。尤其是在大模型如gpt(generative pre-trainedtransformer)和bert(bidirectional encoder representations from transformers)等的应用过程中，大模型可能会无意中泄露训练数据中的隐私敏感信息，引发隐私安全问题。因此减轻或避免在模型输出中泄露隐私信息，同时又不明显影响大模型原始性能显得尤为重要。

2、现有的隐私信息识别方案，通常需要构建同类语义集合，将待识别的文本与该同类语义集合匹配，从而识别当前的文本是否包含隐私信息。现有方案构建的同类语义集合是静态的，不利于场景扩展，处理一些多义词、新词等方面灵活性和准确性较差。且在构建语义集合时，存在将非隐私信息错误归类为隐私信息的风险，导致识别精度不够。

技术实现思路

1、鉴于此，为解决上述部分或全部技术问题，本技术实施例提供一种隐私泄漏风险检测方法、装置、电子设备及存储介质。

2、第一方面，本技术实施例提供一种隐私泄漏风险检测方法，方法包括：利用预先训练的文本风险检测模型，对待输入文本进行风险检测，得到表示待输入文本是否存在隐私泄漏风险和隐私类别的检测结果；若检测结果表示待输入文本不存在隐私泄漏风险，将待输入文本输入预先训练的文本交互模型中，得到待输出文本；若检测结果表示待输入文本存在隐私泄漏风险，基于隐私类别，调整文本交互模型的参数；将待输入文本输入调整参数后的文本交互模型，得到待输出文本；基于待输出文本，生成并输出用于与用户交互的输出文本。

3、在一个可能的实施方式中，基于待输出文本，生成并输出用于与用户交互的输出文本，包括：将待输出文本与预设的隐私文本库进行相似度匹配，得到待输出文本与隐私文本库中的目标隐私文本的相似度值，其中，目标隐私文本是隐私文本库中与待输出文本相似度最大的隐私文本；基于相似度值，确定待输出文本是否符合输出条件；若不符合输出条件，基于隐私类别，调整文本交互模型的参数，并利用调整参数后的文本交互模型，生成并输出符合输出条件的输出文本。

4、在一个可能的实施方式中，利用调整参数后的文本交互模型，生成并输出符合输出条件的输出文本，包括：将待输入文本重新输入调整参数后的文本交互模型，得到新的待输出文本；基于新的待输出文本，重新执行将待输出文本与预设的隐私文本库进行相似度匹配的步骤，直到当前的待输出文本符合输出条件。

5、在一个可能的实施方式中，基于隐私类别，调整文本交互模型的参数，包括：从文本交互模型中，确定隐私类别对应的目标神经元；将目标神经元的输出值擦除。

6、在一个可能的实施方式中，从文本交互模型中，确定隐私类别对应的目标神经元，包括：从文本交互模型中，确定预先记录的与隐私类别对应的神经元集合，其中，神经元集合中的每个神经元对应于预先统计的隐私分值，隐私分值表示对应的神经元对文本交互模型输出隐私信息的影响程度，神经元集合中的每个神经元对应的隐私分值大于等于预设的隐私分值阈值；按照隐私分值的大小，从神经元集合中，确定预设比例的神经元作为目标神经元。

7、在一个可能的实施方式中，隐私分值预先基于如下步骤得到：执行如下隐私分值计算步骤：获取属于隐私类别的第一样本隐私文本和对应的第一样本输入文本；将第一样本输入文本输入上述文本交互模型，由文本交互模型计算第一样本隐私文本包含的每个隐私文本单元的预测概率值；对于第一样本隐私文本包含的每个隐私文本单元，依次调整文本交互模型包含的每个神经元参数，确定每个神经元对应于该隐私文本单元的预测概率变化值；基于得到的第一样本隐私文本对应的概率变化值集合，确定概率变化阈值；对于文本交互模型包含的每个神经元，从该神经元对应的n个预测概率变化值中，确定大于等于概率变化阈值的目标预测概率变化值；将目标预测概率变化值的数量确定为该神经元对应于第一样本隐私文本的隐私影响频率值；基于隐私影响频率值，确定该神经元对应的初始隐私分值；针对隐私类别包含的样本隐私文本集合，重复执行多次隐私分值计算步骤，得到每个神经元对应的多个初始隐私分值；基于多个初始隐私分值，计算每个神经元针对隐私类别的隐私分值。

8、在一个可能的实施方式中，依次调整文本交互模型包含的每个神经元参数，确定每个神经元对应于该隐私文本单元的预测概率变化值，包括：依次调整文本交互模型包含的每个神经元的参数，记录参数调整前和参数调整后，每个神经元对应于该隐私文本单元的预测概率差值；确定该隐私文本单元在文本交互模型的对应候选文本单元集合中的序位，并基于序位，确定该隐私文本单元的隐私风险因子；将隐私风险因子作为权重，对每个神经元对应于该隐私文本单元的预测概率差值加权，得到每个神经元对应于该隐私文本单元的预测概率变化值。

9、在一个可能的实施方式中，基于隐私影响频率值，确定该神经元对应的初始隐私分值，包括：获取第一样本隐私文本包含的每个隐私文本单元的隐私风险因子；基于得到的各个隐私风险因子，确定第一样本隐私文本对应的隐私风险值作为隐私分值权重；基于隐私影响频率值和隐私分值权重，确定该神经元对应的初始隐私分值。

10、在一个可能的实施方式中，基于得到的第一样本隐私文本对应的概率变化值集合，确定概率变化阈值，包括：从概率变化值集合中，确定最大概率变化值，并基于预设系数和最大概率变化值，确定概率变化阈值。

11、在一个可能的实施方式中，在利用预先训练的文本风险检测模型，对待输入文本进行风险检测之前，方法还包括：获取第二样本隐私文本、第二样本输入文本和对应的标注隐私类别；将第二样本输入文本输入初始文本风险检测模型，得到预测隐私类别；将第二样本输入文本输入文本交互模型，由文本交互模型计算第二样本隐私文本包含的每个隐私文本单元的预测概率值；对于第二样本隐私文本包含的每个隐私文本单元，基于该隐私文本单元的预测概率值，确定该隐私文本单元在文本交互模型的对应候选文本单元集合中的序位；基于序位，确定该隐私文本单元的隐私风险因子；基于得到的各个隐私风险因子，确定第二样本隐私文本对应的隐私风险值；将隐私风险值作为预设的损失函数的权重，计算表示预测隐私类别和标注隐私类别的误差的损失值；基于损失值，调整初始文本风险检测模型的参数；响应于调整参数后的初始文本风险检测模型符合预设的训练结束条件，将调整参数后的初始文本风险检测模型确定为训练后的文本风险检测模型。

12、在一个可能的实施方式中，获取第二样本隐私文本、第二样本输入文本和对应的标注隐私类别，包括：获取第二样本隐私文本和初始样本输入文本；将初始样本输入文本输入文本交互模型，得到样本输出文本；将第二样本隐私文本与样本输出文本进行匹配，得到匹配结果；基于匹配结果，确定样本输出文本是否包括第二样本隐私文本的全部隐私文本单元；若样本输出文本包含第二样本隐私文本中的全部隐私文本单元，将初始样本输入文本确定为正样本输入文本，并获取对正样本输入文本设置的正样本标注隐私类别；若样本输出文本不包含第二样本隐私文本中的全部隐私文本单元，将初始样本输入文本确定为负样本输入文本，并获取对负样本输入文本设置的表示负样本输入文本无隐私泄露风险的负样本标注隐私类别。

13、在一个可能的实施方式中，将第二样本隐私文本与样本输出文本进行匹配，包括：将第二样本隐私文本中的首个隐私文本单元确定为待匹配隐私文本单元，并基于待匹配隐私文本单元和初始样本输入文本，执行如下匹配步骤：将初始样本输入文本输入文本交互模型，得到位于输出的第一个隐私文本单元位置的候选文本单元集合；确定候选文本单元集合中是否存在待匹配隐私文本单元；若不存在，将候选文本单元集合中的第一概率序位对应的文本单元加入初始样本输入文本的末尾，形成新的初始样本输入文本；基于新的初始样本输入文本，继续执行匹配步骤；若存在，将待匹配隐私文本单元加入初始样本输入文本的末尾，形成新的初始样本输入文本，并将第二样本隐私文本中待匹配隐私文本单元的下一个隐私文本单元确定为新的待匹配隐私文本单元；基于新的初始样本输入文本和新的待匹配隐私文本单元，继续执行匹配步骤。

14、第二方面，本技术实施例提供一种隐私泄漏风险检测装置，该装置包括：第一检测模块，用于利用预先训练的文本风险检测模型，对待输入文本进行风险检测，得到表示待输入文本是否存在隐私泄漏风险和隐私类别的检测结果；第一交互模块，用于若检测结果表示待输入文本不存在隐私泄漏风险，将待输入文本输入预先训练的文本交互模型中，得到待输出文本；第一调整模块，用于若检测结果表示待输入文本存在隐私泄漏风险，基于隐私类别，调整文本交互模型的参数；第二交互模块，用于将待输入文本输入调整参数后的文本交互模型，得到待输出文本；生成模块，用于基于待输出文本，生成并输出用于与用户交互的输出文本。

15、第三方面，本技术实施例提供一种电子设备，包括：存储器，用于存储计算机程序；处理器，用于执行存储器中存储的计算机程序，且计算机程序被执行时，实现本技术上述第一方面的隐私泄漏风险检测方法中任一实施例的方法。

16、第四方面，本技术实施例提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时，实现如上述第一方面的隐私泄漏风险检测方法中任一实施例的方法。

17、第五方面，本技术实施例提供一种计算机程序，计算机程序包括计算机可读代码，当计算机可读代码在设备上运行时，使得该设备中的处理器实现如上述第一方面的隐私泄漏风险检测方法中任一实施例的方法。

18、本技术实施例提供的隐私泄漏风险检测方法、装置、电子设备及存储介质，通过构建文本风险检测模型，对待输入文本进行风险检测，若不存在隐私泄漏风险，利用文本交互模型，生成待输出文本；若存在隐私泄漏风险，基于预测的隐私类别，调整文本交互模型的参数，再利用调整参数后的文本交互模型，生成待输出文本，最后基于待输出文本，生成并输出用于与用户交互的输出文本。本技术实施例可以根据输入文本直接得到输出文本，无需过多的中间数据分处理过程，处理效率大大提高。在利用大模型进行交互前，采用文本风险检测模型判断隐私泄露风险，充分利用模型对文本的语义理解能力，在隐私泄漏风险时，对文本交互模型的参数调整，可以在保证原始语义理解的基础上，使输出文本发生隐私泄漏风险的概率大大降低，且不局限于静态的数据集构建，方案的可扩展性和场景适应性更强。