一种模型的知识蒸馏方法、装置及设备与流程

本文件涉及计算机，尤其涉及一种模型的知识蒸馏方法、装置及设备。

背景技术：

1、随着人工智能技术的不断发展，机器学习模型的性能不断增加，而获取高性能模型的基础是使用更多的训练数据和更大模型尺寸和更高的模型计算复杂度，随之而来的计算资源的消耗不断增加，针对不同模型进行模型压缩和推理提效在隐私保护等方面变得至关重要。

2、知识蒸馏算法是模型压缩领域的关键算法，知识蒸馏算法是在训练较小的模型(即学生模型)时，通过较大的模型的样本预测结果指导较小的模型的训练以提升较小的模型的性能，使其接近较大的模型的算法，虽然知识蒸馏算法在模型压缩领域取得了很大的成功，但却在部分场景收到了限制，当一个模型已经在线上应用了很长时间，为了降低计算成本需要对该模型进行压缩，但由于时间较久导致该模型的原始训练数据已经丢失，知识蒸馏算法无法直接对该模型进行压缩。当原始训练数据丢失的情况下，为了使用学生模型提取教师模型的能力，只能借助于类似于教师模型训练数据的其它数据指导学生模型训练，此时由于训练数据分布之间的差距，会使得最终训练得到的学生模型性能与教师模型差距较大。为此，需要提供一种更优的模型的知识蒸馏方案。

技术实现思路

1、本说明书实施例的目的是提供一种更优的模型的知识蒸馏方案。

2、为了实现上述技术方案，本说明书实施例是这样实现的：

3、本说明书实施例提供的一种模型的知识蒸馏方法，所述方法包括：获取预设的噪声数据。将所述噪声数据输入到预先训练的生成器中，得到用于训练学生模型的训练样本数据，并获取用于描述所述训练样本数据的标签信息的文本数据，基于所述文本数据，通过预训练的文本编码器，确定所述文本数据对应的文本编码数据，所述训练样本数据包括金融交易中扫描的图像数据。将所述训练样本数据输入到预先训练的教师模型中，得到第一输出结果，将所述训练样本数据和所述文本编码数据输入到所述学生模型中，得到第二输出结果，所述教师模型是用于在金融交易中对扫描的图像进行风险防控的模型。基于所述第一输出结果和所述第二输出结果，通过预设的损失函数，使用所述教师模型对所述学生模型进行知识蒸馏训练，得到蒸馏后的学生模型。

4、本说明书实施例提供的一种模型的知识蒸馏方法，所述方法包括：获取预设的噪声数据。将所述噪声数据输入到预先训练的生成器中，得到用于训练学生模型的训练样本数据，并获取用于描述所述训练样本数据的标签信息的文本数据，基于所述文本数据，通过预训练的文本编码器，确定所述文本数据对应的文本编码数据。将所述训练样本数据输入到预先训练的教师模型中，得到第一输出结果，将所述训练样本和所述文本编码数据输入到所述学生模型中，得到第二输出结果。基于所述第一输出结果和所述第二输出结果，通过预设的损失函数，使用所述教师模型对所述学生模型进行知识蒸馏训练，得到蒸馏后的学生模型。

5、本说明书实施例提供的一种模型的知识蒸馏装置，所述装置包括：第一噪声获取模块，获取预设的噪声数据。数据处理模块，将所述噪声数据输入到预先训练的生成器中，得到用于训练学生模型的训练样本数据，并获取用于描述所述训练样本数据的标签信息的文本数据，基于所述文本数据，通过预训练的文本编码器，确定所述文本数据对应的文本编码数据，所述训练样本数据包括金融交易中扫描的图像数据。模型处理模块，将所述训练样本数据输入到预先训练的教师模型中，得到第一输出结果，将所述训练样本数据和所述文本编码数据输入到所述学生模型中，得到第二输出结果，所述教师模型是用于在金融交易中对扫描的图像进行风险防控的模型。知识蒸馏模块，基于所述第一输出结果和所述第二输出结果，通过预设的损失函数，使用所述教师模型对所述学生模型进行知识蒸馏训练，得到蒸馏后的学生模型。

6、本说明书实施例提供的一种模型的知识蒸馏装置，所述装置包括：噪声获取模块，获取预设的噪声数据。处理模块，将所述噪声数据输入到预先训练的生成器中，得到用于训练学生模型的训练样本数据，并获取用于描述所述训练样本数据的标签信息的文本数据，基于所述文本数据，通过预训练的文本编码器，确定所述文本数据对应的文本编码数据。模型处理模块，将所述训练样本数据输入到预先训练的教师模型中，得到第一输出结果，将所述训练样本和所述文本编码数据输入到所述学生模型中，得到第二输出结果。蒸馏模块，基于所述第一输出结果和所述第二输出结果，通过预设的损失函数，使用所述教师模型对所述学生模型进行知识蒸馏训练，得到蒸馏后的学生模型。

7、本说明书实施例提供的一种模型的知识蒸馏设备，所述模型的知识蒸馏设备包括：处理器；以及被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器：获取预设的噪声数据。将所述噪声数据输入到预先训练的生成器中，得到用于训练学生模型的训练样本数据，并获取用于描述所述训练样本数据的标签信息的文本数据，基于所述文本数据，通过预训练的文本编码器，确定所述文本数据对应的文本编码数据，所述训练样本数据包括金融交易中扫描的图像数据。将所述训练样本数据输入到预先训练的教师模型中，得到第一输出结果，将所述训练样本数据和所述文本编码数据输入到所述学生模型中，得到第二输出结果，所述教师模型是用于在金融交易中对扫描的图像进行风险防控的模型。基于所述第一输出结果和所述第二输出结果，通过预设的损失函数，使用所述教师模型对所述学生模型进行知识蒸馏训练，得到蒸馏后的学生模型。

8、本说明书实施例提供的一种模型的知识蒸馏设备，所述模型的知识蒸馏设备包括：处理器；以及被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器：获取预设的噪声数据。将所述噪声数据输入到预先训练的生成器中，得到用于训练学生模型的训练样本数据，并获取用于描述所述训练样本数据的标签信息的文本数据，基于所述文本数据，通过预训练的文本编码器，确定所述文本数据对应的文本编码数据。将所述训练样本数据输入到预先训练的教师模型中，得到第一输出结果，将所述训练样本和所述文本编码数据输入到所述学生模型中，得到第二输出结果。基于所述第一输出结果和所述第二输出结果，通过预设的损失函数，使用所述教师模型对所述学生模型进行知识蒸馏训练，得到蒸馏后的学生模型。

9、本说明书实施例还提供了一种存储介质，所述存储介质用于存储计算机可执行指令，所述可执行指令在被处理器执行时实现以下流程：获取预设的噪声数据。将所述噪声数据输入到预先训练的生成器中，得到用于训练学生模型的训练样本数据，并获取用于描述所述训练样本数据的标签信息的文本数据，基于所述文本数据，通过预训练的文本编码器，确定所述文本数据对应的文本编码数据，所述训练样本数据包括金融交易中扫描的图像数据。将所述训练样本数据输入到预先训练的教师模型中，得到第一输出结果，将所述训练样本数据和所述文本编码数据输入到所述学生模型中，得到第二输出结果，所述教师模型是用于在金融交易中对扫描的图像进行风险防控的模型。基于所述第一输出结果和所述第二输出结果，通过预设的损失函数，使用所述教师模型对所述学生模型进行知识蒸馏训练，得到蒸馏后的学生模型。

10、本说明书实施例还提供了一种存储介质，所述存储介质用于存储计算机可执行指令，所述可执行指令在被处理器执行时实现以下流程：获取预设的噪声数据。将所述噪声数据输入到预先训练的生成器中，得到用于训练学生模型的训练样本数据，并获取用于描述所述训练样本数据的标签信息的文本数据，基于所述文本数据，通过预训练的文本编码器，确定所述文本数据对应的文本编码数据。将所述训练样本数据输入到预先训练的教师模型中，得到第一输出结果，将所述训练样本和所述文本编码数据输入到所述学生模型中，得到第二输出结果。基于所述第一输出结果和所述第二输出结果，通过预设的损失函数，使用所述教师模型对所述学生模型进行知识蒸馏训练，得到蒸馏后的学生模型。

11、本说明书实施例还提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下流程：获取预设的噪声数据。将所述噪声数据输入到预先训练的生成器中，得到用于训练学生模型的训练样本数据，并获取用于描述所述训练样本数据的标签信息的文本数据，基于所述文本数据，通过预训练的文本编码器，确定所述文本数据对应的文本编码数据，所述训练样本数据包括金融交易中扫描的图像数据。将所述训练样本数据输入到预先训练的教师模型中，得到第一输出结果，将所述训练样本数据和所述文本编码数据输入到所述学生模型中，得到第二输出结果，所述教师模型是用于在金融交易中对扫描的图像进行风险防控的模型。基于所述第一输出结果和所述第二输出结果，通过预设的损失函数，使用所述教师模型对所述学生模型进行知识蒸馏训练，得到蒸馏后的学生模型。

12、本说明书实施例还提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下流程：获取预设的噪声数据。将所述噪声数据输入到预先训练的生成器中，得到用于训练学生模型的训练样本数据，并获取用于描述所述训练样本数据的标签信息的文本数据，基于所述文本数据，通过预训练的文本编码器，确定所述文本数据对应的文本编码数据。将所述训练样本数据输入到预先训练的教师模型中，得到第一输出结果，将所述训练样本和所述文本编码数据输入到所述学生模型中，得到第二输出结果。基于所述第一输出结果和所述第二输出结果，通过预设的损失函数，使用所述教师模型对所述学生模型进行知识蒸馏训练，得到蒸馏后的学生模型。