模型训练、点击率预测方法和装置与流程

本申请涉及计算机，尤其涉及一种模型训练、点击率预测方法和装置。

背景技术：

1、随着ctr(click-through rate，点击率)模型的发展，模型用到的特征逐渐增多，每个特征对应的embedding的维度逐渐变大，模型对于这些特征进行复杂的特征交叉建模所需要的计算量和耗时会越来越大。

2、现有模型主要采用的做法是：在模型训练的过程中，采用rebase和retrain相结合的机制来保证模型的迭代效率，同时限制rebase的天数，这样的做法严重限制了大模型情景下模型所能容纳的知识量。

技术实现思路

1、本申请实施例提供了一种模型训练、点击率预测方法、装置、设备以及存储介质。

2、根据第一方面，本申请实施例提供了一种模型训练方法，该方法包括：获取训练样本集；将训练样本分别输入教师模型和待训练的第二学生模型，得到第一输出和第二输出；基于第一输出、第二输出和预测输出构建第一损失函数；基于第一损失函数对第二学生模型的参数进行更新。

3、根据第二方面，本申请实施例提供了一种点击率预测方法，该方法包括：获取用户行为信息和物品属性信息；将用户行为信息和物品属性信息输入点击率预测模型，生成预测点击率，其中，点击率预测模型是如上述第一方面任一实现方式描述的方法得到的第二学习模型。

4、根据第三方面，本申请实施例提供了一种模型训练装置，该装置包括：获取样本模块、第一输入模块、第一构建模块和第一更新模块。其中，获取样本模块被配置成获取训练样本集；第一输入模块被配置成将训练样本分别输入教师模型和待训练的第二学生模型，得到第一输出和第二输出；第一构建模块，被配置成基于第一输出、第二输出和预测输出构建第一损失函数；第一更新模块，被配置成基于第一损失函数对第二学生模型的参数进行更新。

5、根据第四方面，本申请实施例提供了一种点击率预测装置，该装置包括：获取信息模块和预测信息模块。其中，获取信息模块，被配置成获取用户行为信息和物品属性信息；预测信息模块被配置成将用户行为信息和物品属性信息输入点击率预测模型，生成预测点击率，其中，点击率预测模型是如上述第一方面任一实现方式描述的方法得到的第二学习模型

6、根据第五方面，本申请实施例提供了一种电子设备，该电子设备包括一个或多个处理器；存储装置，其上存储有一个或多个程序，当一个或多个程序被该一个或多个处理器执行，使得一个或多个处理器实现如第一方面或第二方面中任一实现方式描述的方法。

7、根据第六方面，本申请实施例提供了一种计算机可读介质，其上存储有计算机程序，该程序被处理器执行时实现如第一方面或第二方面中任一实现方式描述的方法。

8、第七方面，本公开实施例提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现如第一方面或第二方面的任一实施例描述的方法。

9、本申请通过获取训练样本集；将训练样本分别输入教师模型和待训练的第二学生模型，得到第一输出和第二输出；基于第一输出、第二输出和预测输出构建第一损失函数；基于第一损失函数对第二学生模型的参数进行更新，即利用线上已训练完成的第一学生模型的预测输出作为蒸馏网络中的教师模型和待训练的第二学生模型的期望输出，指导第二学生模型的训练，以使第二学生模型学到线上第一学生模型所包含的更多的数据知识，实现了在不牺牲迭代效率、且样本数据的数量不变的情况下，模型能够学到更多数据量的知识。

10、应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其他特征将通过以下的说明书而变得容易理解。

技术特征：

1.一种模型训练方法，所述方法包括：

2.根据权利要求1所述的方法，所述方法还包括：

3.根据权利要求2所述的方法，其中，所述响应于确定更新后的第二学生模型符合预设条件，将所述训练样本集中未使用的训练样本分别输入教师模型和更新后的第二学生模型，得到第三输出和第四输出，包括：

4.根据权利要求2所述的方法，其中，所述响应于确定更新后的第二学生模型符合预设条件，将所述训练样本集中未使用的训练样本分别输入教师模型和更新后的第二学生模型，得到第三输出和第四输出，包括：

5.根据权利要求1所述的方法，其中，所述模型包括特征交叉网络，所述特征交叉网络用于提取训练样本的交叉特征。

6.根据权利要求5所述的方法，其中，所述第一学生模型和所述第二学生模型的特征交叉网络采用的特征交叉方式均为向量运算方式，所述教师模型的的特征交叉网络采用的特征交叉方式为元素运算方式。

7.根据权利要求1所述的方法，其中，所述训练样本集还包括训练样本对应的标签信息，所述基于所述第一损失函数对所述第二学生模型的参数进行更新，包括：

8.根据权利要求2所述方法，其中，所述训练样本还包括训练样本对应的标签信息，所述基于所述第二损失函数对更新后的第二学生模型进行参数更新，包括：

9.根据权利要求1-8任一所述的方法，其中，所述模型为点击率预测模型，所述训练样本包括用户行为信息和物品属性信息，所述预测输出为点击率。

10.一种点击率预测方法，所述方法包括：

11.一种模型训练装置，包括：

12.一种点击率预测装置，包括：

13.一种电子设备，其特征在于，包括：

14.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使所述计算机执行权利要求1-10中任一项所述的方法。

15.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1-10中任一项所述的方法。

技术总结本申请公开了模型训练、点击率预测方法和装置，涉及计算机技术领域。该方法的一具体实施方式包括：获取训练样本集；将训练样本分别输入教师模型和待训练的第二学生模型，得到第一输出和第二输出；基于第一输出、第二输出和预测输出构建第一损失函数；基于第一损失函数对第二学生模型的参数进行更新。该实施方式在保证迭代效率的情况下，模型学到了更多数据量的知识。技术研发人员：任旭东,魏望,王哲,赵梓皓,方治炜受保护的技术使用者：北京沃东天骏信息技术有限公司技术研发日：技术公布日：2024/9/2