一种基于注意力机制的短视频点击率大数据预估方法

技术特征：
1.一种基于注意力机制的短视频点击率大数据预估方法，其特征在于：包括以下步骤，s1、构建包括用户个人嵌入、用户好友信息、多种领域短视频嵌入、不同领域短视频共享上下文嵌入和已标记点击行为的数据集，并采用层次差异注意力算法获得领域特定用户好友嵌入；s2、采用负责控制信息流入的双门控网络将用户个人嵌入分别与不同领域的用户好友信息嵌入融合；s3、根据不同领域短视频嵌入为每个类型上下文嵌入分配权重，并通过加权融合得到对应领域的上下文嵌入；s4、将各领域用户个人嵌入、上下文嵌入以及短视频嵌入输入到一个共享特征交叉式双mmoe网络，基于动态学习集成策略，得到各领域点击率预测值。2.根据权利要求1所述的一种基于注意力机制的短视频点击率大数据预估方法，其特征在于：所述步骤s1中的差异注意力算法包括底层注意力计算和顶层注意力计算，所述底层注意力计算获得用户好友对不同上下文类型的影响力，所述影响力的计算采用以上下文作为引导的差异注意力算法，所述以上下文作为引导的差异注意力算法具体为：先以某种类型的上下文为引导计算好友之间比较向量，再经过第一层mlp得到比较向量的隐藏层表示；以随机初始化上下文向量作为可学习参数query来计算每个好友基于不同类型上下文的比较向量权重，每个用户获得一个权重集合，将基于不同类型上下文的比较向量加权求和，得到每个好友唯一一个比较向量，将底层的比较向量作为附加信息与好友嵌入相加作为顶层注意力计算的输入；所述顶层注意力计算获得用户好友对不同领域短视频的影响力，所述影响力的计算采用以短视频作为引导的差异注意力算法，所述以短视频作为引导的差异注意力算法具体为：先计算好友基于短视频嵌入的比较向量，再经过第二层的mlp得到比较向量的隐藏层表示；随机初始化一个新的上下文向量作为第二层的可学习参数query计算每个好友基于不同领域短视频的比较向量权重，然后根据权重聚合好友嵌入，最终得到不同领域用户好友嵌入，用于表示用户的所有好友对不同领域短视频的偏好。3.根据权利要求2所述的一种基于注意力机制的短视频点击率大数据预估方法，其特征在于：所述步骤s1中的底层注意力计算和顶层注意力计算具体包括以下步骤：a1、在底层将目标领域短视频v
i
的n种类型上下文c
i
＝{c1，c2，...，c
n
}嵌入作为引导，采用公式1计算用户u
i
每个好友f
i
＝{f1，f2，...，f
m
}的比较向量}的比较向量}的比较向量式中f
j
表示用户好友列表中当前好友的嵌入，f
i
表示除当前好友以外其他好友嵌入；采用公式2，经过一层mlp得到z
is
作为比较向量的隐藏层表示，式中w
w
和b
w
分别表示第一层mlp权重矩阵、偏差项；利用随机化上下文向量q
w
作为可学习参数query来计算m个好友基于不同类型上下文的比较向量权重α
i
＝{α
i1
，α
i2
，...，α
in
}(i＝{1，2，...，m})，经过公式3中soft max函数规范化
后；按照公式4对每个好友基于不同类型的比较向量进行加权得到e
i
(i＝{1，2，...，m})，(i＝{1，2，...，m})，a2、利用公式5在顶层将底层每个好友比较向量e
i
作为附加信息与好友嵌入f
i
进行求和得到g
i
(i＝{1，2，...，m})；g
i
＝e
i
f
i
ꢀꢀꢀꢀ
(5)，利用公式6以目标领域短视频嵌入v
i
作为引导计算m个好友的比较向量p
ik
(k＝{1，2，...，m})，式中j表示当前好友，k表示除当前好友以外其他好友；随机化上下文向量r
s
作为第二层可学习参数query，采用公式7，w
s
和b
s
表示第二层mlp的权重矩阵和偏差项，计算t
ik
作为第二层比较向量的隐藏层表示，按照公式8计算m个好友比较向量的权重β
i
(i＝{1，2，...，m})，并按照公式9加权聚合好友嵌入f
i
，最终得到特定领域用户好友嵌入h
i
，，4.根据权利要求1所述的一种基于注意力机制的短视频点击率大数据预估方法，其特征在于：所述步骤s2中为每个领域设定一个专门的门控网络用来融合用户嵌入特定领域好友嵌入，所述门控网络采用元素级注意力机制，具体为：首先通过非线性全连接层以及残差连接得到用户嵌入和用户好友嵌入的特征向量，然后经过特定领域权重矩阵乘积和sigmoid函数隐射得到每一个特征向量元素的权重，并根据权重融合用户和用户好友特征向量。5.根据权利要求4所述的一种基于注意力机制的短视频点击率大数据预估方法，其特征在于：所述步骤s2为每个领域设定一个专门的门控网络用来融合用户嵌入特定领域好友嵌入的计算方法采用公式10、公式11、公式12和公式13，φ
i
＝relu(w
f
f
i
b
f
) f
i
ꢀꢀꢀ
(11)
其中，u
i
表示用户嵌入，h
i
表示特定领域好友嵌入，φ
i
和分别由用户嵌入和用户好友嵌入经过非线性全连接层以及残差连接得到，λ
i
由φ
i
和拼接(用[...]表示)后经过特定领域权重矩阵w
a
乘积和sigmoid函数(用σ表示)隐射得到，λ
i
的维度等于φ
i
和的维度。6.根据权利要求1所述的一种基于注意力机制的短视频点击率大数据预估方法，其特征在于：所述步骤s3中，在每个领域引入特征级注意力机制，为每个类型的共享上下文特征分配权重，通过加权融合得到对应领域的上下文嵌入。7.根据权利要求6所述的一种基于注意力机制的短视频点击率大数据预估方法，其特征在于：所述步骤s3中的具体方法为，对于两个领域a和b，共享上下文特征c
i
＝{c1，c2，...，c
n
}，给定领域a的短视频嵌入采用公式15对领域a的上下文嵌入c
a
计算：其中，表示第i个共享上下文嵌入对于领域a中的短视频的融合权重，通过领域a的注意力网络学习得到；并根据领域b的短视频嵌入和共享上下文嵌入c
i
可融合得到领域b的上下文嵌入c
b
。8.根据权利要求1所述的一种基于注意力机制的短视频点击率大数据预估方法，其特征在于：所述步骤s4中采用多任务学习模型mmoe进行跨领域推荐，所述多任务学习模型采用两进两出的双mmoe网络架构，在每个领域设置一个专门的mmoe网络，各领域网络共享特征交叉层；每个mmoe网络通过两个特定领域tower网络实现跨域推荐，其中一个负责目标领域的推荐学习，另一个负责领域共享信息的迁移，并经过各领域融合层得到各领域最终预测结果；根据不同mmoe网络在不同领域的表现设置权重，通过优化损失函数进行权重的调整。9.据权利要求8所述的一种基于注意力机制的短视频点击率大数据预估方法，其特征在于：所述步骤s4中的特征交叉层采用了多种特征交叉方式，包括concat、inner-product、outer-product，所述inner-product操作为向量的内积运算，所述outer-product操作是对输入特征向量的各个维度进行两两交叉，生成特征交叉矩阵；所述tower网络采用普通全连接层，根据门控网络所传递的特定领域表征进行预测。10.据权利要求9所述的一种基于注意力机制的短视频点击率大数据预估方法，其特征在于：所述步骤s4中的损失函数采用二分类交叉熵计算方法，为各领域mmoe网络损失函数、集成mmoe网络损失函数l
ensemble
(w)和正则化项r(θ)的总和，具体采用公式16,
其中，k用来标志不同领域mmoe网络的输入和输出，m为领域数量，n为样本数量，w为mmoe网络在各领域上的权重；集成mmoe网络损失函数l
ensemble
(w)的计算方法与mmoe网络损失计算方法相同，区别在于输出是由不同领域mmoe网络输出经过权重w加权融合后得到。

技术总结
本发明涉及大数据分析技术领域，公开了一种基于注意力机制的短视频点击率大数据预估方法，步骤包括构建数据集，并采用层次差异注意力算法获得领域特定用户好友嵌入；采用负责控制信息流入的双门控网络将用户个人嵌入分别与不同领域的用户好友信息嵌入融合；根据不同领域短视频嵌入为每个类型上下文嵌入分配权重，并通过加权融合得到对应领域的上下文嵌入；将各领域用户个人嵌入、上下文嵌入以及短视频嵌入输入到一个共享特征交叉式双MMoE网络，基于动态学习集成策略，得到各领域点击率预测值。本发明能够解决目前短视频跨域推荐算法忽视不同领域之间的差异，在进行信息迁移的过程中存在负迁移现象的问题。过程中存在负迁移现象的问题。过程中存在负迁移现象的问题。


技术研发人员：王进 宋为 林兴 孙开伟 刘彬 朴昌浩
受保护的技术使用者：重庆邮电大学
技术研发日：2021.11.20
技术公布日：2022/4/15