基于多尺度对比学习双塔模型的在线群组推荐方法及系统

本发明属于人工智能，具体涉及一种基于多尺度对比学习双塔模型的在线群组推荐方法及系统。

背景技术：

1、在meetup、豆瓣等基于事件的社交网络平台上，在线群组不仅是用户分享经验、交流知识及建立联系的虚拟社区，也是用户发现和参与线下事件的重要途径。随着群组数量的激增，用户对在线群组推荐服务的需求也越发迫切。为用户提供优质的在线群组推荐有利于缓解用户信息过载问题，进而提高用户对平台服务的满意度。

2、当前，现有群组推荐方法及系统主要利用深度自注意力技术对用户行为序列进行建模，在准确性和效率上均取得了显著的进步。但是它们还存在以下缺陷：（1）没有注意到用户参与的群组中包含了许多相似用户的现象，忽视了相似用户是发现用户未来参加群组的重要相关因素。（2）被推荐群组不同于一般物品，具有自己独有特点，如，群组中含有已发布的事件，事件由群组成员参与完成等，现有方法尚未充分挖掘这些特点，从而影响了群组表征学习的准确性。（3）传统深度学习技术需要大量训练数据，但在群组推荐中，多数用户在海量群组中只和有限群组交互，这一数据稀疏性问题构成阻碍现有模型充分发挥其作用的瓶颈。

3、因此，现有群组推荐方法及系统不能根据用户历史行为数据、在线群组特点，无法充分利用相似用户偏好与用户偏好的潜在关系，导致难以做出个性化的群组推荐。

技术实现思路

1、基于此，本技术提出一种基于多尺度对比学习双塔模型的在线群组推荐方法及系统，旨在能够解决现有群组推荐方法及系统不能根据用户历史行为数据、在线群组特点，无法充分利用相似用户偏好与用户偏好的潜在关系，导致难以做出个性化的群组推荐的问题。

2、本技术的第一方面提供了一种基于多尺度对比学习双塔模型的在线群组推荐方法，所述方法包括：

3、获取在线群组推荐的相关信息，对所述相关信息进行预处理，分别得到用户的群组序列、用户初始表征、事件初始表征以及用户和事件的邻居集合；

4、构建多尺度对比学习双塔模型，包括：

5、构建多尺度对比学习双塔模型的左塔，包括序列编码网络，所述序列编码网络包括群组嵌入编码层、序列初始编码层和相似用户编码层，所述群组嵌入编码层用于根据用户的群组序列得到群组嵌入表征，所述序列初始编码层用于根据群组嵌入表征得到初始群组编码序列，所述相似用户编码层用于根据初始群组编码序列得到群组编码序列；

6、构建多尺度对比学习双塔模型的右塔，包括群组编码网络，所述群组编码网络包括意见融合层和特征聚合层，所述意见融合层用于根据用户初始表征、事件初始表征以及用户和事件的邻居集合得到每个结点的最终表征，所述特征聚合层用于根据每个结点的最终表征得到群组最终表征；

7、构建多尺度对比学习双塔模型的对比学习网络，包括群组-群组对比层、序列-序列对比层和序列-群组对比层，所述群组-群组对比层用于构建群组对比损失函数，所述序列-序列对比层用于构建序列对比损失函数，所述序列-群组对比层用于构建序列-群组对比损失函数；

8、构建优化损失函数以训练所述多尺度对比学习双塔模型，得到多尺度对比学习双塔优化模型，所述优化损失函数包括总对比损失函数和负对数似然损失函数，所述总对比损失函数包括所述群组对比损失函数、所述序列对比损失函数和所述序列-群组对比损失函数；

9、基于所述多尺度对比学习双塔优化模型得到在线群组推荐结果。

10、作为第一方面的一种可选实施方式，所述方法还包括对在线群组推荐方法进行形式化定义：

11、定义在线网络，其中和分别表示用户结点集和在线群组结点集，表示在线边集；

12、定义线下网络，其中和分别表示用户结点集和线下事件结点集，表示线下边集；

13、定义用户的在线群组序列，表示用户在时间步长加入的在线群组，表示序列的长度；

14、定义在线网络、线下网络和用户的在线群组序列作为多尺度对比学习双塔模型的输入；

15、定义个预测得分最高的在线群组作为推荐结果输出；

16、定义目标函数，其中表示计算用户对群组的偏好分数，表示用户在时间步长加入的在线群组。

17、作为第一方面的一种可选实施方式，所述群组嵌入编码层用于根据用户的群组序列得到群组嵌入表征的步骤包括：

18、将可学习的位置嵌入注入到用户的群组序列中的群组中，得到每个位置的序列表征；

19、将每个位置的序列表征堆叠成矩阵，即为群组嵌入表征。

20、作为第一方面的一种可选实施方式，所述序列初始编码层用于根据群组嵌入表征得到初始群组编码序列的步骤包括：

21、在序列初始编码层中使用transformer层，并计算transformer层的每一层中每个位置的群组嵌入表征；

22、将每个位置的群组嵌入表征堆叠成矩阵，，表示transformer层的深度，即为初始群组编码序列。

23、作为第一方面的一种可选实施方式，所述相似用户编码层用于根据初始群组编码序列得到群组编码序列的步骤包括：

24、在相似用户编码层中采用相似用户感知的多头注意力机制，以得到在时间步长第l个transformer层的用户偏好；

25、将所述与所述进行拼接后经过全连接层，得到群组编码序列。

26、作为第一方面的一种可选实施方式，所述意见融合层用于根据用户初始表征、事件初始表征以及用户和事件的邻居集合得到每个结点的最终表征的步骤包括：

27、在意见融合层使用gat层，将用户初始表征、事件初始表征以及用户和事件的邻居集合嵌入gat层，得到结点与相邻结点的相似性；

28、基于所述相似性，采用多头注意力机制进行表征拼接，得到结点的最终表征。

29、作为第一方面的一种可选实施方式，所述特征聚合层用于根据每个结点的最终表征得到群组最终表征的步骤包括：

30、基于结点的最终表征，使用一级多头注意力机制将用户特征聚合为事件特征；

31、再使用二级多头注意力机制将事件特征聚合得到群组最终表征。

32、作为第一方面的一种可选实施方式所述优化损失函数；

33、其中是用于控制对比损失强度的超参数，表示负对数似然损失函数，表示总对比损失函数；

34、，其中，表示群组对比损失函数，表示序列对比损失函数，表示序列-群组对比损失函数；

35、，其中，表示时间步长的真值，表示由序列前个群组组成的子序列，表示前个群组的集合。

36、本技术实施例的第二方面提供了一种基于多尺度对比学习双塔模型的在线群组推荐系统，所述系统包括：

37、获取数据模块，用于获取在线群组推荐的相关信息，对所述相关信息进行预处理，分别得到用户的群组序列、用户初始表征、事件初始表征以及用户和事件的邻居集合；

38、构建模型模块，用于构建多尺度对比学习双塔模型，所述多尺度对比学习双塔模型包括：

39、序列编码网络单元，所述序列编码网络单元包括：

40、群组嵌入编码层，用于根据用户的群组序列得到群组嵌入表征；

41、序列初始编码层，用于根据群组嵌入表征得到初始群组编码序列；

42、相似用户编码层，用于根据初始群组编码序列得到群组编码序列；

43、群组编码网络单元，所述群组编码网络单元包括：

44、意见融合层，用于根据用户初始表征、事件初始表征以及用户和事件的邻居集合得到每个结点的最终表征；

45、特征聚合层，用于根据每个结点的最终表征得到群组最终表征；

46、对比学习网络单元，所述对比学习网络单元包括：

47、群组-群组对比层，用于构建群组对比损失函数；

48、序列-序列对比层，用于构建序列对比损失函数；

49、序列-群组对比层，用于构建序列-群组对比损失函数；

50、构建训练函数模块，用于构建优化损失函数以训练所述多尺度对比学习双塔模型，得到多尺度对比学习双塔优化模型，所述优化损失函数包括总对比损失函数和负对数似然损失函数，所述总对比损失函数包括所述群组对比损失函数、所述序列对比损失函数和所述序列-群组对比损失函数；

51、推荐预测模块，用于基于所述多尺度对比学习双塔优化模型得到在线群组推荐结果。

52、本技术实施例的第三方面提供了一种计算机设备，所述计算机设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的处理程序，所述处理程序被所述处理器执行时实现上述在线群组推荐方法。

53、本技术实施例的第四方面提供了一种存储介质，所述存储介质上存储有处理程序，所述处理程序被处理器运行时执行上述在线群组推荐方法。

54、本发明的优点：

55、（1）针对现有方法忽视相似用户在推荐中的关键作用问题，本发明提出了一种基于双塔模型的推荐方法，方法采用双塔体系架构，其中左塔编码了用户-群组交互序列，右塔编码了候选群组。对于左塔，利用多头注意力机制将用户的相似用户信息融入到序列编码器中；对于右塔，通过使用两级聚合机制将相关用户信息聚合到群组编码器中。这样，当某个候选群组包含许多相似用户时，序列编码器提取的特征和群组编码器提取的特征将包含大量相同信息，从而使该候选群组有更大概率被推荐给目标用户。

56、（2）针对被推荐群组不仅包含已发布的事件，还拥有成员用户等特点，本发明引入了一种两级聚合机制将来自不同实体的特征分层聚合。具体来说，首先将用户特征聚合为低层次的事件特征，再将这些事件特征聚合为更高层次的群组特征。由于群组发布的事件表明了群组的兴趣方向，而参加事件的用户反映了事件的风格或品味，因此通过分层聚合用户和事件特征的方法能够得到更准确的群组表征。

57、（3）针对传统深度学习存在的监督信号稀疏性问题，本发明结合双塔模型架构设计了一个多尺度对比学习框架。在左塔进行序列-序列对比，在右塔进行群组-群组对比，在两塔之间进行序列-群组对比。通过这种设计，可以捕获无监督信号中更丰富的语义，使数据表示的语义得到增强。更重要的是，它进一步加强了序列编码和群组编码之间的合作关联，使模型在推荐时能够更多地考虑加入候选群组的相似用户的偏好。

58、本技术的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本技术的实施例了解到。