一种基于层内层间注意力的可解释好友推荐方法

本发明涉及图神经网络和推荐，具体为一种基于层内层间注意力的可解释好友推荐方法。

背景技术：

1、在当今数字化时代，用户面临着日益增多的选择，使得推荐系统的研究备受关注。作为缓解信息过载的有力工具，推荐系统通常基于用户的历史行为，向用户推荐可能感兴趣的物品或商品，从而实现为人们节约时间和成本的目的。传统的推荐系统主要分为以下三类：基于内容的推荐算法，使用特征工程构造物品特征，利用用户历史数据学习用户偏好，为用户推荐可能感兴趣的物品；基于协同过滤的推荐算法，根据用户之间的相似性，向用户推荐相似用户喜爱的物品；混合推荐算法，将多种推荐技术混合，从而弥补各自的缺点，以获得更好的推荐性能。

2、可解释性推荐，是推荐系统中十分重要的研究方向，它旨在保证推荐的准确性的同时，还能够为推荐结果给出相应的解释。它不仅有助于提高推荐系统的透明度、说服力、有效性和可信度，还能够辅助系统设计人员调试和改进推荐算法，提高推荐系统的整体性能。

3、目前，可解释性推荐方法大致可以分为基于主题建模的方法、基于图的方法、基于深度学习的方法以及基于规则挖掘的方法等。基于主题建模的方法以文本信息作为输入，通过构建主题词云，挖掘用户最感兴趣的内容，该方法被广泛地用于电子商务中；基于图的方法把用户与物品之间的交互视为一个邻接矩阵，构建用户-物品的二部图或三部图，再使用图的信息传播或聚类等方法给出解释；基于深度学习的方法使用不同的深度学习技术，如cnn、rnn、gnn等，学习用户和物品嵌入，基于自然语言生成模型自动给出可解释性语句；基于规则挖掘的方法利用频繁模式挖掘、关联规则等，建立不同物品之间的联系，为用户生成直观的解释。尽管可解释性推荐方法各有不同，但是它们也有不足之处，首先是计算效率低，可解释性推荐方法既要考虑用户偏好，挖掘用户内在兴趣，又要分析用户行为，给出推荐理由，设计较为复杂；然后是输入数据差异较大，包括文本数据、音频数据、视频数据等，数据类型的不同为数据处理带来了极大的挑战；最后是数据的稀疏性问题，数据的稀疏性使推荐系统很难准确捕捉用户兴趣，给出令用户信服的推荐理由。

技术实现思路

1、本发明的目的在于：提供一种基于层内层间注意力的可解释好友推荐方法，以解决以上缺陷。

2、为了实现上述目的，本发明提供如下技术方案：

3、一种基于层内层间注意力的可解释好友推荐方法，包括以下步骤：

4、s1、设u是用户集合，其中u＝{u1,u2,…,un}；设t是用户属性文本集合，其中t＝{t1,t2,…,tn}，ti为用户i的属性文本，ti＝{gp,gq,…,gr}，gp、gq、…、gr分别为用户i的某一属性，不同用户属性文本中的属性可能不同；通过属性聚类、用户属性归减、相似矩阵计算、属性边的建立等步骤，构建用户属性网络；

5、s2、用户社交网络和用户属性网络联合学习，其中s是用户之间的社交网络，s＝(u,e1)，u是用户集合，e1是社交边的集合，e1＝{(ui,uj)|ui∈u,uj∈u}，其中(ui,uj)表示用户ui和用户uj之间存在一条无方向的社交边；a是用户之间的属性网络，其中a＝(u,e2)，u是用户集合，e2是属性边的集合，e2＝{(uk,ul)|uk∈u,ul∈u}，其中(uk,ul)表示用户uk和用户ul之间存在一条无方向的属性边；通过嵌入层、扩散层、预测层等结构，生成用户嵌入，输出用户推荐列表。

6、优选地，所述步骤s1，详细步骤如下：

7、s11、基于用户属性文本，获取所有属性文本中的属性集合g＝{g1,g2,…,gm}，其中g1,g2,…,gm是不同属性，使用训练好的词嵌入模型bert，获取属性嵌入，记作v＝{v1,v2,…,vm}，其中v1,v2,…,vm分别是属性g1,g2,…,gm的嵌入向量，使用k-means方法对属性进行聚类；

8、s12、通过人工筛选的方式对不同聚类中属性的重要程度进行划分，对于每个用户，他有以下三类属性，聚类中心的属性，由于聚类中心具有极好的代表性，从而将其保留下来；较为重要的属性，如研究方向、兴趣等，同样保留下来；普通属性，用聚类中心相应的属性进行替换；从而完成用户属性的归减；

9、s13、设t′是属性归减后的用户属性文本集合，其中t′＝{t1′,t2′,…,t′n}，ti′为用户i的属性归减后的属性文本；设g′是属性归减后的属性集合，其中g′＝{g1′,g′2,…,g′p}，g1′,g′2,…,g′p是属性归减后的剩余属性；给定用户ui和属性文本ti′，属性gl′∈g′对用户ui的属性文本ti′的重要性的计算公式如下：

10、

11、

12、

13、式中，tf是属性gl′出现频率，是属性文本ti′中属性gl′出现次数，|ti′|是属性文本中属性数量，idf是逆向属性gl′出现频率，n是属性文本数量，fl是属性gl′出现的属性文本数量，是属性gl′对用户ui的属性文本ti′的重要性；

14、依次计算不同属性对属性文本的重要性，得到用户ui的属性文本ti′的tf-idf向量其中表示属性g1′,g′2,…,g′p对用户i的属性文本ti′的重要程度，同理可得到其他属性文本的tf-idf向量，所有用户属性文本的tf-idf向量集合记作x＝{x1,x2,…,xn}，xi表示属性文本ti′的tf-idf向量；通过定义如下的余弦相似度计算不同属性文本之间的相似性，得到属性文本的相似性矩阵，该相似性矩阵即表示用户i和用户j之间的相似性矩阵，余弦相似度的计算具体如下：

15、

16、式中，xi和xj分别是用户i和用户j的嵌入向量；

17、s14、设置阈值μ，对于任意两个用户i和j，如果sij>μ，则认为用户i和用户j是相似的，用一条边把两者连接起来，从而构建了基于属性的用户关系网络。

18、优选地，所述步骤s2，详细步骤如下：

19、s21、在嵌入层，采用实数编码表示用户嵌入；

20、令p∈rn×d表示初始化的用户嵌入矩阵，n是用户数量，d是嵌入维度，矩阵p的第i行表示用户i的嵌入向量；通过线性变换，学习一个可训练的权重矩阵w1∈rd×d，得到用户嵌入矩阵e，使得嵌入矩阵具有实际意义；

21、对于给定用户ui，嵌入如式(5)所示：

22、

23、式中,pi表示用户原始嵌入，表示经过线性变换的用户嵌入；

24、s22、在扩散层，将用户嵌入作为用户社交网络和用户属性网络的输入，基于层内注意力机制获取邻居节点信息，基于层间注意力机制融合不同网络信息，生成用户的嵌入向量；

25、扩散层是一个三层结构，各层基本相同，具体操作如下所示：

26、s221、令l依次为1、2、3，重复执行步骤s222～步骤s223；

27、s222、基于层内注意力机制的特征提取：

28、首先，分别为用户社交网络和用户属性网络生成相应的图注意力层，将不同网络的邻接矩阵分别输入不同的图注意力层中，同时输入用户嵌入，通过线性变换将其映射为高维特征，以获得足够的表达能力；

29、然后通过一种单层前馈神经网络的注意力机制获得邻居用户的注意力权重，并对所有的注意力权重进行归一化，如公式(6)～(9)所示：

30、

31、

32、

33、

34、式中，sl和al分别表示用户社交网络和用户属性网络的第l层，和表示不同网络中用户j的特征对用户i的重要性，||表示将两个矩阵拼接，wsl和wal为共享权重矩阵，和表示第l-1层的用户ui和用户uj的输出嵌入，和为权重向量，leakyrlu为进行非线性变化的激活函数，ni和为用户ui的邻居用户集，和为经过softmax函数归一化后的注意力系数；

35、最后，基于注意力权重对邻居用户的嵌入向量进行平均，得到目标用户的输出嵌入，用户输出嵌入的计算公式为：

36、

37、

38、式中，和是不同网络第l层的用户输出嵌入，σ是激活函数，si和ai是不同网络中用户i的邻居，和是不同网络的注意力系数，wsl和wal是权重矩阵，和是邻居用户的嵌入；

39、s223、基于层间注意力机制的特征融合：

40、经过上一部分的处理后，得到了不同网络的用户嵌入；接着，分别把不同网络的嵌入与输入嵌入进行连接，送入多层的mlp中，输出维度为一维，代表这层网络的分数，如公式(12)、(13)所示：

41、

42、

43、其中，和是不同网络的注意力系数，mlp是多层感知机，[·]是连接操作；

44、然后把不同网络的分数进行归一化，得到相应的注意力系数，输出用户嵌入,如公式(14)～(16)所示：

45、

46、

47、

48、式中，是融合不同网络第l层的嵌入向量后的输出嵌入，和是不同网络的注意力系数；

49、s23、在预测层，对任意用户i，获取用户i的嵌入集合，记作尽管后一层的输出包含了前几层的信息，但每一层的输出主要关注不同阶的邻居信息，因此把不同嵌入进行连接，作为最后的输出，如公式(17)所示：

50、

51、式中，[·]是连接操作，从而得到用户i对用户j的预测评分，如公式(18)所示：

52、

53、式中，⊙代表向量点乘；

54、对于用户i，将该用户对其他用户的预测评分进行降序排列，然后将评分最高的若干个用户推荐给用户i。

55、s24、损失函数的设计，选择bpr损失作为损失函数，如公式(19)所示：

56、

57、式中，r+是正样本的集合，即有社交关系的用户对(ui,uj)的集合，r-是负样本的集合，即无社交关系的用户对(ui,uk)的集合，σ(x)是sigmoid函数，θ是模型的正则化参数。

58、优选地，在步骤s14中，所述阈值μ是可调参数，此处设置μ＝0.6。

59、优选地，在步骤s21中，所述d是可调参数，此处设置d＝64。

60、本发明的有益效果在于：

61、本发明一种基于层内层间注意力的可解释好友推荐方法，根据用户属性文本构建用户属性网络，通过属性聚类、用户属性归减、建立属性边等步骤获得用户属性网络，通过用户社交网络和用户属性网络的联合学习，提高了推荐的准确性，生成了高质量的推荐列表；采用有效的注意力机制，包括基于层内注意力机制的特征提取和基于层间注意力机制的特征融合，正是由于层内层间注意力机制的使用，使本算法具有一定的可解释性，能有效提高用户的满意度。