一种融合用户-项目的邻居实体表示推荐方法

1.本发明涉及大数据处理技术领域，尤其涉及一种融合用户-项目的邻居实体表示推荐方法。


背景技术：

2.随着大数据技术不断发展，为帮助用户从海量数据中快速、准确地获取感兴趣的信息，推荐算法发挥着重要的作用。steffen等人最早使用矩阵分解方法(bpr：bayesian personalized ranking from implicit feedback，mf)和因子分解机方法(factorization machines with libfm，libfm)进行推荐实验，mf利用用户和项目的交互学习向量表示；libfm使用基于推荐预测分量的贝叶斯排序模型，实现了三种数学算法与推荐的结合，证明了模型的性能和可行性。he等人提出了一种新型神经因子分解机模型(neural factorization machines for sparse predictive analytics，nfm)，将用户历史与项目分解为用户-项目交互对，并利用神经网络预测点击率。cheng等人将传统的宽度线性通道与深度非线性通道结合成一种深度和宽度网络推荐模型(wide&deep learning for recommender systems，wide&deep)，使模型同时拥有记忆和泛化能力，并在实际应用场景google play上进行了验证。
3.然而上述基于矩阵分解或深度学习网络的推荐方法均存在数据稀疏和冷启动问题，而将知识图谱作为辅助信息的推荐方法就可以很好地避免此类问题。因此，基于知识图谱的路径、嵌入、混合推荐算法研究受到广泛关注。yu等人提出了基于异构网络的个性化元路径推荐方法(personalized entity recommendation：a heterogeneous information network approach，per)，在异构信息网络中提取元路径特征来表示用户和项目之间的连通性，推荐结果可由原始项目沿元路径查找，推荐具有语义可解释性。ma等人构建了联合优化的可解释性推荐模型(jointly learning explainable rules for recommendation with knowledge graph，rulerec)，根据路径传播来挖掘项目之间的关联规则。zhang等人提出的协同知识库嵌入模型(collaborative knowledge base embedding for recommender systems，cke)，在知识图谱中融合协同过滤方法提取结构性知识、文本知识和视觉知识丰富用户表示。wang等人设计了嵌入情感的签名异构信息网络模型(shine：signed heterogeneous information network embedding for sentiment link prediction，shine)和深度感知网络模型(deep knowledge-aware network for news recommendation，dkn)，shine可在异构网络中提取用户的潜在表示以挖掘隐藏的用户兴趣；dkn使用多通道单词与实体对齐的卷积神经网络(kcnn)，结合实体嵌入和单词嵌入扩展用户表示。混合推荐模型中实体传播模型(ripplenet:propagating user preferences on the knowledge graph for recommender systems，ripplenet)通过汇集用户历史实体在图谱传播的邻域实体扩展实体集，叠加形成用户相对于候选项的偏好分布。基于标签传播算法的图神经网络推荐模型(knowledge-aware graph neural networks with label smoothness regularization for recommender systems，kgnn-ls)结合gnn和知识图谱提
出标签传播算法，探索用户和项目的关系，挖掘用户的细粒度兴趣。图注意力网络推荐模型(kgat：knowledge graph attention network for recom-mendation，kgat)将用户二部图与知识图谱连接，通过图卷积网络(graph convolutional network，gcn)分别聚合用户、项目嵌入，并挖掘用户和项目的关系。基于负采样的知识图谱推荐模型(reinforced negative sampling over knowledge graph for recommendation，kgpolicy)首次将负采样模型与知识图谱融合，利用知识图谱挖掘负样本。推荐模块仅用矩阵分解方法就实现了推荐性能的大幅提升。
4.上述的基于知识图谱的推荐方法虽然在一定程度上可以解决传统的协同过滤和基于深度学习的推荐方法存在数据稀疏和冷启动问题，但是多数采用挖掘路径和单一的用户或项目表示方法，特征嵌入表示不能准确拟合用户兴趣，将会导致模型的次优表示。


技术实现要素：

5.针对上述问题，本发明提出一种融合用户-项目的邻居实体表示推荐方法，其同时针对用户和候选项表示，并探索实体间的关系，从而挖掘出用户更深层次的兴趣。
6.为了实现上述目的，本发明所采用的技术方案如下：
7.一种融合用户-项目的邻居实体表示推荐方法，其特征在于：包括以下步骤：
8.s1：获取待处理数据集，并给定相应的知识图谱；
9.s2：映射用户u的交互历史项目
10.s201：将用户u在数据集上的交互历史项目通过实体映射文件映射为知识图谱的用户实体，作为最初的扩展源实体；
11.s3：映射项目v
12.s301：将用户在数据集上的候选项目映射为知识图谱的候选项目实体，并将该候选项目v实体作为聚合对象；
13.s4：将s201中映射到知识图谱中用户实体通过transr模型在知识图谱中进行实体传播，得到用户u的嵌入表示；
14.s5：利用gcn网络聚合s301中映射到知识图谱中的候选项目v实体周围的邻居实体，得到候选项目v的嵌入表示；
15.s6：将得到的用户u的嵌入表示和候选项目v的嵌入表示通过内积运算得到候选项得分；
16.s7：根据候选项得分高低进行候选项目推荐。
17.本发明的有益效果是：
18.本发明所提方法使用gcn方法聚合项目嵌入表示，使用实体传播方法扩展用户嵌入表示，通过注意力机制关注用户和项目的相对关系，达到将用户兴趣放大、项目噪声减少的目的，进而实现细粒度推荐，避免了数据稀疏和冷启动问题。
附图说明
19.图1为汇集邻居实体的表示推荐模型；
具体实施方式
20.为了使本领域的普通技术人员能更好的理解本发明的技术方案，下面结合附图和实施例对本发明的技术方案做进一步的描述。
21.1、汇集邻居实体的表示推荐方法
22.本发明通过用户历史实体传播与候选项实体聚合图谱实体以扩充用户特征空间，在实现用户兴趣挖掘的同时，防止数据稀疏和冷启动问题。
23.实体传播是将用户历史项目映射为知识图谱的实体，利用距离翻译模型transr在知识图谱中传播，扩展用户的嵌入表示；实体聚合是利用gcn网络聚合知识图谱中候选项目实体周围的邻居实体，扩展项目嵌入表示。方法模型如图1所示。
24.从图1可以看出，实体传播是以用户u的交互历史项目作为输入，将其通过实体映射文件映射到知识图谱，并作为最初的扩展源实体，源实体视为三元组的头实体，传播方式是使用transr模型利用关系传到尾实体。同时，注意力权重的获取等价于尾实体相对当前用户的重要性分值，将权重加权在尾实体上，获得一次用户传播实体集的表示，迭代传播k次，将每层实体表示累加得到u的嵌入表示。实体聚合是将项目v映射为知识图谱的实体并将v视为被聚合对象，采样距该项目实体为k及以内的实体集，每层实体使用gcn从最外层向内聚合k次，获得项目嵌入表示。聚合过程中同样需要计算项目与用户的重要性权重，并加权到每个聚合对象中。最终，将用户嵌入表示与项目嵌入表示通过内积形式构建得分函数，其分值即为用户u对候选项的兴趣值，将所有的兴趣值排序处理，实现推荐预测。
25.汇集邻居实体的表示推荐方法包含用户嵌入表示、候选项嵌入表示与推荐预测三个核心部分。
26.(1)用户嵌入表示
27.给定知识图谱g与用户交互矩阵y，将y中正样本作为g中的源实体并进行实体传播。y与用户的第k次实体传播集表示分别如式(1)～(2)所示。
[0028][0029][0030]
其中，k表示传播次数，当k＝0时，ε表示最初的扩展源实体
[0031]
可以看作初始化的用户点击历史项，用于在图谱中扩展实体集。
[0032]
实际上，由于扩展实体集会随着k增加呈指数级递增，所以本模型采用限制采样邻居的方式，采样大小不再是实体e周围所有邻居集合n(e)，而是遵循项目对用户重要性由高到低取样邻域实体，以得到偏向用户兴趣的传播实体集，将每层的采样邻域定义为s(e)，则s(e)的实体集和三元组表示如式(3)～(4)所示。
[0033]
[0034][0035]
其中，h、r、t分别表示三元组的头实体、关系、和尾实体，最大跳数h的初始值设为2。
[0036]
注意力机制是针对每个实体对用户的重要性。其中，每个三元组的t分配的注意力权重计算如式(5)所示。
[0037][0038]
其中，ri和hi分别表示关系ri和头实体hi的嵌入向量，wi表示关系空间r中测量的项目v和用户历史实体的相似值。由于项目实体用不同的关系测量可能有不同的相似性，所以计算权重需要考虑关系嵌入矩阵。获得wi后，针对第1次扩展集的实体向量表示的加权，得到用户的第一层传播表示，如式(6)所示。
[0039][0040]
其中，ti表示尾实体ti经transr映射后的嵌入，具有与r相同的维度。向量u1为u对项目v的一阶特征表示，使用u1继续传播一层，可获得用户u的二阶特征表示u2，重复此过程，获取为每个扩展加权特征表示u1，u2，...uh，累计每一层特征表示得到用户嵌入表示，如式(7)所示。
[0041]
uv＝
[0042]
ｕ1
[0043]
u2
[0044]
...
[0045]
uhꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(7)
[0046]
每层特征表示都包含上一层的特征，所以uh包含了之前传播的所有特征，但是为了防止传播过程中的信息丢失，最终采用累加每一层ui计算u的嵌入表示uv。
[0047]
(2)候选项目嵌入表示
[0048]
将候选项v映射到知识图谱中视作被聚合对象e(v)，通过聚合其一定距离内的邻居实体信息，以挖掘潜在的高阶、高质量的用户偏好。获取候选项目传播实体e(v)周围k跳实体集如式(8)所示。
[0049][0050]
其中，n(h)表示候选项实体e(v)需要聚合的邻域实体，与用户历史实体传播同理，为防止邻域实体数目增长过快，限制采样邻域(见公式3)，将e(v)的采样邻域实体表示为聚合过程中的注意力权重计算如式(9)所示。
[0051]
[0052]
其中，u和r分别表示用户和关系的向量表示。将注意力权重分配至采样邻域后，每层邻域表示如式(10)所示。
[0053][0054]
其中，r
v,e
表示e(v)和周围实体e的关系，是归一化后的用户关系权重，该权重的计算公式如式(11)所示。
[0055][0056]
当项目v周围的每层邻域实体被表示，整体形成一种拓扑邻域结构。
[0057]
由于候选项v映射到图谱后为e(v)，e(v)为中心被聚合实体，使用sum方法将e(v)及其周围实体通过gcn聚合方法由外向内聚合成单个向量，用来表示e(v)汇集的k跳邻域信息。本发明主要使用基于sum的gcn聚合方法，最终将e(v)周围的邻域实体信息聚合成单个向量，计算方法如式(12)所示。
[0058][0059]
其中，w、b分别表示权重和偏差，σ是relu激活函数，s(v)为候选项的聚合实体集。通过sum方法聚合后的e(v)表示为最终得到候选项目的嵌入表示向量vu。
[0060]
(3)推荐预测
[0061]
实体传播后得到用户嵌入表示uv，实体聚合后得到候选项嵌入表示vu，推荐分值基于内积函数计算方法。得分函数如式(13)所示。
[0062][0063]
由上得到的模型的训练过程如表1所示。其中，用户历史项目在图谱中传播形成用户嵌入uv(见公式(3)至公式(7))，候选项在图谱中聚合形成项目嵌入vu(见公式(8)至公式(12))。为了提高计算效率，训练过程中使用了图谱负采样策略获取数据的负采样分布。通过梯度下降等方法不断优化损失，训练高质量的得分函数。模型损失函数如公式(14)所示。
[0064][0065]
其中，是交叉熵损失，n是负采样分布，nu是用户u的负样本数，n和nu服从均匀分布，为防止过拟合的正则化项。
[0066]
表1模型训练过程
[0067][0068][0069]
实施例
[0070]
为了进一步验证本发明所提方法的有效性，在movielens-20m、book-crossing和last.fm三个数据集上进行了实验。
[0071]
(1)数据集与实验环境
[0072]
实验中三种数据集的基本统计如表2所示。
[0073]
表2三种数据集的统计数据表(单位:个)
[0074][0075][0076]
movielens-20m包含大约100万个分数在1至5之间评分。book-crossing包含了其社区内172576个交互。last.fm包含1872个用户与3846个用户的42346次交互。由于实验中需要将交互评级转换为隐式表示，所以movielens-20m的评级阈值设置为4；book-crossing和last.fm由于数据稀疏，不设置阈值。阈值处理后的数据集构成用户交互矩阵，其中，标记为1的条目表示用户的正评级，0表示负评级。
[0077]
该实验基于linux系统，使用python语言、tensorflow框架。所有数据集划分训练、评估和测试集的比率为6：2：2，平均每个实验重复3次，每次训练20轮数，统计平均性能。另外，一些主要的实验参数设置如表3所示。
[0078]
表3模型参数
[0079][0080]
实体传播部分设置图谱的实体更新方式(item_update_mode)为累加变换，实体嵌入权重(kge_weight)设置为默认值0.01；transr的嵌入维度(dim_rip)必须与gcn聚合的嵌入维度(dim)保持一致，以防止用户嵌入和项目嵌入的维度不匹配问题；每个波纹集大小(n_memory)的初始设置为32；实体传播的最远距离(n_hop)设置为2。gcn聚合器设置的默认值是neighbor聚合方法。另外，项目聚合的最远距离(n_iter)、正则化损失权重(l2_weight)、学习率(lr)设置的默认值均为不同数据集测试的最佳值。
[0081]
(2)仿真实验和结果
[0082]
为了验证本文方法的性能，使用指标曲线下面积(auc)和精确率(acc)来评价模型性能。auc计算如式(15)所示。
[0083][0084]
其中，表示第i个项目的序号，m和n分别为正负样本的个数。acc计算如式(16)所示：
[0085][0086]
其中，tp为真正例，fp为假正例，tn为真反例，fn为假反例，tp fp tn fn表示所有样本的数量。
[0087]
为验证本文方法的有效性，与libfm、wide&deep、per等10种模型的对比实验，结果如表4所示。
[0088]
表4实验结果对比分析
[0089][0090][0091]
由表4可以看出，本发明的模型同表中其它各类推荐模型相比，推荐性能显著提升。各类模型的平均性能在电影数据集中比书籍和音乐数据集上更优，是因为movielens-20m的数据更稠密，用户特征空间表示更充分。libfm与wide&deep分别基于神经网络和深度学习方法，在三个数据集上表现良好，但是在实际场景中，此类模型的性能会因为数据稀疏和冷启动问题而迅速降低。cke为协同知识库推荐方法，利用知识图谱扩充用户特征，相比传统协同方法libfm、wide&deep等，性能大幅提升。shine与和cke原理类似，都是通过扩充特征空间实现推荐概率预测，与本文模型相比，shine与cke仅扩充用户嵌入表示，没有重视用户和项目关系的重要性，精确率降低约7％～13％。dkn在三个数据集中表现最差，因为dkn的主要任务是用于提取高质量的原始特征，所以在新闻数据集中，性能会明显升高。ripplenet模型的综合指标相比基于嵌入的模型shine、cke、dkn和基于路径的模型per性能更优，因为ripplenet属于混合模型，融合了嵌入和路径两类推荐方法的优点。kgat使用gcn同时探索了用户和项目的表示，但是模型训练质量较差，auc和acc分别降低约2％。kgnn-ls将gnn应用于推荐，独特的图嵌入方法可探索每个项目的交互，在各类数据集上的性能居高不下。kgpolicy首次在知识图谱中执行负采样策略，在movielens-20m中的精确率超过此模
型，证明了负信号对推荐性能提升的重要性。本文模型的auc和acc值相比其它所有模型在movielens-20m中提升区间为0.4％～17.1％、-0.7％～20.9％；在book-crossing中提升区间为0.8％～13.9％、0.6％～9.6％；在last-fm中提升区间为1.4％～15.5％、1.1％～13.4％。相比之下，本文模型在获取用户嵌入和项目嵌入时皆利用注意力机制，使用户和项目的特征空间得以扩充，用户兴趣得以充分挖掘。实验数据显示的推荐性能的大幅提升，证明了模型的可行性。
[0092]
为了证明本文模型使用的sum聚合方式和gcn聚合各类方法对模型的影响，分别在用sum与neighbor、concat、avg方法进行实验对比，实验结果如表5所示。
[0093]
表5 gcn聚合方法比较
[0094][0095]
其中，method-sum、method-neighbor、method-concat和method-avg是设置gcn聚合器中聚合节点实体的四种方法。分析实验结果可得，模型使用sum聚合在各个数据集中表现最优，因为相比neighbor聚合，sum不仅包含邻域特征，还含有本身实体的特征，不会造成信息丢失。相比avg和concat方式聚合，sum所具有的侧重性计算特点能间接捕捉用户的个性化偏好和知识图谱的语义特征，更有利于推荐。
[0096]
表6 movielens-1m与movielens-20m的实验结果
[0097][0098][0099]
movielens-1m与moviewlens-20m同属电影数据集，movielens-1m含有6036个项目和2045项目的753772次交互；moviewlens-20m包含138159个用户与16954个项目的13501622次交互，明显得出movielens-20m的数据更为稠密。比较两个数据集上模型的指标，不难看出，本文模型在数据量降低时，auc值分别下降0.040和0.038，下降幅度相对其余两个模型更小，证明了基于知识图谱的推荐模型可以更好地数据稀疏问题。相比协同过滤、因式分解机、深度网络等推荐模型，本文模型在数据冷启动时，可以利用知识图谱提供的额外实体推荐候选项，不会因为冷启动而导致新用户推荐内容为空的问题。
[0100]
另外，实验还探索了聚合和传播模块的应用位置对模型的影响。将传播模块用于项目嵌入表示和将聚合模块用于用户嵌入表示，实验证明了两者结果偏差不大，且本文模型的性能更优。
[0101]
综上可知，本发明提出的融合用户-项目的邻居实体表示推荐方法，结合实体传播与聚合获取用户和候选项嵌入表示，其注意力机制可以针对用户和项目关系，选择性和偏颇地汇集图谱中邻域实体的信息，挖掘更深层的用户兴趣。且本模型采用负采样策略，过滤了噪声数据，为模型训练提供优质的负信号。经验证，本模型相比传统模型性能提升显著。
[0102]
以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。