基于增强图神经网络的会话推荐方法、系统及介质与流程

1.本发明涉及会话推荐技术领域，具体地，涉及一种基于增强图神经网络的会话推荐方法、系统及介质。


背景技术：

2.近年来，随着隐私保护的意识逐渐提升，会话推荐在推荐系统中扮演着重要的角色，即利用匿名用户在会话的交互行为预测该用户下一时刻的操作。由于会话内包含的信息十分有限，所以如何利用用户有限的交互行为来刻画用户的喜好变得具有挑战性。为了解决这一关键问题，一些研究使用循环神经网络以捕获会话交互序列的顺序信息，并对用户的长期兴趣进行建模。但是这类工作只能捕获到用户交互物品间单一的关系，为了捕获交互物品间更复杂的关系，另一类研究使用图神经网络来对用户的喜好进行建模。具体地，将会话序列转换为图结构，每个物品结点通过信息传播提取所有邻居结点的信息，从而提升了会话推荐的准确率。
3.专利文献cn112258262a(申请号：202010969069.0)公开了一种基于卷积自注意力网络的会话推荐方法，具体为：步骤1，将会话内每个物品表示为由物品嵌入与位置嵌入相加而得的低维向量；步骤2，对步骤1所得的低维向量进行序列建模和意图建模，分别捕捉会话的序列信息和关键意图信息，步骤3，基于得到的拼接序列信息和关键意图信息，由选择地预测用户下一步点击重复物品或不重复物品。
4.然而现有基于图神经网络的工作都注重刻画物品与物品之间关系，忽略了物品与整个会话序列的关系，如构建的会话图内只能通过边来体现物品与物品间先后交互顺序，不能体现物品在整个会话序列中的位置信息。本发明提出一种增强图神经网络的会话推荐方法，与现有图神经网络推荐方法有以下几点区别：1)我们将会话转换成图结构时，在图中加入一个会话级别结点以捕捉物品与整个会话的关系，而现有方法构建的会话图中结点都为物品级别结点。2)我们在图神经网络与带有位置编码的注意力层结合加强会话结点的表示，在信息传播和聚集后获得包含物品与会话关系的会话表征。


技术实现要素：

5.针对现有技术中的缺陷，本发明的目的是提供一种基于增强图神经网络的会话推荐方法、系统及介质。
6.根据本发明提供的基于增强图神经网络的会话推荐方法，包括：
7.步骤1：获取会话内用户点击物品的序列数据并进行过滤；
8.步骤2：构建会话感知图神经网络，将用户在会话内交互物品序列转换为有向图结构，每个物品转换为唯一结点，并在图中加入会话结点学习当前会话表示，物品结点间的有向边表示物品交互的先后顺序；
9.步骤3：通过门控图神经网络ggnn进行会话图上的消息传播，捕获邻居结点的信息以更新当前结点；
10.步骤4：利用注意力机制结合物品的位置编码，增强会话结点表示；
11.步骤5：根据用户交互的历史物品序列学习的会话表示，预测用户下一时刻的交互行为，实现用户下一时刻交互行为的推荐。
12.优选的，所述会话感知图神经网络对获取的会话内用户点击物品的序列数据进行预处理，包括：去除会话中被点击频率超出预设范围的物品，过滤会话序列长度仅为1的会话数据，将每一条会话数据分割多条会话数据以增强数据。
13.优选的，构建会话图，包括：
14.输入会话内用户点击物品序列s＝{v1,v2,
…
,vn}，输出对应的会话图g＝(v,a
in
,a
out
)，其中，v是所构建图中结点集合，由物品结点v1,v2,
…
,vn和会话结点vs组成；a
in
,a
out
为构建图的邻接矩阵；
15.点击序列中邻接物品结点vi和物品结点v
i 1
之间构建有向边；
16.会话中每个物品结点vi都与会话结点vs构建有向边。
17.优选的，构建物品-会话交互模型，包括嵌入层、门控图神经网络层以及注意力层；
18.所述嵌入层：输入构建的会话图结点集合v，将每一个结点vi表示为一个向量vi，输出会话图结点的向量表示v1,v2,
…
,vn,vs；
19.所述门控图神经网络层：
20.输入会话序列构建的会话图g＝(v,a
in
,a
out
)，利用门控图神经网络ggnn捕捉图中每个结点与邻居结点的关系，并更新结点的表征，表达式为：
[0021][0022][0023][0024]
其中，f
in
和f
out
是两个函数，分别计算通过入边、出边连接vi的邻居结点传递的信息；n
in
(i)和n
out
(i)分别表示通过入边、出边连接vi的邻居结点集合；表示结点vi在图神经网络第l层的状态向量；w
in
和w
out
分别表示入边、出边连接的邻居结点信息的投影矩阵；b
in
和b
out
表示偏移量；j表示相对位置最小距离阈值；k表示相对位置最大距离阈值；
[0025]
所述注意力层：
[0026]
输入会话图中所有结点向量v1,v2,
…
,vn,vs，使用注意力机制结合位置编码捕捉物品结点在会话序列中的位置信息和每一个用户点击的物品对于会话的贡献度，以重新调整会话结点的向量表示；首先为每个物品生成一个位置编码，表达式为：
[0027][0028][0029]
其中，n表示当前会话序列的长度；li∈[1,n]表示vi在会话序列中的位置；和表示物品vi的逆序位置编码；和和
是两个位置编码的参数矩阵。
[0030]
优选的，使用注意力机制结合位置信息，给不同物品结点计算不同的重要性权重，来加强会话结点的表示，表达式为：
[0031][0032][0033][0034]
其中，包含物品结点对于整个会话重要程度信息和位置信息；表示会话序列中除去vi以外的物品结点的集合；ai表示第i个物品结点向量vi的权重；σ是sigmod激活函数；wa、以及是权重矩阵；ba是偏移量；
[0035]
利用门控机制结合门控图神经网络中所有物品结点聚合的会话信息和注意力机制所聚合的会话信息，表达式为：
[0036][0037]
其中，β表示包含品结点对于整个会话重要程度信息和位置信息的的权重；和是矩阵权重；和是偏移量；
[0038]
调整并更新会话结点向量
[0039][0040]
其中，为会话结点在第l层的最终表示。
[0041]
优选的，构建融合及预测模型，包括：输入为第l层的会话向量和最后一个点击物品向量输出最终会话表征hs进行预测；
[0042]
利用最后一个点击的物品向量代表用户近期的喜好，并使用门控图神经网络结合长期兴趣和近期喜好，得到会话结点向量的权重γ和当前输入会话序列的最终表征hs，表达式为：
[0043][0044][0045]
其中，和是矩阵权重；和是偏移量；
[0046]
利用会话表征hs计算用户下一次点击物品的概率，表达式为：
[0047][0048]
其中，表示数据集中所有物品被用户下一次点击概率分布；|i|
表示数据集中物品集合i的所有物品的数量；e由所有物品的嵌入向量组成。
[0049]
优选的，利用分类问题的交叉熵目标函数作为基于会话推荐系统的目标函数，目标函数为：
[0050][0051]
其中，l表示训练的目标函数；表示输入样本后模型预测的下一次点击物品为物品i的概率；yi表示样本s下一个点击物品的真实值；τ表示训练集，s表示训练集中的训练样本包含用户会话内历史点击序列数据和下一次点击物品。
[0052]
优选的，为了防止模型过拟合，在每层神经网络添加随机失活dropout，然后对模型参数添加l2正则项，最终的目标函数为：
[0053][0054]
其中，θ表示模型的所有参数；λ表示一个控制正则项惩罚强度的超参；||θ||表示θ的范数。
[0055]
根据本发明提供的基于增强图神经网络的会话推荐系统，包括：
[0056]
模块m1：获取会话内用户点击物品的序列数据并进行过滤；
[0057]
模块m2：构建会话感知图神经网络，将用户在会话内交互物品序列转换为有向图结构，每个物品转换为唯一结点，并在图中加入会话结点学习当前会话表示，物品结点间的有向边表示物品交互的先后顺序；
[0058]
模块m3：通过门控图神经网络ggnn进行会话图上的消息传播，捕获邻居结点的信息以更新当前结点；
[0059]
模块m4：利用注意力机制结合物品的位置编码，增强会话结点表示；
[0060]
模块m5：根据用户交互的历史物品序列学习的会话表示，预测用户下一时刻的交互行为，实现用户下一时刻交互行为的推荐。
[0061]
根据本发明提供的存储有计算机程序的计算机可读存储介质，所述计算机程序被处理器执行时实现上述的方法的步骤。
[0062]
与现有技术相比，本发明具有如下的有益效果：
[0063]
本发明基于增强图构建方法、图神经网络信息传播和软注意力机制，更好地学习会话表示，能够有效的捕捉物品与整个会话的关系，从而提高用户交互行为推荐的准确率。
附图说明
[0064]
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
[0065]
图1为本发明的优选例提供的会话推荐方法框架结构示意图；
[0066]
图2为本发明的优选例提供的会话推荐模型结构示意图。
具体实施方式
[0067]
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。
[0068]
实施例1：
[0069]
如图1，根据本发明提供的一种基于图神经网络的会话推荐方法，包括：
[0070]
数据预处理步骤：获取会话内用户点击物品序列数据，对获取的会话点击数据进行预处理，获得预处理后数据；
[0071]
会话感知图神经网络构建步骤：将用户在会话内交互物品序列转换为有向图结构，每个物品转换为唯一结点，并在图中加入一个会话结点学习当前会话表示，物品结点间的有向边表示物品交互的先后顺序；通过结点在图结构上的信息传播捕捉邻居结点的特征，更新结点的表示，并通过注意力机制增强会话的表示；
[0072]
用户交互预测步骤：根据会话内用户交互的历史物品序列学习的会话表示来预测用户下一时刻的交互行为，实现用户下一时刻交互行为的推荐。
[0073]
具体地，所述会话感知图神经网络：
[0074]
所述对获取的会话点击数据进行预处理包括：
[0075]
对会话数据进行预处理：去除会话中被点击频率过小的物品，过滤会话序列长度仅为1的会话数据，将每一条会话数据分割多条会话数据以增强数据，获得预处理后的会话数据；
[0076]
具体地，所述会话感知图神经网络：
[0077]
如图2，所述基于增强图神经网络的会话推荐模型包括：构建会话图、物品-会话交互模块、融合及预测模块；
[0078]
所述构建会话图：
[0079]
输入会话匿名用户点击物品序列s＝{v1,v2,
…
,vn}，输出对应的会话图g＝(v,a
in
,a
out
)，其中v是所构建图中结点集合，由物品结点v1,v2,
…
,vn和会话结点vs组成；a
in
,a
out
为构建图的邻接矩阵。点击序列中邻接物品结点vi和物品结点v
i 1
之间构建有向边；会话中每个物品结点vi都与会话结点vs构建有向边。
[0080]
所述物品-会话交互模块包括：嵌入层、门控图神经网络层以及注意力层。
[0081]
所述嵌入层：输入构建的会话图结点集合v，嵌入层先将每一个结点vi表示为一个向量vi，输出会话图结点的向量表示v1,v2,
…
,vn,vs。
[0082]
所述门控图神经网络层：
[0083]
输入会话序列构建的会话图g＝(v,a
in
,a
out
)，利用门控神经网络ggnn来捕捉图中每个结点与邻居结点的关系，并更新结点的表征，具体流程如下：
[0084][0085]
[0086][0087]
其中，ggnn表示门控图神经网络；f
in
和f
out
是两个函数，分别计算通过入边/出边连接vi的邻居结点传递的信息；n
in
(i)和n
out
(i)分别表示通过入边/出边连接vi的邻居结点集合；表示结点vi在图神经网络第l层的状态向量；w
in
和w
out
分别表示入边/出边连接的邻居结点信息的投影矩阵；b
in
和b
out
表示偏移量：
[0088]
所述注意力层：
[0089]
输入会话图中所有结点向量v1,v2,
…
,vn,vs，本层使用注意力机制结合位置编码捕捉物品结点在会话序列中的位置信息和每一个用户点击的物品对于会话的贡献度，以重新调整会话结点的向量表示。首先为每个物品生成一个位置编码：
[0090][0091][0092]
其中，n表示当前会话序列的长度；li∈[1,n]表示vi在会话序列中的位置；和表示物品vi的逆序位置编码；和和是两个位置编码的参数矩阵；k表示相对位置最大距离阈值，假设位置信息超过一定范围不再有用。
[0093]
为了捕捉物品结点在原会话点击序列中的位置信息，使用注意力机制结合位置信息，给不用物品结点计算不同的重要性权重来加强会话结点的表示：
[0094][0095][0096][0097]
其中，包含了物品结点对于整个会话重要程度信息和位置信息；表示会话序列中除去vi以外的物品结点的集合；ai表示第i个物品结点向量vi的权重；σ是sigmod激活函数；wa、以及是权重矩阵；ba是偏移量；
[0098]
为了更好的结合门控图神经网络中所有物品结点聚合的会话信息和注意力机制所聚合的会话信息，本发明利用门控机制来结合这两个部分的信息：
[0099][0100]
其中，β表示包含品结点对于整个会话重要程度信息和位置信息的的权重；和是矩阵权重；和是偏移量；
[0101]
调整并更新会话结点向量
[0102][0103]
其中，表示会话结点在第l层的最终表征；
[0104]
所述融合及预测模块：
[0105]
输入物品-会话交互模块第l层的会话向量和最后一个点击物品向量输出最终会话表征hs进行预测；为了捕捉用户长期兴趣和近期喜好，利用最后一个点击的物品向量v
last
代表用户近期的喜好，并使用门控神经网络结合长期兴趣和近期喜好：
[0106][0107][0108]
其中，γ表示会话结点向量的权重；hs表示当前输入会话序列的最终表征；和是矩阵权重；和是偏移量；
[0109]
利用会话表征hs计算用户下一次点击物品的概率：
[0110][0111]
其中，表示数据集中所有物品被用户下一次点击概率分布；|i|表示数据集中物品集合i的所有物品的数量；e由所有物品的嵌入向量组成；
[0112]
具体地，所述会话感知图神经网络：
[0113]
所述对增强图神经网络的会话推荐模型进行训练，获得训练后的模型：
[0114]
利用分类问题的交叉熵目标函数作为基于会话推荐系统的目标函数，目标函数如下：
[0115][0116]
其中，l表示训练的目标函数；表示输入样本s后模型预测的下一次点击物品为物品i的概率；yi表示样本s下一个点击物品的真实值；τ表示训练集，s表示训练集中的训练样本包含用户会话内历史点击序列数据和下一次点击物品；
[0117]
为了防止模型过拟合，采用了dropout和l2正则项技术，具体来说，在每层神经网络添加随机失活dropout，然后对模型参数添加l2正则项，最终的目标函数为：
[0118][0119]
其中，θ表示模型的所有参数；λ表示一个控制正则项惩罚强度的超参；||θ||表示θ的范数，即模长；
[0120]
由于adam优化器更适合不稳定的训练目标而且它能动态调整学习率以更快收敛，因此利用adam优化器做梯度下降训练模型。
[0121]
具体地，所述用户交互预测：
[0122]
所述会话内用户交互的历史物品序列指：用户在当前会话内所点击的物品序列。
[0123]
根据本发明提供的一种基于增强图神经网络的会话推荐系统，包括：
[0124]
数据预处理模块：获取会话内用户点击物品序列数据，对获取的会话点击数据进行预处理，获得预处理后数据；
[0125]
会话感知图神经网络构建模块：将用户在会话内交互物品序列转换为有向图结构，每个物品转换为唯一结点，并在图中加入一个会话结点学习当前会话表示，物品结点间的有向边表示物品交互的先后顺序；通过结点在图结构上的信息传播捕捉邻居结点的特征，更新结点的表示，并通过注意力机制增强会话的表示；
[0126]
用户交互预测模块：根据会话内用户交互的历史物品序列学习的会话表示来预测用户下一时刻的交互行为，实现用户下一时刻交互行为的推荐。
[0127]
具体地，所述会话感知图神经网络：
[0128]
所述对获取的会话点击数据进行预处理包括：
[0129]
对会话数据进行预处理：去除会话中被点击频率过小的物品，过滤会话序列长度仅为1的会话数据，将每一条会话数据分割多条会话数据以增强数据，获得预处理后的会话数据；
[0130]
具体地，所述会话感知图神经网络：
[0131]
所述基于增强图神经网络的会话推荐模型包括：构建会话图、物品-会话交互模块、融合及预测模块；
[0132]
所述构建会话图：
[0133]
输入会话匿名用户点击物品序列s＝{v1,v2,
…
,vn}，输出对应的会话图g＝(v,a
in
,a
out
)，其中v是所构建图中结点集合，由物品结点v1,v2,
…
,vn和会话结点vs组成；a
in
,a
out
为构建图的邻接矩阵。点击序列中邻接物品结点vi和物品结点v
i 1
之间构建有向边；会话中每个物品结点vi都与会话结点vs构建有向边。
[0134]
所述物品-会话交互模块包括：嵌入层、门控图神经网络层以及注意力层。
[0135]
所述嵌入层：输入构建的会话图结点集合v，嵌入层先将每一个结点vi表示为一个向量vi，输出会话图结点的向量表示v1,v2,
…
,vn,vs。
[0136]
所述门控图神经网络层：
[0137]
输入会话序列构建的会话图g＝(v,a
in
,a
out
)，利用门控神经网络ggnn来捕捉图中每个结点与邻居结点的关系，并更新结点的表征，具体流程如下：
[0138][0139][0140][0141]
其中，ggnn表示门控图神经网络；f
in
和f
out
是两个函数，分别计算通过入边/出边连接vi的邻居结点传递的信息；n
in
(i)和n
out
(i)分别表示通过入边/出边连接vi的邻居结点集合；表示结点vi在图神经网络第l层的状态向量；w
in
和w
out
分别表示入边/出边连接的邻居结点信息的投影矩阵；b
in
和b
out
表示偏移量：
[0142]
所述注意力层：
[0143]
输入会话图中所有结点向量v1,v2,
…
,vn,vs，本层使用注意力机制结合位置编码捕捉物品结点在会话序列中的位置信息和每一个用户点击的物品对于会话的贡献度，以重新调整会话结点的向量表示。首先为每个物品生成一个位置编码：
[0144][0145][0146]
其中，n表示当前会话序列的长度；li∈[1,n]表示vi在会话序列中的位置；和表示物品vi的逆序位置编码；和和是两个位置编码的参数矩阵；k表示相对位置最大距离阈值，假设位置信息超过一定范围不再有用。
[0147]
为了捕捉物品结点在原会话点击序列中的位置信息，使用注意力机制结合位置信息，给不用物品结点计算不同的重要性权重来加强会话结点的表示：
[0148][0149][0150][0151]
其中，包含了物品结点对于整个会话重要程度信息和位置信息；表示会话序列中除去vi以外的物品结点的集合；ai表示第i个物品结点向量vi的权重；σ是sigmod激活函数；wa、以及是权重矩阵；ba是偏移量；
[0152]
为了更好的结合门控图神经网络中所有物品结点聚合的会话信息和注意力机制所聚合的会话信息，本发明利用门控机制来结合这两个部分的信息：
[0153][0154]
其中，β表示包含品结点对于整个会话重要程度信息和位置信息的的权重；和是矩阵权重；和是偏移量；
[0155]
调整并更新会话结点向量
[0156][0157]
其中，表示会话结点在第l层的最终表征；
[0158]
所述融合及预测模块：
[0159]
输入物品-会话交互模块第l层的会话向量和最后一个点击物品向量输出最终会话表征hs进行预测；为了捕捉用户长期兴趣和近期喜好，利用最后一个点击的物品向量v
last
代表用户近期的喜好，并使用门控神经网络结合长期兴趣和近期喜好：
[0160][0161][0162]
其中，γ表示会话结点向量的权重；hs表示当前输入会话序列的最终表征；和是矩阵权重；和是偏移量；
[0163]
利用会话表征hs计算用户下一次点击物品的概率：
[0164][0165]
其中，表示数据集中所有物品被用户下一次点击概率分布；|i|表示数据集中物品集合i的所有物品的数量；e由所有物品的嵌入向量组成；
[0166]
具体地，所述会话感知图神经网络：
[0167]
所述对增强图神经网络的会话推荐模型进行训练，获得训练后的模型：
[0168]
利用分类问题的交叉熵目标函数作为基于会话推荐系统的目标函数，目标函数如下：
[0169][0170]
其中，l表示训练的目标函数；表示输入样本s后模型预测的下一次点击物品为物品i的概率；yi表示样本s下一个点击物品的真实值；τ表示训练集，s表示训练集中的训练样本包含用户会话内历史点击序列数据和下一次点击物品；
[0171]
为了防止模型过拟合，采用了dropout和l2正则项技术，具体来说，在每层神经网络添加随机失活dropout，然后对模型参数添加l2正则项，最终的目标函数为：
[0172][0173]
其中，θ表示模型的所有参数；λ表示一个控制正则项惩罚强度的超参；||θ||表示θ的范数，即模长；
[0174]
由于adam优化器更适合不稳定的训练目标而且它能动态调整学习率以更快收敛，因此利用adam优化器做梯度下降训练模型。
[0175]
所述会话历史点击数据指：用户在当前会话内所点击的物品序列。
[0176]
根据本发明提供的一种存储有计算机程序的计算机可读存储介质，其特征在于，所述计算机程序被处理器执行时实现上述中任一项所述的基于增强图神经网络的会话推荐方法的步骤。
[0177]
实施例2：
[0178]
实施例2为实施例1的优选例。
[0179]
以diginetica数据集为例。该数据集包括一个电商网站的五个多月的会话点击数据，我们将最近几周的点击数据作为测试数据。我们将依次进行以下步骤。
[0180]
(1)数据预处理
[0181]
(1a)过滤：将会话中物品在整个数据集出现次数小于5的物品过滤，并过滤会话长
度为1的会话。
[0182]
(1b)分割：将会话序列按子序列分割为多条会话数据。
[0183]
(1c)嵌入向量初始化：将会话中的物品通过嵌入层初始化以准备输入模型。
[0184]
(2)训练模型
[0185]
(2a)初始化模型参数：随机初始化模型中的参数。
[0186]
(2b)使用训练集训练模型：我们每次从测试集中选取256个样本组成一个batch输入模型进行训练，初始化学习率为0.001，并设置每3个epoch以1e-5的衰减率进行衰减。图神经网络层数我们选取了{1,2,3,4,5}分别进行了测试，并选取表现最好的超参数。每个模型我们训练30个epoch，经实验，每个模型都在30个epoch以内收敛。
[0187]
(2c)选择超参数：通过设置不同的超参数，如图神经网络层数，物品向量的维度和相对位置最大距离阈值等，来训练模型。最终我们通过验证集来比较不同模型的表现，选出预测精度最高的模型作为最终模型。
[0188]
(3)预测
[0189]
(3a)使用(2)中训练并选择的最优模型来对测试集进行预测。
[0190]
本发明基于增强的图神经网络，通过一种新的图构建方式和图神经网络层，加入一个会话级别的结点来捕捉交互物品与整个交互会话序列的关系，从而提升用户行为预测的准确率。
[0191]
本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统、装置及其各个模块以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统、装置及其各个模块以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同程序。所以，本发明提供的系统、装置及其各个模块可以被认为是一种硬件部件，而对其内包括的用于实现各种程序的模块也可以视为硬件部件内的结构；也可以将用于实现各种功能的模块视为既可以是实现方法的软件程序又可以是硬件部件内的结构。
[0192]
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本技术的实施例和实施例中的特征可以任意相互组合。