一种偏好感知的多模态数据服务方法

本发明属于计算机数据挖掘，涉及一种偏好感知的多模态数据服务方法。

背景技术：

1、互联网信息的纷繁复杂与多彩多姿极大地丰富了人们的数字生活，然而，这也使用户陷入了海量数据的漩涡中，难以迅速且准确地辨识和筛选所需信息，由此催生了严峻的信息超载问题。而数据服务系统作为一种高效的信息过滤方法，其目标是为用户提供个性化的匹配服务，以解决大数据时代的信息过载问题，提高用户的使用体验。如今，主流的在线平台包含大量的非结构化多模态信息，这些信息对用户的选择起到重要的驱动作用。为了解决数据稀疏问题和冷启动问题，研究者们引入了多模态信息到数据服务系统中，利用多模态信息来补充历史用户与实体的交互，从而有效提高数据服务性能。

2、当前的多模态数据服务模型已经能够表示和发现不同模态之间的隐藏关系，捕获那些单模态方法和隐式交互无法捕获的互补信息。为了将多模态信息融合到数据服务系统中，主流方法是从不同模态中提取特征，并将融合后的模态作为辅助信息或实体表示，以实现更准确的数据服务结果。已有的研究中，vbpr模型是第一个考虑将视觉特征引入数据服务系统的模型，它将视觉嵌入与id嵌入相连接作为实体表示。另外，一些研究提出了使用关键词加权的多模态媒体分类方法，以提高数据服务准确性和用户满意度。除了融合模态表示外，还有一些基于图的模态辅助信息被引入到多模态数据服务中，试图为用户和实体找到更好的表示，以实现更准确的数据服务结果。然而，现有基于异质图的数据服务算法仅利用了异质图的图结构信息，而没有考虑节点的多模态内容特征。因此，如何充分利用异质图来融合多模态信息，并设计非结构化多模态数据融合数据服务方法成为一个关键问题。此外，异质图中存在噪声交互，导致图神经网络聚合的邻域特征存在偏差的问题，且当前的多模态数据服务系统未考虑到用户在不同时间段的兴趣偏好变化情况，仅从用户的长期兴趣偏好进行建模，也没有考虑到短期兴趣偏好变化对数据服务结果的影响。

技术实现思路

1、有鉴于此，本发明的目的在于提供偏好感知的多模态数据服务方法，针对异质图数据服务系统忽视用户兴趣偏好随时间变化的问题，设计融合策略，充分发掘用户的长短期兴趣偏好信息特征。此外为解决异质图数据服务方法未充分利用节点的非结构化多模态内容特征问题，提出多模态异质信息融合方法，充分探索不同模态信息之间的关联性和异质性，并设计多模态信息图增强方法，缓解异质图中噪声交互带来的影响，增强模型鲁棒性。

2、为达到上述目的，本发明提供如下技术方案：

3、一种偏好感知的多模态数据服务方法，包括以下步骤：

4、s1：将用户实体交互历史数据拆分为长期交互历史和短期交互历史数据；

5、s2：通过设计多模态异质图表示学习模块，对用户所有交互实体的非结构化多模态特征以及异质信息进行融合表示，最后输入图卷积网络进行特征聚合，获取用户长期兴趣偏好特征表示；

6、s3：基于长短期记忆神经网络获取用户短期兴趣偏好表示；

7、s4：将所述用户长期兴趣偏好特征表示和用户短期兴趣偏好表示嵌入向量拼接并进行线性变换，得到用户偏好的最终嵌入表示；

8、s5：通过多模态信息提取模块提取候选实体i中多模态信息特征作为候选实体特征嵌入表示；

9、s6：将用户偏好的最终嵌入表示和候选实体特征嵌入表示输入全连接层组成的预测器，利用贝叶斯个性化排序损失函数，预测用户对候选实体的分数，并根据分数高低，将分数较高的前k个数据服务给用户。

10、进一步，所述用户实体交互历史数据包括用户-实体交互，以及实体的多模态数据；所述实体的多模态数据包括实体的图片，实体的文字描述；

11、所述将用户实体交互历史数据拆分为长期交互历史和短期交互历史数据，具体为按照交互的时间顺序，将用户近期的交互历史数据作为用户短期交互历史数据，将所有交互历史数据作为用户的长期交互历史数据。

12、进一步，所述步骤s2具体包括以下步骤：

13、s21：通过三重态损失函数预训练多模态特征提取器，所述多模态特征提取器包括vgg16和glove网络，用于表示实体的多模态特征；vgg16模型提取实体图片视觉模态特征v，采用glove模型提取实体评论描述文本模态特征t；通过三重态损失函数优化视觉模态和文本模态之间的信息统一，确保实体的多模态特征维度在统一映射空间中达到最佳匹配；

14、s22：将两种模态数据特征通过映射矩阵映射到统一的特征表示空间中，以捕获不同模态特征之间的关联信息；

15、s23：通过拼接公共特征空间中统一的文本、视觉模态特征来获得共享实体表示x；

16、s24：根据用户的全部交互历史，以用户和实体，以及品牌，种类为节点，以不同交互关系为边，构建异质图表示g＝(n,e)；

17、s25：对异质图中不同的语义信息进行提取，异质信息图采用基于元路径的随机游走生成上下文序列，在元路径的指导下能够获得更准确的语义信息，计算其转移概率p，计算公式如下：

18、

19、其中，为元路径集，i表示第i步，表示第i步的类型为t的节点，vi+1表示节点的类型为t+1的邻居节点，表示类型为节点的类型为t+1的邻居节点个数；

20、s26：根据转移概率p在图g中进行游走，到达新节点后，继续根据转移概率进行选择，重复上述过程直至达到预设步数或满足终止条件，得到所需要语义关系的节点序列；

21、s27：根据上述生成的节点序列过滤掉其他类型的节点，提取实体序列，通过设置滑动窗口win间隔考虑项目在采样元路径上的共现，然后将项目节点嵌入到同构项目图，得到同质子图的拓扑结构图，并根据节点的在不同元路径下共现频率为每个边进行权重分配，从而得到最终项目同质子图表示其中n是项目节点的集合，并且是邻接矩阵；

22、s28：利用实体节点的同质图结构g'和多模态特征向量x融合表示得到初始多模态异质信息图表示

23、s29：通过设计的多模态信息图增强表示方法，即提取同质子图拓扑结构构建相似度图si＝(n,c)，通过计算实体的多模态特征相似性，去除图中权重为负值的交互，利用图注意力池化将增强融合图的整体表示更有信息量和区分度，筛选得到抑制原始图中的噪声的全局多模态信息增强图表示从而增强多模态特征表示；之后将其输入到训练好的gcn网络中得到丰富信息表示的用户长期兴趣偏好表示ul。

24、进一步，步骤s21中，通过三重态损失函数优化视觉模态和文本模态之间的信息统一，确保实体的多模态特征维度在统一映射空间中达到最佳匹配，设定以下约束：

25、在公共特征空间中，同一实体的实体图像的视觉模态特征v和文本模态信息特征t经过映射后的距离应尽可能接近，而不同实体的实体视觉特征向量v和文本模态特征向量t经过映射后的距离应足够远；

26、以上损失函数的目标就是使得相同实体的视觉特征和文本特征v和t在特征空间中尽量靠近，而不同实体之间的距离v和t'或v'和t尽量远离，从而更好的训练多模态特征提取器。

27、进一步，步骤s25中，基于元路径随机游走方法生成同质序列，根据最优用户实体元路径集构建节点之间的转移概率矩阵p，其中节点之间的转移概率p受到元路径中节点的类型和顺序以及节点之间权重的影响，从起始节点开始，根据转移概率对异质社会信息网络进行随机游走，到达新节点后，则继续按照转移概率进行选择，重复该过程，直到达到预设的固定步数。

28、进一步，步骤s27中，实体同质子图生成，通过舍弃不相关节点，利用所得同质节点序列，对同一节点关系进行节点共现，构建用户实体同质子图，通过设置滑动窗口win间隔来考虑实体在采样元路径上的节点共现，即如果两个实体出现在同一窗口间隔内，则它们将由一条边连接，然后，将实体节点嵌入到这个同构的实体图结构上，得到实体同质子图的拓扑结构图，并根据节点的在不同元路径下共现频率为每个边进行权重分配。

29、进一步，步骤s28-s29中，通过设计的多模态信息图增强表示方法，抑制原始多模态异质图中的噪声干扰，包括：

30、提取实体同质子图拓扑结构构建相似度图si＝(n,c)，通过计算实体的多模态特征余弦相似性，通过relu函数保证边权重值在非负的取值范围内，之后对非负化的相似度增强图进行归一化权重操作，得到基于实体的增强融合图g”'，最后为了使增强融合图的整体表示更有信息量和区分度，利用图注意力池化(graph attention pooling，gap)方法增强多模态特征表示，循环更新得到全局多模态信息增强图表示

31、进一步，步骤s3具体包括以下步骤：

32、s31：首先对其用户近期交互实体采用步骤s21和s22进行多模态特征提取融合编码表示为xt，输入双向门控循环单元网络(bidirectional gated recurrent unit，bi-gru)，通过同时考虑过去和未来的信息来学习序列的表示，学习短期历史记录的表示，公式如下：

33、

34、其中，用户近期交互项目多模态特征xt是时间步st的输入，分别是前向和后向的隐藏状态，是当前时间步的前向和后向隐藏状态，θ为模型参数；

35、s32：基于步骤s31得到的使用注意力机制关注不同时间步上的信息变化，输出注意力加权参数和公式如下：

36、

37、

38、最后使用注意力权重对bi-gru的前向和后向隐藏状态进行加权聚合，得到用户的短期兴趣偏好嵌入us：

39、

40、进一步，步骤s5中，利用贝叶斯个性化排序损失函数训练数据服务模型，公式如下：

41、

42、损失函数要求模型将用户更喜欢的实体排在用户更不喜欢的实体之前；之前与用户有过交互的实体被标记为正例，而所有其他实体被指定为负例；对于每个正例，随机选择一组负例，形成一个包含多个实体的池，然后该池将进行排名。

43、进一步，步骤s6中，输出用户长短期兴趣偏好特征表示eu以及候选实体特征表示ei，并将其输入全连接层组成的预测器，预测用户对候选实体的交互分数公式如下：

44、

45、最后根据分数高低将分数较高的top-k个实体对象推送给用户。

46、本发明的有益效果在于：本发明提出的偏好感知的多模态数据服务方法，利用多模态异质信息网络数据服务方法中不同模态信息之间的关联性和异质性，设计多模态异质信息融合方法，将不同模态信息融合到统一的嵌入空间中，并通过多模态信息图增强方法增强模型鲁棒性，并考虑到用户在不同时间段的兴趣偏好变化情况对数据服务结果的影响，设计一种新的融合策略，能够充分考虑用户长期兴趣偏好和短期兴趣偏好信息，实现为用户高精度的数据服务实体。

47、本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。