基于注意力机制与高阶特征交互的在线知识分享推荐方法

本发明涉及一种基于注意力机制与高阶特征交互的在线知识分享推荐方法。

背景技术：

1、在线用户在知识共享平台(比如海外的quora、stackoverflow和国内的知乎)上发布和回答来自不同学科的问题。这些平台通过分析用户的个人资料和历史记录交互，向他们推荐新的问题。然而，由于用户的兴趣和背景非常广泛以及平台涉及了海量的在线资源，他们往往需要在众多问题中做出选择，这可能导致用户无法直接获取他们感兴趣的在线资源。如果问题选择过程过于繁琐，用户可能会感到沮丧并最终选择离开，这与平台旨在促进用户参与和知识分享的初衷背道而驰。

2、传统的推荐系统方法，如基于内容/用于的协同过滤，由于在处理大规模数据集时面临可扩展性挑战以及难以有效建模高阶特征的问题，已逐渐无法满足当前大量、复杂且动态变化数据的需求。

3、先前的研究[2]提出了一种混合模型，将学习管理系统、一套web2.0工具和e-learning推荐系统相结合，以增强个性化的在线学习。然而，该工作并未提供在线学习服务推荐系统的技术创新，只是单纯的将现有技术进行组合，无法针对性解决教育领域数据特性带来的问题。在之前的综述[1]，列举并分析了电子学习服务的几种推荐方法。然而，他们都太过简单，无法应用于教育资源大数据环境下的在线学习服务。另一项研究[3]，提出了一种混合推荐算法，该算法将协同过滤和序列模式挖掘结合在一起，用于点对点学习环境，但并未考虑如何提高个性化的学习服务。[4]和[5]研究了学习路径推荐，然而，所提出的模型主要依赖于人口统计信息构建，并未为深入探索个体偏好提供充足的空间。

4、现有解决方案存在如下缺陷：

5、1、现有解决方案在个性化知识推荐服务中不能充分挖掘和建模数据底层复杂的特征交互。

6、2、现有解决方案无法自动的探索高阶特征交互、区分不同特征的重要程度。

7、3、现有解决方案无法进行特征自动提取、从原始输入中挖掘潜在的重要特征。

8、参考文献：

9、[1]r.sikka,a.dhankhar and c.rana,a survey paper on e-learningrecommender system.international journal of computer applications.47(9).27-30(2012),doi:http://dx.doi.org/10.5120/7218-0024.

10、[2]n.hoic-bozic,m.h.dlab andv.mornar,recommender system andweb2.0tools to enhance ablended learning model.ieee transactions on education.59(1).39-44(2015).

11、[3]w.chen,z.niu,x.zhao andy.li,a hybrid recommendation algorithmadapted in e-learning environments.worldwide web.17(2).271-284(2014).

12、[4]z.rusak.exploitation of micro-learning for generating personalizedlearning paths.in ds 87-9proceedings of the 21st international conference onengineering design(iced 17)vol 9:design education,vancouver,canada,21-25.08.2017.2017,pp.129-138.

13、[5]q.zhao,y.zhang and j.chen.an improved ant colony optimizationalgorithm for recommendation of micro-learning path.in 2016ieee internationalconference on computer and information technology(cit).2016,pp.190-196,ieee.。

技术实现思路

1、本发明的目的在于克服现有解决方案存在缺陷，提供一种基于注意力机制与高阶特征交互的在线知识分享推荐方法，该方法提高模型的表达能力，增强模型的泛化能力。

2、为实现上述目的，本发明的技术方案是：一种基于注意力机制与高阶特征交互的在线知识分享推荐方法，在模型中加入高阶特征交互神经网络，并将高阶特征交互和注意力机制结合，同时引入深度神经网络，与交互神经网络相结合。

3、在本发明一实施例中，所述方法包括：

4、输入步骤：

5、输入用户和物品相关信息的高维向量；

6、嵌入步骤：

7、将用户和物品相关信息的高维向量通过嵌入层来降低原始数据的维度和稀疏度；

8、交互神经网络步骤：

9、采用交互神经网络自动生成高阶特征交互；

10、深度神经网络步骤：

11、深度神经网络以区别于交互神经网络的方式隐式捕获潜在信息和特征组合；

12、残差连接步骤：

13、在将深度神经网络变换后的信息提供给注意力网络之前，利用残差将原始输入信息不断添加到深度神经网络和交互神经网络的输出中；

14、注意力网络步骤：

15、使用注意网络来解释各种特征之间的重要性区别；计算出的注意力分数被投射回残差连接步骤的输出；

16、输出步骤：

17、输出0-1范围的小数，表示用户对给定问题的兴趣程度。

18、在本发明一实施例中，用户和物品相关信息的高维向量，包含用户和物品之间交互的历史记录以及用户和物品的附带信息。

19、在本发明一实施例中，嵌入层的嵌入操作表述为：

20、xembed，i＝wembed，ixi

21、xembed，i为第i个分类特征的嵌入结果，wembed，i为将第i个原始分类特征映射到低维空间的嵌入矩阵，xi为第i个特征。

22、在本发明一实施例中，交互神经网络由若干层组成，每一层都是一个特征交互的操作，对于每个交互层，特征交互的操作表述为：

23、xl+1＝x0xlwl+bl+xl

24、其中xl为第l层的输出，wl和bl为每个交互层的权值和偏置参数。

25、在本发明一实施例中，深度神经网络的每一层表述为：

26、hl+1＝f(wlhl+bl)

27、其中hl为深层分量的第l层输出，f(·)为激活函数，wl和bl是深度神经网络的第l层的参数。

28、在本发明一实施例中，激活函数使用relu激活函数。

29、在本发明一实施例中，注意力网络的注意机制表述如下：

30、a′i＝relu(wxi+b)

31、

32、w和b是模型参数，xi为第i个特征，注意得分通过激活函数relu计算。

33、在本发明一实施例中，计算出的注意力分数被投射回残差连接步骤的输出，表述如下：

34、xs＝aiwx

35、ai为计算得到的注意力得分，w为采用的权重，x为残差连接步骤的输出，xs为应用注意力机制后的输出。

36、本发明还提供了一种基于注意力机制与高阶特征交互的在线知识分享推荐系统，包括存储器、处理器以及存储于存储器上并能够被处理器运行的计算机程序指令，当处理器运行该计算机程序指令时，能够实现如上述所述的方法步骤。

37、相较于现有技术，本发明具有以下有益效果：

38、1、本发明通过在模型中加入高阶特征交互神经网络来解决现有解决方案在个性化知识推荐服务中不能充分挖掘和建模数据底层复杂的特征交互的缺陷，提高模型的表达能力，增强模型的泛化能力。

39、2、本发明将高阶特征交互和注意力机制结合起来，解决了现有解决方案无法自动的探索高阶特征交互、区分不同特征的重要程度的缺陷。

40、3、本发明通过引入深度神经网络，与交互神经网络相结合，解决了现有解决方案无法进行特征自动提取、从原始输入中挖掘潜在的重要特征缺陷。

41、本发明优点及用途如下：

42、个性化推荐：高阶交互有助于创建更个性化的推荐。例如，在推荐系统中，考虑高阶特征交互可以帮助理解用户基于不同物品组合的细微偏好。

43、捕捉复杂模式：高阶交互可以捕捉特征之间复杂的非线性关系，而这些关系通常是仅考虑低阶交互的模型所忽略的。这有助于更好地理解和建模用户行为和物品特性。

44、提高预测准确性：通过纳入高阶交互，模型可以做出更准确的预测。因为它考虑了多个特征相互作用的协同效应，可以更好地解释基础数据模式。

45、更好的泛化能力：包含高阶交互的模型在面对新的未见数据时往往表现得更好，因为它们能够学习更详细和鲁棒的特征表示。

46、强大的表示能力：由于深度神经网络拥有多层结构，它们能够学习到数据的丰富和复杂的表示，从而捕捉到数据中的复杂模式和关系。

47、捕捉重要信息：注意力机制可以动态地为输入序列中的不同部分分配不同的权重，从而使模型能够专注于最重要的信息。这在处理长序列数据(如文本或时间序列)时特别有效。