基于融合神经网络的用户广告推荐方法、设备及存储介质与流程

本发明属于计算机数据处理，尤其涉及一种基于融合神经网络的用户广告推荐方法、设备及存储介质。

背景技术：

1、在现代互联网和电子商务环境中，智能化广告推荐系统成为提升用户体验和商业效益的关键技术之一。通过分析用户的兴趣和行为数据，智能化广告推荐可以将广告内容准确地投放给潜在感兴趣的用户群体。同时，智能化广告推荐还能根据用户的实时行为和反馈信息，动态调整广告内容和展示方式，使广告更加贴合用户的偏好和需求，提高了广告的转化率和效果。此外，智能化广告推荐还能够实现广告投放的精细化管理和优化，通过对广告投放效果的监测和分析，及时调整广告策略和资源配置，最大程度地提高了广告主的投资回报率。目前已经有智能化的广告推荐技术，例如：

2、申请号为cn202111268312.7的中国专利公开了一种广告推荐方法，装置、设备、存储介质及计算机产品，其中方法包括：获取与用户请求相匹配的n个候选广告集；获取n个候选广告集中每个广告在所属候选广告集中的状态信息，并基于每个广告在所属候选广告集中的状态信息确定每个广告在所属候选广告集中对应的质量条件；确定每个广告在所属候选广告集中的推荐质量，并基于每个广告在所属候选广告集中的推荐质量以及每个广告在所属候选广告集中对应的质量条件，对n个候选广告集进行筛选，得到待定广告集；基于待定广告集向目标用户输出推荐广告。

3、申请号为cn202311243464.0的中国专利公开了一种基于生物神经网络的广告推荐方法，涉及数据处理方法领域，该广告推荐方法在收集用户行为数据集后，基于生物神经网络将用户行为数据集转化为神经脉冲序列，再利用基于脉冲神经网络的广告推荐模型根据神经脉冲序列得到目标用户的兴趣概率分布向量，从而从广告库中筛选出与目标用户的匹配度最高的目标广告内容进行推荐。通过生物神经网络与脉冲神经网络的结合使用，在用户行为数据集较为稀疏的情况下能准确捕获目标用户的兴趣实现广告推荐，实现具有高准确性和动态适应性的广告推荐。

4、然而，上述专利方案以及现存技术依然存在缺陷，包括以下几点：

5、1.精准度不足：目前的广告推送方式通常基于用户的基本属性和简单的行为数据进行推荐，难以充分利用用户的个性化需求和行为习惯，最终导致推荐的精准度较低，广告与用户真正需求之间的匹配度不高。

6、2.缺乏动态性和实时性： 目前的广告推荐系统往往缺乏对用户行为的实时监测和动态调整能力，无法及时适应用户兴趣和需求的变化，导致广告内容的推荐与用户当前状态脱节。

7、3.模型复杂度和计算资源需求：一些智能化广告推荐系统采用复杂的神经网络模型，这些模型的训练和推理需要大量的计算资源和时间，不利于在实时应用场景中快速响应用户需求。

技术实现思路

1、针对上述问题，本发明第一方面提出了一种基于融合神经网络的用户广告推荐模型构建方法，包括以下过程：

2、s1，构建用户广告推荐初始数据集，包括用户属性数据、用户浏览记录的行为特征数据以及对应的用户购买商品类型数据；

3、s2，基于lstm层和自注意力机制设计自编码器特征提取模块，对用户行为特征数据进行特征提取得到深度行为特征；同时采用预训练的bert模型，对用户属性数据进行特征提取得到深度属性特征；并基于深度行为特征、深度属性特征以及用户购买商品数据制作标准数据集；

4、s3，设计基于特征相似度匹配的用户社交图构建方法，将用户表征为节点node，在具有高度特征相似度的用户之间建立边edge，并基于图神经网络gnn构建用户广告推荐模型；

5、s4，基于粒子群优化pso算法对用户社交图构建方法进行优化，并结合gnn获取结构最优的用户广告推荐模型，利用标准数据集进行用户广告推荐模型训练，最终得到训练完成的用户广告推荐模型。

6、优选的，所述s1中以用户的基本特征为广告推荐模型的输入数据，包括用户属性数据和用户浏览记录的行为特征数据；以购买商品的类型为广告推荐模型的输出数据，将常见商品分为9类；其构建过程具体为：

7、收集用户的属性数据，包括用户年龄、性别以及用户位置；并收集用户每次购买商品前的浏览记录数据；和的数据格式分别表示为：

8、                      (1)

9、                      (2)

10、其中，至分别表示浏览9类商品的次数；

11、基于该数据收集方法进行一次收集，得到一个用户的基本特征数据：

12、                        (3)

13、同时，记录用户购买商品的类别信息，并将该数据编码为维度为9的独热向量；

14、收集7次历史购买记录中对应的商品浏览数据，并构成一组初始的完整输入数据：

15、                    (4)

16、                   (5)

17、其中，表示用户对应的第组初始完整输入数据，表示用户第次采集的基本特征数据，和分别表示针对用户第次采集的用户属性数据和浏览记录数据；

18、同时，对应的目标结果为，即用户第次购买的商品类别，这两个数据共同构成用户的一组初始数据集：

19、                     (6)

20、重复上述过程，共得到用户共组广告推荐初始数据：

21、               (7)

22、由于每组广告推荐数据均包含7次的历史浏览数据，则；

23、共获取个用户的完整初始数据集：

24、                 (8)

25、则，且每个用户均包含组广告推荐初始数据。

26、优选的，所述s2中基于lstm层和自注意力机制设计自编码器特征提取模块，对用户行为特征数据进行特征提取得到深度行为特征，其中自编码器特征提取模块包括lstm层、自注意力层以及softmax层；

27、在编码器部分，经过两个lstm层捕捉内部时序相关性特征，得到的中间特征表示为：

28、                   (9)

29、其中，为经过两个lstm层后提取的中间特征，为lstm层的处理函数，之后经过tanh激活函数得到特征：

30、                       (10)

31、所述自注意力层首先计算注意力相似度矩阵：

32、                       (11)

33、其次，对相似度矩阵中每个元素进行归一化：

34、                    (12)

35、其中，和分别表示归一化前后第行第列元素的相似度值，表示相似度矩阵归一化前第行第列元素相似度值；

36、最后，加权求和得到注意力层的特征处理结果：

37、                     (13)

38、之后，通过sigmoid激活函数和softmax层得到深度行为特征：

39、                 (14)

40、                (15)

41、其中，和分别表示softmax层函数和sigmoid激活函数，为经过sigmoid激活函数的中间特征；

42、编码器部分对的处理过程为：

43、                  (16)

44、其中，为编码器函数；

45、同理，在解码器部分的处理过程表示为：

46、                 (17)

47、其中，为解码器函数，为解码器重构结果。

48、优选的，所述自编码器特征提取模块使用设计的基于均方误差mse的损失函数：

49、               (18)

50、其中，，；将所有浏览记录数据作为该自编码器的训练数据集进行模型训练，并将训练好的自编码器的编码器部分作为的特征提取器。

51、优选的，：对7组初始完整输入数据分别进行特征提取，基于提取的深度行为特征和深度属性特征，得到一组标准输入特征数据：

52、                  (19)

53、                  (20)

54、将和整合构成一组标准的数据集：

55、                    (21)

56、其中，；将用户的所有初始数据，设定每个用户具有组数据，构造得到用户完整的标准数据集：

57、            (22)

58、共获取个用户的完整标准数据集：

59、              (23)

60、其中，。

61、优选的，所述s3具体为：

62、每个用户都表征为一个节点，而节点的一次输入特征即为该用户的标准输入特征数据，并且该节点的一次预测输出特征为；

63、户节点之间特征相似度越高，表示用户的消费习惯越相似，通过计算每个用户与其他用户标准输入特征数据的相似度，判断用户之间是否建立edge连接；每个用户均与其具有高相似性的用户建立edge连接，所有用户共同构成一个完整的用户社交网络；

64、基于构建的用户社交网络，构建基于gnn的用户广告推荐模型；针对每个用户节点，用户广告推荐模型中的graphsage层通过聚合其直接连接的相邻用户节点的特征，并将这些聚合后的特征传递到自身用户节点上，结合相似用户的行为习惯，从而预测自身用户的消费行为。

65、优选的，所述户节点之间特征相似度使用特征相似度匹配方法，具体为：

66、首先将每个用户的组标准输入特征数据拼接为一个完整的用户特征数据：

67、           (24)

68、其中，表示用户在时刻的标准输入特征数据，且，为通道拼接操作；

69、然后计算用户之间的特征相似度，表示为：

70、                    (25)

71、其中，表示用户和用户之间的特征相似度，和分别表示用户和用户的特征数据，为模长计算操作；

72、通过公式（25）计算所有用户之间的特征相似度，并针对每个用户选择与其具有最高特征相似度的个用户建立edge连接。

73、优选的，所述构建基于gnn的用户广告推荐模型，采用graphsage层作为基础的gnn网络层，将标准特征数据输入gnn模型中，通过graphsage层对每个用户节点进行特征聚合，随着graphsage层加深，每个用户节点获取的相邻节点的特征深度越广，最终得到每个用户及其在整个社交网络中的特征信息，并映射到最终预测广告类型的结果上；同时，采用dropout层用于减少过拟合；每个graphsage层由一个节点聚合层、一个全连接层和一个relu激活函数层组成，dropout层的丢弃率设置为0.3。

74、本发明第二方面提供了一种基于融合神经网络的用户广告推荐方法，将第一方面所述的构建方法所构建的用户广告推荐模型部署到后台服务器中，并包括以下过程：

75、s1，实时采集最新用户属性数据和浏览记录数据，并结合历史数据得到初始的完整输入数据；

76、s2，将中的和分别利用设计的自编码器特征提取模块和预训练的bert模型进行特征提取，并将深度特征进行拼接得到标准输入特征数据；

77、s3，基于训练好的用户广告推荐模型，将更新至当前用户的输入节点特征中，预测得到用户最可能购买的商品类型，并将该类型商品作为对该用户进行推荐的商品；

78、s4，重复步骤s1至s3，实时更新和调整所有用户的输入特征数据，从而实现将每个用户置于整体社交网络的全局用户推荐中，最终实现高精准度的广告推荐。

79、本发明第三方面提供了一种基于融合神经网络的用户广告推荐设备，所述设备包括至少一个处理器和至少一个存储器，所述处理器和存储器相耦合；所述存储器中存储有如第一方面所述的构建方法所构建的用户广告推荐模型的计算机执行程序；所述处理器执行存储器中存储的计算机执行程序时，使处理器执行一种基于融合神经网络的用户广告推荐方法。

80、本发明第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有如第一方面所述的构建方法所构建的用户广告推荐模型的计算机执行程序，所述计算机执行程序被处理器执行时，使处理器执行一种基于融合神经网络的用户广告推荐方法。

81、与现有技术相比，本发明具有如下有益效果：

82、1.多模态数据融合：构建了基于lstm层和自注意力机制的自编码器结构，并将其中训练好的编码器部分，以及预训练的bert模型作为特征提取模块，实现对用户属性和行为数据进行深度特征提取以及多模态数据的有效融合，从而提升了特征表示能力。

83、2.用户社交图构建以及基于gnn的广告推荐模型设计：设计了基于特征相似度匹配的方法构建用户社交网络，并利用图神经网络（gnn）模型可以通过聚合相邻节点信息的特性，充分利用相似用户的行为特征将用户置于整个社交网络中，从而从全局角度提升整体广告推荐的精准度。

84、3.基于粒子群优化（pso）算法的用户社交图优化：采用了pso算法优化用户社交图中edge连接的数量，确保在特征相似度高的用户之间建立高效精准的连接，减少信息干扰并实现最优的模型性能。

85、4.实时动态调整：部署在服务器中的广告推荐模型能够实时采集和更新用户行为特征数据，结合历史数据进行预测和推荐，实现广告策略的动态调整，保证了增强了推荐的时效性和准确性。