一种基于多模态数据的广告类案推荐系统及方法与流程

本发明涉及广告类案推荐，具体为一种基于多模态数据的广告类案推荐系统及方法。

背景技术：

1、在信息化和数字化浪潮的推动下，多模态数据已成为大数据领域不可或缺的一环。从广义的视角审视，多模态数据指的是那些融合了不同感官下采集的数据类型，如视觉、听觉、触觉等多元信息的综合体现；而从狭义上理解，多模态数据则表现为多样化的数据类型和数据结构的混合体包括符号、数值、图片、文本、视频、音频以及时序数据等，它们共同构成了丰富多样的数据生态。这些多模态数据广泛存在于各类平台和应用之中，如社交媒体、电商平台、搜索引擎等，为广告类案推荐系统提供了前所未有的机遇。广告类案推荐系统作为广告行业的核心组成部分，其性能和精准度对于广告效果和用户体验有着举足轻重的影响。

2、然而，现有的广告类案推荐系统往往过分依赖用户的历史行为数据，如点击、浏览和搜索记录等，以预测用户的兴趣和偏好。尽管这种方法在一定程度上简化了大量复杂数据的处理，但仍存在不足之处，具体来说，并非所有用户的行为数据都能准确反映其真实意图和偏好，用户的点击、浏览和搜索记录可能受到多种因素的影响，如好奇心、偶然性或是误操作等，因此，若不对用户的行为数据进行筛选，直接使用用户的所有行为数据来分析该用户的真实意图和偏好并不合适，从而导致广告类案的推荐结果不准确。

技术实现思路

1、本发明的目的在于提供一种基于多模态数据的广告类案推荐系统及方法，以解决上述背景技术中提出的问题。

2、为了解决上述技术问题，本发明提供如下技术方案：

3、一种基于多模态数据的广告类案推荐方法，包括以下步骤：

4、步骤s100.收集广告案例的多模态数据，根据多模态数据构建广告案例知识图谱，并基于广告案例知识图谱得到实体和关系的低维向量表示；所述多模态数据包括文本数据、图像数据以及视频数据；根据广告案例中的文本数据，利用文本向量嵌入模型得到广告案例文本向量表示；将实体和关系的低维向量表示与广告案例文本向量表示进行融合，从而得到综合广告案例特征表示；

5、步骤s200.获取用户的历史行为数据以及用户对推荐广告案例的使用信息，基于用户对推荐广告案例的使用信息对用户进行分类，分为第一目标用户和第二目标用户；

6、步骤s300.结合用户对推荐广告案例的使用信息，将第一目标用户的历史行为数据与第二目标用户的历史行为数据进行比对，从而得到筛选关键点；

7、步骤s400.获取第二目标用户的历史行为数据，基于筛选关键点对第二目标用户的历史行为数据进行筛选；根据筛选后的历史行为数据，生成对应的广告案例推荐序列；

8、步骤s500.将生成的广告案例推荐序列与第二目标用户实际选择的广告案例进行分析，评估广告案例推荐效果，从而得到广告案例推荐指数；并根据广告案例推荐指数与相应阈值之间的大小关系，进行相应的处理。

9、进一步的，步骤s100中将实体和关系的低维向量表示与广告案例文本向量表示进行融合的过程如下：

10、对于每个广告案例，从广告案例知识图谱中获取相关的实体和属性关系的低维向量表示，其中一个广告案例涉及到实体(e1,e2，...)和关系(r1,r2,...)，且对应的向量表示分别为：v_ei和v_rj；i和j分别表示实体和关系的索引；ei表示第i个实体，rj表示第j个关系；使用文本向量嵌入模型将广告案例的文本数据转换为文本向量表示，且文本向量为t；

11、定义一个注意力机制，使得在融合过程中，对文本向量t和对应的每个实体关系对(ei,rj)的向量表示(v_ei,v_rj)进行动态加权融合，具体计算过程如下：

12、计算文本向量t与对应的每个实体关系对(ei,rj)的向量表示(v_ei,v_rj)之间的注意力权重，具体计算公式为：

13、αij＝exp(score(t,v_ei,v_rj))/σ(i’,j’)exp(score(t,v_ei’,v_rj’))；

14、其中，αij表示注意力权重，用于动态加权融合文本向量t与和第i个实体ei、第j个关系rj的向量表示v_ei和v_rj；exp(score(t,v_ei,v_rj))表示文本向量t与实体ei和关系rj之间的相关性评分；σi’,j’exp(score(t,v_ei’,v_rj’))表示所有实体ei'和关系rj'的评分函数值之和；

15、使用注意力权重αij对实体向量v_ei和关系向量v_rj进行加权平均融合，得到综合广告案例特征表示v_case，且v_case＝σ(i,j)αij(v_ei⊕v_rj)。

16、进一步的，步骤s200包括：

17、s201.获取用户的历史行为数据以及用户对推荐广告案例的使用信息，针对每一用户，根据历史行为数据得到相应的广告案例，结合广告案例知识图谱提取对应的实体，并记录提取到的实体数量，且每个广告案例都对应若干个实体；将根据用户的历史行为数据得到的广告案例的数量以及对应若干个实体数量进行汇总，从而得到数据点a(a1,b1)，其中a1表示用户的历史行为数据得到的广告案例的数量，b1表示广告案例对应的实体数量；

18、s202.基于用户对推荐广告案例的使用信息得到用户对于广告案例的浏览数据，且所述浏览数据包括用户浏览广告案例的数量，以及对应广告案例的浏览时长；根据浏览时长与预设浏览时长进行比较，筛选浏览时长大于等于预设浏览时长的广告案例，并基于筛选结果汇总浏览时长大于等于预设浏览时长的广告案例的数量以及对应的实体，从而得到数据点b(a2,b2)，其中a2表示浏览时长大于等于预设浏览时长的广告案例的数量，b2表示浏览时长大于等于预设浏览时长的广告案例对应的实体数量；

19、s202.针对每个用户获取对应的数据点a(a1,b1)与b(a2,b2)，计算两数据点之间的差异度r，且具体计算公式为：r＝(a1-a2)2+(b1-b2)2；将差异度r与差异度阈值r0进行比较，若r＜r0，则将对应的用户划分为第一目标用户；若r≥r0，则将对应的用户划分为第二目标用户。

20、进一步的，步骤s300包括：

21、s301.针对每个第一目标用户和第二目标用户，获取对应的历史行为数据和对应的用户对推荐广告案例的使用信息，并根据对应的广告案例，将历史行为数据和用户对推荐广告案例的使用信息进行关联，从而组成关联数据组，且每个关联数据组都包含广告案例编号、历史行为数据和用户对推荐广告案例的使用信息；根据关联数据组和广告案例知识图谱，得到每个用户对应的初始实体路径c和实际实体路径s，且初始实体路径c和实际实体路径s中，实体表示节点，而连接实体的线段仅表示连接关系，所有连接实体的线段长度均相等；所述初始实体路径是指包含所有历史行为数据对应的广告案例的实体连接路径；所述实际实体路径是指用户对推荐广告案例的使用信息对应的实体连接路径；且实体路径对应的实体均可以在初始实体路径上找到，且初始实体路径对应的实体数量大于实际路径对应的实体数量；

22、s302.针对所有第一目标用户，都获取对应的初始实体路径c1和实际实体路径s1，在初始实体路径c1上标记出实际实体路径s1的节点，并将初始实体路径c1未标记的实体作为间接节点，并将间接节点相邻且连续连接的节点组成的线段作为间接路径j，并将间接路径j对应的历史行为数据进行关联；针对所有第二目标用户，都获取对应的初始实体路径c2和实际实体路径s2，在初始实体路径c2上标记出实际实体路径s2的节点，获取第一目标用户对应的间接路径j，与初始实体路径c2未标记的实体线段进行比较；将与间接路径j不完全一致的实体线段对应的节点作为筛选关键点。

23、通过比对第一目标用户和第二目标用户的历史行为数据，找出筛选关键点，用于筛选第二目标用户的历史行为数据，提高了推荐的针对性。

24、进一步的，步骤s400包括：

25、获取第二目标用户的历史行为数据，根据筛选关键点，并结合关联数据组对第二目标用户的筛选关键点对应的历史行为数据进行筛选，将筛选后的历史行为数据与第一目标用户的历史行为数据进行相似度计算，根据相似度计算结果，按照从大到小的顺序，将对应的第一目标用户的推荐策略进行排列；基于第一目标用户的推荐策略，从而生成相应的第二目标用户的广告案例推荐序列。

26、基于筛选后的历史行为数据，结合第一目标用户的推荐策略，生成第二目标用户的广告案例推荐序列，实现了个性化的广告案例推荐。

27、进一步的，步骤s500包括：

28、s501.获取生成的第二目标用户的广告案例推荐序列和第二目标用户实际选择的广告案例序列，将生成的第二目标用户的广告案例推荐序列标记为x1，将第二目标用户实际选择的广告案例序列标记为x2；基于广告案例推荐序列，获取对应的综合广告案例特征表示，根据综合广告案例特征表示计算x1与x2对应的广告案例推荐序列之间的相似度d；

29、s502.根据x1与x2对应的广告案例推荐序列与相似度d，评估对第二目标用户的广告案例推荐效果，计算广告案例推荐指数z，具体计算公式为：

30、z＝d×[n(x1∩x2)/n(x1∩x2)]；

31、其中，n(x1∩x2)表示x1与x2对应的广告案例推荐序列中相同的广告案例的数量，n(x1∩x2)表示x1与x2对应的广告案例推荐序列中的广告案例的总数量；将广告案例推荐指数z与相应的广告案例推荐指数阈值z0进行比较，若z≥z0，表示对当前第二目标用户的广告案例推荐序列符合预期效果；若z＜z0，表示对当前第二目标用户的广告案例推荐序列不符合预期效果，则输出相应的提示信息，由相关人员进行相应的处理。

32、一种基于多模态数据的广告类案推荐系统，系统包括：数据收集与知识图谱构建模块、用户分类与行为数据获取模块、关键点筛选与历史行为数据处理模块以及推荐生成与效果评估模块；

33、数据收集与知识图谱构建模块根据多模态数据构建广告案例知识图谱，提取实体和属性关系，生成实体和关系的低维向量表示；利用文本向量嵌入模型获得广告案例的文本向量表示，并将其与实体和关系向量进行融合，得到综合广告案例特征表示；

34、用户分类与行为数据获取模块根据用户的行为数据和使用信息，将用户分为第一目标用户和第二目标用户，以及提取用户的浏览行为数据和对应的广告案例实体信息；

35、关键点筛选与历史行为数据处理模块基于用户行为数据，比对第一目标用户和第二目标用户的历史行为数据，从而得到筛选关键点；根据筛选关键点，对第二目标用户的历史行为数据进行筛选；

36、推荐生成与效果评估模块根据筛选后的第二目标用户的历史行为数据生成相应的广告案例推荐序列；将生成的广告案例推荐序列与用户实际选择的广告案例进行比对，计算广告案例推荐指数，并根据设定的阈值判断推荐效果是否符合预期，输出相应提示信息。

37、数据收集与知识图谱构建模块包括数据收集单元、知识图谱构建单元以及向量表示生成单元；

38、数据收集单元负责从广告案例中收集多模态数据，包括文本、图像和视频数据；知识图谱构建单元根据收集到的多模态数据构建广告案例知识图谱，其中包括实体和属性关系的建模，并生成实体和关系的低维向量表示；向量表示生成单元利用文本向量嵌入模型等技术，将广告案例的文本数据转换为广告案例文本向量表示，并将实体和关系的低维向量表示与广告案例文本向量表示进行融合得到综合广告案例特征表示。

39、进一步的，用户分类与行为数据获取模块包括行为数据获取单元和用户分类单元；

40、行为数据获取单元负责获取用户的历史行为数据和对推荐广告案例的使用信息；用户分类单元基于用户对推荐广告案例的使用信息，将用户分为第一目标用户和第二目标用户；

41、关键点筛选与历史行为数据处理模块包括关键点筛选单元和历史行为数据处理单元；

42、关键点筛选单元结合用户对推荐广告案例的使用信息，比对第一目标用户和第二目标用户的历史行为数据，得到筛选关键点；历史行为数据处理单元基于筛选关键点对第二目标用户的历史行为数据进行筛选和处理。

43、进一步的，推荐生成与效果评估模块包括推荐生成单元、效果评估单元以及处理策略单元；

44、推荐生成单元基于处理后的用户特征和行为数据，以及广告案例知识图谱，生成对应的广告案例推荐序列；效果评估单元将生成的广告案例推荐序列与用户实际选择的广告案例进行对比，评估推荐效果，并计算广告案例推荐指数；处理策略单元根据广告案例推荐指数与相应阈值之间的大小关系，进行相应的处理。

45、与现有技术相比，本发明所达到的有益效果是：本发明采用多模态数据，包括文本、图像和视频数据，并构建了广告案例知识图谱；这种方法不仅仅依赖于用户的点击、浏览和搜索记录，而是从多个角度全面分析广告案例的内容和特征，更能够准确地反映广告内容的丰富性和多样性；通过基于广告案例知识图谱的实体和关系的低维向量表示，并结合文本向量嵌入模型，实现了对广告案例的综合特征表示；这种综合特征不仅包括了广告案例的静态特征，还考虑了文本内容的语义信息，从而更精确地捕捉用户的真实兴趣和偏好；本发明根据用户对推荐广告案例的使用信息，将用户分为第一目标用户和第二目标用户，并利用用户行为数据进行筛选关键点；这种分类和筛选过程，有效地提高了对用户真实意图的理解和识别能力，避免了仅仅依赖全量行为数据可能导致的推荐不准确问题；本发明不仅仅生成广告案例推荐序列，还通过计算推荐指数来评估推荐效果的符合度；通过与用户实际选择的广告案例进行对比分析，进一步优化和调整推荐策略，确保广告推荐结果更加符合用户的期望和需求。