基于动态传播社交图的多模态虚假新闻检测方法

本发明属于信息安全，是一种涉及多模态融合、社交网络异构图、注意力机制和transformer搭建的基于动态传播社交图的多模态虚假新闻检测模型(dpsg)。在三个数据集上的实验结果证明了提出模型在虚假新闻检测任务上的有效性。

背景技术：

1、随着社交媒体的兴起，相比于传统获取新闻的方式，人们更倾向于从社交媒体上获得新闻。然而，社交媒体在为人们生活带来便利的同时，也推动了虚假新闻的传播。虚假新闻是指通过修改图片、文本，或采用不匹配的图片、内容等方式，歪曲事实，欺骗观众，以达到操纵政治舆论、谋取私利的目的。多模态形式的虚假新闻具有更强的视觉冲击性，在社交媒体中传播速度更快、更广泛，对公众造成的危害更具有破坏性。因此，设计一个快速准确的虚假新闻检测模型是有必要的。

2、传统的虚假新闻检测模型主要是基于文本的单模态模型，它们利用从新闻文本中提取的语义特征、基于立场特征、情感特征等进行检测。随着社交媒体的发展，新闻内容逐渐丰富，包括文本、图像等多模态形式。因此，一些基于多模态的检测模型被提出。但新闻在社交网络中并不是独立存在的，这些模型仅关注新闻内容，没有同时考虑新闻在社交网络中的社会语境。

3、在社交网络中，新闻与用户、帖子等实体有多种类型的关系，这些关系可以通过异构图来表示。附图2所示是一个新闻异构图例子。在附图2中，用户7发布了新闻3，并转发了新闻2，用户3转发了新闻1和新闻2，新闻1和新闻3、新闻1和新闻2很可能拥有相同标签(或新闻内容相似)。如果仅关注新闻内容是无法捕获附图2中所示的新闻1和新闻3、新闻1和新闻2之间的内在联系的。将与目标新闻节点有这种内在联系的节点称为新闻邻居节点、用户邻居节点、帖子邻居节点。

4、图注意网络(gat)和图卷积网络(gcn)等图神经网络(gnn)通过聚合邻居节点学习目标节点的特征表示，在处理图结构数据时取得了较好的效果。然而，大多数现有的图模型主要用于处理同构图而不是异构图。一些针对异构图的模型虽然已经提出，但其中一些仍存在边同构或节点同构的问题，无法全面准确地捕捉新闻异构图的复杂性。最近，研究人员将transformer应用到异构图的处理中，通过transformer的编码器-解码器结构来捕获结构信息。

5、以上方法虽然在虚假新闻检测任务中有较好的性能，但它们存在以下不足：(1)难以捕捉动态融合。现有模型在进行多模态融合或聚合邻域上下文信息时赋予相同关注度，没有考虑到时序相似强度。具体来说，当发布一条新闻后，与发布时间越近的帖子越能反应新闻内容和用户的实时反应。因为随着时间增加，用户会获取到新的信息，或对新闻内容有更深入了解。(2)浅层的图结构特征表示。通过附图2可以看出深度捕获传播模式中的图结构信息对于提高虚假新闻检测性能的重要性。现有模型大多无法同时捕获图结构中节点和边之间的复杂关系以及传播模式中节点间的依赖关系。

技术实现思路

1、本发明目的在于克服现有模型存在的不足之处，搭建一种考虑传播模式动态社交图的虚假新闻检测模型，称为基于动态传播社交图的多模态虚假新闻检测模型。该模型预测准确率高，鲁棒性强，与现有模型相比在虚假新闻预测上有较好的性能。

2、本发明的技术方案是：

3、一种基于动态传播社交图的多模态虚假新闻检测模型(dpsg)，设计时序相似强度对传播序列中的邻居加权，并进行多模态动态融合。然后，构建目标节点的传播社交图，利用增强后的节点表示和图结构采用动态符号加权的方法捕获局部上下文结构。最后，利用transformer感知传播序列中的全局语义并对多域信息融合进行虚假新闻检测。

4、基于动态传播社交图的多模态虚假新闻检测方法，通过多模态虚假新闻检测模型实现，本发明的基于动态传播社交图的多模态虚假新闻检测模型架构图，其包括传播序列捕获层、特征表示层、多模态动态融合、增强图结构抽取和邻居语义感知五部分，具体实施包括如下步骤：

5、步骤1：传播序列捕获层：根据数据集中的新闻、帖子和用户三类实体构建新闻异构图g＝(v，e)，其中v＝{n,p,u}表示新闻、帖子和用户三种节点类型的节点集，e表示它们之间的边集，mn、mp和mu分别表示新闻节点、帖子节点和用户节点的个数，遍历新闻节点ni∈n，对每个起始节点ni进行以下步骤t次：以概率p返回起始节点，或随机选择ni的邻居节点加入n(ni)集合中，直到对应类型邻居节点收集到规定数量，以确保每种类型的邻居节点都被采样，对n(ni)集合中新闻邻居节点nn、帖子邻居节点np和用户邻居节点nu按照被采样频率排序，保留前k个频率最高的邻居节点，k＝kn+kp+ku；

6、步骤2：特征表示层：对于文本首先利用分词器填充或截断为长度为n的token序列t＝{[cls],o1,o2,...,on,[sep]}，然后将t输入到微调的roberta模型获得嵌入向量，用[cls]的嵌入向量表示整个token序列的嵌入向量表示dt表示嵌入维度，采用以上方法，依次获得以下标准化后的嵌入向量表示：新闻标题et、新闻内容ec，帖子信息ep，用户描述eu，对于视觉特征表示，使用预训练的resnet18模型获取细粒度的图像特征向量，标准化后得图像表示其中dv表示图像特征向量维度，一些数值属性和类别属性，采用one-hot方法转为稀疏特征表示。数值属性进行归一化保证数值范围一致，得到帖子其他特征向量用户其他特征向量其中dop，dou分别表示帖子和用户其他特征向量的维度；

7、步骤3：多模态动态融合。为了精准获得异构图中每种类型节点的特征表示，设计多模态动态融合层，该层由时序相似强度和时序渗透融合块两部分组成。

8、进一步的，步骤3所述的时序相似强度中：

9、在目标新闻节点的新闻邻居节点和帖子邻居节点中，距离目标新闻节点越近的邻居节点，其内容越能反应目标新闻节点发布是的社会语境，因此设计时序相似强度，新闻邻居nn中的第o个邻居与目标新闻ni的时间间隔计算如式(1)所示

10、

11、其中表示目标新闻ni的发布时间，to表示新闻邻居nn中第o个邻居的发布时间；

12、新闻邻居nn中的第o个邻居对目标新闻ni的时序相似强度如式(2)所示

13、

14、利用以上方法，可获得新闻邻居和帖子邻居对目标新闻ni的时序相似强度sn、sp，其中

15、进一步的，步骤3所述的时序渗透融合块中：

16、设计时序渗透融合块捕获新闻、用户和帖子三种类型节点的多模态动态融合特征，利用自注意机制来捕获各属性特征的内部依赖关系，以目标新闻ni的新闻邻居为例，首先拼接新闻节点的属性特征，包括标题、内容和视觉，进行线性转换为统一维度d，新闻邻居的标题特征et的获取如式(3)所示

17、

18、其中，是可训练参数，concat(·)表示向量拼接操作；

19、采用多头自注意机制并行捕获新闻标题的语义依赖特征计算如式(4)所示

20、

21、其中，

22、采用相同方式，可以获得新闻邻居节点的新闻内容语义依赖特征视觉语义依赖特征和时序语义依赖特征然后，时序加权渗透可以向属性特征中渗透各邻居节点的时序信息，捕获邻居之间的动态关系，新闻标题时序渗透特征计算如式(5)所示

23、

24、其中，和分别表示目标新闻ni的新闻类型邻居的时序语义依赖特征和新闻标题语义依赖特征，

25、通过公式(5)可以获得新闻节点类型的新闻内容时序渗透特征和视觉时序渗透特征搭建平均池化层将新闻节点类型的三个属性特征融合到一起，获得新闻节点的融合特征表示计算如式(6)所示

26、

27、其中，meanpool(·)表示平均池化操作。

28、采用以上相同方式可以获得目标新闻ni的融合特征帖子邻居的融合特征通过融合时序渗透信息和其他特征获得，而用户邻居的融合特征则无需考虑时序渗透，因为用户邻居间不存在动态关系，所以用户节点的融合特征通过融合内部依赖增强后的描述特征和其他特征获得，其中

29、步骤4：增强图结构抽取。由图结构增强、动态符号注意块和多模态对齐三部分组成。

30、进一步的，步骤4所述的图结构增强中：

31、图结构特征的抽取主要涉及到节点本身所包含的信息、节点间的关系两部分信息，对于节点本身的信息部分，采用多模态动态融合模块获得的融合特征，将多模态动态融合模块获得目标新闻的融合特征与其邻居节点的融合特征按照传播轨迹捕获序列n(ni)的顺序拼接一起，共同构成目标新闻ni的动态邻居嵌入序列efus∈rl×d，该序列中第一行为目标新闻ni的融合特征，其中l＝1+kn+kp+ku，对于节点间的关系部分采用搭建邻接矩阵的方式来表示，邻接矩阵的构建主要是从两种角度来获得节点间的复杂连接关系，一种是在异构图g中寻找l个节点间的连接关系，另一种是借助余弦相似度补充边连接，后者是因为在社交网络中，可能会因为个人隐私或数据爬取问题，不可避免的导致获取到的数据的不完整性，根据网络同质性，相似的节点间更容易产生连接，依据动态邻居嵌入序列计算各个节点间的余弦相似度，将余弦相似度大于0.5的节点间也添加边连接，在补充后，构建一个l×l的邻接矩阵a，若两节点间存在边则标为1，否则标为0，补充后的邻接矩阵包含更加全面的节点间的连接关系。

32、进一步的，步骤4所述的动态符号注意块中：

33、搭建动态符号注意块计算节点间的动态注意系数并按符号为邻居节点加权，以融合形成包含深度且丰富的图结构特征；

34、动态注意系数主要通过图注意力机制网络计算，在该过程中，由于动态邻居嵌入序列中渗透了时序语义，因此图注意机制在计算注意系数时也融合了节点间的动态关系，动态邻居嵌入序列的节点间的动态注意系数e+计算如式(7)所示

35、e+＝leakyrelu((efuswa1)+(efuswa2)t)(7)

36、其中，efus表示目标新闻ni的动态邻居嵌入序列，w、a1和a2为可训练参数，a1和a2分别为权重a的前d行和后d行，a∈r2d，efus∈rl×d，w∈rd×d，e+∈rl×l；

37、对动态注意系数e+标准化，如式(8)所示

38、e+′＝softmax(e+)  (8)

39、在动态注意系数e+中会存在一些负值，这些负值反应了节点间的负相关关系，比如反对目标新闻的帖子等现象，这种关系对虚假新闻检测任务也很重要，但在softmax(·)函数后负值会变为较小值，这种负相关关系就会被忽略，因此，令e-＝-e+，然后再进行标准化，如式(9)所示

40、e-′＝softmax(e-)  (9)

41、基于标准化后的动态注意系数e+′和e-′，根据邻居矩阵a中节点间的连接，按符号为邻居节点加权并聚合，将捕获正相关与负相关关系的聚合特征拼接，通过全连接层获得动态符号注意块输出特征fg，计算如式(10)所示

42、cfg＝relu((e+′efus||e-′efus)wg)  (10)

43、其中，relu(·)为激活函数，||表示拼接操作，wg为可训练参数，wg∈r2d×d，fg∈rl×d；

44、将动态邻居嵌入序列输入动态符号注意块h次，用不同的动态注意系数加权聚合邻居节点，拼接输出后再次输入动态符号注意块中去获得更加全面和综合的图结构特征fg，计算过程如式(11)所示

45、

46、其中，表示第j次获得的图结构特征，j∈[1,h]，dsa(·)表示动态符号注意块，σ(·)表示sigmoid激活函数，fg∈rl×d。

47、进一步的，步骤4所述的多模态对齐中：

48、采用多头注意力增强目标新闻及新闻邻居节点的图结构特征和融合特征，并将图结构特征和文本-视觉融合特征变换到同一特征空间中，如式(12)所示

49、

50、其中，和分别表示目标新闻ni及其新闻邻居节点的图结构特征，||表示拼接操作，

51、然后，采用mse损失函数衡量图模态对齐，计算如式(13)所示

52、

53、步骤5：邻居语义感知。在获得目标新闻及其各类型邻居的融合特征以及图结构特征后，采用transformer的encoder-decoder结构感知新闻传播序列上节点的上下文语义，获得目标新闻的感知特征，用于训练分类器。

54、进一步的，步骤5所述的transformer结构输入中：encoder的输入包括目标新闻节点ni及其n(ni)中所有邻居的融合特征表示efus、对应位置嵌入epos、图结构特征fg和节点类型嵌入etype，对于efus和fg采用公式(12)增强并转换到同一特征空间中，获得增强后特征表示e'fus和fg'，encoder输入序列henc如式(14)所示

55、henc＝e'fus+epos+fg'+etype(14)

56、其中，henc∈rl×d；

57、decoder的输入包括目标新闻ni及其n(ni)中的新闻邻居的增强后的融合特征表示对应位置嵌入增强后的图特征表示和节点类型嵌入decoder输入序列hdec如式(15)所示

58、

59、其中，

60、将获得的henc和hdec按照目标新闻ni的传播序列顺序分别馈送到transformer模型的encoder和decoder中，捕捉节点间的关系，学习节点间信息交互与传递，聚合邻居节点的上下文语义信息，获得目标新闻ni的感知特征表示hawa。

61、进一步的，本步骤5所述的训练分类器中：将目标新闻ni的感知特征表示hawa输入全连接层中，并通过sigmoid激活函数预测目标新闻是否为虚假新闻，计算如式(16)所示

62、

63、其中，wawa和bawa分别为可训练权重和偏置，σ(·)表示sigmoid激活函数；

64、采用交叉熵损失函数进行计算，如式(17)

65、

66、总体损失l如式(18)所示

67、

68、其中λa和λc分别用来平衡la和lc两个损失函数。

69、进一步的，本发明步骤3中的多头自注意机制的方法为：多头注意机制将输入et映射到查询、键和值三个矩阵中，使用q′＝etwtq、k′＝etwtk和v′＝etwtv方式将et线性变换h次，并行执行注意机制，多头注意机制计算如式(19)(20)所示

70、

71、

72、其中，dk表示k′的维度，wm∈rd×d，d表示统一投射维度，||表示拼接操作。

73、本发明的优点和有益效果：

74、本发明为虚假新闻检测领域提供了一种全新的思路和方法，具有高准确率、强鲁棒性等优点，提出了一种基于动态传播社交图的多模态虚假新闻检测模型(dpsg)。该模型利用多模态动态融合模块，以时序加权方式融合传播序列中各节点的多模态特征。通过符号注意块获取图结构特征，并利用transformer感知全局语义，从而实现对传播模式的准确捕获。在多个数据集上的实验结果表明，模型在虚假新闻检测任务上表现出了显著的优越性。通过分析实验结果，在基于gnn的方法中，模型相比其他方法表现出更好的性能，尤其在构建异构节点和异构边的模型方面。此外，模型还在捕获时序信息和全局语义信息上取得了较好的效果，相较于其他基线模型，在准确率和f1分数上均取得了显著提升。综上所述，本发明为虚假新闻检测任务提供了一种创新的解决方案，具有重要的应用前景和实际意义。