一种融合传播特征与多模态内容特征的虚假新闻检测方法

本发明属于虚假新闻检测，具体涉及一种融合传播特征与多模态内容特征的虚假新闻检测方法。

背景技术：

1、社交网络平台渐渐成为了人们获取“快餐式”新闻的重要平台，其传播信息方便快捷、受众广泛的特点也使得虚假信息的传播日益猖獗。有研究指出，达到同样的传播量，虚假信息的传播时间只要真实信息的1/5。然而，由于缺乏领域知识和时间限制，普通人很难区分假新闻和真实新闻。虚假信息传播在政治、经济、社会等各个方面，若不及时识别出虚假信息，可能会造成大规模的负面影响，自动假新闻检测方法对于有效和准确地区分社交网络上的假新闻是必要的。

2、目前的多模态虚假信息检测模型大多是基于单模态特征提取和简单的多模态融合方法，基于简单的特征拼接或加权平均等方式，忽略了不同模态之间的相关性和差异性。尽管有很多研究将多模态内容信息，比如文本与视觉特征相结合来检测假新闻，但它们忽视了新闻与用户之间的传播关系，从而未能充分捕捉社交网络中的社会语境结构表征，造成了检测假新闻的不足。另一方面，通过将网络结构建模为异构图获取新闻传播结构特征，来解决新闻分类问题的方法,没有聚合社交网络中新闻的多模态信息。

技术实现思路

1、针对现有技术的上述不足，本发明提供一种融合传播特征与多模态内容特征的虚假新闻检测方法，以解决上述技术问题。

2、本发明提供一种融合传播特征与多模态内容特征的虚假新闻检测方法，其特征在于，包括：

3、提取新闻中多模态内容特征，并基于缩放点积注意力、多模态注意力机制进行多模态特征融合；

4、构建“新闻-用户-帖子”的节点异构图，并以多模态内容融合特征作为节点特征，通过异构采样获取新闻节点的传播特征；

5、将新闻节点的多模态内容融合特征、传播特征通过transformer编码器-解码器进行聚合；

6、将聚合特征输入虚假新闻分类器预测该新闻节点是否属于假新闻。

7、进一步的，多模态内容特征包括文本特征、视觉特征和用户统计特征，所述进行基于缩放点积注意力的细粒度融合以及基于多模态注意力机制的多模态特征融合，包括：

8、通过bi-lstm网络将用户统计特征与文本特征进行融合；

9、基于缩放点积注意力对文本特征、视觉特征进行特征增强和细粒度融合，包括：基于缩放点积注意力分别对文本特征、视觉特征进行特征增强；通过缩放的交叉点积注意力将文本特征嵌入细化视觉特征、将视觉特征嵌入细化文本特征；

10、对细粒度融合的视觉特征和文本特征的序列进行平均化处理，文本与用户统计融合特征进行维度统一，基于多模态注意力机制进行融合。

11、进一步的，通过改造的vgg19网络提取新闻数据的视觉特征，其中，改造vgg19网络的方法包括：移除了vgg19网络最后三个完全连接层和最后一个最大池层，采用vgg19的前16个卷积层和前4个最大池化层，并在vgg19网络的16个卷积层后面添加两个额外的卷积层。

12、进一步的，所述通过异构采样获取新闻节点的传播特征，包括：

13、采用基于重启随机漫步rwr改进的异构邻居采样方法获取传播特征，该异构邻居采样方法包括：

14、从当前节点的邻居列表中均匀地选择一个邻居节点，同时记录该邻居节点为当前节点的根节点的间接邻居，计算该邻居节点与根节点的余弦相似度，作为该选定节点返回根节点的概率，相似度越低，返回根节点的概率越高；以该邻居节点为当前节点继续进行采样，重复采样过程，形成当前根节点的采样路径；以每个新闻节点作为根节点ni，并进行次迭代的采样。

15、对于每个新闻节点，我们保留其前γ个最频繁的邻居节点，并按照邻居节点的出现频率进行排序，得到的序列作为传播特征。

16、进一步的，所述将新闻节点的多模态内容融合特征、传播特征通过transformer编码器-解码器进行聚合，包括：

17、按照传播结构顺序将多模态内容特征输入transformer编码器中，用于编码异构节点的多模态内容特征和传播特征；

18、将目标新闻节点其同类型邻居节点的多模态内容特征，以及transformer编码器的输出，共同输入到transformer解码器中，用于获取更丰富目标新闻节点及邻居节点的特征表示。

19、本发明的有益效果在于：本发明设计了一种基于缩放点积注意力机制和多头注意力机制的多模态内容特征融合策略用于虚假新闻检测。捕捉不同模态特征的唯一性和相关性，保证识别过程的高性能；

20、本发明提出了利用transfomer编码器-解码器融合新闻传播特征和多模态内容特征的方法，不仅捕捉了社交网络中每个实体的局部多模态语义，还处理了异构社交网络中的全局结构表示。

技术特征：

1.一种融合传播特征与多模态内容特征的虚假新闻检测方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，多模态内容特征包括文本特征、视觉特征和用户统计特征，所述进行基于缩放点积注意力的细粒度融合以及基于多模态注意力机制的多模态特征融合，包括：

3.根据权利要求2的方法，其特征在于，通过改造的vgg19网络提取新闻数据的视觉特征，其中，改造vgg19网络的方法包括：移除了vgg19网络最后三个完全连接层和最后一个最大池层，采用vgg19的前16个卷积层和前4个最大池化层，并在vgg19网络的16个卷积层后面添加两个额外的卷积层。

4.根据权利要求1所述的方法，其特征在于，所述通过异构采样获取新闻节点的传播特征，包括：

5.根据权利要求1所述的方法，其特征在于，所述将新闻节点的多模态内容融合特征、传播特征通过transformer编码器-解码器进行聚合，包括：

技术总结本发明提供一种融合传播特征与多模态内容特征的虚假新闻检测方法，包括：提取新闻中多模态内容特征，并基于缩放点积注意力、多模态注意力机制进行多模态特征融合；构建“新闻‑用户‑帖子”的节点异构图，并以多模态内容融合特征作为节点特征，通过异构采样获取新闻节点的传播特征；将新闻节点的多模态内容融合特征、传播特征通过Transformer编码器‑解码器进行聚合；将聚合特征输入虚假新闻分类器预测该新闻节点是否属于假新闻。本发明本发明能够捕捉不同模态特征的唯一性和相关性，还处理了异构社交网络中的全局结构表示，提升了虚假信息检测准确率。技术研发人员：史欣雅,蒋明,柯咏东受保护的技术使用者：广西师范大学技术研发日：技术公布日：2024/7/25