一种基于GNN和CNN双向结合的CT图像分类模型构建方法

本发明涉及医学图像分类，特别的涉及一种基于gnn和cnn双向结合的ct图像分类模型构建方法。

背景技术：

1、计算机断层扫描成像(computer tomography,ct)是一种通过x射线成像技术，利用计算机算法将二维横截面图像转换为三维体积数据的医学影像。ct图像在医学领域中广泛用于诊断和治疗规划，可清晰显示人体内部的骨骼结构、组织器官、血管和肿瘤等病变。所以ct图像在医学中扮演着重要的角色，通过发现ct图像中的异常结构或病变，可以帮助医生及时发现疾病的早期征兆，提供更早的诊断和治疗机会。此外，ct图像的分析还能为精准诊断提供支持，帮助医生准确诊断疾病类型、病变位置和程度，为患者提供更精准的治疗方案。

2、医学图像作为数字图像中一类特殊的图像，一直很依赖于医生的主观评判，ct图像也不例外。医生通过肉眼观察ct图像的形状、密度、边缘等特征来进行诊断。这是最传统的方法，通常需要经验丰富的医生进行解读。而计算机辅助诊断(computer-aided diagnos i s,cad)结合人工智能和机器学习算法，能够帮助医生更准确地分析ct图像中的异常结构或病变。通过cad系统，计算机可以快速处理大量的图像数据，提取关键信息并生成辅助诊断报告。随着技术的不断进步和计算机辅助诊断算法的持续改进，计算机辅助诊断的未来在改革医学诊断、提高患者治疗效果方面具有巨大的潜力。

3、近年来，深度学习方法在各种医学图像分析任务中取得了越来越大的成功，深度卷积神经网络(convo l ut i ona l neura l network,cnn)已经被应用于开发人类疾病的先进cad方法，如欧阳等人在某文章中提出了一个具有3d卷积网络的新颖在线注意力模块，以便在做出诊断决策时关注肺部的感染区域。深度学习虽然在医学图像领域取得了一定的成就，但还是无法与深度学习在自然图像领域取得的成就相比较，原因在于医学图像具有解剖学复杂性、多样性、高灰度和隐私等问题。另一方面深度学习在处理医学图像时，还有很多局限性。如自然图像领域迁徙的cnn微调模型和权重用于分析医学图像，最终结果与医生给出的诊断可能有很大差距。再如ct图像训练任务大多使用二维ct切片作为cnn模型的输入，而这些切片缺乏深度信息，导致无法识别解剖结构从而无法对疾病分类，而3dcnn可以获得空间信息，帮助疾病诊断，但训练一个良好且功能强大的3d cnn需要大规模带注释的训练数据集，这就涉及到成本问题和隐私问题。

4、图神经网络(graph neura l network,gnn)是最近的一个研究热点。gnn主要应用在一些存在复杂关系的场景中，比如推荐系统、社交网络和分子结构等。gnn强大的学习和聚类能力，不适用于图像和文本这类欧几里得数据。但gnn在非欧几里得数据任务拥有强大表现，且图像本身是一种特殊的图，这使得图像任务模型有使用gnn的可能，陈等人在文章“mu l t i-labe l image recogn i t i on with graph convo l ut i ona lnetworks”中已经使用gnn帮助cnn进行自然图像多标签识别。

5、为此，提出一种基于gnn和cnn双向结合的ct图像分类模型构建方法。

技术实现思路

1、本发明的目的就在于为了解决上述问题而提供一种基于gnn和cnn双向结合的ct图像分类模型构建方法，解决基于cnn的模型通过ct图像进行疾病诊断准确率较低的问题。即提出的分类模型能很好的融合现有基于cnn的分类模型，提升cnn在ct图像数据集上的表现，并支持gnn和cnn的双向结合，增强了网络实际使用中的泛化性。

2、本发明通过以下技术方案来实现上述目的，一种基于gnn和cnn双向结合的ct图像分类模型构建方法，包括以下步骤：

3、步骤1，ct图像数据集划分合适比例的训练集和验证集。根据数据集大小调整训练集和验证集比例，保证各标签的数据量大致相同。

4、步骤2，cnn模型输入预权重，将步骤1的训练集预处理后输入模型提取图像特征。

5、步骤3，根据分类要求和医生经验，构建图的框架，构图方向可选择纵向构图，如患者ct图像的多个切片作为图节点,切片之间的空间关系作为边的连接依据。选择横向构图，可将其他病人图像信息作为图节点，性别和年龄等作为节点之间的权重。

6、步骤4，选择cnn模型或者gnn模型作为融合特征输出方向。若选择gnn模型输出作为最终标签，则将步骤2提取的图像特征作为步骤3建立图框架的图节点特征(方式1)。若选择cnn模型输出作为最终标签，则将通过步骤3中gnn模型训练后图节点的特征值构建标签关联矩阵，作为分类器，输入cnn模型的全连接层(方式2)。

7、步骤5，方式1则进行gnn模型节点的聚合、更新，输出标签值，方式2则将全连接层的特征映射与标签关联矩阵采取相乘的方式进行融合，输出标签值。

8、步骤6，建立损失函数，通过梯度下降更新模型参数，设置合理的超参数进行训练。

9、步骤7，输入测试集，验证模型性能。

10、优选的：在步骤2中，采用的resnet-101网络并不需要进行专项的预训练，只需在大型数据集，如imagenet上训练得到初始权重即可，这些权重在互联网上公开并且可轻易获取，无需进行分步训练。

11、优选的：在步骤3中，在医学图像领域引入gnn模型，单独的gnn模型并不适合图像任务，但与图像领域的cnn模型结合，却能达到相辅相成的效果。gnn算法很多，这里以最经典的图卷积网络(graph convo l ut iona l network,gcn)来介绍，其基本思想是通过在节点之间传播信息来更新节点表示。

12、与对图像局部欧几里得结构进行操作的标准卷积不同，gcn的目标是学习图g上的函数f(.,.)，该函数以图g的特征描述fl∈rn×d和对应的邻接矩阵a∈rn×n作为输入(其中n表示节点数，d表示特征的维度)，并将节点特征更新为fl+1∈rn×d*，每一个gcn层都可以写成一个非线性函数：

13、fl+1＝f(fl,a)

14、函数f(.,.)可以具体展开写为：

15、

16、式中是邻接矩阵a正则化后的结果，是待学习变换的矩阵。堆叠多个这样的gcn层来学习节点之间的复杂关系，实现对cnn模型的半监督。

17、优选的：在步骤4中，cnn模型和gnn模型可双向融合，这实际操作中就有了更多的选择性，模型中本质上是cnn和gnn需要对方的功能特点进行互补。

18、优选的：在步骤5中，节点的聚合、更新是对节点特征值的操作，第一层的初始节点特征值来自于步骤3构图时获取的节点信息，节点信息为图像，则节点特征值则表示为提取的图像特征，节点信息为非图像，则节点特征值来自于非图像信息的提取的词向量。节点信息的多样选择，在同一医学图像任务中，可采取多种构图方式，只要有效构图，即保证相互关系的正确，就可保证对cnn模型分类性能的提升。

19、优选的：在步骤6中，医学图像最终是用于医生对病情的诊断，计算机辅助诊断在实际情况中多可表示为分类问题，如正常、严重、较轻和异常等，损失函数选择：

20、

21、式中σ为s igmo id函数，yc为真实标签，为模型预测标签。

22、本发明的有益效果是：

23、本发明提出了一种ct图像的分类模型，该模型采用将gnn与cnn进行融合的方法。利用gnn对特征信息和结构信息的学习能力，对cnn处理ct图像进行半监督，提高cnn对ct图像的学习和分类效果，也可利用cnn对图像数据特征提取的优良表现，改进gnn面对欧几里得数据的不佳表现。同时该方法为gnn在面对ct图像任务时提出两种方向的构图方式，一是以患者自身信息进行纵向构图，二是多名患者数据进行横向构图，这两种构图方式可满足大多数ct图像分类任务的构图需要。