一种基于小样本学习的多模态脑卒中病变分割方法和系统

1.本发明涉及人体脑部ct检测领域，尤其涉及一种基于transformer深度学习网络、小样本学习以及多模态分析的多模态ct影像缺血性脑卒中病变分割方法和系统。


背景技术：

2.缺血性中风是世界范围内最常见的死亡和残疾原因之一。它是由大脑动脉闭塞引起的，导致缺氧，最终导致受影响的脑组织死亡。脑成像在缺血性脑卒中的诊断和治疗决策中起着至关重要的作用。然而，脑卒中病变的检测和评估需要放射科医生花费大量的时间。下面是最近几年图像语义分割在医学影像中的成果。
3.为了提升缺血性脑卒中的诊断速度与准确度，迫切需要可靠的自动病灶分割方法。过去几年中，卷积神经网络在医学图像分析中已取得巨大进展，现有的医学分割方法主要依赖于u型结构的全卷积神经网络。典型u型网络u-net是由一个具有跳跃连接的对称编码器-解码器组成。u-net在各种医学成像中都取得了巨大的成功，并根据此技术路线，延伸出3d u-net、res-unet等用于各种医学成像模式的图像分割。
4.现阶段大多数论文使用的神经网络体系结构都是在fcn或者u-net上的变体或者改进。比如lucas等人提出了u-net的一种扩展，即，使用附加跳跃连接的多尺度u-net，改善了信息在不同分辨率的传播； islam和ren等人提出了pixelnet网络，是基于vgg-16，缓解类别失衡的问题；wang等人提出了一种基于注意力的合称为dwi图像分割方法，此方法可以获得原始空间cta图像，并和ctp图像进行映射，获得更好的伪dwi合成质量。这些基于fcnn在病变分割方面取得的优异性证明cnn具有很强的学习判断能力，但并没办法完全满足医学应用对于分割精度的严格要求。由于卷机运算固有的局限性，基于cnn的方法很难学习显式的全局和长期语义信息交互。一些研究试图通过使用深度卷积层、自注意机制和图像金字塔来解决问题，但这些方法在建模长期依赖时仍然具有局限性。
5.由于上面所述的cnn方法的局限性，更多人开始从cnn转向了transformer与cnn的结合，比如utnet就是将自注意力机制加入到卷积神经网络中，通过混合架构，利用卷积图像的归纳偏差来避免大规模的预训练，最终增强医学图像分割的准确性；而mctrans则是通过引入新的可学习的proxy embedding方法，将transformer插入到类似u
‑ꢀ
net的网络中，在分割数据上评估性能。上述两种方法都是在cnn网络架构的基础上加入自注意力机制，在医学影像预测上有所提升，但提升程度不高。
6.由于在transformer加入到cnn网络架构后的提升不明显，hu等人提出了基于纯transformer的u-net形的医学图像分割网络，其中利用swin transformer构建encoder、bottleneck和decoder，性能优于transunet、utnet等。所以本专利在基于此网络上针对缺血性脑卒中进行网络架构的提升。
7.ct图像为人体组织断面像，其密度分辨率优于x像检查图像，能良好显示器官结果。为了观察病变组织情况，使用灌注图像，通过碘对比剂在脑组织浓度变化，得到脑血容量、脑血流量、平均通过时间、峰值时间等模态参数，通过这些模态对病灶情况进行评估。每
个模态都有不同的特征信息，对于缺血性脑卒中的病灶信息量大小也不同；ct图像虽然应用范围广泛，可以用于全身各个系统、各个部位，能够发现绝大部分的病灶，但是对于准确显示病灶部位、对病灶部位的边界存在一定的限制，边界不清晰。


技术实现要素：

8.基于此，有必要针对以上存在的问题，提供一种基于小样本学习的多模态医脑卒中病变分割方法和系统。具体的，本发明提供了一种基于小样本学习的多模态ct影像缺血性脑卒中病变分割方法，该方法通过图像形变、放缩、生成对抗等方式，来弥补原本数据样本稀缺的问题，进行数据增广；然后通过配准与多模态的融合，得到的图像具有更多的细节信息，有利于图像的进一步分析和处理，把潜在的目标暴露出来，并通过基于transformer构建的分割网络对图像进行分割，提高模型预测的准确率。
9.第一方面，本发明实施提供了一种基于小样本学习的多模态ct影像缺血性脑卒中病变分割方法，所述方法包括：s1：获取原始脑部训练样本，所述原始训练样本包括多模态ct医学影像和标注图像，其中有ct、cbf、cbv、mtt、tmax和缺血性脑卒中病变标签；s2：将所述多模态医学影像进行预处理，通过图像形变、图像放缩、生成对抗等方式进行图像增广，扩充小样本图像数据集；s3：将数据增广后的多模态图像进行配准，基准图为ct图像，配准后将多模态图像进行像素级融合；s4：将融合的多模态图像数据传入到基于transformer构建的分割网络进行图像分割。
10.其中，所述s2中进行图像增广的步骤包括：图像形变、高斯滤波去噪、图像放缩，生成对抗网络。
11.将所述多模态ct医学影像取出含病灶的样本与不含病灶的样本，一同输入到生成对抗中，得到与真实数据相似的人工样本；将人工样本加入到真实数据中，得到混合的数据集。
12.其中，所述s3包括将ct图像作为基准模态图像，在其中布置若干控制点，通过相似度识别原理，通过回归获得基准模态图像的控制点在其他模态图像最佳匹配的位置，获得与基准模态图像匹配的变形后的待配准图像和基准图像在通道维度上堆叠合并，并将融合后的多模态图像加入到基于transformer构建的分割网络中进行训练。
13.其中，所述s4的transformer深度学习网络模型具体为标记化的图像块被送入基于transformer的u型编解码器结构中，并带有跳跃连接，用于局部全局语义特征学习。
14.其中，所述transformer深度学习网络模型的基本单元为swin transformer块，对于编码器，将不同模块的医学图像分成4*4的非重叠patch，将特征维数变成48，并将投影的特征维度应用线性嵌入层，转换后的补丁标记通过几个swin transformer块和补丁合并层生成分层特征表示，提取上下文特征通过跳跃连接和编码器的多尺度特征融合，来弥补降采样造成的空间信息丢失。
15.本发明还提供了一种使用上述基于小样本学习的多模态ct影像缺血性脑卒中病变分割方法的系统，包括:
样本获取模块：用于获取原始训练样本，所述原始训练样本包括多模态ct医学影像和标注信息；信息增广模块：用于增强所述多模态ct医学影像的特征信息，通过图像形变、图像放缩，生成对抗图像增广等方式，弥补原本数据样本稀缺的问题；图像配准合成模块：通过图像配准，用于合并多图像信息；通过融合有利于图像的进一步分析与理解，还能够把潜在的目标暴露出来。
16.训练模块：用于将所述原始训练样本和所述合成训练样本对病灶检测模型进行训练，并在训练过程中对模态获取信息的能力进行权重调整，最终达到预设的终止条件位置，完成对病灶分割检测模型的训练。
17.实施本发明实施例，具有如下有益效果：通过本发明提供的图像分割方法，不仅能通过生成对抗网络进行小样本图像数据增广，弥补数据样本不足的问题，而且通过多模态图像配准与融合，得到更多的病灶图像信息，提高图像分割的准确率。
附图说明
18.图1是本发明方法的流程示意图；图2是本发明方法的概括性示意图；图3是为数据增广时的生成对抗网络流程图；图4是分割时的基于transformer的u型语义分割网络图。
具体实施方式
19.为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述。
20.如图1、图2所示的图，本发明对于多模态图像先通过生成对抗进行图像增广训练，再通过多模态融合，提取多种模态下不同的特征信息，最后将融合的图像放到由transformer搭建的语义分割网络对图像进行分割，最终得出预测结果。
21.首先对于多模态图像进行数据增广操作。图像数据增广包括图像形变、高斯滤波去噪、图像放缩，生成对抗图像增广等，具体操作如下：如使用形变、放缩，具体是通过resize函数、rotate函数等函数实现；其中如图3生成对抗网络的图像增广具体操作如下：将所述多模态ct医学影像取出含病灶的样本与不含病灶的样本，一同输入到生成对抗中，得到与真实数据相似的人工样本；将人工样本加入到真实数据中，得到混合的数据集。本发明实施例的主要实施步骤如下：步骤1：获取到医疗影像数据集；步骤2：将数据集中区分出含病灶信息的数据样本以及不含病灶信息的数据样本；步骤3：以含病灶信息的数据样本和不含病灶信息的数据样本作为一对输入，加入到生成对抗网络中进行训练，得到人工样本；步骤4：将得到的人工样本加入到数据混入到数据集中。
22.gan是一种非监督式学习方法，通过让两个神经网络相互博弈的方式进行学习。gan是由一个生成网络和一个判别网络组成。生成网络从潜在空间中作为随机采样输入，输
出的结果尽量模仿训练集中的真实样本。判别网络的输入则为真实样本或者生成网络的输出，目的是将生成网络的输出从真实样本中尽可能分辨出来。生成网络的作用是尽可能欺骗判别网络。
23.cyclegan是一个基于gan的网络模型。cyclegan本质上是两个镜像对称的gan，构成一个环形网络。两个gan共享两个生成器，并且各自带一个判别器，即总共有两个判别器和两个生成器。cyclegan在风格迁移任务上表现很好。本实例通过对cyclegan进行改进，构建适用于医学影像样本数据扩充的网络模型。
24.如图3所示，首先将无病灶的缺血性脑卒中样本输入到生成器中，通过生成器生成了病灶样本后，与本身的病灶样本输入到鉴别器中进行判别，并将鉴别器训练到更好地区别真实数据；之后再将输出的生成样本数据输入到镜像生成器中，输出重构的无病灶样本数据。
25.此生成对抗网络的损失和传统的gan差不多：生成器损失计算造假图像经过判别器判断为1的损失；判别器计算造假图像经过判别器判断为0的损失 真实图像经过判别器判断为1的损失。
26.在获得上述的数据增广得到扩增的数据集后，进行图像融合操作。在本实施例中，通过对ct图像作为配准基准图，进行图像配准以及图像融合的操作，获得对多个模态的多个特征信息的融合，以便在小样本数据集中获得多的信息样本。
27.多模态融合操作，包括以下步骤：步骤1：将多模态图像中的ct图像作为基准模态图像，其他模态图像为待配准图像。在基准模态图像中定位一个控制点；步骤2：对其他模态图像进行空间变换，通过相似度回归模型获得基准模态图像控制点在待配准图像上面的最佳匹配位置；步骤3：通过采样，获得与基准模态图像匹配的变形后的待配准图像和基准图像在通道维度上堆叠合并；步骤4：将合并后的多模态影像行病灶分割。在进行图像融合后将融合的多模态图像数据传入到如图4的网络结构中。
28.如图4，本发明通过研究语义分割在医学影像中的作用以及现阶段的发展，总结并针对现阶段已有的技术的优势和改进点，在原有的网络结构上进一步提升，成为改进的语义分割图像方法，通过在原有的u型transformer网络结构上，增加生成对抗网络。相比于之前的网络，此网络能更好的兼顾全局和局部信息，并且优化便捷，最终得到的分割中物体的形状和边界更加清晰，分类更加准确；如图4，本发明受swin-unet启发，本发明中的网络是以编码器、解码器以及残差连接组成的u型网络。网络的基本单元是transformer block。
29.此处的transformer block为swin-transformer块。它是基于平移窗口构造的。每个swin-transformer块是通过layernorm层、多头自注意模块、剩余连接和具有具有gelu非线性的两层mlp组成。在两个连续的transformer块中分别采用基于窗口的多头自注意模块和位移的基于窗口的多头自注意模块。
30.如图4中的编码器，将标记化输入输入到连续的两个swin-transformer块中进行表示学习，特征维度和分辨率保持不变。同时，patch 合并层会减少token的数量，将特征维
数增加到2
×
原始维数。此过程将在编码器中重复三次。
31.如图4中的解码器，与编码器与之对应。在解码器中通过expand层对提取的深度特征进行上采样，将相邻维度的特征图重塑为更高分辨率的特征图，并将特征维数减半。
32.如图4中的残差连接，是用于连接编码器中多尺度特征和上采样特征，这里将浅层特征和深层特征连接在一起来减少降采样的时候带来的信息损失。
33.此网络结构，主要是通过带有位移窗口的swin-transformer作为编码器提取特征，并设计了带有patch的transformer 块扩展层的对称解码进行上采样操作，恢复特征图的分辨率。此方法带来了更好地分割精度。
34.以上为整个发明的具体步骤，通过数据增广方式，在小样本的医学图像上获得更多，分辨率更高的医学影像；获得图像增广后的多模态医学图像进行融合，获取到多模态图像数据；将融合后的图像数据传入到分割网络中，以获得更加精确的分割信息。