一种基于先验-后验概率编码器的多模态MR图像分割方法

一种基于先验-后验概率编码器的多模态mr图像分割方法
技术领域
1.本发明属于图像处理领域，更具体地，涉及一种基于先验-后验概率编码器的多模态mr图像分割方法。


背景技术：

2.医学图像分割将现代计算机自动化技术运用到医学图像处理之中，通过分割医学图像中具有特殊含义的部分(例如各个器官或肿瘤)，并提取相关特征，为诊断分类等医学图像其它后续工作提供更准确的处理结果。在mr的成像过程中，来自多个成像模态(例如t1加权序列图像，t2加权序列图像，flair序列图像等)的图像具有相同的解剖结构，但每个模态显示出独特的软组织对比度，使得来自多模态的互补信息比来自单个成像模态的信息具有更好的预测能力。基于多个模态图像的分割技术关键点在于将来自不同图像源的信息进行有效融合，并在不同模态信息出现矛盾时进行准确的判断和选择。现有研究已经对特征融合的最佳位置做了很详尽的探讨，例如前期融合、后期融合和多层融合。然而，大多数网络采用的融合方式仍然是特征图的简单拼接或相加，并没有额外的信息作为融合指导。现有方法的优点在于操作简洁、通用性强，但其特征融合效果差，难以处理复杂多模态信息的选择问题。


技术实现要素：

3.针对现有技术的以上缺陷或改进需求，本发明提供了一种基于先验-后验概率编码器的多模态mr图像分割方法，由此解决现有的图像分割方法对多模态图像的融合效果差的技术问题。
4.为实现上述目的，按照本发明的第一方面，提供了一种基于先验-后验概率编码器的多模态mr图像分割方法，包括：
5.训练阶段：
6.以多模态mr图像为训练样本，以所述多模态mr图像的分割图像为标签，对概率融合模型进行训练；其中，所述概率融合模型包括特征提取模块、先验编码器及多模融合模块；
7.所述训练阶段的损失函数包括后验概率向量及先验概率向量之间的余弦相似度损失，以及分割结果与标签图像之间的交叉熵损失；
8.其中，所述先验概率向量由所述先验编码器对经通道拼接后的多模态mr图像进行编码后得到；所述分割结果由所述多模融合模块根据所述先验概率向量对所述特征提取模块输出的多模态特征图进行加权求和及上采样处理后得到；所述后验概率向量为将所述多模态特征图及标签图像进行通道拼接后输入至后验编码器进行编码后得到；
9.应用阶段：
10.将待分割的mr图像输入至训练好的概率融合模型，得到分割结果。
11.优选地，所述多模融合模块根据所述先验概率向量对所述多模态特征图进行加权
求和得到融合特征图，并通过跳跃连接，在融合特征图的上采样过程中结合所述特征提取模块进行特征提取时生成的中间特征图，得到分割结果。
12.优选地，所述先验编码器根据所述特征提取模块进行特征提取时生成的中间特征图，对经通道拼接后的多模态特征图进行编码后得到先验概率向量；
13.所述后验编码器根据所述特征提取模块进行特征提取时生成的中间特征图，对将所述多模态特征图及标签图像进行通道拼接后生成的拼接图像进行编码后得到后验概率向量。
14.优选地，所述先验概率向量w
pri
与所述融合特征图y
fusion
满足以下关系式：
15.y
fusion
＝concat(w
pri
·yfeature_a
,(1-w
pri
)
·yfeature_b
)；
16.其中，y
feature_a
、y
feature_b
分别为模态a、b的特征图。
17.优选地，所述训练阶段的损失函数包括后验概率向量及先验概率向量之间的余弦相似度损失为：
[0018][0019]
其中，w
pri
和w
pos
分别为先验概率向量和后验概率向量。
[0020]
优选地，所述损失函数为：
[0021]
l＝l
entropy
αl
cos
；
[0022]
其中，l
entropy
为交叉熵损失，a为权重因子。
[0023]
优选地，所述先验编码器及后验编码器均包括多个依次连接的下采样层及池化层。
[0024]
按照本发明的第二方面，提供了一种基于先验-后验概率编码器的多模态mr图像分割系统，包括：计算机可读存储介质和处理器；
[0025]
所述计算机可读存储介质用于存储可执行指令；
[0026]
所述处理器用于读取所述计算机可读存储介质中存储的可执行指令，执行如第一方面所述的方法。
[0027]
总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果：
[0028]
1、本发明提供的方法，通过先验-后验概率编码器在训练过程中生成各个分支网络的权重向量，通过学习已有数据的模式，分配网络对不同模态特征图的注意焦点，在多模网络中实施更有针对性的局部加权融合，提高网络判断多源信息置信度的能力，最终提高分割精度与模型鲁棒性。
[0029]
2、本发明提供的方法，结合了前期融合和多层融合的思路，通过下采样和上采样之间的跳跃连接，在融合以外保留了单独模态的特异信息，有益于处理不同图像源提供的互补与矛盾信息。
[0030]
3、本发明提供的方法，提出了一种基于先验-后验概率编码器的深度学习网络框架和对应的概率融合模型训练方法；先验-后验编码器结合多模态信息，将不同模态的置信信息用于端到端网络的通道维加权融合，同时结合了编码过程中的多尺度特征信息，在不同分辨率上考虑信息编码，能够促进来自不同成像模态的信息高效融合，从而提高mri的分割精度。
附图说明
[0031]
图1为本发明实施例提供的训练阶段流程示意图；
[0032]
图2中的(a)、(b)分别为本发明实施例提供的概率编码模块、多模融合模块结构示意图。
具体实施方式
[0033]
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
[0034]
本发明实施例提供一种基于先验-后验概率编码器的多模态mr图像分割方法，如图1所示，包括：
[0035]
训练阶段：
[0036]
以多模态mr图像为训练样本，以所述多模态mr图像的分割图像为标签，对概率融合模型进行训练；其中，所述概率融合模型包括特征提取模块、先验编码器及多模融合模块；
[0037]
所述训练阶段的损失函数包括后验概率向量及先验概率向量之间的余弦相似度损失，以及分割结果与标签图像之间的交叉熵损失；
[0038]
其中，所述先验概率向量由所述先验编码器对经通道拼接后的多模态mr图像进行编码后得到；所述分割结果由所述多模融合模块根据所述先验概率向量对所述特征提取模块输出的多模态特征图进行加权求和及上采样处理后得到；所述后验概率向量为将所述多模态特征图及标签图像进行通道拼接后输入至后验编码器进行编码后得到；
[0039]
应用阶段：
[0040]
将待分割的mr图像输入至训练好的概率融合模型，得到分割结果。
[0041]
需要说明的是，在训练阶段，如图1所示，本发明提出的网络结构由三个主要模块构成：特征提取模块、概率编码模块和多模融合模块；概率编码模块包括先验编码器及后验编码器，其中，后验编码器用于根据训练标签在训练过程中编码得到一个概率向量范本，该范本包含了标签给出的信息，能有效指示不同模态分支的通道维置信度，后验编码器的输出通过余弦相似度损失对先验编码器进行训练，以校准先验编码器，从而对包括特征提取模块、先验编码器及多模融合模块的概率融合模型进行训练，训练完成后，概率融合模型的实际运用过程中，不再需要后验编码器的参与。
[0042]
具体地，训练阶段包括以下步骤：
[0043]
1)获取临床的mr多模态图像(例如：mr多序列图像)，进行归一化处理，并通过专家或医师的手动描绘得到训练数据的对应的分割结果(ground truth)作为训练标签(即分割标签)，搭建深度卷积神经网络模型。
[0044]
2)将步骤1)中采集到的多模态mr图像在特征提取模块中经由基于多层卷积进行特征提取，并保留下采样过程中得到的中间特征。
[0045]
可以理解的是，由于特征提取模块的输入为多模态mr图像，相应地，特征提取模块包括多个特征编码器，特征提取编码器的数量与输入的mr图像的模态数量相同。例如：若多
hot形式，并减去0.5，使这个标签图像矩阵中每一点的数值为-0.5或0.5。
[0058]
先验编码器和后验编码器均分别由一系列卷积核为3
×
3、步长为1或2的卷积交错组成，同特征提取模块一样，步长为2的卷积起到下采样的作用，两个编码器不共享参数，完全独立。在编码器的最后，通过在通道维的均值池化和sigmoid函数，得到两组尺度为[batchsize,384]的概率向量w
pri
和w
pos
，最终将图形信息投影到一个共同的高维隐空间。
[0059]
例如，两个编码器均包括三个下采样层，每一层深度卷积神经网络的前向结构用公式表示如下：
[0060][0061]
在编码器的最后，通过在通道维的均值池化和sigmoid函数，得到两组尺度为[batchsize,384]的概率向量w
pri
和w
pos
。先验和后验编码器输出概率向量之间的余弦损失为：
[0062][0063]
其中，
⊙
为向量点乘。
[0064]
为了使先验编码器学习到不同模态分支对应的通道维置信度，先验编码器的输出w
pri
应尽可能逼近后验编码器的输出w
pos
，后者包含ground truth作为额外的补充信息。两者之间的距离由这两个向量间的余弦相似度来衡量，作为损失加入网络训练过程中的梯度回传。
[0065]
为了促进来自不同成像模态的信息高效融合，以提高mri的分割精度，优选地，特征提取模块在特征提取的过程中生成的中间特征图(即多尺度特征图)，也在先验编码器和后验编码器的编码过程中，被顺序加入到所述先验编码器和后验编码器中来，作为多尺度信息的一种补充。
[0066]
即：所述先验编码器根据所述特征提取模块进行特征提取时生成的中间特征图，对经通道拼接后的多模态特征图进行编码(包括下采样及池化处理)后得到先验概率向量；
[0067]
所述后验编码器根据所述特征提取模块进行特征提取时生成的中间特征图，对将所述多模态特征图及标签图像进行通道拼接后生成的拼接图像进行编码(包括下采样及池化处理)得到后验概率向量。
[0068]
先验编码器和后验编码器在多层下采样过程中，拼接对应尺度的中间特征图，最后经过一个均值池化层，生成概率向量(例如：对于包括依次连接的三个下采样层及一个池化层的先验编码器或后验编码器，一个编码过程为：下采样-拼接中间特征-下采样-拼接中间特征-下采样-拼接中间特征-下采样-均值池化)。
[0069]
特征提取模块中下采样层的数量与先验编码器和后验编码器中下采样层的数量可相同也可以不同，当不同的时候，可以通过设置转换的卷积层调整中间特征图的分辨率与通道数大小即可实现中间特征的拼接。
[0070]
设先验编码器和后验编码器的参数分别为θ
pri
和θ
pos
，则概率编码模块可表示为：
[0071][0072]
4)将先验和后验编码器的输出的概率向量与多模态特征图共同送入多模融合模块，所述多模融合模块将不同模态的特征基于其对应的概率向量在通道维度进行加权求和，得到融合特征图；并对融合特征图通过反卷积层进行上采样处理后经由输出层得到分割结果。
[0073]
进一步地，为了保留了两个模态的特异性信息，处理不同图像源提供的互补与矛盾信息，优选地，所述多模融合模块根据所述先验概率向量对所述多模态特征图进行加权求和得到融合特征图，并通过跳跃连接，在融合特征图的上采样过程中结合所述特征提取模块进行特征提取时生成的中间特征图对所述融合特征图进行上采样处理(即通过跳跃连接在上采样过程中结合中间特征图)，得到分割结果。
[0074]
与特征提取模块对应，多模融合模块本质上是用于上采样的特征解码器，目的是将特征图融合并恢复到输入图片的分辨率大小。多模融合模块的主要结构如图2中的(b)所示，多模融合模块包括加权求和单元及解码器；其中，解码器包括多个依次交替连接的卷积层和反卷积层。
[0075]
概率编码模块的输出是一个大小为[batchsize,384]的概率向量w
pri
，batchsize为训练或测试时批处理的大小，向量中的每个数对应一个通道，数值范围为[0,1]。
[0076]
加权求和单元将来自特征提取模块的两个特征图y
feature_a
和y
feature_b
首先分别与w
pri
和1-w
pri
逐通道相乘再进行通道拼接，即利用从概率编码模块学习到的置信度转为频域注意力，进行模态的针对性加权融合，得到初步融合的新特征图y
fusion
：
[0077]yfusion
＝concat(w
pri
·yfeature_a
,(1-w
pri
)
·yfeature_b
),
[0078]
其中，y
fusion
的分辨率和y
feature_a
相同，通道数是其两倍。
[0079]
解码器采用一系列反卷积进行上采样，和输出层一起最终得到分割结果。
[0080]
上采样采用的是基于残差连接的多层卷积，在每个卷积层的最后通过反卷积将特征图的分辨率增大一倍，通道数减少一半，其中每一层深度卷积神经网络的前向结构用公式表示如下：
[0081][0082]
例如，与特征提取模块相对应，上采样层中，每一层由基于残差连接的两个3
×
3的卷积组成，并在模块最后通过步长为2、卷积核大小3
×
3的反卷积进行上采样，使得特征图的分辨率翻倍，通道数减半。每一层的开始采用了跳跃连接技术，将上采样部分对应的同分辨率特征图y
layer_a
和y
layer_b
沿着通道维进行拼接。这样做的好处在于保留两个模态在各个尺度下未融合的原始特征，保留了两个模态的特异性信息。也即，上采样过程为：上采样-拼接中间特征-上采样-拼接中间特征
‑…
(上采样与拼接中间特征交替进行)。
[0083]
输出层采用卷积和softmax结合，将特征图的通道数变为需求的逐点分类类别数。与特征提取模块相同，特征融合模块每一层中卷积或反卷积后都使用了relu非线性模块和批量归一化技术。设最终输出为y
out
，上采样部分的参数为w
de
，将特征解码部分抽象为函数则上采样部分可抽象表示为：
[0084][0085]
分割结果与ground truth之间的交叉熵损失l
entropy
＝-∑ylog(y
out
)，y为标签。
[0086]
6)基于步骤3)中余弦损失和步骤5)中交叉熵损失对网络进行训练，得到收敛后的模型参数并保存，训练结束。
[0087]
通过最小化多任务损失函数l，使用cnns的标准训练程序训练网络。其中，l
entropy
是分割结果与groundtruth的交叉熵损失，l
cos
是概率编码模块的余弦相似度损失，权重因子a用于平衡不同损失项。损失函数l定义如下：
[0088]
l＝l
entropy
αl
cos
.
[0089]
优选地，模型训练的优化方法为adam optimizer，权重因子a设置为1。
[0090]
在测试阶段，对于新的mr多序列图像样本，运行训练好的模型，但不运行步骤3)中后验编码器部分以及余弦损失计算部分，即可得到新样本的分割结果。
[0091]
在网络训练过程中，概率编码模块中的w
pri
和w
pos
都应被求出，用于网络的梯度回传；然而在测试和实际使用过程中，概率编码模块中仅需要运行先验编码器部分，以获得没有输入标签时的隐空间概率向量w
pri
。
[0092]
本发明提供的方法中，在训练阶段，特征提取模块对多模态特特征图进行特征提取，通过多次下采样，特征图分辨率降低，通道数增加。下采样过程中，不同尺度的特征图被保留，分别馈送入概率编码模块和多模融合模块。概率编码模块将多模原图像、ground truth和多尺度特征结合起来，通过先验-后验网络的训练方式，得到一组概率向量，即通道维权重向量。最后，多模融合模块依据这组权重对提取的多模特征进行针对性融合，再经过一系列包含跳跃连接的上采样，将特征图恢复到原图像大小，经过包含softmax的输出层得到最终的分割结果。
[0093]
本发明实施例提供一种基于先验-后验概率编码器的多模态mr图像分割系统，包括：计算机可读存储介质和处理器；
[0094]
所述计算机可读存储介质用于存储可执行指令；
[0095]
所述处理器用于读取所述计算机可读存储介质中存储的可执行指令，执行如上述任一实施例所述的方法。
[0096]
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。