用于多模态影像增强与配准的模型训练方法及配准方法

本发明属于图像处理，具体涉及一种用于多模态影像增强与配准的模型训练方法及配准方法。

背景技术：

1、计算机辅助与医学影像学技术早已成为骨肿瘤保肢手术领域的重要组成部分，能够帮助医生完成手术入路规划、个性化方案制定、术前模拟等工作，显著提高保肢成功率。目前普遍以手动或半自动标记肿瘤的方式分析影像，这耗费了外科医生大量的时间与精力，因此利用近年来快速发展的深度学习技术进行肿瘤分割研究势在必行。

2、在这一过程中，深度学习技术对训练数据量的较高要求与医学影像数量受限之间存在矛盾，尤其在利用多模态影像进行分析时，不同影像间数据量不匹配会导致可用数据量的进一步减少，从而加大后续操作的难度，影响肿瘤分割效果。同时，不同模态的影像数据也需要进行配准以提供有效信息。

3、因此，如何合成可靠的mr(magnetic resonance，磁共振)影像并将其在ct(computed tomography，电子计算机断层扫描)影像序列中进行对应成为一个亟待解决的问题。

技术实现思路

1、本发明的目的在于针对上述现有技术的不足，提出一种用于多模态影像增强与配准的模型训练方法及配准方法。本发明要解决的技术问题通过以下技术方案实现：

2、本发明提供一种用于多模态影像增强与配准的模型训练方法，所述训练方法包括：

3、获取待处理的mr影像序列和待处理的ct影像序列，其中，所述待处理的mr影像序列包括按顺序排列的m张待处理mr影像，所述待处理的ct影像序列包括按顺序排列的n张待处理ct影像，m和n均为大于0的整数；

4、根据所述待处理mr影像和所述待处理ct影像的互信息，得到m组匹配影像对，并从m组所述匹配影像对中选取若干组所述匹配影像对作为训练集，每组所述匹配影像对包括相互匹配的一张待处理mr影像和一张所述待处理ct影像；

5、在所述训练集中选取两张待处理mr影像、一张待处理ct影像，将所选取的两张待处理mr影像、一张待处理ct影像以及一张高斯噪声影像共同输入至待训练的目标影像序列增强模型中，以对所述待训练的目标影像序列增强模型进行训练，得到训练好的目标影像序列增强模型，所述训练好的目标影像序列增强模型用于对待配准ct影像进行匹配，得到配准的mr影像；其中，在所述训练集中选取的两张待处理mr影像与所选取的待处理ct影像均不匹配；目标影像序列增强模型为基于生成对抗网络的模型。

6、在本发明的一个实施例中，获取待处理的mr影像序列和待处理的ct影像序列，包括：

7、获取初始mr影像序列和初始ct影像序列，其中，所述初始mr影像序列包括m张初始mr影像，所述初始ct影像序列包括n张初始ct影像；

8、将所述初始mr影像和所述初始ct影像的亮度值均转化为灰度值，得到mr灰度影像和ct灰度影像；

9、采用直方图均衡化算法分别重新分配所述mr灰度影像和所述ct灰度影像的灰度值，使所述mr灰度影像和所述ct灰度影像的灰度值均在预设范围内均匀分布，得到mr均匀分布影像和ct均匀分布影像；

10、分别将所述mr均匀分布影像和所述ct均匀分布影像的灰度值均一化至[0，255]区间，得到所述待处理mr影像和所述待处理ct影像，由所有所述待处理mr影像组成所述待处理的mr影像序列，由所有所述待处理ct影像组成所述待处理的ct影像序列。

11、在本发明的一个实施例中，根据所述待处理mr影像和所述待处理ct影像的互信息，得到m组匹配影像对，包括：

12、获取所述待处理的mr影像序列中第一张待处理mr影像；

13、基于所述第一张待处理mr影像与所述待处理ct影像的互信息，在所述待处理的ct影像序列中选取与所述第一张待处理mr影像之间的互信息最大的待处理ct影像，组成第一组匹配影像对；

14、基于预设步长，从所述待处理的ct影像序列中分别为第二张待处理mr影像至第m张待处理mr影像选取相匹配的待处理ct影像，得到m-1组匹配影像对。

15、在本发明的一个实施例中，基于预设步长，从所述待处理的ct影像序列中分别为第二张待处理mr影像至第m张待处理mr影像选取相匹配的待处理ct影像，得到m-1组匹配影像对，包括：

16、对于第m+1张待处理mr影像，判断n+λ是否为整数，若是整数，则从所述待处理的ct影像序列中选取第n+λ张待处理ct影像作为待匹配影像，若是非整数，则选取与所述第n+λ张待处理ct影像相邻的两张待处理ct影像中与所述第m+1张待处理mr影像的互信息更大的待处理ct影像作为待匹配影像，其中，第m张待处理mr影像与第n张待处理ct影像组成第m组匹配影像对，λ为预设步长，λ=sm/sc，sm为待处理的mr影像序列的层间间隔，sc为待处理的ct影像序列的层间间隔，1≤m≤m，1≤n≤n；

17、判断作为待匹配影像的待处理ct影像和所述第m+1张待处理mr影像之间的互信息是否大于或者等于预设阈值，若是，则将作为待匹配影像的待处理ct影像与所述第m+1张待处理mr影像组成第m+1组匹配影像对，若否，则在所述待处理的ct影像序列中选取与所述第m+1张待处理mr影像之间的互信息最大的待处理ct影像，组成第m+1组匹配影像对。

18、在本发明的一个实施例中，所述目标影像序列增强模型包括生成器和判别器，所述生成器包括编码器、特征提取单元和解码器；

19、在所述训练集中选取两张待处理mr影像、一张待处理ct影像，将所选取的两张待处理mr影像、一张待处理ct影像以及一张高斯噪声影像共同输入至待训练的目标影像序列增强模型中，以对所述待训练的目标影像序列增强模型进行训练，得到训练好的目标影像序列增强模型，包括：

20、在所述训练集中选取两张待处理mr影像、一张待处理ct影像，将所选取的两张待处理mr影像、一张待处理ct影像以及一张高斯噪声影像输入至所述编码器，得到所述高斯噪声影像对应的第一特征矩阵、两张所述待处理mr影像分别对应的第二特征矩阵、第三特征矩阵和所述待处理ct影像对应的第四特征矩阵；

21、将所述第一特征矩阵、所述第二特征矩阵、所述第三特征矩阵和所述第四特征矩阵输入至所述特征提取单元，得到待解码特征矩阵；

22、将所述待解码特征矩阵输入至所述解码器，得到第一mr增强影像；

23、基于所述第一mr增强影像和待配准的待处理mr影像构建的动态差分损失函数，以反向传播方式调整所述待训练的目标影像序列增强模型的参数，得到初步训练好的目标影像序列增强模型，并得到所述初步训练好的目标影像序列增强模型输出的第二mr增强影像；其中，所述待配准的待处理mr影像为从所述训练集中选取的，且处于输入至所述待训练的目标影像序列增强模型的两张待处理mr影像之间，输入至所述待训练的目标影像序列增强模型的待处理ct影像与待配准的待处理mr影像处于同一组所述匹配影像对中；

24、将所述第二mr增强影像输入至所述判别器，以根据所述判别器的判别结果得到所述训练好的目标影像序列增强模型。

25、在本发明的一个实施例中，所述特征提取单元包括图注意力模块、通道注意力模块和残差结构；

26、将所述第一特征矩阵、所述第二特征矩阵、所述第三特征矩阵和所述第四特征矩阵输入至所述特征提取单元，得到待解码特征矩阵，包括：

27、将所述第一特征矩阵、所述第二特征矩阵、所述第三特征矩阵和所述第四特征矩阵输入至所述图注意力模块，所述图注意力模块通过捕捉特征间的相似性，得到所述高斯噪声影像对应的第五特征矩阵、两张所述待处理mr影像分别对应的第六特征矩阵、第七特征矩阵和所述待处理ct影像对应的第八特征矩阵；

28、将所述第五特征矩阵、所述第六特征矩阵、所述第七特征矩阵和所述第八特征矩阵输入至所述通道注意力模块，所述通道注意力模块通过卷积操作，得到所述第五特征矩阵的第一权重、所述第六特征矩阵的第二权重、所述第七特征矩阵的第三权重、所述第八特征矩阵的第四权重，分别将所述第一权重与所述第五特征矩阵相乘、所述第二权重与所述第六特征矩阵相乘、所述第三权重与所述第七特征矩阵相乘、所述第四权重与所述第八特征矩阵相乘，并将所有相乘结果相加得到第九特征矩阵；

29、将所述第九特征矩阵输入至所述残差结构，并经卷积操作后，得到所述待解码特征矩阵。

30、在本发明的一个实施例中，将所述第一特征矩阵、所述第二特征矩阵、所述第三特征矩阵和所述第四特征矩阵输入至所述图注意力模块，所述图注意力模块通过捕捉特征间的相似性，得到所述高斯噪声影像对应的第五特征矩阵、两张所述待处理mr影像分别对应的第六特征矩阵、第七特征矩阵和所述待处理ct影像对应的第八特征矩阵，包括：

31、步骤3.211、将所述第一特征矩阵、所述第二特征矩阵、所述第三特征矩阵和所述第四特征矩阵输入至所述图注意力模块，之后将所述第一特征矩阵划分为若干第一矩阵块；

32、步骤3.212、按顺序选取一个所述第一矩阵块，分别在所述第二特征矩阵、所述第三特征矩阵和所述第四特征矩阵中选取与该所述第一矩阵块位置相同的第二矩阵块、第三矩阵块和第四矩阵块；

33、步骤3.213、将所述第一矩阵块、所述第二矩阵块、所述第三矩阵块和所述第四矩阵块组合成为组合矩阵；

34、步骤3.214、选取与所述第一矩阵块相邻的若干像素点，得到像素矩阵；

35、步骤3.215、将所述组合矩阵和所述像素矩阵组合成为拼接矩阵；

36、步骤3.216、根据所述第一矩阵块、所述第二矩阵块、所述第三矩阵块和所述第四矩阵块相互之间的连接关系，对所述拼接矩阵中的第一矩阵块、第二矩阵块、第三矩阵块和第四矩阵块分别进行加权求和处理，分别对应得到第五矩阵块、第六矩阵块、第七矩阵块和第八矩阵块；

37、步骤3.217、利用所述第五矩阵块、所述第六矩阵块、所述第七矩阵块和所述第八矩阵块对应替换所述第一特征矩阵的第一矩阵块、所述第二特征矩阵的第二矩阵块、所述第三特征矩阵的第三矩阵块和所述第四特征矩阵的第四矩阵块；

38、步骤3.218、重复执行所述步骤3.212至所述步骤3.217，直至所述第一特征矩阵、所述第二特征矩阵、所述第三特征矩阵和所述第四特征矩阵中所有的矩阵块均替换完成，对应得到所述第五特征矩阵、所述第六特征矩阵、所述第七特征矩阵和所述第八特征矩阵。

39、在本发明的一个实施例中，所述动态差分损失函数表示为：

40、；

41、其中，表示动态差分损失函数，表示待配准的待处理mr影像，表示第一mr增强影像，表示生成器的目标是从到的映射，表示对第一mr增强影像中的第个像素点进行期望操作，表示第一mr增强影像的概率分布，表示待配准的待处理mr影像中像素点的数量，表示生成器将待配准的待处理mr影像中的第个像素点映射到第一mr增强影像后的结果的差异，表示所有的平均值。

42、在本发明的一个实施例中，将所述第二mr增强影像输入至所述判别器，以根据所述判别器的判别结果得到所述训练好的目标影像序列增强模型，包括：

43、将所述第二mr增强影像输入至所述判别器，得到判别值；

44、判断所述判别值与判别阈值的关系，若所述判别值大于所述判别阈值，所述判别结果为假，则根据峰度损失函数得到的损失值更新所述判别阈值，并继续对所述初步训练好的目标影像序列增强模型进行训练，直至所述判别值小于或者等于最新的判别阈值，得到所述训练好的目标影像序列增强模型，若所述判别值小于或者等于所述判别阈值，所述判别结果为真，则将所述初步训练好的目标影像序列增强模型作为所述训练好的目标影像序列增强模型。

45、本发明还提供一种多模态影像的配准方法，包括：

46、获取待配准ct影像；

47、将所述待配准ct影像输入上述任一项实施例所述的训练好的目标影像序列增强模型中，得到配准的mr影像。

48、本发明的有益效果：

49、本发明首先获取了待处理的mr影像序列和待处理的ct影像序列，并根据待处理mr影像和待处理ct影像的互信息得到m组匹配影像对，并从m组匹配影像对中选取若干组匹配影像对作为训练集，且每组匹配影像对包括相互匹配的一张待处理mr影像和一张待处理ct影像，之后在训练集中选取两张待处理mr影像、一张待处理ct影像，并将所选取的两张待处理mr影像、一张待处理ct影像以及一张高斯噪声影像共同输入至待训练的目标影像序列增强模型中，以对待训练的目标影像序列增强模型进行训练，得到训练好的目标影像序列增强模型，所得到的训练好的目标影像序列增强模型便可以对待配准ct影像进行匹配，得到配准的mr影像。由此，本发明所得到的训练好的目标影像序列增强模型可以生成与ct影像匹配的mr影像，有利于提高影像三维重建的精度，为医学影像处理领域提供基础技术支撑作用。