一种基于MRI切片序列聚合的前交叉韧带损伤分类方法

本发明涉及一种基于mri切片序列聚合的前交叉韧带损伤分类方法，特别涉及一种基于深度学习的前交叉韧带损伤分类算法，属于医学图像处理领域。

背景技术：

1、作为运动中最常见的损伤之一的前交叉韧带损伤(acl)，可能产生膝关节不稳定、骨关节炎等继发性问题。因此，acl损伤的早期筛查至关重要。磁共振成像(mri)是判别acl损伤分类的主要影像学方法，对患者来说，mri比起关节镜检查具备非侵入性和采集时间成本低的优势，已被多次证明能保障诊断的准确性。考虑到膝关节mri成像中的图像繁杂及细节丰富使得非肌肉骨骼放射科医生及偏远地区的临床医生准确诊断难问题，所以，采用人工智能辅助医疗是有意义的。与一般二维自然图像的分类不同，acl损伤分类是利用三维mri数据进行图像分类，对损伤的精准判别更复杂困难，传统的机器学习算法往往无法较好的完成对前交叉韧带损伤的精确分类。

2、基于传统机器学习的方式依赖数据自动学习做出预测。但是这种传统的方法需要根据领域及数据类型手工制作编码特征，这意味着在时间和专业知识方面的昂贵代价，并且由于人为制作的影响，可能使得特征提取不充分，最终影响分类性能。

3、近年来，基于创新模型架构的深度学习方式成为当前最常用的acl损伤分类方法，特别是卷积神经网络(cnns)得到了广泛且成功的应用，例如二维卷积神经网络(2d cnns)、三维卷积神经网络(3d cnns)。尽管基础cnns结构及其变体已经能够获得不错的分类效果，但还存在许多问题。具体的说，作为主流的骨干网络架构，2d cnns在从mri图像中提取空间结构信息和局部上下文信息方面表现出了强大的能力。然而，单个切片上使用2d cnns很难较好地捕获切片序列关系属性，这不可避免地导致了acl损伤分类任务中的性能瓶颈。另一方面，它过度关注空间内容信息，这可能会在切片维度上扭曲学习特征中的序列信息。在很大程度上给挖掘诊断acl级别带来了挑战。与2d cnns不同，3d cnns在联合学习空间和切片序列方面具有优势，但会存在计算成本较大的问题。更重要的是，真实的mri图像组通常具备不同的切片量，但3d cnns需要固定输入的切片数，截取部分切片数据，限制了实际应用中的分类性能。即切片序列信息利用不足。

4、基于此背景，为了实现对膝关节mri中acl损伤的准确分类，本发明提出了一种简单有效的acl损伤分类方法。

技术实现思路

1、本发明提出了一种基于mri切片序列聚合的前交叉韧带损伤分类方法，能充分整合切片数据，实现尺度重要性的动态调整，完成膝关节mri中acl损伤的准确分类。

2、本发明的技术方案是：一种基于mri切片序列聚合的前交叉韧带损伤分类方法，所述方法的具体步骤如下：

3、step1、准备通用公开的膝关节磁共振成像(mri)数据集用于网络训练；

4、step2、将未划分的数据集分为训练集、验证集和测试集用于网络训练，借助随机翻转、旋转等方式进行数据增强，完成对膝关节磁共振成像的预处理；

5、step3、构建基于mri切片序列聚合的前交叉韧带损伤分类网络，整个网络由一条金字塔特征提取主路、一个切片序列信息聚合模块和一个自适应多尺度注意模块构成；切片序列信息聚合模块将mri中切片特征进行融合，自适应多尺度注意模块学习整合后的信息进行尺度维度上的特征筛选，权重再分配；最终将切片序列信息聚合模块和自适应多尺度注意模块嵌入金字塔特征提取主路中，形成最终的基于mri切片序列聚合的前交叉韧带损伤分类网络；

6、step4、用膝关节mri训练数据对基于mri切片序列聚合的前交叉韧带损伤分类网络进行训练，并在每批次训练完成后在验证集上借助分类评价指标对训练后的网络进行验证；

7、step5、将膝关节mri测试数据输入训练好的网络，得到数据集中每个样本的分类标签及性能评价指标，完成前交叉韧带损伤的数据分类。

8、作为本发明的进一步方案，所述step2的具体步骤如下：

9、step2.1、对未进行划分的数据集进行分层随机抽样，固定不同集合中的类别比例，最终抽取为实验所需训练集、验证集和测试集。

10、step2.2、对数据集进行随机翻转、旋转的数据增强操作，完成数据预处理。

11、作为本发明的进一步方案，所述step3的具体步骤如下：

12、step3.1、搭建金字塔特征提取主路；

13、step3.2、搭建具有局部切片信息融合结构与全局关键切片信息聚合结构的切片序列信息聚合模块；

14、step3.3、搭建带有方向均值扩展的针对基线金字塔网络的自适应多尺度注意模块。

15、作为本发明的进一步方案，所述step3.1中，该主路由四个卷积池化联合层、切片序列信息聚合模块和自适应多尺度注意模块构成，所述主路结构固定为：第一卷积池化联合层→第二卷积池化联合层→第三卷积池化联合层→切片序列信息聚合模块→第四卷积池化联合层→自适应多尺度注意模块→池化层→分类层。

16、作为本发明的进一步方案，所述step3.2的具体步骤如下：

17、step3.2.1、搭建进行通道维度分组后按组移位的局部切片信息融合结构；

18、step3.2.2、搭建由关键特征筛选块和切片序列信息聚合块构成的全局关键切片信息聚合结构，其中切片序列信息聚合块由2个全连接层，1个归一化层，2个激活函数层组成；所述结构固定为：关键特征筛选块→全连接层1→归一化层→激活函数层1→全连接层2→激活函数层2，其中激活函数1和2分别被设置为relu激活函数和softmax激活函数。

19、作为本发明的进一步方案，所述step3.3中，自适应多尺度注意模块包括2个池化层，2个卷积层，1个归一化层，3个激活函数层，2个均值扩展层，所述结构固定为2个池化层并联→卷积层1→2个由均值扩展层与激活函数层1串联而成的结构并联→卷积层2→归一化层→激活函数层2；卷积层1与卷积层2的卷积核大小设置为1×1与3×3，激活函数层1和激活函数层2被设置为sigmoid激活函数和relu激活函数。

20、作为本发明的进一步方案，所述step4中：

21、使用auc值、accuracy值、sensitivity值和specificity值作为性能评估指标，上述计算公式分别为：

22、

23、其中α和1-β分别为假阳性率、真阳性率，δα＝αi-αi-1，δ(1-β)＝(1-βi)-(1-βi-1)。αi-1、1-βi-1和αi、1-βi分别代表在梯形积分时i-1、i位置的假阳性率、真阳性率：

24、

25、

26、

27、其中tp、tn、fp和fn分别表示真阳性数、真阴性数、假阳性数和假阴性数；

28、上述指标最大值为1，值越接近1，表明分类的性能越好。

29、借助加权二元交叉熵函数计算损失值，公式为：

30、loss＝∑-w(ytlogyp-(1-yt)log(1-yp))

31、其中yt为病例样本的真实类别，yp为该样本的预测类别，参数w为样本权值。

32、作为本发明的进一步方案，所述step5中使用与step4相同的分类方法及性能评估指标。

33、所述基于mri切片序列聚合的前交叉韧带损伤分类网络由一个金字塔特征提取主路、一个切片序列信息聚合模块和一个自适应多尺度注意模块构成。切片序列信息聚合模块学习mri中切片维度的相关关系，自适应多尺度注意模块则解决共享权重导致的对acl形态变动性捕捉不佳的问题。首先将膝关节mri数据输入到金字塔特征提取主路中得到基础信息，然后将该初始特征输入切片序列信息聚合模块得到融合切片信息的结构，最后通过自适应多尺度注意模块增强重点尺度信息实现特征提取，最终完成分类。

34、本发明的有益效果是：

35、1、本发明构建的一种基于mri切片序列聚合的前交叉韧带损伤分类网络，能充分发挥二维卷积神经网络的优势，有效的获取膝关节mri中的切片信息，针对性的解决acl形态变动性大的问题。

36、2、为了利用mri的三维结构且降低计算量，基于2dcnns设计了一个切片序列信息聚合模块，能基于切片维度交换邻近切片信息，获取全量切片相关关系，融合切片序列的关联度，弥补了基于2dcnns的acl损伤分类方法对第三维度特征建模不足的缺点。

37、3、本发明提出了自适应多尺度注意模块，该网络结构通过均值扩展操作，产生关联不同病例的尺度权重，自适应的匹配尺度，这能很好的解决acl形态的多样性问题。