阿尔茨海默病的临床数据的处理方法、系统、介质及装置与流程

1.本发明涉及图像识别技术领域，特别是涉及一种阿尔茨海默病的临床数据的处理方法、系统、介质及装置。


背景技术：

2.阿尔茨海默病(alzheimer disease，ad)，又叫老年性痴呆，是一种中枢神经系统变性病，起病隐袭，病程呈慢性进行性，是老年期痴呆最常见的一种类型。主要表现为渐进性记忆障碍、认知功能障碍、人格改变及语言障碍等神经精神症状，严重影响社交、职业与生活功能。ad的病因及发病机制尚未阐明，特征性病理改变为β淀粉样蛋白沉积形成的细胞外老年斑和tau蛋白过度磷酸化形成的神经细胞内神经原纤维缠结，以及神经元丢失伴胶质细胞增生等。
3.卷积神经网络在许多领域取得了巨大成果，并且该技术已经被成功地引入到了阿尔茨海默病的诊断上。然而普通的卷积神经网络模型并不能很好地诊断。
4.因此，希望能够解决现有的卷积神经网络模型并不能很好地分类阿尔兹海默病，限制了其在临床上的推广和使用，且不能直观地解释阿尔茨海默病分类结果的问题。


技术实现要素：

5.鉴于以上所述现有技术的缺点，本发明的目的在于提供一种阿尔茨海默病的临床数据的处理方法、系统、介质及装置，用于解决现有技术中现有的卷积神经网络模型并不能很好地分类阿尔兹海默病，限制了其在临床上的推广和使用，且不能直观的展示阿尔茨海默病分类结果的问题。
6.为实现上述目的及其他相关目的，本发明提供一种阿尔茨海默病的临床数据的处理方法，包括以下步骤：从adni临床数据集基于第一预设规则获取包含脑部数据的三维影像数据；对所述三维影像数据进行颅骨剥离获得只包含脑质的脑三维影像数据；对所述脑三维影像数据按照第一采样规则进行重采样获得重采样影像数据；对所述重采样影像数据进行裁剪得到去除空白切片和图像边缘的最终影像数据；对所述最终影像数据进行归一化得到归一化后的影像数据；利用基于u-net的神经网络模型对归一化后的影像数据进行特征提取获得输出特征；使用全局池化操作对所述输出特征进行融合，得到全局特征；使用分类器对所述全局特征进行阿尔茨海默病的分类获得阿尔茨海默病分类结果；基于所述阿尔茨海默病分类结果通过反向传播的方法来计算三维影像数据中各个脑区域对阿尔茨海默病分类结果的影响程度，通过热度可视化方式进行展示。
7.于本发明的一实施例中，所述对所述三维影像数据，进行颅骨剥离获得获得只包含脑质的脑三维影像数据包括：
8.使用标准模板去除三维影像数据中的颅骨相关部分，从而获得仅含脑质相关部分的脑三维影像数据。
9.于本发明的一实施例中，所述对所述脑三维影像数据按照第一采样规则进行重采
样获得重采样影像数据包括：通过第一采样公式或第二采样公式进行重采样获得重采样影像数据；所述第一采样公式为：
10.p
(x，y，z)
＝q(2x，2y，2z)
11.其中，p
(x，y，z)
表示通过第一采样公式进行重采样获得的坐标为(x，y，z)处的像素值，q(2x，2y，2z)表示三维影像数据的图像中坐标为(2x，2y，2z)处的像素值；所述第二采样公式为：
12.p
(x，y，z)
＝q(2x 1，2y 1，2z 1)
13.其中，p
(x，y，z)
表示通过第二采样公式进行重采样获得的坐标为(x，y，z)处的像素值，q(2x 1，2y 1，2z 1)表示脑三维影像数据的图像中坐标为(2x 1，2y 1，2z 1)处的像素值。
14.于本发明的一实施例中，所述对所述重采样影像数据进行裁剪得到去除空白切片和图像边缘的最终影像数据包括：以所述重采样影像数据的图像中心为原点以(64,104,80)单位像素为裁剪范围进行裁剪获得最终影像数据的图像，从而基于所述重采样影像数据的图像获得对应的最终影像数据。
15.于本发明的一实施例中，所述对所述最终影像数据进行归一化得到归一化后的影像数据包括：基于归一化公式对所述最终影像数据进行归一化得到归一化后的影像数据；所述归一化公式为；
[0016][0017]
其中，p
(x，y，z)
表示归一化影像数据的图像中坐标为(x，y，z)处的像素值，op
(x，y，z)
表示最终影像数据的图像中坐标为(x，y，z)处的像素值，min(p)表示最终影像数据的图像中最小的像素值，max(p)表示最终影像数据的图像中最大的像素值。
[0018]
于本发明的一实施例中，所述利用基于u-net的神经网络模型对归一化后的影像数据进行特征提取以及分类获得输出特征包括：所述u-net神经网络模型包含八个卷积块，每个卷积块的通道数分别为4，16，32，64，64，32，16，8。并且每个卷积块包含一个卷积层用来提取特征；利用线性整流激活函数处理特征；利用批量标准化函数对特征进行归一化。
[0019]
于本发明的一实施例中，使用全局池化操作对所述输出特征进行融合，得到全局特征包括：通过全局池化操作公式对所述输出特征进行融合，得到全局特征；所述全局池化操作公式为：
[0020]
f＝pooling(f
layer
|layer＝1，2，3)
[0021]
其中，f表示融合得到的全局特征，f
layer
表示第layer输出层提取的特征，pooling(
·
)是全局池化函数。
[0022]
于本发明的一实施例中，使用分类器对所述全局特征进行阿尔茨海默病的分类获得阿尔茨海默病分类结果包括：所述分类器基于全局特征公式对对所述全局特征进行阿尔茨海默病的分类获得阿尔茨海默病分类结果；所述全局特征公式包括：
[0023][0024]
其中c是病情的类别数目，ck为第k个类别，常见的类别有：k为1时正常(nc)，k为2时早期认知障碍(emci)，k为3时晚期认知障碍(lmci)和k为4时阿尔茨海默病(ad)；sk表示
将影像分类到第k类的得分，si表示将影像分类到第i类的得分。
[0025]
为实现上述目的，本发明还提供一种阿尔茨海默病的临床数据的处理系统，包括：获取模块、颅骨剥离模块、采样模块、裁剪模块、归一化模块、提取模块、融合模块、分类模块和可视化模块；所述获取模块用于从adni临床数据集基于第一预设规则获取只包含脑质数据的三维影像数据；所述颅骨剥离模块对所述三维影像数据进行颅骨剥离获得只包含脑质的脑三维影像数据；所述采样模块用于对所述脑三维影像数据按照第一采样规则进行重采样获得重采样影像数据；所述裁剪模块用于对所述重采样影像数据进行裁剪得到去除空白切片和图像边缘的最终影像数据；所述归一化模块用于对所述最终影像数据进行归一化得到归一化后的影像数据；所述提取模块用于利用基于u-net的神经网络模型对归一化后的影像数据进行特征提取获得输出特征；所述融合模块用于使用全局池化操作对所述输出特征进行融合，得到全局特征；所述分类模块用于使用分类器对所述全局特征进行阿尔茨海默病的分类获得阿尔茨海默病分类结果；所述可视化模块用于基于所述阿尔茨海默病分类结果通过反向传播的方法来计算三维影像数据中各个脑区域对阿尔茨海默病分类结果的影响程度，通过热度可视化方式进行展示。
[0026]
为实现上述目的，本发明还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现任一上述阿尔茨海默病的临床数据的处理方法。
[0027]
为实现上述目的，本发明还提供一种阿尔茨海默病的临床数据的处理装置，包括：处理器和存储器；所述存储器用于存储计算机程序；所述处理器与所述存储器相连，用于执行所述存储器存储的计算机程序，以使所述阿尔茨海默病的临床数据的处理装置执行任一上述的阿尔茨海默病的临床数据的处理方法。
[0028]
如上所述，本发明的一种阿尔茨海默病的临床数据的处理方法、系统、介质及装置，具有以下有益效果：用于对于阿尔茨海默病的临床数据进行分类，展示脑质三维影像数据中各个脑区域对阿尔茨海默病分类结果的影响程度。
附图说明
[0029]
图1显示为本发明的阿尔茨海默病的临床数据的处理方法于一实施例中的流程图；
[0030]
图2显示为本发明的阿尔茨海默病的临床数据的处理系统于一实施例中的结构示意图；
[0031]
图3显示为本发明的阿尔茨海默病的临床数据的处理装置于一实施例中的结构示意图。
[0032]
元件标号说明
[0033]
21
ꢀꢀꢀꢀꢀꢀꢀ
获取模块
[0034]
22
ꢀꢀꢀꢀꢀꢀꢀ
颅骨剥离模块
[0035]
23
ꢀꢀꢀꢀꢀꢀꢀ
采样模块
[0036]
24
ꢀꢀꢀꢀꢀꢀꢀ
裁剪模块
[0037]
25
ꢀꢀꢀꢀꢀꢀꢀ
归一化模块
[0038]
26
ꢀꢀꢀꢀꢀꢀꢀ
提取模块
[0039]
27
ꢀꢀꢀꢀꢀꢀꢀ
融合模块
[0040]
28
ꢀꢀꢀꢀꢀꢀꢀ
分类模块
[0041]
29
ꢀꢀꢀꢀꢀꢀꢀ
可视化模块
[0042]
31
ꢀꢀꢀꢀꢀꢀꢀ
处理器
[0043]
32
ꢀꢀꢀꢀꢀꢀꢀ
存储器
具体实施方式
[0044]
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
[0045]
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，故图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
[0046]
本发明的阿尔茨海默病的临床数据的处理方法、系统、介质及装置用于对于阿尔茨海默病的临床数据进行分类，实现阿尔茨海默病类别的可视化。
[0047]
如图1所示，于一实施例中，本发明的阿尔茨海默病的临床数据的处理方法，包括以下步骤：
[0048]
步骤s11、从adni临床数据集基于第一预设规则获取包含脑部数据的三维影像数据。
[0049]
具体地，所述adni(阿尔茨海默病神经影像学倡议)临床数据包括关于每个受试者的临床信息，包括招募，人口统计学，身体检查和认知评估数据。可以将整套临床数据作为逗号分隔值(csv)文件批量下载。adni临床数据由阿尔茨海默氏症治疗研究所(atri)收集和管理。
[0050]
具体地，所述第一预设规则为从公开的adni数据集获取的mri(核磁共振)t1(加权像：纵向弛豫)数据得到包含脑部数据的三维影像数据。这样就去除其他噪音数据，方便后续的特征提取和判断。
[0051]
步骤s12、对所述三维影像数据进行颅骨剥离获得只包含脑质的脑三维影像数据.
[0052]
为了简化模型的学习复杂度，通过颅骨去除获取只包含脑质数据的脑三维影像数据。
[0053]
使用标准模板去除三维影像数据中的颅骨相关部分，从而获得仅含脑质相关部分的脑三维影像数据。所述标准模板是指3dslicer自带的用于剥离ct或mir影像上的头皮和颅骨的模板，例如：atlasbrainmask：大脑面罩。
[0054]
步骤s13、对所述脑三维影像数据按照第一采样规则进行重采样获得重采样影像数据。
[0055]
具体地，所述对所述三维影像数据按照第一采样规则进行重采样获得重采样影像数据包括：对处理后的影像数据进行重采样操作，得到尺寸更小、数量更多但精度稍低的影像数据。方便后续处理。具体为：
[0056]
通过第一采样公式或第二采样公式进行重采样获得重采样影像数据；
[0057]
所述第一采样公式为：
[0058]
p
(x，y，z)
＝q(2x，2y，2z)
[0059]
其中，p
(x，y，z)
表示通过第一采样公式进行重采样获得的重采样影像数据的坐标为(x，y，z)处的像素值，q(2x，2y，2z)表示三维影像数据的图像中坐标为(2x，2y，2z)处的像素值；
[0060]
除此之外，还可以使用第二采样公式获取了另外的一批重采样影像数据。所述第二采样公式为：
[0061]
p
(x，y，z)
＝q(2x 1，2y 1，2z 1)
[0062]
其中，p
(x，y，z)
表示通过第二采样公式进行重采样获得的重采样影像数据的坐标为(x，y，z)处的像素值，q(2x 1，2y 1，2z 1)表示三维影像数据的图像中坐标为(2x 1，2y 1，2z 1)处的像素值。通过增加更好的数据预处理方法以使得模型具有更好的泛化能力。通过像素采样，裁剪以及标准化的一系列方法对adni临床数据集进行了预处理，为了能够让原始图像中的细微特征能够参与到最后的模型分类过程中。
[0063]
步骤s13、对所述重采样影像数据进行裁剪得到去除空白切片和图像边缘的最终影像数据。
[0064]
具体地，包括：以所述重采样影像数据的图像中心为原点以(64,104,80)单位像素为裁剪范围进行裁剪获得最终影像数据的图像，从而基于所述最终影像数据的图像获得对应的最终影像数据。由于，然后考虑到u-net神经网络的特征，使用了(64长,104宽,80高)的单位像素作为裁剪范围，以所述重采样影像数据的图像中心为原点用来裁剪图像有效数据的标准范围。从而获得有效数据(像素值非零)，空白切片即像素值为零，以获得冗余信息更少的最终影像数据。通过像素采样，裁剪以及标准化的一系列方法对adni临床数据集进行了预处理，为了能够让原始图像中的细微特征能够参与到最后的模型分类过程中。
[0065]
步骤s14、对所述最终影像数据进行归一化得到归一化后的影像数据。
[0066]
具体地，所述对所述最终影像数据进行归一化得到归一化后的影像数据包括：
[0067]
基于归一化公式对所述最终影像数据进行归一化得到归一化后的影像数据；
[0068]
所述归一化公式为；
[0069][0070]
其中，p
(x，y，z)
表示归一化影像数据的图像中坐标为(x，y，z)处的像素值，op
(x，y，z)
表示最终影像数据的图像中坐标为(x，y，z)处的像素值，min(p)表示最终影像数据的图像中最小的像素值，max(p)表示最终影像数据的图像中最大的像素值。这样就将所有最终影像数据的图像的像素值数据归一化到[0-1]范围内，便于后续处理和计算。通过像素采样，裁剪以及标准化的一系列方法对adni临床数据集进行了预处理，为了能够让原始图像中的细微特征能够参与到最后的模型分类过程中。
[0071]
步骤s15、利用基于u-net的神经网络对归一化后的影像数据进行特征提取获得输出特征。
[0072]
具体地，基于u-net(全卷积神经网络)的神经网络模型包括：所述u-net神经网络模型包含八个卷积块，每个卷积块的通道数分别为4，16，32，64，64，32，16，8。并且每个卷积
块包含一个卷积层用来提取特征；利用线性整流激活函数处理特征；利用批量标准化函数对特征进行归一化。
[0073]
具体地，利用u-net神经网络模型来提取对归一化后的影像数据并自动进行分类/诊断。该u-net神经网络模型包含八个卷积块，每个卷积块的通道数依次分别为4，16，32，64，64，32，16，8。并且每个卷积块包含一个卷积层用来提取特征，接着利用线性整流激活函数(relu)处理特征，然后利用批量标准化函数(bn)对特征进行归一化。且在第一、二和三个卷积块之后设置池化层将特征进行缩放，所述池化层可以使用最大池化或平均池化。在第六和第七个卷积块之后使用上采样或反卷积的方法对输出特征进行扩增。同时，使用跳跃连接(skip connection)来连接第二个卷积层之后和第七个卷积层之后，第三个卷积层之后和第六个卷积层之后以及第四个卷积层之后和第五个卷积层之后的输出特征。结合u-net神经网络，学习mri图像特征，可用于阿尔茨海默病病情诊断中，能够有效地学习病情诊断相关的数据特征。引入了u-net神经网络模型将浅层学习到的特征直接传递到深层中去。
[0074]
步骤s16、使用全局池化操作对所述输出特征进行融合，得到全局特征。
[0075]
具体地，使用全局池化操作对所述输出特征进行融合，得到全局特征包括：通过全局池化操作公式对所述输出特征进行融合，得到全局特征；所述全局池化操作公式为：f＝pooling(f
layer
|layer＝1，2，3)，其中，f表示融合得到的全局特征，f
layer
表示第layer输出层提取的特征，pooling(
·
)是全局池化函数，可以使用最大池化、平均池化或其他能够使特征进一步融合的方法实现。所述u-net神经网络模型的layer层共有三层，分别为sup1层、sup2层和sup3层即为第layer输出层第一层、第二层、第三层。使用全局最大池化的方法大幅降低了模型训练过程中的资源需求。
[0076]
步骤s17、使用分类器对所述全局特征进行阿尔茨海默病的分类获得阿尔茨海默病分类结果。
[0077]
具体地，所述分类器基于全局特征公式对对所述全局特征进行阿尔茨海默病的分类获得阿尔茨海默病分类结果；
[0078]
所述全局特征公式包括：
[0079][0080]
其中c是病情的类别数目，ck表示在c中的第k个类别，常见的类别有：k为1时正常(nc)，k为2时早期认知障碍(emci)，k为3时晚期认知障碍(lmci)和k为4时阿尔茨海默病(ad)；sk表示将影像分类到第k类的得分，而sk表示将影像分类到第k类是由全局特征f决定的。si表示将影像分类到第i类的得分。实现了对于阿尔茨海默病的精确分类，可应用于辅助医生进行临床诊断阿尔茨海默病病情。
[0081]
步骤s18、基于所述阿尔茨海默病分类结果通过反向传播的方法来计算三维影像数据中各个脑区域对阿尔茨海默病分类结果的影响程度，通过热度可视化方式进行展示。
[0082]
具体地，通过反向传播((back propagation))的方法来计算图像中各部分对于模型诊断结果的影响程度，最后将其进行热度可视化(即热度图的可视化(visualizing heatmaps of class activation in an image)，通过热度图，了解图像分类问题中图像各个部分的分类，同时可以定位图像中物体的位置)。从而直观展示阿尔茨海默病分类结果，从而给予年资较浅的临床医生更多的临床诊疗支持。
[0083]
如图2所示，于一实施例中，本发明的阿尔茨海默病的临床数据的处理系统，包括：获取模块21、颅骨剥离模块22、采样模块23、裁剪模块24、归一化模块25、提取模块26、融合模块27、分类模块28和可视化模块29；所述获取模块21用于从adni临床数据集基于第一预设规则获取只包含脑质数据的三维影像数据；所述颅骨剥离模块22对所述三维影像数据进行颅骨剥离获得只包含脑质的脑三维影像数据；所述采样模块23用于对所述脑三维影像数据按照第一采样规则进行重采样获得重采样影像数据；所述裁剪模块24用于对所述重采样影像数据进行裁剪得到去除空白切片和图像边缘的最终影像数据；所述归一化模块25用于对所述最终影像数据进行归一化得到归一化后的影像数据；所述提取模块26用于利用基于u-net的神经网络模型对归一化后的影像数据进行特征提取获得输出特征；所述融合模块27用于使用全局池化操作对所述输出特征进行融合，得到全局特征；所述分类模块28用于使用分类器对所述全局特征进行阿尔茨海默病的分类获得阿尔茨海默病分类结果；所述可视化模块29用于基于所述阿尔茨海默病分类结果通过反向传播的方法来计算三维影像数据中各个脑区域对阿尔茨海默病分类结果的影响程度，通过热度可视化方式进行展示。
[0084]
需要说明的是，获取模块21、颅骨剥离模块22、采样模块23、裁剪模块24、归一化模块25、提取模块26、融合模块27、分类模块28和可视化模块29；的结构和原理与上述阿尔茨海默病的临床数据的处理方法中的步骤一一对应，故在此不再赘述。
[0085]
需要说明的是，应理解以上系统的各个模块的划分仅仅是一种逻辑功能的划分，实际实现时可以全部或部分集成到一个物理实体上，也可以物理上分开。且这些模块可以全部以软件通过处理元件调用的形式实现；也可以全部以硬件的形式实现；还可以部分模块通过处理元件调用软件的形式实现，部分模块通过硬件的形式实现。例如，x模块可以为单独设立的处理元件，也可以集成在上述装置的某一个芯片中实现，此外，也可以以程序代码的形式存储于上述装置的存储器中，由上述装置的某一个处理元件调用并执行以上x模块的功能。其它模块的实现与之类似。此外这些模块全部或部分可以集成在一起，也可以独立实现。这里所述的处理元件可以是一种集成电路，具有信号的处理能力。在实现过程中，上述方法的各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。
[0086]
例如，以上这些模块可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(application specific integrated circuit，简称asic)，或，一个或多个微处理器(micro processor uint，简称mpu)，或，一个或者多个现场可编程门阵列(field programmable gate array，简称fpga)等。再如，当以上某个模块通过处理元件调度程序代码的形式实现时，该处理元件可以是通用处理器，例如中央处理器(central processing unit，简称cpu)或其它可以调用程序代码的处理器。再如，这些模块可以集成在一起，以片上系统(system-on-a-chip，简称soc)的形式实现。
[0087]
于本发明一实施例中，本发明还包括一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述任一所述阿尔茨海默病的临床数据的处理方法。
[0088]
本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过计算机程序相关的硬件来完成。前述的计算机程序可以存储于一计算机可读存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：rom、ram、磁碟或者光盘等各种可以存储程序代码的介质。
[0089]
如图3所示，于一实施例中，本发明的阿尔茨海默病的临床数据的处理装置包括：处理器31和存储器32；所述存储器32用于存储计算机程序；所述处理器31与所述存储器32相连，用于执行所述存储器32存储的计算机程序，以使所述阿尔茨海默病的临床数据的处理装置执行任一所述的阿尔茨海默病的临床数据的处理方法。
[0090]
具体地，所述存储器32包括：rom、ram、磁碟、u盘、存储卡或者光盘等各种可以存储程序代码的介质。
[0091]
优选地，所述处理器31可以是通用处理器，包括中央处理器(central processing unit，简称cpu)、网络处理器(network processor，简称np)等；还可以是数字信号处理器(digital signal processor，简称dsp)、专用集成电路(application specific integrated circuit，简称asic)、现场可编程门阵列(field programmable gate array，简称fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
[0092]
综上所述，本发明阿尔茨海默病的临床数据的处理方法、系统、介质及装置，用于对于阿尔茨海默病的临床数据进行分类，实现阿尔茨海默病类别的可视化。所以，本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。
[0093]
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。