一种基于深度学习卷积神经网络的OCT成像超分辨率重建的方法、系统及计算机存储介质

本发明涉及光学相干断层成像领域，尤其涉及一种基于深度学习卷积神经网络的oct成像超分辨率重建的方法。

背景技术：

1、光学相干断层成像技术(optical coherence tomography,oct)，是近些年发展起来的新的光学诊断技术，是一种医学影像的成像方法，近年来主要用于诊断冠心病，并在临床应用领域取得了较为良好的效果。oct是基于近红外光干涉成像技术，通过使用干涉仪接收并记录不同深度生物组织成分的反射光，再经过计算机系统处理得到的生物组织断层图像。它是一种非接触、高分辨率层析和生物显微镜成像设备。冠状动脉内oct的高分辨率和对组织特异性的识别功能使其具有重要的临床意义，依据oct的影像特征，可以清晰的对oct冠状动脉粥硬化斑块进行分类，大致可以分为三类：纤维斑块、钙化斑块、脂质斑块。纤维斑块利用oct成像表现为内膜增厚伴有均匀一致的亮信号，钙化斑块表现为内膜增厚伴有低信号，边界清晰，脂质斑块表现为内膜增厚伴有低信号，边界模糊，oct可以对易损斑块进行评估，可对斑块进展及其药物治疗后的效果进行评价，oct在优化和指导冠心病介入治疗中有很大的用处，oct在冠状动脉支架植入手术后随访中有很大的应用。

2、对oct成像后的病灶进行分析时，由于分析是靠成像决定的，所以成像的清晰度影响着相关病灶的诊断，在oct成像中，正常冠状动脉血管壁的特征是典型的三层结构，它由血管内膜、中膜和外膜组成，在oct图像中，内弹力膜的定义是动脉内膜与中膜的分界线，而外弹力膜的定义是动脉中膜与动脉外膜的边界，所以成像的清晰度以及分辨率的高低是非常重要的指标，影响着后期的诊断治疗，所以，高清晰度的成像分清管腔轮廓以及三层膜的分界线，获得层次分明的oct成像是极其重要的，否则略微的信息不精准就会影响临床医生的判断。

3、大多数商用iv-oct是基于扫频源光学的相干层析成像(ss-oct)，具有高扫描速率(100-200帧/秒)，空间分辨率在10μm左右。然而，这种分辨率不足以描述关键特征，并不能在细胞层级分析斑块进展和危险分层,无法实现对狭小腔道内组织病变的检测和早期诊断，因此如何提高oct图像质量是急需解决的问题。

4、从硬件上，超分辨率oct因硬件要求过高，光源昂贵且体积庞大，光纤和棱镜装配难度大、可靠性低，棱镜等分离光学元件的引入也限制了光纤探头进一步微型化，无法有效应用于临床。此外，受光波自身穿透能力限制，超分辨率oct的成像深度严重受限，其成像深度一般不超过1mm，因此无法从整体上评估血管壁厚度、管腔面积和形状等关键信息，亦不能满足临床上对心血管疾病全面、高精度诊断的需求。

5、从算法上，基于深度学习的医学影像超分辨重建技术是近年来新兴的研究课题，通过对低分辨图像与高分辨图像进行模型映射，在不改变硬件结构的前提下，通过ai技术提升低分辨图像的分辨率。

6、但目前大多数基于深度学习的算法模型通常由于参数量过大导致需要的数据处理硬件较多，加之必要的散热设备，导致设备较为复杂，导致在实现硬件端部署时设备较大，难以实现实时的在临床中进行应用。所以，如何能够提供一种简化计算过程，从而达到精简设备的oct成像方法成为亟待解决的问题。

技术实现思路

1、本发明提供一种基于深度学习卷积神经网络的oct成像超分辨率重建的方法，用以解决现有算法模型由于训练参数量过大导致的数据处理硬件较多，硬件端不易部署的问题。

2、为了实现上述目的，本发明技术方案提供了一种基于深度学习卷积神经网络的oct成像超分辨率重建的方法包括：将各同帧采集的高分辨率图像和低分辨率图像分别配准后进行预处理，得到训练数据集；对所述训练数据集中的图像对进行多尺度融合后，对多尺度融合结果进行加权，将多尺度融合结果与所述图像对叠加后经注意力模块加权后输出，得到训练结果；至少同时对三个相邻帧图像对进行上述训练操作，将三个相邻的所述训练结果进行叠加，得到oct成像的超分辨率重建结果，oct成像的超分辨率重建模型构建完毕，将低分辨率的待分辨图像输入所述模型后得到所述待分辨图像的超分辨率图像。

3、作为上述技术方案的优选，较佳的，对所述训练数据集中的图像对进行多尺度融合，包括：分别对各所述图像对进行特征提取，得到所述图像对的特征图；对所述特征图卷积后，得到通道数并分组；分组后，除第一组特征图外，每一组特征均进行卷积操作后与后一组残差连接。

4、作为上述技术方案的优选，较佳的，残差连接，包括：将所述卷积操作后得到的数据结果输出后，所述数据结果还与后一组特征图作为后一组卷积操作的输入，依次类推；将各个输出结果卷积连接后，实现多尺度融合。

5、作为上述技术方案的优选，较佳的，将多尺度融合结果与所述图像对叠加后经注意力模块加权，得到训练结果，包括：将叠加结果记作输入特征，同时输入并行的最大池化层和平均池化层，对所述最大池化层和所述平均池化层的输出结果整合后，进行加权后得到通道加权特征图；将所述通道加权特征图分别进行最大池化操作和平均池化操作后，将最大池化操作结果与平均池化操作结果进行拼接后得到通道空间双加权特征图，所述通道空间双加权特征图经特征混合模块后与对应数据集中元素整合后输出训练结果。

6、作为上述技术方案的优选，较佳的，进行加权后得到通道加权的特征图，包括：对所述最大池化层输出的数据结果和所述平均池化层输出的数据结果进行share mlp操作，对操作结果进行函数操作得到特征图，将所述特征图与所述输入特征相乘，得到所述通道加权特征图。

7、作为上述技术方案的优选，较佳的，将最大池化操作结果与平均池化操作结果进行拼接后得到通道空间双加权特征图，包括，对所述最大池化操作结果与平均池化操作结果以平铺方式拼接，对拼接结果进行卷积后经一激活函数得到第一数据结果，所述第一数据结果与所述通道加权特征图相乘，得到所述通道空间双加权特征图。

8、作为上述技术方案的优选，较佳的，至少同时对三个相邻帧图像对进行上述训练操作，包括：采集的前一帧高分辨率图像和低分辨率图像分别配对后进行预处理，得到第一训练数据集；

9、采集的当前帧高分辨率图像和低分辨率图像分别配对后进行预处理，得到第二训练数据集；

10、采集的后一帧高分辨率图像和低分辨率图像分别配对后进行预处理，得到第三训练数据集；

11、同时对所述第一训练数据集、第二训练数据集、第三训练数据集中的各图像对分别经残差网络进行多尺度融合后，分别经通道注意力机制与空间注意力机制加权迭代后输出第一训练结果、第二训练结果、第三训练结果。

12、作为上述技术方案的优选，较佳的，对所述第一训练结果、第二训练结果、第三训练结果进行一组1x1卷积操作，将通道降低为一张图像的通道维度，得到融合前后帧信息的超分图像。

13、本发明提供一种能够执行上述方法的基于深度学习卷积神经网络的oct成像超分辨率重建的系统，包括：数据集获取模块：用于将各同帧采集的高分辨率图像和低分辨率图像分别配准后进行预处理，得到训练数据集。

14、训练模块，用于对所述对数据集获取模块获取的所述训练数据集中的图像对进行多尺度融合后，将多尺度融合结果与所述图像对叠加后经注意力模块加权后输出，得到训练结果。

15、训练模块在进行所述多尺度融合时分别对各所述图像对进行特征提取，得到所述图像对的特征图；对所述特征图卷积后，得到通道数并分组；分组后，除第一组特征图外，每一组特征均进行卷积操作后与后一组残差连接；其中，所述残差连接是将所述卷积操作后得到的数据结果输出后，所述数据结果还与后一组特征图作为后一组卷积操作的输入，依次类推；将各个输出结果卷积连接后，实现多尺度融合。训练模块还用于，至少同时对三个相邻帧图像对进行上述训练操作，将三个相邻的所述训练结果进行叠加，得到oct成像的超分辨率重建结果，oct成像的超分辨率重建模型构建完毕，将低分辨率的待分辨图像输入所述模型后得到所述待分辨图像的超分辨率图像。训练模块还用于，将叠加结果记作输入特征，同时输入并行的最大池化层和平均池化层，对所述最大池化层和所述平均池化层的输出结果整合后，进行加权后得到通道加权特征图；将所述通道加权特征图分别进行最大池化操作和平均池化操作后，将最大池化操作结果与平均池化操作结果进行拼接后得到通道空间双加权特征图，所述通道空间双加权特征图经特征混合模块后与对应数据集中元素整合后输出训练结果；具体的，所述进行加权后得到通道加权的特征图，包括：对所述最大池化层输出的数据结果和所述平均池化层输出的数据结果进行share mlp操作，对操作结果进行函数操作得到特征图，将所述特征图与所述输入特征相乘，得到所述通道加权特征图；对所述最大池化操作结果与平均池化操作结果以平铺方式拼接，对拼接结果进行卷积后经一激活函数得到第一数据结果，所述第一数据结果与所述通道加权特征图相乘，得到所述通道空间双加权特征图。训练模块还用于，对采集的前一帧高分辨率图像和低分辨率图像分别配对后进行预处理，得到第一训练数据集；采集的当前帧高分辨率图像和低分辨率图像分别配对后进行预处理，得到第二训练数据集；采集的后一帧高分辨率图像和低分辨率图像分别配对后进行预处理，得到第三训练数据集；同时对所述第一训练数据集、第二训练数据集、第三训练数据集中的各图像对分别经残差网络进行多尺度融合后，分别经通道注意力机制与空间注意力机制加权迭代后输出第一训练结果、第二训练结果、第三训练结果；对所述第一训练结果、第二训练结果、第三训练结果进行一组1x1卷积操作，将通道降低为一张图像的通道维度，得到融合前后帧信息的超分图像。

16、本发明还提供一种计算机存储介质，其上存储有计算机程序，此计算机程序被处理器执行时实现上述的基于深度学习卷积神经网络的oct成像超分辨率重建方法的步骤。

17、本发明技术方案提供了一种基于深度学习卷积神经网络的oct成像超分辨率重建的方法方法包括：将各同帧采集的高分辨率图像和低分辨率图像分别配准后进行预处理，得到训练数据集；对所述训练数据集中的图像对进行多尺度融合后，将多尺度融合结果与所述图像对叠加后经注意力模块加权，得到训练结果；至少同时对三个相邻帧图像对进行上述训练操作，将三个相邻的所述训练结果进行叠加，得到oct成像的超分辨率重建结果。

18、本发明提供一种基于深度学习卷积神经网络的oct成像超分辨率重建的方法，将各同帧采集的高分辨率图像和低分辨率图像分别配准后进行预处理，得到训练数据集。训练数据集中有若干配准后的图像对，对图像对进行多尺度融合后，将多尺度融合结果与所述图像对叠加后经注意力模块加权后输出，得到训练结果；至少同时对三个相邻帧图像对进行上述训练操作后，各自的训练结果进行叠加，得到oct成像的超分辨率重建结果，oct成像的超分辨率重建模型构建完毕，将低分辨率的待分辨图像输入所述模型后得到所述待分辨图像的超分辨率图像。

19、本发明的优点是提供了一种轻量级的超分辨率重建模型的构建方法，实现了低分辨率到高分辨率的重建。在模型中通过利用前后帧和当前帧并行处理的训练方式降低匹配差异带来的相关影响，同时也增强了网络上下文信息的融合能力。使用多尺度上下文信息融合，增加通道和空间的轻量级的注意力，实现了更好的超分，生成了更清晰的重建图像。使用轻量级的超分辨率重建oct图像，使其可以将15μm的分辨率提高到5μm，实现从算法模型上超分辨率，达到将oct图像分辨率更高的目的，使临床医生诊断更清晰可靠。