基于超声内镜的病变浸润深度评估系统、方法和存储介质与流程

本发明涉及病变图像数据处理，具体涉及基于超声内镜的病变浸润深度评估系统、方法和存储介质。

背景技术：

1、超声内镜（endoscopic ultrasound，eus）是一种结合了内窥镜技术和超声波扫描技术的先进医学成像手段。它通过将微型超声探头安装在内窥镜的尖端，使医生能够在体内深处进行高分辨率的超声波扫描，特别是对消化道及其周围器官，如胰腺、胆囊、肝脏、食道等进行成像。eus不仅能提供解剖结构的详细图像，还能评估组织的病理状态，对于早期肿瘤检测、肿瘤分期、以及指导精确的组织活检具有极其重要的临床价值。

2、尽管超声内镜在诊断上有着巨大的优势，但在超声图像的自动化分割和分类方面仍然存在一些挑战和困难。首先，eus图像常常受到低对比度、回声异质性、运动伪影以及仪器本身产生的噪声影响，这些因素降低了图像的清晰度，增加了病变区域识别的难度。其次，病变在eus图像中表现形式多样，从微小结构变化到大规模异常区域，不同类型的病变在图像上的特征差异大，无论是医生鉴别，还是基于计算机技术实现的自动分割、分类，都具有较大的挑战。

3、早期计算机辅助图像分割和分类研究主要基于手工特征提取，如边缘检测、阈值分割、形态学操作等。这些方法依赖于人为定义的规则，对于复杂的病变结构适应性较差，分割精度受限，分类极其不准确。近年来，卷积神经网络（cnn）、transformer等深度学习技术在eus图像分析中展现出显著优势，能够自动学习高级特征，提高分割和分类的准确性。但是因为超声图像中存在与病变区域相似的非病变区域、病变边界模糊等原因，导致难以准确地识别病变和确定浸润深度类型，误识别率和误分类率较高，因此，亟需研发一种病变识别准率高的基于超声内镜的病变浸润深度评估系统、方法和存储介质。

技术实现思路

1、鉴于上述问题，本发明提供基于超声内镜的病变浸润深度评估系统、方法和存储介质，基于本发明能够更准确地识别病变轮廓和确定浸润深度类型。

2、本发明为解决技术问题所采用的技术方案如下：

3、第一方面，本发明提供基于超声内镜的病变浸润深度评估系统，包括：

4、图像获取模块，用于从超声内镜采集的视频中获取超声内镜图像；

5、模型创建模块，用于创建卷积神经网络模型；所述卷积神经网络模型包括特征提取模块、特征融合模块、解码器模块和类别预测模块，所述特征提取模块用于对超声内镜图像进行至少三层的逐层特征提取，获得编码特征图，所述特征融合模块用于对至少三组所述编码特征图进行特征融合得到第一融合特征图，所述解码器模块用于对所述特征融合模块中所使用的所述编码特征图和所述特征融合模块得到的特征图利用注意力机制进行处理得到若干解码特征图，用于对最后得到的所述解码特征图进行图像分割以得到病变区域，所述类别预测模块用于根据第一融合特征图和解码特征图进行病变浸润层次的分类；

6、模型训练模块，基于数据集对所述卷积神经网络模型进行训练和测试后作为基于超声内镜的病变浸润深度评估模型；所述数据集包括若干标记了病变轮廓和浸润深度类型的超声内镜图像。

7、在一个优选的实施例中，所述特征提取模块包括顺次设置的5组卷积神经网络模块，5组卷积神经网络模块对超声内镜图像进行逐层特征提取依次得到第一编码特征图f1、第二编码特征图f2、第三编码特征图f3、第四编码特征图f4和第五编码特征图f5；所述特征融合模块用于对第五编码特征图f5、第四编码特征图f4和第三编码特征图f3进行特征融合得到第一融合特征图。

8、在一个优选的实施例中，所述特征融合模块具体用于对第五编码特征图进行上采样运算，对上采样后的第五编码特征图进行卷积运算得到图，将图和第四编码特征图逐元素相乘，对逐元素相乘结果再依次进行上采样和卷积得到图，对图和图进行拼接操作，拼接后再进行卷积操作得到第一聚合特征图；对图和第三编码特征图逐元素相乘，相乘结果再卷积得到第二聚合特征图，将第一聚合特征图和第二聚合特征图进行拼接再卷积得到第一融合特征图。

9、在一个优选的实施例中，所述解码器模块包括第一局部解码器、第二局部解码器、第三局部解码器和分割预测模块，所述第一局部解码器，用于运用其上的第一注意力模块对最初解码特征图 和第五编码特征图f5进行特征提取，得到第一解码特征图s5，所述最初解码特征图根据全局映射特征图sm获得；所述第二局部解码器，用于运用其上的第一注意力模块对第一解码特征图s5和第四编码特征图f4进行特征提取，得到第二解码特征图s4；第三局部解码器，用于运用其上的第一注意力模块对第二解码特征图s4和第三编码特征图f3进行特征提取，得到第三解码特征图s3；所述分割预测模块用于对第三解码特征图s3进行处理得到病变区域的第一分割预测图，所述处理包括图像分割。

10、在一个优选的实施例中，所述分割预测模块具体用于对所述第三解码特征图s3进行上采样至恢复到超声内镜图像的尺寸，对上采样后的所述第三解码特征图s3经过sigmoid激活函数激活、再进行所述图像分割得到病变区域的第一分割预测图。

11、在一个优选的实施例中，所述第一局部解码器具体用于对最初解码特征图 和第五编码特征图f5经过第一注意力模块处理得到第一注意力特征r5，将第一注意力特征r5和全局映射特征图s6相加，得到第一解码特征图s5；

12、所述第二局部解码器具体用于对第一解码特征图s5上采样，对上采样后的第一解码特征图s5和第四编码特征图f4经过第一注意力模块处理得到第二注意力特征r4，将第二注意力特征r4和上采样后的第一解码特征图s5相加，得到第二解码特征图s4；

13、所述第三局部解码器具体用于对第二解码特征图s4上采样，对上采样后的第二解码特征图s4和第三编码特征图f3经过第一注意力模块处理得到第三注意力特征r3，将第三注意力特征r3和上采样后的第二解码特征图s4相加，得到第三解码特征图s3。

14、在一个优选的实施例中，所述类别预测模块具体用于将第三编码特征图f3和第三解码特征图s3相乘得到特征，将第四编码特征图f4和第二解码特征图s4相乘得到特征，将第五编码特征图f5和第一解码特征图s5相乘得到特征；用于对第一融合特征图fh进行注意力加权，得到第一融合加权特征图 ；用于将所述第一融合加权特征图、卷积后的特征、卷积后的特征、卷积后的特征输入到全连接层，将全连接层的输出通过softmax函数运算得到类别预测函数。

15、第二方面，本发明提供基于超声内镜的病变浸润深度实时评估方法，包括：

16、获取由超声内镜采集的实时视频；

17、从所述实时视频中获取超声内镜图像；

18、将所述超声内镜图像作为如第一方面中任意一项所述基于超声内镜的病变浸润深度评估系统中所得到的基于超声内镜的病变浸润深度评估模型的输入；

19、获得基于超声内镜的病变浸润深度评估模型的输出。

20、第三方面，本发明提供基于超声内镜的病变浸润深度评估方法，包括：

21、从超声内镜采集的视频中获取超声内镜图像；

22、创建卷积神经网络模型；所述卷积神经网络模型包括特征提取模块、特征融合模块、解码器模块和类别预测模块，所述特征提取模块用于对超声内镜图像进行至少三层的逐层特征提取，获得编码特征图，所述特征融合模块用于对至少三组所述编码特征图进行特征融合得到第一融合特征图，所述解码器模块用于对所述特征融合模块中所使用的所述编码特征图和所述特征融合模块得到的特征图利用注意力机制进行处理得到若干解码特征图，用于对最后得到的所述解码特征图进行图像分割以得到病变区域，所述类别预测模块用于根据第一融合特征图和解码特征图进行病变浸润层次的分类；

23、基于数据集对所述卷积神经网络模型进行训练和测试得到基于超声内镜的病变浸润深度评估模型；所述数据集包括若干标记了病变轮廓和浸润深度类型的超声内镜图像。

24、第四方面，本发明提供一种存储介质，存储有计算机程序，所述计算机程序被处理器执行时，实现第三方面所述的基于超声内镜的病变浸润深度评估方法。

25、本发明基于超声内镜的病变浸润深度评估系统、方法和存储介质，从超声内镜采集的视频中获取超声内镜图像，进行模型构建与训练，通过特征提取模块进行逐层特征提取生成金字塔式特征图；通过特征融合模块将不同分辨率的特征图聚合在一起，形成一个统一的特征，能够用于配合解码器模块作为解码器模块的初始引导区域，还能够配合类别预测模块进一步挖掘分类所需的特征信息；通过解码器模块对部分编码特征图和所述特征融合模块得到的特征图利用注意力机制进行解码处理，进一步强化特征，准确的对病变边缘和区域的估计，通过类别预测模块基于解码器模块和特征融合模块的结果进一步计算，实现病变浸润层次的分类。本发明基于这样的设计，相比于现有技术，实现了更准确地评估预测病变区域和病变浸润深度类型，本发明解决了人工智能辅助超声内镜图像下，病变区域识别不准确和病变浸润深度分类不准确的问题，提高了预测准确率。