一种基于深度学习采集消化道黏膜信息的方法及系统与流程

1.本发明涉及一种分析方法，特别是涉及一种基于深度学习采集消化道黏膜信息的方法及系统。


背景技术：

2.上消化道黏膜异常主要包括但不限于各类食管炎，食管静脉曲张，各类胃炎，胃息肉，胃溃疡，早期和进展期食管癌和胃癌等疾病。这类疾病在内镜下表现为和周围正常黏膜表现不一致，包括色泽改变，黏膜表面程度改变等。这类改变通常可以通过医生视觉观察到，这也意味着，上消化道黏膜异常大多具有特定的视觉特征。
3.发现上消化道黏膜异常，是胃镜检查过程中胃镜医生的核心工作。在过去的传统检查模式中，主要通过胃镜操作医生肉眼观察，辅之以内镜下喷撒染色剂或电子染色的方式从而提高检出率。但是传统的内镜检查方式由于主要依靠医生的主动发现，对医生本身的检查经验和检查专注度要求较高。


技术实现要素：

4.本发明提供了一种基于深度学习采集消化道黏膜信息的方法及系统，以实现对消化道黏膜图像的自动化分析。
5.本发明提供了一种基于深度学习采集消化道黏膜信息的方法包括深度学习模块建立方法：s101对上消化道黏膜异常区域标注后的图像进行格式转化，形成纯数字形式的图片信息；s102提取数字形式的图片信息中上消化道黏膜异常区域的特征图像信息；s103对特征图像信息进行上采样或下采样，提取特征图；s104对提取出的特征图进行压缩；s105将提取到的特征图还原成输入图像；s106对输入图像中黏膜异常区域进行标识，并输出图像。
6.进一步地，所述s101中纯数字形式的图片信息为张量或数字矩阵。
7.进一步地，所述s102提取数字形式的图片信息中上消化道黏膜异常区域的特征信息包括：数字形式的图片信息中存在若干特征提取层，提取输入的图像中的特征，具体做法为，采用一个固定大小的卷积核，在输入中逐像素平移，利用卷积运算强化特征，卷积运算生成的矩阵可以作为输出，形成上消化道黏膜异常区域的特征信息。
8.进一步地，所述s103中下采样方法为：对于尺寸为m
×
n的特征图像信息，对其进行s倍下采样，即得到(m/s)(n/s)尺寸的得分辨率图像，其中s是m和n的公约数；若上消化道黏膜异常区域的特征信息为矩阵形式的特征图像信息，则将原始图像
s
×
s窗口内的图像作为一个像素，以该像素点值作为s
×
s窗口内所有像素的均值。
9.进一步地，所述s103中上采样方法为：在原有图像像素的基础上在像素点之间采用插值算法插入新的元素，从而扩大特征图像信息的大小。
10.进一步地，所述s106对输入图像中黏膜异常区域进行标识，并输出图像包括：对特征图像信息中黏膜异常区域的所在像素点进行坐标标定，形成标识。
11.进一步地，所述s104对提取出的特征图进行压缩包括平均池化模式和/或最大池化模式。
12.更进一步地，所述平均池化模式为：对特征图邻域内的特征点求平均。
13.更进一步地，所述最大池化模式为：对特征图邻域内的特征点取最大，将输入的特征图划分为若干个矩形区域，对每个子区域输出最大值。
14.本发明还公开一种运行上述方法的系统，包括深度学习模块，所述深度学习模块包括输入层、提取层、采样层、池化层、反卷积层、输出层，所述采样层包括上采样层和/或下采样层；所述输入层用于对上消化道黏膜异常区域标注后的图像进行格式转化，形成纯数字形式的图片信息；所述提取层用于提取数字形式的图片信息中上消化道黏膜异常区域的特征图像信息；所述采样层用于对特征图像信息进行上采样或下采样，提取特征图；所述池化层用于对提取出的特征图进行压缩；所述反卷积层用于将提取到的特征图还原成输入图像；所述输出层用于对输入图像中黏膜异常区域进行标识，并输出图像。
15.本发明相对于现有技术，通过深度学习技术，基于大量胃镜图像，提取到上消化道黏膜异常中的各类视觉特征，建立了可以对内镜视频进行实时分析处理的深度学习模块，模块可以在内镜检查过程中，逐帧对内镜视频进行分析，提取到当前帧中的图像特征，并且基于模块本身的一系列计算，对当前帧中的各类黏膜异常（如存在）做出提示，从而帮助内镜医师更好的发现上消化道黏膜异常，提高上消化道黏膜异常的检出率。
附图说明
16.图1为本发明实施例流程图。
具体实施方式
17.为了使本技术领域的人员更好地理解本发明方案，下面将对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。
18.本发明实施例公开了一种基于深度学习采集消化道黏膜信息的方法包括深度学习模块建立方法，如图1所示：s101对上消化道黏膜异常区域标注后的图像进行格式转化，形成纯数字形式的图片信息；
s102提取数字形式的图片信息中上消化道黏膜异常区域的特征图像信息；s103对特征图像信息进行上采样或下采样，提取特征图；其中，根据特征图像信息的尺寸采用上采样或下采样，若特征图像信息的尺寸较小，则采用上采样；若特征图像信息的尺寸较大，则采用下采样；s104对提取出的特征图进行压缩；s105将提取到的特征图还原成输入图像；s106对输入图像中黏膜异常区域进行标识，并输出图像。
19.本发明实施例通过深度学习，可对消化道黏膜异常的图像信息进行积累，实现对图像的自动化分析，提高分析效率。
20.可选的，所述s101中纯数字形式的图片信息为张量或数字矩阵。
21.可选的，所述s102提取数字形式的图片信息中上消化道黏膜异常区域的特征信息包括：数字形式的图片信息中存在若干特征提取层，提取输入的图像中的特征，具体做法为，采用一个固定大小的卷积核，在输入中逐像素平移，利用卷积运算强化特征，卷积运算生成的矩阵可以作为输出，形成上消化道黏膜异常区域的特征信息。
22.其中，卷积核的大小可选为3
×
3或者5
×
5，在本层的输入中逐像素平移，利用卷积运算来强化特征，卷积运算生成的矩阵可以作为输出。
23.本发明实施例通过采用卷积核，可对上消化道黏膜异常区域的特征信息进行卷积强化，增强异常区域的特征。
24.可选的，所述s103中下采样方法为：对于尺寸为m
×
n的特征图像信息，对其进行s倍下采样，即得到(m/s)(n/s)尺寸的得分辨率图像，其中s是m和n的公约数；若上消化道黏膜异常区域的特征信息为矩阵形式的特征图像信息，则将原始图像s
×
s窗口内的图像作为一个像素，以该像素点值作为s
×
s窗口内所有像素的均值。
25.其中，下采样方法可对过大图像进行简化分析，提高分析效率。
26.可选的，所述s103中上采样方法为：在原有图像像素的基础上在像素点之间采用插值算法插入新的元素，从而扩大特征图像信息的大小。
27.本发明实施例上采样方法可对过小图像插入新的元素，扩大特征图像信息的大小，方便进行精确分析。
28.可选的，所述s106对输入图像中黏膜异常区域进行标识，并输出图像包括：对特征图像信息中黏膜异常区域的所在像素点进行坐标标定，形成标识。
29.其中，对原图像上建立网格，并根据黏膜异常区域的所在像素点，形成坐标标定，形成黏膜异常区域的特征标识。
30.可选的，所述s104对提取出的特征图进行压缩包括平均池化模式和/或最大池化模式。
31.特别的，所述平均池化模式为：对特征图邻域内的特征点求平均。
32.特别的，所述最大池化模式为：对特征图邻域内的特征点取最大，将输入的特征图划分为若干个矩形区域，对每个子区域输出最大值。
33.本发明还公开一种运行上述方法的系统，包括深度学习模块，所述深度学习模块包括输入层、提取层、采样层、池化层、反卷积层、输出层，所述采样层包括上采样层和/或下采样层；所述输入层用于对上消化道黏膜异常区域标注后的图像进行格式转化，形成纯数字形式的图片信息；所述提取层用于提取数字形式的图片信息中上消化道黏膜异常区域的特征图像信息；所述采样层用于对特征图像信息进行上采样或下采样，提取特征图；所述池化层用于对提取出的特征图进行压缩；所述反卷积层用于将提取到的特征图还原成输入图像；所述输出层用于对输入图像中黏膜异常区域进行标识，并输出图像。
34.其中，本发明实施例的深度学习模块的学习及使用方法如下：步骤1、对上消化道黏膜异常图像进行标注，对图像中各类黏膜异常区域给出可以让计算机识别的标注信息；步骤2、将图像传入深度学习模块，进行深度学习，深度学习模块中的参数在传入数据前为随机值；根据需要模块学习的内容，设定损失函数；通过每张图像的网络计算结果与深度学习模块真实标注信息进行对比，求出损失函数；将损失函数的值传导回模块，根据损失函数，更新模块中的参数；重复操作，最终实现损失函数最小化，得到最终的模块参数，完成模块训练；步骤3、在胃镜检查过程中，将胃镜检查时的每一帧内镜检查图像传输到训练好的模块中，模块预测出当前帧是否存在黏膜异常，以及黏膜异常的大致区域，并且将结果实时反馈到消化内镜显示器上；步骤4、通过逐帧分析，完成在整个内镜检查过程对上消化道黏膜异常的实时识别。
35.本发明实施例的系统通过深度学习技术，基于大量胃镜图像，提取到上消化道黏膜异常中的各类视觉特征，建立了可以对内镜视频进行实时分析处理的深度学习模块，模块可以在内镜检查过程中，逐帧对内镜视频进行分析，提取到当前帧中的图像特征，并且基于模块本身的一系列计算，对当前帧中的各类黏膜异常（如存在）做出提示，从而帮助内镜医师更好的发现上消化道黏膜异常，提高上消化道黏膜异常的检出率。
36.最后应当说明的是，以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解，技术人员阅读本技术说明书后依然可以对本发明的具体实施方式进行修改或者等同替换，但这些修改或变更均未脱离本发明申请待批权利要求保护范围之内。