一种基于生成对抗网络的萎缩性胃炎自动识别系统

本发明属于医学图像自动识别，具体涉及一种基于生成对抗网络的萎缩性胃炎自动识别系统。

背景技术：

1、本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。

2、胃癌通常由萎缩性胃炎发展而来，晚期萎缩性胃炎患者患胃癌概率较高，尽早发现和治疗萎缩性胃炎，有助于预防胃癌的发生。然而内窥镜医生水平差别较大，且人工诊断萎缩性胃炎所需时间精力较多，使用智能系统来自动识别萎缩性胃炎，以辅助医护人员进行诊断是十分必要的。如今深度学习在医学图像分类和分割领域的应用日益广泛，利用深度学习可以实现对患者的自动识别，减轻医生负担，帮助没有经验的医生进行更准确的萎缩性胃炎的诊断。而现有技术并没有完善的根据胃镜图像进行萎缩性胃炎自动识别的系统，来同时进行萎缩性胃炎严重程度的自动判断和萎缩区域的自动识别。

3、对于可以收集到的胃镜数据集，非萎缩性胃炎数据往往多于萎缩性胃炎数据，并且不同部位患病概率不同以及胃镜数据采集难度不同，各个部位的数据数量也相差较大，这就产生了数据不平衡问题。当胃镜数据集中正负样本和不同部位之间的数据不平衡时，为了保证整个模型的预测结果尽可能准确，模型的预测结果会向数据较多的类别倾斜，从而产生错误的预测。

4、对数据较少的类进行数据扩充是一种解决数据不平衡的方法，但是萎缩性胃炎数据较少的类的收集难度较大，通过人工进行数据扩充需要医生花费大量人力和时间成本，可行性不高。

5、生成对抗网络是计算机视觉领域的一种无监督学习方法，可以用于生成所需的图像。近年来，生成对抗网络得到了各个领域的高度关注和广泛应用，在医学领域已应用于医学图像生成，医学图像增强等方向。但现有的技术对于不平衡萎缩性胃炎数据的扩充只是使用简单的增强数据方法，如翻转、旋转、平移等，这些通过空间变换得到的图像数据无法确保数据的可变性，无法有效解决数据不平衡问题。

技术实现思路

1、本发明为了解决上述问题，提出了一种基于生成对抗网络的萎缩性胃炎自动识别系统，可以对胃镜图像进行萎缩性胃炎的自动识别，具有较高的准确性，能够较好的辅助医生进行诊断。

2、根据一些实施例，本发明采用如下技术方案：

3、一种基于生成对抗网络的萎缩性胃炎自动识别系统，包括：

4、数据获取模块，用于获取所需部位的胃镜图像，并且标注胃镜图像的部位、是否萎缩以及萎缩区域信息，得到胃镜图像数据集；

5、双重采样模块，用于对胃镜图像数据集进行预处理，以及基于生成对抗网络的特征筛选双重采样，得到平衡的胃镜图像数据集；

6、模型训练模块，用于利用平衡的胃镜图像数据集分别训练木村竹本分型模型和萎缩区域识别模型；

7、联合识别模块，用于利用木村竹本分型模型和萎缩区域识别模型分别对待测胃镜图像进行处理，并且基于两个模型的输出，进行联合识别，确定胃镜图像中萎缩性胃炎的严重程度。

8、作为可选择的实施方式，所需部位的胃镜图像包括胃窦、胃角、胃体小弯下部、胃体小弯中上部、贲门、胃底以及胃体大弯的胃镜图像。

9、作为可选择的实施方式，所述双重采样模块，包括预处理模块，用于对胃镜图像数据集进行预处理，去除胃镜图像数据集中模糊、散焦、光晕的图像以及图像中的文字、缩略图、黑边，并裁剪图像至图像主体部分。

10、作为可选择的实施方式，所述双重采样模块，包括判断模块，被配置为将闭合型和开放型萎缩性胃炎再细分为萎缩和非萎缩两类，形成细分类别，设置阈值u，若细分类别中的图像数量大于g×(1+u)，则该细分类别为需要欠采样的类，对该细分类别中的图像进行分区欠采样；若细分类别中的图像数量小于g×(1-u)，则该细分类别为需要过采样的类，对该细分类别中的图像进行基于生成对抗网络的特征筛选过采样；若细分类别中的图像数量大于等于g×(1-u)且小于等于g×(1+u)，则不需要进行欠采样或过采样操作，g为全部胃镜图像数量和n的比值，n为细分类别的总个数。

11、作为进一步的实施方式，所述双重采样模块，包括欠采样模块，被配置为：对需要欠采样类中的每一张图像使用网络模型提取特征，得到特征向量；

12、计算每两个特征向量之间的欧式距离，对每一个特征向量，选取该特征向量与其他特征向量距离中最小的m个值；

13、将选出的m个距离值的倒数相加得到该图像的得分，按照得分进行排序，按照设定比例将图像划分为保留区和欠采样区；

14、对欠采样区的图像进行随机欠采样，欠采样保留的图像数量为g×(1-u)，将采样保留的图像与保留区图像加入训练集。

15、作为进一步的实施方式，所述双重采样模块，包括过采样模块，被配置为：构建生成器和鉴别器，所述生成器用于生成假样本，鉴别器用于区分生成器生成的样本和真实样本；

16、训练生成器和鉴别器，训练过程中，将图像先进行调整和增强；

17、进行特征筛选，对训练后的生成器和鉴别器生成的图像和原始图像，进行特征提取，得到生成图像的特征向量和原始图像的特征向量，计算生成图像的特征向量与每一张原始图像的特征向量的距离，选取其中最小的n个距离值，将选取的n个距离值的倒数相加得到该图像的得分，设置阈值h，如果该图像的得分小于h，则该图像不能够作为训练使用的图像，如果该图像的得分大于等于h，将该图像加入训练集；

18、重复上述特征筛选过程，直到训练集图像数量大于等于g×(1-u)后停止。

19、作为可选择的实施方式，所述木村竹本分型模型包括依次连接的特征提取层、图像块嵌入层、位置嵌入层、编码器和多层感知机，所述特征提取层用于对调整大小后的平衡的胃镜图像数据集图像进行特征提取，所述图像块嵌入层接收特征提取结果，并对其进行卷积和展平处理，所述位置嵌入层用于将图像块嵌入层的输出和与类别标记合并后加上位置嵌入，所述编码器用于对经过丢弃操作后的位置嵌入层的输出进行标准化处理，提取类别标记，所述多层感知机用于根据提取的结果，进行预测。

20、作为可选择的实施方式，在训练所述木村竹本分型模型时，将每一张标注为萎缩但是预测为非萎缩的图像划分为多个网格的小块图像，随机打乱网格中图像块的顺序，将打乱后的图像加入原训练集中，再次训练木村竹本分型模型。

21、作为可选择的实施方式，所述萎缩区域识别模型包括依次连接的多个大小不同的transformer层，每个transformer层包含高效自注意力层、混合全连接前馈网络层和重叠图像块合并层，将得到的多个多尺度特征输入到多层感知机层，得到预测输出；

22、训练萎缩区域识别模型时，将每一张标注为萎缩但是预测萎缩面积小于设定值的图像及其掩膜图像划分为多网格的小块图像，随机打乱网格中图像块的顺序，将打乱后的图像加入原训练集中，再次训练萎缩区域识别模型。

23、作为可选择的实施方式，所述联合识别模块，用于将待测胃镜图像输入木村竹本分型模型得到图像级别分型预测结果，将待测胃镜图像输入萎缩区域识别模型得到像素级别萎缩区域以及萎缩区域面积；

24、当木村竹本分型模型输出结果为非萎缩，且萎缩区域识别模型输出萎缩区域面积小于设定值时，判断为无萎缩性胃炎；当木村竹本分型模型输出结果为萎缩，或萎缩区域识别模型输出萎缩区域面积大于设定值时，判断为患有萎缩性胃炎；

25、若判断为患有萎缩性胃炎，通过木村竹本分型模型的输出结果判断萎缩性胃炎的严重程度。

26、与现有技术相比，本发明的有益效果为：

27、本发明可以对胃镜图像进行萎缩性胃炎的自动识别，以辅助医生判断萎缩性胃炎的严重程度，提高了识别的准确性和稳定性，大大降低了医生诊断所需的人力和时间成本。

28、针对萎缩性胃炎数据集的特点，本发明同时使用基于生成对抗网络的特征筛选过采样和分区欠采样的方法，解决了之前难以解决的数据不平衡的问题，增加数据量较少类别的数据所占比例，有效提高了模型预测的准确性，稳定性和鲁棒性。

29、本发明针对收集和标注的每一个数据都十分珍贵，为避免浪费欠采样过程中丢失的有效信息，使用分区欠采样，保留了更多的有效信息，并且设置了判断机制决定此类数据采取过采样还是欠采样。

30、本发明针对数据量较少的类别的收集难度更大的问题，使用过采样方法自动生成数据可以大大降低专业医生收集数据的人力和时间成本；并且在过采样方法中加入特征筛选器，保证了训练集图像对于训练的有效性。

31、本发明在木村竹本分型模型和萎缩区域识别模型中加入了防止误预测为非萎缩的机制，不仅强化了模型对于预测错误的样本的学习，还有效降低了漏诊率，且使用联合识别模块进行辅助识别，识别的依据一方面来自木村竹本分型，一方面来自模型预测的萎缩区域，识别结果更加全面，也进一步降低了漏诊率，提高了模型的稳定性。

32、为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。