内窥镜图像中息肉区域的分割方法、装置及相关组件

1.本发明涉及图像处理领域，尤其涉及一种内窥镜图像中息肉区域的分割方法、装置及相关组件。


背景技术：

2.目前消化道类癌占类癌之绝大多数,cheek报告3718例类癌,其中发生千消化道的有3684例,占9.1％。godwin综合2837例类癌,也有2456例发生于消化道,占86.6％。曾吾淳综合报道日本1342例类癌,其中有928例发生于消化道,占69.2％。我国类癌报道也以消化道多。因此，通过筛查试验和切除肿瘤前病变(息肉)来预防消化道癌是非常重要的，并已成为全球公共卫生的优先事项。据统计，95％的消化道癌都是从息肉发展而来，息肉经过长期的刺激逐渐增大，最终导致消化道癌。在临床实践中，从内窥镜图像中分割息肉具有重要的意义。然而，精确的息肉分割是一项具有挑战性的任务，主要有两个原因：1、同一类型的息肉大小、颜色和纹理各不相同；2、息肉与周围粘膜的界限不清晰。
3.在各种各样的息肉分割方法中，传统的息肉分割方法依赖手工制作的特征，如颜色、纹理、形状、外观或这些特征的组合。但是这个方法不仅费时费力，而且准确率不高，对于一些高类内变化，低类间变化的息肉有心无力。
4.近年来，深度学习在图像处理、目标识别、机器翻译等领域取得突破性进展。医学领域也越来越重视深度学习的应用，如医学图像、电子病历、药物研发和基因组学等各个方面的任务中，深度学习也被应用于息肉的图像分割任务中，如pranet利用反向注意力机制聚合多尺度特征，从而确定息肉粗略的分割图，即现有的分割模型对息肉的图像的分割的精确率较差。


技术实现要素：

5.本发明的目的是提供一种内窥镜图像中息肉区域的分割方法、装置及相关组件，旨在解决现有的分割模型对息肉的图像的分割的精确率较差的问题。
6.为解决上述技术问题，本发明的目的是通过以下技术方案实现的：提供一种内窥镜图像中息肉区域的分割方法，其包括：
7.利用res2net对样本图像进行特征信息提取，依次得到层次从低到高的特征信息：第一特征信息、第二特征信息、第三特征信息、第四特征信息、第五特征信息；
8.利用tem模块分别对所述第二特征信息、第三特征信息、第四特征信息、第五特征信息进行特征提取，得到以下相应的特征图：第一初级特征图、第二初级特征图、第三初级特征图、第四初级特征图；
9.利用第一gem模块聚合所述第二初级特征图和第三初级特征图，得到第一高层特征图，并利用第二gem模块聚合所述第三初级特征图和第四初级特征图，得到第二高层特征图；
10.利用第一ffsm模块将所述第一高层特征图和第二高层特征图进行背景信息融合，
得到背景信息特征图，并利用第二ffsm模块将所述第一高层特征图和第二高层特征图进行纹理信息融合，得到纹理信息特征图；
11.将所述背景信息特征图与纹理信息特征图进行相加以及卷积操作，输出最终预测图，以此构建得到息肉分割模型；
12.利用损失函数对所述息肉分割模型进行监督和优化，得到优化后的息肉分割模型；
13.利用所述息肉分割模型对目标图像进行分割，并输出分割结果。
14.另外，本发明要解决的技术问题是还在于提供一种基于内窥镜图像分析的息肉分割装置，其包括：
15.特征信息提取单元，用于利用res2net对样本图像进行特征信息提取，依次得到层次从低到高的特征信息：第一特征信息、第二特征信息、第三特征信息、第四特征信息、第五特征信息；
16.特征提取单元，用于利用tem模块分别对所述第二特征信息、第三特征信息、第四特征信息、第五特征信息进行特征提取，得到以下相应的特征图：第一初级特征图、第二初级特征图、第三初级特征图、第四初级特征图；
17.信息聚合单元，用于利用第一gem模块聚合所述第二初级特征图和第三初级特征图，得到第一高层特征图，并利用第二gem模块聚合所述第三初级特征图和第四初级特征图，得到第二高层特征图；
18.信息融合单元，用于利用第一ffsm模块将所述第一高层特征图和第二高层特征图进行背景信息融合，得到背景信息特征图，并利用第二ffsm模块将所述第一高层特征图和第二高层特征图进行纹理信息融合，得到纹理信息特征图；
19.预测单元，用于将所述背景信息特征图与纹理信息特征图进行相加以及卷积操作，输出最终预测图，以此构建得到息肉分割模型；
20.优化单元，用于利用损失函数对所述息肉分割模型进行监督和优化，得到优化后的息肉分割模型；
21.分割单元，用于利用所述息肉分割模型对目标图像进行分割，并输出分割结果。
22.另外，本发明实施例又提供了一种计算机设备，其包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一方面所述的内窥镜图像中息肉区域的分割方法。
23.另外，本发明实施例还提供了一种计算机可读存储介质，其中所述计算机可读存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行上述第一方面所述的内窥镜图像中息肉区域的分割方法。
24.本发明实施例公开了一种内窥镜图像中息肉区域的分割方法、装置及相关组件，其中，方法包括：利用res2net对样本图像进行特征信息提取，依次得到层次从低到高的特征信息：第一特征信息、第二特征信息、第三特征信息、第四特征信息、第五特征信息；利用tem模块分别对所述第二特征信息、第三特征信息、第四特征信息、第五特征信息进行特征提取，得到以下相应的特征图：第一初级特征图、第二初级特征图、第三初级特征图、第四初级特征图；利用第一gem模块聚合所述第二初级特征图和第三初级特征图，得到第一高层特征图，并利用第二gem模块聚合所述第三初级特征图和第四初级特征图，得到第二高层特征
图；并利用第一ffsm模块将所述第一高层特征图和第二高层特征图进行背景信息融合，得到背景信息特征图，并利用第二ffsm模块将所述第一高层特征图和第二高层特征图进行纹理信息融合，得到纹理信息特征图；将所述背景信息特征图与纹理信息特征图进行相加以及卷积操作，输出最终预测图，以此构建得到息肉分割模型；利用损失函数对所述息肉分割模型进行监督和优化，得到优化后的息肉分割模型；利用所述息肉分割模型对目标图像进行分割，并输出分割结果。
25.该方法先通过第一gem模块、第二gem模块聚合相应的特征图，得到具有较全面的全局信息的第一高层特征图、第二高层特征图，并将第一高层特征图、第二高层特征图作为第一ffsm模块、第二ffsm模块的输入，以达到利用第一ffsm模块、第二ffsm模块获得更加丰富的全局特征信息，从而使得到的最终预测图精确度高，即得到的息肉分割模型对目标图像的分割具有较好的分割精确率。
附图说明
26.为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
27.图1为本发明实施例提供的内窥镜图像中息肉区域的分割方法的流程示意图；
28.图2为本发明实施例提供的内窥镜图像中息肉区域的分割方法的结构示意图；
29.图3为本发明实施例提供的内窥镜图像中息肉区域的分割方法的第一gem模块的结构示意图；
30.图4为本发明实施例提供的内窥镜图像中息肉区域的分割方法的第二gem模块的结构示意图；
31.图5为本发明实施例提供的内窥镜图像中息肉区域的分割方法的第一ffsm模块的结构示意图；
32.图6为本发明实施例提供的内窥镜图像中息肉区域的分割方法的第二ffsm模块的结构示意图；
33.图7为本发明实施例提供的内窥镜图像中息肉区域的分割方法的egem模块的结构示意图；
34.图8为本发明实施例提供的内窥镜图像中息肉区域的分割方法的cbr模块的结构示意图；
35.图9为本发明实施例提供的基于内窥镜图像分析的息肉分割装置的示意性框图；
36.图10为本发明实施例提供的计算机设备的示意性框图。
具体实施方式
37.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
38.应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示
所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
39.还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
40.还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
41.请参阅图1，图1为本发明实施例提供的内窥镜图像中息肉区域的分割方法的流程示意图；
42.如图1所示，该方法包括步骤s101～s107。
43.s101、利用res2net对样本图像进行特征信息提取，依次得到层次从低到高的特征信息：第一特征信息、第二特征信息、第三特征信息、第四特征信息、第五特征信息；
44.s102、利用tem模块分别对所述第二特征信息、第三特征信息、第四特征信息、第五特征信息进行特征提取，得到以下相应的特征图：第一初级特征图、第二初级特征图、第三初级特征图、第四初级特征图；
45.s103、利用第一gem模块聚合所述第二初级特征图和第三初级特征图，得到第一高层特征图，并利用第二gem模块聚合所述第三初级特征图和第四初级特征图，得到第二高层特征图；
46.s104、利用第一ffsm模块将所述第一高层特征图和第二高层特征图进行背景信息融合，得到背景信息特征图，并利用第二ffsm模块将所述第一高层特征图和第二高层特征图进行纹理信息融合，得到纹理信息特征图；
47.s105、将所述背景信息特征图与纹理信息特征图进行相加以及卷积操作，输出最终预测图，以此构建得到息肉分割模型；
48.s106、利用损失函数对所述息肉分割模型进行监督和优化，得到优化后的息肉分割模型；
49.s107、利用所述息肉分割模型对目标图像进行分割，并输出分割结果。
50.在本实施例中，采用在imagenet数据集上已训练好的res2net网络作为基础网络，并移除该网络的全连接层，保留前五层作为特征提取模块，针对一幅图像i∈r3×h×r，通过该res2net基础网络可以提取五层特征图。
51.结合图2，本技术首先利用预训练好的res2net网络对输入的样本图像进行特征信息提取，得到以下不同层次的特征信息：第一特征信息e1、第二特征信息e2、第三特征信息e3、第四特征信息e4、第五特征信息e5，记作e3、第四特征信息e4、第五特征信息e5，记作其中i∈{1，2，3，4，5}，其中，ci＝{64，256，512，1024，2048}表示的是通道维度。
52.然后基于人类视觉中不同的感受野应该具备不同的离心率，且高层次的特征信息对性能提升有更大的帮助的条件下，本技术利用tem模块分别对后四层的特征信息(ei，i∈{2，3，4，5})提取其在不同感受野下的特征得到对应的特征图(fi，i∈{2，3，4，5})，需要说明的是，本技术的tem模块即纹理增强模块(texture enhanced module)，用于捕捉细粒度的纹理和放大上下文线索，与标准感受野块结构相比，tem模块多增加了一条空洞率更大的分支来扩大感受野，并进一步用两个不对称的卷积层代替了标准的卷积。
53.在解码阶段，经过tem模块处理后的第一初级特征图f2、第二初级特征图f3和第三初级特征图f4、第四初级特征图f5中的特征信息分别通过第一gem模块和第二gem模块以将各层次的特征信息相互融合，得到两层具有较全面的全局特征信息图即第一高层特征图g1和第二高层特征图g2。
54.然后，将两个聚合得到的第一高层特征图g1和第二高层特征图g2同时作为第一ffsm模块和第二ffsm模块的输入，第一ffsm模块和第二ffsm模块旨在获得更加丰富的全局特征信息，其中，第一ffsm模块用于将所述第一高层特征图和第二高层特征图进行背景信息融合，得到背景信息特征图k1，第二ffsm模块用于将所述第一高层特征图和第二高层特征图进行特征纹理信息融合，得到纹理信息特征图k2。
55.最后将背景信息特征图与纹理信息特征图进行相加以及卷积操作，输出最终预测图，以此构建得到息肉分割模型；另外本技术还利用损失函数对所述息肉分割模型进行监督和优化，使优化后的息肉分割模型具有更好的分类性能，本技术生成的息肉分割模型对息肉目标图像具有较好的分割精确度。
56.具体一实施例中，所述步骤s103包括以下步骤：
57.s10、计算所述第二初级特征图和第三初级特征图的相似度，并将得到的相似度与所述第三初级特征图进行相乘，并经过softmax层进行激活，得到第一过渡特征图；
58.s11、将所述第一过渡特征图与所述第二初级特征图进行相乘，得到第二过渡特征图；
59.s12、将所述第三初级特征图经过上采样操作，并与所述第一过渡特征图中每一元素分别与1作差处理后的所述第一过渡特征图进行相乘，得到第三过渡特征图；
60.s13、将所述第二过渡特征图和第三过渡特征图进行相加，并经过3*3卷积层进行卷积，得到第一高层特征图；
61.s14、计算所述第三初级特征图和第四初级特征图的相似度，并将得到的相似度与所述第四初级特征图进行相乘，并经过softmax层进行激活，得到第四过渡特征图；
62.s15、将所述第四过渡特征图与所述第三初级特征图进行相乘，得到第五过渡特征图；
63.s16、将所述第四初级特征图经过上采样操作，并与所述第四过渡特征图中每一元素分别与1作差处理后的所述第四过渡特征图进行相乘，得到第六过渡特征图；
64.s17、将所述第六过渡特征图和第五过渡特征图进行相加，并经过3*3卷积层进行卷积，得到第二高层特征图。
65.在本实施例中，如图3所示，先计算第二初级特征图f3和第三初级特征图f4的相似度，在本实施例中，采用余弦相似度算法计算第二初级特征图f3和第三初级特征图f4的相似度，具体计算步骤如下：用第二初级特征图f3点乘第三初级特征图f4得到值a，然后对第二初级特征图f3的行方向求模得到值m1，对第三初级特征图f4的列方向求模得到值m2，并将值m1以及值m2点乘得到矩阵denom，相似度z＝a/denom，即每一元素对应位置进行除运算。
66.需要说明的是，如图3所示，将步骤s10的具体操作过程定义为第一ffsm模块中的sa模块，sa模块采用non-local思想，用于提取全局的信息，在将第二初级特征图f3和第三初级特征图f4输入sa模块后，输出第一过渡特征图h1，然后将第一过渡特征图h1与第二初级特征图f3进行相乘，得到第二过渡特征图j1；然后将所述第三初级特征图f4进行上采样操
作，同时将第一过渡特征图h1中每一元素分别与1作差处理(即图3所示的1-h1)，将分别处理后的两者相乘，得到第三过渡特征图j2，最后将第二过渡特征图j1和第三过渡特征图j2进行相加、并经卷积核为3*3的卷积层输出第一高层特征图g1。
67.在本实施例中，第一gem模块和第二gem模块的结构相同，只是输出的特征图不同，导致输出的结果也不同，即将第三初级特征图f4和第四初级特征图f5分别输入第二gem模块，得到如图4所示的第四过渡特征图h2、第五过渡特征图j3、第六过渡特征图j4，并最后输出第二高层特征图g2，需要说明的是，步骤s14也和步骤s10中同样利用余弦相似度算法计算第三初级特征图和第四初级特征图的相似度，故本实施例不再赘述。
68.另外，本实施例中输出第一高层特征图g1用下式表示：
69.g1＝conv(f3*h1 f4(1-h1)，3*3)；
70.其中，conv(a，3*3)表示输入为a与3*3的卷积核进行卷积运算得到的结果；
71.同理可知，本实施例中输出第二高层特征图g2用下式表示：
72.g2＝conv(f4*h2 f5(1-h2)，3*3)；
73.其中，conv(a，3*3)表示输入为a与3*3的卷积核进行卷积运算得到的结果。
74.具体一实施例中，所述步骤s104中“利用第一ffsm模块将所述第一高层特征图和第二高层特征图进行背景信息融合，得到背景信息特征图”，包括以下步骤：
75.s20、将所述第一高层特征图依次输入两个3*3卷积层，得到第一卷积特征图；
76.s21、将所述第一卷积特征图与所述第一高层特征图进行相加，得到第一中间特征图；
77.s22、将所述第二高层特征图依次输入两个3*3卷积层，得到第二卷积特征图；
78.s23、将所述第二卷积特征图与所述第二高层特征图进行相加，得到第二中间特征图；
79.s24、将所述第二中间特征图依次输入全局最大池化层、以及sigmoid层，得到背景信息初级特征图；
80.s25、将所述背景信息初级特征图与所述第一中间特征图进行相乘，得到第三中间特征图；
81.s26、将所述第三中间特征图依次输入两个3*3卷积层，得到第三卷积特征图；
82.s27、将所述第三中间特征图和第三卷积特征图进行相乘，输出第四中间特征图；
83.s28、将所述第四中间特征图依次输入3*3卷积层、归一化层、relu层，得到背景信息特征图。
84.在本实施例中，为了提取更丰富的特征信息，本技术设计出ffsm模块，通过该模块可将高层特征图与低层特征图充分融合以得到更加丰富的特征信息，需要说明的是，本实施例中的高层特征图和低层特征图是相对的，即按照层次顺序，后一层特征图相对于前一层特征图是作为高层特征图的，而前一层特征图是作为底层特征图的。
85.如图5所示，可以将ffsm模块划分成a模块、b模块、c模块以及第三cbr模块，其中，a模块、b模块、c模块的结构相同，都包含2个相连的3*3卷积层以及一个特征相加操作(将经过2个3*3卷积层卷积的特征图与输入的特征图进行相加)。
86.对于第一ffsm模块(ffsm1)，用于提取高层特征图的背景信息，具体的，将第一高层特征图g1输入a模块中，a模块输出第一中间特征图m1，同时将第二高层特征图g2输入b模
块中，b模块输出第二中间特征图m2，然后利用全局最大池化(gmp)提取高层特征图即第二中间特征图m2中的背景信息、以及经过sigmoid函数激活得到背景信息初级特征图t1，再将背景信息初级特征图t1与第一中间特征图m1相乘，并输入c模块中，c模块输出第四中间特征图u1。
87.如图7所示，在本实施例中，第三cbr模块包括依次相连的1个3*3卷积层、1个2维batchnormlization层、1个relu层，具体的，将第四中间特征图u1输入第三cbr模块，得到背景信息特征图k1。
88.在本实施例中，所述a模块、b模块、c模块均可以用下式表示：
89.out＝conv(conv(in，3*3)，3*3) in；
90.其中，in表示输入的特征图，out表示输出的特征图，conv(in，3*3)表示输入in与3*3的卷积核进行卷积运算。
91.具体一实施例中，所述步骤s104中“利用第二ffsm模块将所述第一高层特征图和第二高层特征图进行纹理信息融合，得到纹理信息特征图”，包括以下步骤：
92.s40、将所述第一高层特征图依次输入两个3*3卷积层，得到第四卷积特征图；
93.s41、将所述第四卷积特征图与所述第一高层特征图进行相加，得到第五中间特征图；
94.s42、将所述第二高层特征图依次输入两个3*3卷积层，得到第五卷积特征图；
95.s43、将所述第五卷积特征图与所述第二高层特征图进行相加，得到第六中间特征图；
96.s44、将所述第六中间特征图依次输入全局平均池化层、以及sigmoid层，得到纹理信息初级特征图；
97.s45、将所述纹理信息初级特征图与所述第五中间特征图进行相乘，得到第七中间特征图；
98.s46、将所述第七中间特征图依次输入两个3*3卷积层，得到第六卷积特征图；
99.s47、将所述第三中间特征图和第六卷积特征图进行相乘，输出第八中间特征图；
100.s48、将所述第八中间特征图依次输入3*3卷积层、归一化层、relu层，得到纹理信息特征图。
101.如图6所示，在本实施例中，第二ffsm模块(ffsm2)，用于提取高层特征图的特征纹理信息，具体的，将第一高层特征图g1输入a模块中，a模块输出第五中间特征图n1，同时将第二高层特征图g2输入b模块中，b模块输出第六中间特征图n2，然后利用全局平均池化(gap)提取高层特征图即第六中间特征图n2中的纹理信息、以及经过sigmoid函数激活得到纹理信息初级特征图t2，再将纹理信息初级特征图t2与第五中间特征图n1相乘，并输入c模块中，c模块输出第八中间特征图u2，最后将第八中间特征图u2输入第三cbr模块，得到纹理信息特征图k2。
102.对于步骤s104中的第一ffsm模块(ffsm1)，可以用下式表示：
103.m1＝a(g1)；
104.m2＝b(g2)；
105.t1＝sigmoid(gmp(m2))；
106.u1＝c(t1*m1)；
107.k1＝cbr(u1)；
108.其中，a(x)、b(x)、c(x)表示a模块、b模块、c模块分别对输入的x进行操作，gmp(x)表示对x进行全局最大池化操作，sigmoid(x)表示对x进行激活函数sigmoid操作，“*”表示特征相乘操作，第三cbr(u1)表示第三cbr模块对输入的x进行操作，需要说明的是，本技术公式中的x不是特指某一特征图，在不同的公式中，结合说明书附图以及具体实施例，代入相应的特征图。
109.同理，也可以用下式表示步骤s104中的第二ffsm模块(ffsm2)：
110.n1＝a(g1)；
111.n2＝b(g2)；
112.t2＝sigmoid(gap(n2))；
113.u2＝c(t2*n1)；
114.k2＝cbr(u2)；
115.其中，gap(x)表示对x进行全局平均池化操作。
116.本技术最后将得到的背景信息特征图k1和纹理信息特征图k2进行相加、以及经过1*1卷积核的卷积层，输出最终预测图，以此构建得到息肉分割模型；
117.其中，可以用下式表示输出的最终预测图：
118.predict＝conv(k1 k2，1*1)；
119.其中conv(x,1*1)表示x与1*1卷积核进行卷积操作。
120.具体一实施例中，为了进一步提高网络的性能，本发明引入如图8所示的egem模块，用于提取边缘信息，从而辅助网络对输入数据进行预测，即所述步骤s106之前包括以下步骤：
121.s50、将所述第一初级特征图与所述背景信息特征图进行相乘，得到第一衔接特征图；
122.s51、将所述第一衔接特征图依次输入2个第一cbr模块，得到第九卷积层，其中，所述第一cbr模块由依次相连的3*3卷积层、归一化层、relu层组成；
123.s52、对所述纹理信息特征图中每一元素分别与1作差处理，以对所述纹理信息特征图执行背景信息的转换，并将转换后的所述纹理信息特征图与所述第一初级特征图进行相乘，得到第二衔接特征图；
124.s53、将所述第二衔接特征图依次输入2个第二cbr模块，得到第十卷积层，其中，所述第二cbr模块由依次相连的3*3卷积层、归一化层、relu层组成；
125.s54、将所述第九卷积层和第十卷积层相加，并输入1*1卷积层进行卷积，输出边缘预测图。
126.需要说明的是，第一cbr模块、第二cbr模块、第三cbr模块的结构相同。
127.结合图7和8，在本实施例中，将第一初级特征图f2与背景信息特征图k1进行相乘，得到第一衔接特征图，然后将第一衔接特征图依次输入3*3卷积层、归一化层、relu层、3*3卷积层、归一化层、relu层，最后输出第九卷积层p1，同时，将纹理信息特征图k2中每一元素分别与1作差处理(如图8所示的1-k2)后，与第一初级特征图f2进行相乘，得到第二衔接特征图，将第二衔接特征图依次输入3*3卷积层、归一化层、relu层、3*3卷积层、归一化层、relu层，最后输出第十卷积层p2；再将九卷积层p1和第十卷积层p2相加，并将相加后的结果与卷
积核为1*1的卷积层进行操作得到输出边缘预测图(如图1所示的edge)，本技术的egem模块通过高层特征图指导网络学习目标区域的边缘结构信息，需要说明的是，九卷积层p1和第十卷积层p2相加之后再经过卷积核为1*1的卷积层，将输入通道数为64变为输出通道数为1。
128.具体一实施例中，所述步骤s106包括以下步骤：
129.s60、利用下式对所述最终预测图进行监督和优化：
130.loss＝l(d
pre
,y) l(d
edage
,y)；
131.l＝l
bce
l
iou
；
132.其中，d
edge
表示边缘预测图，d
pre
表示最终预测图，loss表示总损失，l
bce
表示二进制交叉熵损失函数，l
iou
表示iou损失函数，y表示样本图像对应的二值化真值图。
133.在本实施例中，为了更好的提高网络的性能，本技术采用深监督学习的方式训练模型，并利用边缘信息d
edge
辅助预测输出结果d
pre
，其中，在损失函数方面，本技术采用带权重的二值交叉熵损失函数与带权重的iou损失函数之和约束网络训练。
134.本技术设计的息肉分割网络采用的数据划分方式为常用的随机划分，即训练集：测试集＝8：2，将batchsize设置为16，epoch设置为80，学习率设置为0.0001。
135.同时为了进一步减少实验误差，增加可靠性，本技术随机划分10次数据集训练得到10个网络模型。在测试阶段，将这10个网络模型输出结果的平均值作为最终的评估值；在此，采用dice similarity coefficient(dice)，iou of polyp(ioup)，sensitivity(se)和accuracy(acc)4个常用的评估指标作为衡量网络性能的指标。dice、ioup、se、acc的值越大表示性能越好。
136.本技术采用kvasir息肉数据集作为本技术的实验数据集，该数据集由1000张高分辨率白光图像组成，图像分辨率大小从332
×
482到1920
×
1072不等，为统一尺寸，本技术在训练和测试阶段将图片大小重置为352
×
352。
137.本技术提出的网络与息肉分割网络pranet做对比，其中在kvasir-seg数据集上的测试结果如表1所示。
138.表1：
[0139] diceioupseaccour0.9090.8560.9240.971pranet0.8970.8410.9170.967
[0140]
从表1中得出，本技术的内窥镜图像中息肉区域的分割方法相较于现有的息肉分割网络pranet，在dice similarity coefficient(dice)，iou of polyp(ioup)，sensitivity(se)和accuracy(acc)4个常用的评估指标上，均表现最优，由此得出本技术的内窥镜图像中息肉区域的分割方法可以快速且有效对息肉图像进行自动分割，且分割后输出的分割结果准确，即对息肉图像的分割具有较好的分割精确率。
[0141]
本发明实施例还提供一种基于内窥镜图像分析的息肉分割装置，该基于内窥镜图像分析的息肉分割装置用于执行前述内窥镜图像中息肉区域的分割方法的任一实施例。具体地，请参阅图9，图9是本发明实施例提供的基于内窥镜图像分析的息肉分割装置的示意性框图。
[0142]
如图9所示，基于内窥镜图像分析的息肉分割装置500，包括：
[0143]
特征信息提取单元501，用于利用res2net对样本图像进行特征信息提取，依次得到层次从低到高的特征信息：第一特征信息、第二特征信息、第三特征信息、第四特征信息、第五特征信息；
[0144]
特征提取单元502，用于利用tem模块分别对所述第二特征信息、第三特征信息、第四特征信息、第五特征信息进行特征提取，得到以下相应的特征图：第一初级特征图、第二初级特征图、第三初级特征图、第四初级特征图；
[0145]
信息聚合单元503，用于利用第一gem模块聚合所述第二初级特征图和第三初级特征图，得到第一高层特征图，并利用第二gem模块聚合所述第三初级特征图和第四初级特征图，得到第二高层特征图；
[0146]
信息融合单元504，用于利用第一ffsm模块将所述第一高层特征图和第二高层特征图进行背景信息融合，得到背景信息特征图，利用第二ffsm模块将所述第一高层特征图和第二高层特征图进行纹理信息融合，得到纹理信息特征图；
[0147]
预测单元505，用于将所述背景信息特征图与纹理信息特征图进行相加以及卷积操作，输出最终预测图，以此构建得到息肉分割模型；
[0148]
优化单元506，用于利用损失函数对所述息肉分割模型进行监督和优化，得到优化后的息肉分割模型；
[0149]
分割单元507，用于利用所述息肉分割模型对目标图像进行分割，并输出分割结果。
[0150]
该装置可以快速且有效的对息肉图像进行自动分割，且分割后输出的分割结果准确，即对息肉图像的分割具有较好的分类精确率。
[0151]
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
[0152]
上述基于内窥镜图像分析的息肉分割装置可以实现为计算机程序的形式，该计算机程序可以在如图10所示的计算机设备上运行。
[0153]
请参阅图10，图10是本发明实施例提供的计算机设备的示意性框图。该计算机设备1100是服务器，服务器可以是独立的服务器，也可以是多个服务器组成的服务器集群。
[0154]
参阅图10，该计算机设备1100包括通过系统总线1101连接的处理器1102、存储器和网络接口1105，其中，存储器可以包括非易失性存储介质1103和内存储器1104。
[0155]
该非易失性存储介质1103可存储操作系统11031和计算机程序11032。该计算机程序11032被执行时，可使得处理器1102执行内窥镜图像中息肉区域的分割方法。
[0156]
该处理器1102用于提供计算和控制能力，支撑整个计算机设备1100的运行。
[0157]
该内存储器1104为非易失性存储介质1103中的计算机程序11032的运行提供环境，该计算机程序11032被处理器1102执行时，可使得处理器1102执行内窥镜图像中息肉区域的分割方法。
[0158]
该网络接口1105用于进行网络通信，如提供数据信息的传输等。本领域技术人员可以理解，图10中示出的结构，仅仅是与本发明方案相关的部分结构的框图，并不构成对本发明方案所应用于其上的计算机设备1100的限定，具体的计算机设备1100可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
[0159]
本领域技术人员可以理解，图10中示出的计算机设备的实施例并不构成对计算机
设备具体构成的限定，在其他实施例中，计算机设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。例如，在一些实施例中，计算机设备可以仅包括存储器及处理器，在这样的实施例中，存储器及处理器的结构及功能与图10所示实施例一致，在此不再赘述。
[0160]
应当理解，在本发明实施例中，处理器1102可以是中央处理单元(central processing unit，cpu)，该处理器1102还可以是其他通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现成可编程门阵列(field-programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
[0161]
在本发明的另一实施例中提供计算机可读存储介质。该计算机可读存储介质可以为非易失性的计算机可读存储介质。该计算机可读存储介质存储有计算机程序，其中计算机程序被处理器执行时实现本发明实施例的内窥镜图像中息肉区域的分割方法。
[0162]
所述存储介质为实体的、非瞬时性的存储介质，例如可以是u盘、移动硬盘、只读存储器(read-only memory，rom)、磁碟或者光盘等各种可以存储程序代码的实体存储介质。
[0163]
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的设备、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
[0164]
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。