内窥镜图像中息肉区域的分割方法、装置及相关组件

技术特征：
1.一种内窥镜图像中息肉区域的分割方法，其特征在于，包括：利用res2net对样本图像进行特征信息提取，依次得到层次从低到高的特征信息：第一特征信息、第二特征信息、第三特征信息、第四特征信息、第五特征信息；利用tem模块分别对所述第二特征信息、第三特征信息、第四特征信息、第五特征信息进行特征提取，得到以下相应的特征图：第一初级特征图、第二初级特征图、第三初级特征图、第四初级特征图；利用第一gem模块聚合所述第二初级特征图和第三初级特征图，得到第一高层特征图，并利用第二gem模块聚合所述第三初级特征图和第四初级特征图，得到第二高层特征图；利用第一ffsm模块将所述第一高层特征图和第二高层特征图进行背景信息融合，得到背景信息特征图，并利用第二ffsm模块将所述第一高层特征图和第二高层特征图进行纹理信息融合，得到纹理信息特征图；将所述背景信息特征图与纹理信息特征图进行相加以及卷积操作，输出最终预测图，以此构建得到息肉分割模型；利用损失函数对所述息肉分割模型进行监督和优化，得到优化后的息肉分割模型；利用所述息肉分割模型对目标图像进行分割，并输出分割结果。2.根据权利要求1所述的内窥镜图像中息肉区域的分割方法，其特征在于，所述利用第一gem模块聚合所述第二初级特征图和第三初级特征图，得到第一高层特征图，并利用第二gem模块聚合所述第三初级特征图和第四初级特征图，得到第二高层特征图，包括：计算所述第二初级特征图和第三初级特征图的相似度，并将得到的相似度与所述第三初级特征图进行相乘，并经过softmax层进行激活，得到第一过渡特征图；将所述第一过渡特征图与所述第二初级特征图进行相乘，得到第二过渡特征图；将所述第三初级特征图经过上采样操作，并与所述第一过渡特征图中每一元素分别与1作差处理后的所述第一过渡特征图进行相乘，得到第三过渡特征图；将所述第二过渡特征图和第三过渡特征图进行相加，并经过3*3卷积层进行卷积，得到第一高层特征图；计算所述第三初级特征图和第四初级特征图的相似度，并将得到的相似度与所述第四初级特征图进行相乘，并经过softmax层进行激活，得到第四过渡特征图；将所述第四过渡特征图与所述第三初级特征图进行相乘，得到第五过渡特征图；将所述第四初级特征图经过上采样操作，并与所述第四过渡特征图中每一元素分别与1作差处理后的所述第四过渡特征图进行相乘，得到第六过渡特征图；将所述第六过渡特征图和第五过渡特征图进行相加，并经过3*3卷积层进行卷积，得到第二高层特征图。3.根据权利要求1所述的内窥镜图像中息肉区域的分割方法，其特征在于，所述利用第一ffsm模块将所述第一高层特征图和第二高层特征图进行背景信息融合，得到背景信息特征图，包括：将所述第一高层特征图依次输入两个3*3卷积层，得到第一卷积特征图；将所述第一卷积特征图与所述第一高层特征图进行相加，得到第一中间特征图；将所述第二高层特征图依次输入两个3*3卷积层，得到第二卷积特征图；将所述第二卷积特征图与所述第二高层特征图进行相加，得到第二中间特征图；
将所述第二中间特征图依次输入全局最大池化层、以及sigmoid层，得到背景信息初级特征图；将所述背景信息初级特征图与所述第一中间特征图进行相乘，得到第三中间特征图；将所述第三中间特征图依次输入两个3*3卷积层，得到第三卷积特征图；将所述第三中间特征图和第三卷积特征图进行相乘，输出第四中间特征图；将所述第四中间特征图依次输入3*3卷积层、归一化层、relu层，得到背景信息特征图。4.根据权利要求3所述的内窥镜图像中息肉区域的分割方法，其特征在于，所述利用第二ffsm模块将所述第一高层特征图和第二高层特征图进行纹理信息融合，得到纹理信息特征图，包括：将所述第一高层特征图依次输入两个3*3卷积层，得到第四卷积特征图；将所述第四卷积特征图与所述第一高层特征图进行相加，得到第五中间特征图；将所述第二高层特征图依次输入两个3*3卷积层，得到第五卷积特征图；将所述第五卷积特征图与所述第二高层特征图进行相加，得到第六中间特征图；将所述第六中间特征图依次输入全局平均池化层、以及sigmoid层，得到纹理信息初级特征图；将所述纹理信息初级特征图与所述第五中间特征图进行相乘，得到第七中间特征图；将所述第七中间特征图依次输入两个3*3卷积层，得到第六卷积特征图；将所述第三中间特征图和第六卷积特征图进行相乘，输出第八中间特征图；将所述第八中间特征图依次输入3*3卷积层、归一化层、relu层，得到纹理信息特征图。5.根据权利要求1～4任一项所述的内窥镜图像中息肉区域的分割方法，其特征在于，所述利用损失函数对所述息肉分割模型进行监督和优化之前，包括：将所述第一初级特征图与所述背景信息特征图进行相乘，得到第一衔接特征图；将所述第一衔接特征图依次输入2个第一cbr模块，得到第九卷积层，其中，所述第一cbr模块由依次相连的3*3卷积层、归一化层、relu层组成；对所述纹理信息特征图中每一元素分别与1作差处理，以对所述纹理信息特征图执行背景信息的转换，并将转换后的所述纹理信息特征图与所述第一初级特征图进行相乘，得到第二衔接特征图；将所述第二衔接特征图依次输入2个第二cbr模块，得到第十卷积层，其中，所述第二cbr模块由依次相连的3*3卷积层、归一化层、relu层组成；将所述第九卷积层和第十卷积层相加，并输入1*1卷积层进行卷积，输出边缘预测图。6.根据权利要求5所述的内窥镜图像中息肉区域的分割方法，其特征在于，所述利用损失函数对所述息肉分割模型进行监督和优化，包括：利用下式对所述最终预测图进行监督和优化：loss＝l(d
pre
,y) l(d
edage
,y)；l＝l
bce
l
iou
；其中，d
edge
表示边缘预测图，d
pre
表示最终预测图，loss表示总损失，l
bce
表示二进制交叉熵损失函数，l
iou
表示iou损失函数，y表示样本图像对应的二值化真值图。7.根据权利要求2所述的内窥镜图像中息肉区域的分割方法，其特征在于，所述计算所述第二初级特征图和第三初级特征图的相似度，包括：
利用余弦相似度算法计算所述第二初级特征图和第三初级特征图的相似度；所述计算所述第三初级特征图和第四初级特征图的相似度，包括：利用余弦相似度算法计算所述第三初级特征图和第四初级特征图的相似度。8.一种基于内窥镜图像分析的息肉分割装置，其特征在于，包括：特征信息提取单元，用于利用res2net对样本图像进行特征信息提取，依次得到层次从低到高的特征信息：第一特征信息、第二特征信息、第三特征信息、第四特征信息、第五特征信息；特征提取单元，用于利用tem模块分别对所述第二特征信息、第三特征信息、第四特征信息、第五特征信息进行特征提取，得到以下相应的特征图：第一初级特征图、第二初级特征图、第三初级特征图、第四初级特征图；信息聚合单元，用于利用第一gem模块聚合所述第二初级特征图和第三初级特征图，得到第一高层特征图，并利用第二gem模块聚合所述第三初级特征图和第四初级特征图，得到第二高层特征图；信息融合单元，用于利用第一ffsm模块将所述第一高层特征图和第二高层特征图进行背景信息融合，得到背景信息特征图，并利用第二ffsm模块将所述第一高层特征图和第二高层特征图进行纹理信息融合，得到纹理信息特征图；预测单元，用于将所述背景信息特征图与纹理信息特征图进行相加以及卷积操作，输出最终预测图，以此构建得到息肉分割模型；优化单元，用于利用损失函数对所述息肉分割模型进行监督和优化，得到优化后的息肉分割模型；分割单元，用于利用所述息肉分割模型对目标图像进行分割，并输出分割结果。9.一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述的内窥镜图像中息肉区域的分割方法。10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行如权利要求1至7任一项所述的内窥镜图像中息肉区域的分割方法。

技术总结
本发明公开了一种内窥镜图像中息肉区域的分割方法、装置及相关组件。该方法包括利用Res2Net对样本图像进行特征信息提取，得到不同层次的特征信息；利用TEM模块分别对各特征信息进行特征提取，得到相应的特征图；利用第一GEM模块、第二GEM模块聚合相应特征图，分别得到第一、第二高层特征图；利用第一FFSM模块、第二FFSM模块分别得到背景信息特征图、纹理信息特征图；将背景信息特征图与纹理信息特征图进行相加以及卷积操作，输出最终预测图，以此构建得到息肉分割模型；利用损失函数对息肉分割模型进行监督和优化，得到优化后的息肉分割模型；利用息肉分割模型对目标图像进行分割，并输出分割结果。该方法对目标图像的分割具有较好的分割精确率。较好的分割精确率。较好的分割精确率。


技术研发人员：岳广辉 肖厚禄 韩婉婉 周天薇 李思莹 汪天富
受保护的技术使用者：深圳大学
技术研发日：2022.01.28
技术公布日：2022/5/6