基于重建-分割双支路特征融合的超声图像分割方法

本发明涉及的是一种图像处理领域的技术，具体是一种基于重建-分割双支路特征融合的超声图像分割方法。

背景技术：

1、在医学图像分割算法中，高分辨率特征表示对于医学图像分割至关重要，也是一个具有挑战性的问题。然而，使用空洞卷积、密集空洞卷积块和尺度感知特征聚合模块等方法来提取高分辨图像特征的计算量往往比较大。在医疗领域资源设备紧张的条件下，这些算法的应用将受到限制。一些轻量级的模型虽然计算成本较低，但是因为无法获得丰富的图像特征以支持高精度的分割效果，分割性能往往有限。

技术实现思路

1、本发明针对现有超声图像分割方法中计算量大、特征提取冗余、无法有效关注到感兴趣分割区域导致分割效果较差的问题，提出一种基于重建-分割双支路特征融合的超声图像分割方法，基于低分辨率输入的重建-分割双流学习的适应性超声图像分割框架，将图像重建作为分割模型训练时的一个辅助任务来为分割任务提供更丰富的特征信息，辅以特征图融合模块以指导网络提取到更关注于目标分割区域的特征信息来提高分割的准确度，在不增加计算成本的情况下提高分割模型在不同医学超声图像域的鲁棒性。

2、本发明是通过以下技术方案实现的：

3、本发明涉及一种基于重建-分割双支路特征融合的超声图像分割方法，在离线阶段构造并训练包括具有各自解码器和任务头的分割支路和重建支路、一个编码器和特征融合模块的重建-分割双支路网络，在在线阶段采用训练后的网络进行实时图像分割。

4、所述的重建-分割双支路网络包括：具有各自解码器和任务头的分割支路和重建支路、一个编码器以及残差通道注意和多尺度卷积结合的特征融合模块，其中：编码器将输入图像进行编码得到编码特征fencoder后分别输出至分割支路和重建支路，两个任务特定的解码器分别将编码特征解码成两个任务相关的特征fseg和frec，特征融合模块提取两个任务之间有限的但集中于待分割感兴趣区域的共享特征集，并使用任务交互损失来约束模块学习，最小化由共享特征和任务目标产生的相应任务结果的距离，分割支路中的任务头基于特征fseg输出分割结果yseg，重建支路中的任务头基于特征frec输出对应的高分辨率重建图像yrec。

5、技术效果

6、本发明将残差通道注意单元和多尺度甲卷积策略的特征进行融合，使得网络提取到的高分辨率特征更好地集中于待分割图像的感兴趣区域，提高图像分割的准确性。

技术特征：

1.一种基于重建-分割双支路特征融合的超声图像分割方法，其特征在于，在离线阶段构造并训练包括具有各自解码器和任务头的分割支路和重建支路、一个编码器和特征融合模块的重建-分割双支路网络，在在线阶段采用训练后的网络进行实时图像分割；

2.根据权利要求1所述的基于重建-分割双支路特征融合的超声图像分割方法，其特征是，所述的分割支路采用u-net结构，对应的分割损失其中：k为分割掩码的像素类别数，yseg是分割任务分支的输出，tseg是分割任务的金标准，是第i类的金标准。

3.根据权利要求1所述的基于重建-分割双支路特征融合的超声图像分割方法，其特征是，所述的重建支路采用与循环一致性生成对抗网络(cyclegan)的生成器一致的结构，对应的重建损失其中：n为图像的像素数量，i是像素点索引，yrec是重建任务分支的输出，trec是重建任务的参考图像。

4.根据权利要求1-3中任一所述的基于重建-分割双支路特征融合的超声图像分割方法，其特征是，所述的分割支路和重建支路，通过以下方式进行训练：对输入的尺寸为w×h的高分辨率参考图像下采样后得到尺寸为的低分辨率图像x后输入共享的编码器en，得到编码后的特征fencoder＝en(x)；通过分割支路的解码器deseg和重建支路的解码器derec分别将编码后的解码成与任务相关的特征信息fseg＝deseg(fencoder)以及free＝derec(fencoder)；通过两个支路各自的任务头hseg和hrec输出分割结果yseg＝hseg(fseg)和重建图像yrec＝hrec(frec)，并利用分割损失和重建损失对这两者进行约束。

5.根据权利要求1所述的基于重建-分割双支路特征融合的超声图像分割方法，其特征是，所述的特征融合模块包括：残差通道注意单元、多尺度卷积单元、映射单元和哈达玛积分单元，其中：残差通道注意单元融合两个分支解码后的特征，多尺度卷积单元根据通道大小将残差通道注意单元提取到的特征分组后采用不同膨胀率的深度卷积捕获不同层次的信息，映射输出到分割解码特征fseg和重建解码特征frec的空间；哈达玛积分将输出与fseg和frec结合，再经过1×1卷积处理后，分别加入到最初输入的fseg和frec中得到特征融合后的解码特征。

6.根据权利要求5所述的基于重建-分割双支路特征融合的超声图像分割方法，其特征是，所述的残差通道注意单元包括：两个3×3的深度卷积层、两个线性层、sigmoid函数层，深度卷积层从合并的特征中捕获局部模式，线性和sigmoid函数层基于上述局部模式特征沿通道轴生成权值并将输入的组合特征与重新加权的特征相加后输出，具体为：合并特征fconcate＝c(fseg,frec)，中间特征ft＝conv(fconcate)，finter1＝convdw(convdw(ft))，finter2＝σ(conv(δ(conv(finter1))))，参残差通道注意单元输出的融合特征ffusion1＝ft+finter2，其中：c为合并操作，δ和σ分别为sigmoid和leakyrelu，conv和convdw分别为1×1卷积和3×3的深度卷积。

7.根据权利要求5所述的基于重建-分割双支路特征融合的超声图像分割方法，其特征是，所述的多尺度卷积单元包括：分组单元、深度卷积单元、池化单元以及批归一化单元，其中：分组单元根据通道大小将残差通道注意单元提取到的特征ffusion1分成m组，深度卷积单元对分组后的第一组特征采用1×1卷积，以维持当前的规模，对于第二组到(m-1)组特征，采用不同膨胀率的3×3深度卷积来捕获不同层次的信息，其中膨胀率设置为组数减1，池化单元对分组后的第m组特征进行图像池化统计全局空间信息，批归一化单元集成各个组的组合信息，最后通过gelu非线性激活函数得到与感兴趣分割区域相关的最重要的特征信息。

8.根据权利要求1或5或6或7所述的基于重建-分割双支路特征融合的超声图像分割方法，其特征是，所述的重建-分割双支路网络，通过共享特征融合模块约束分割支路和重建支路，以提取超声图像分割的有限共享特征集，具体包括：最小化由共享特征和任务目标产生的相应任务结果的距离，具体为：min(λseg(hseg(wseg⊙fseg),targetseg)+λrec(hrec(wrec⊙frec),targetrec))，其中：λseg和λrec分别为分割和重建任务的权值系数，wseg和wrec分别是分割特征和重建特征的权重，targetseg和targetrec分别是分割和重建任务的目标参考。

9.根据权利要求8所述的基于重建-分割双支路特征融合的超声图像分割方法，其特征是，所述的任务，即在双分支框架中包含分割或重建任务，提取的特征其中：l为任务的索引，l为任务数，分割特征和图像重建特征的组合为任务特征的总和，fl为对应任务的特征。

10.根据权利要求8所述的基于重建-分割双支路特征融合的超声图像分割方法，其特征是，所述的重建-分割双支路网络，其训练所采用的损失函数包括：重建分支损失、分割分支损失和共享特征融合部分的损失，三部分损失直接相加对网络训练进行约束，具体为：l＝lrec+lseg+lfu，其中：重建任务分支分割分支损失共享特征融合部分的损失n为图像的像素数量，i是像素点索引，yrec是重建任务分支的输出，trec为重建任务的参考图像，k为分割掩码的像素类别数，yseg为分割任务分支的输出，tseg为分割任务的金标准，为第i类的金标准，和分别为对应于特征融合后的分割和重建部分的代理损失，使用的损失计算方式分别跟前面所述的分割支路和重建支路所用的约束一致。

技术总结一种基于重建‑分割双支路特征融合的超声图像分割方法，基于重建‑分割双支路特征融合的超声图像分割方法，在离线阶段构造并训练包括具有各自解码器和任务头的分割支路和重建支路、一个编码器和特征融合模块的重建‑分割双支路网络，在在线阶段采用训练后的网络进行实时图像分割。本发明通过将图像重建作为分割模型训练时的一个辅助任务来为分割任务提供更丰富的特征信息，辅以特征图融合模块以指导网络提取到更关注于目标分割区域的特征信息来提高分割的准确度，在不增加计算成本的情况下提高分割模型在不同医学超声图像域的鲁棒性。技术研发人员：郭翌,黄丽红,汪源源受保护的技术使用者：复旦大学技术研发日：技术公布日：2024/11/4