基于多层编-解码框架的轻量级医学图像分割方法及系统

本发明属于生物信息，具体涉及一种基于多层编-解码框架的轻量级高效医学图像分割方法及系统。

背景技术：

1、近年来，即时医疗诊断技术(poc)发展日益紧迫，迅速和准确地诊断受感染的病人对于在流行病爆发期间控制疾病的传播至关重要。

2、由于设备和人力等资源有限，传统的实验室检测在满足大规模检测需求方面可能面临限制，导致结果延迟。poc诊断技术促进了更大规模的检测，减轻了实验室的负担，提高了医疗资源利用和检测的效率，确保了对更多患者的及时诊断。

3、基于图像分割的深度学习算法可以快速、准确地分析大量医学图像数据，提供快速的初步诊断、筛选和预测，从而加快诊断过程，减少医生的工作量。

4、在过去的十年中，大量工作一直致力于开发高准确率和强大的分割方法，导致模型越来越错综复杂。由于移动医疗设备的内存容量有限，这些高参数量的模型不太适合现代实际临床医疗场景。所以，在2022年，unext模型被提出，它通过使mlp与unet相结合，在保证分割性能的前提下，显著减少了参数数量。2024年，另外一个轻量级模型被提出，叫做duala-net，这是一个在多类数据集上都表现优异的分割模型，参数量和计算量也得到了显著降低。

5、但这些模型在性能优劣和模型简繁程度上无法同时实现，所以本发明提出了一种轻量级的、化繁为简的医学图像分割模型，并首次提出了浅层聚焦浮动模块(shalfofo)和双流协同特征提取模块(dual-stream synergy feature extraction module，简称dusem)来保证对输入图像信息的重要特征提取的完整性，保证在轻量化的前提下，实现对医学图像的精准分割，同时实现在医学图像分割领域深度学习模型的返璞归真。

技术实现思路

1、针对上述技术问题，本发明提供一种基于多层编-解码框架的轻量级高效医学图像分割方法及系统。

2、本发明是通过以下技术方案实现的：

3、一种基于多层编-解码框架的轻量级高效医学图像分割系统，所述轻量级高效医学图像分割系统包括多层编码器和多层解码器两个部分，且所述多层编码器和所述多层解码器的层数相同，所述多层编码器和所述多层解码器采用跳跃连接的方式级联；

4、所述多层编码器包括浅层和深层两个部分；所述浅层采用浅层聚焦浮动模块(shalfofo)，用于获取浅层特征；所述深层采用双流协同特征提取模块(dual-streamsynergy feature extraction module)，用于获取深层语义信息；

5、所述多层解码器包括选择性内核模块和空洞空间卷积池化金字塔(aspp)。

6、进一步地，所述多层编码器和所述多层解码器采用跳跃连接的方式级联，具体为：每层解码器的输出和与该层解码器同一层的编码器的输出连接，且每层解码器和比该层解码器深一层的解码器的输出连接，即深一层解码器的输出即为浅一层解码器的输入。

7、进一步地，采用所述浅层聚焦浮动模块对输入的特征图进行处理的方法为：

8、在每一次操作中，对输入的特征图进行并行的两种操作：一个是通过两组核大小为3×3的卷积操作，另一个是通过一组核大小为1×1的卷积操作；

9、将两种操作后获得的两组特征图进行尺寸统一、相加，再进行整形操作(此处整形操作英文为reshape，相当于尺寸调整操作，是常规方法用于使特征图大小改变)、聚焦浮动操作，获取特征图中各个通道的权重，生成注意力图；

10、将生成的所述注意力图按元素乘以整形操作前的特征图，获得每一层经过浅层聚焦浮动模块的输出。通过注意力图按元素乘以整形操作前的特征图能够抑制传输的特征信息中的不重要区域，从而使模型在浅层更加关注重要的细粒度信息。

11、进一步地，在所述聚焦浮动操作中，使用全连接层和非线性激活函数来学习每个通道的权重，以捕捉通道之间的关系；

12、假设全连接层的参数为w1∈rc'×c和w2∈rc×c'；

13、其中，r代表集合实数集，c代表特征图的通道数，c'是一个与c相比较小的维度；具体地，当c为48，c'可以取40；c'的存在只为减少计算复杂度，取值只要比c小即可，无具体数值，此方法为常规方法；

14、所述聚焦浮动操作使每一个需要执行聚焦浮动操作的特征x首先经过第一个全连接层获得特征x1：x1＝δ(w1x)，其中δ表示非线性激活函数(relu)；再输入到另一个全连接层获得特征x2：x2＝σ(w2x1)，其中σ表示sigmoid函数；

15、得到的输出x′＝σ(w2δ(w1x1))，其中x'∈r1×1×c表示每个通道的权重向量。

16、进一步地，所述双流协同特征提取模块包括第一流和第二流，所述第一流为多层深度切片聚焦浮动流(desfofo)，所述第二流为多层深度切块聚焦浮动流(dekfofo)，所述第一流和所述第二流同步提取；

17、每一层深度切片聚焦浮动流用于将输入的特征图按通道维度分离成与通道数量相同个数的切片，对各个切片同时进行核大小为3×3的二维卷积操作，然后将得到的所有切片依次按照切片顺序执行拼接操作以恢复特征图的大小，再通过1×1核大小的逐点卷积层将不同通道的特征进行融合；得到特征图y10′；这个操作提供了更好的特征表示能力，有助于提高模型的准确性和泛化能力；公式表示为：

18、mi＝splitc(y)，i＝1,2,…,c；

19、mi′＝conv3×3(mi)，i＝1,2,...,c；

20、y10′＝y+conv1×1(concat(mi′))，i＝1,2,...,c；

21、其中，y为第一流的输入，y是经过多次浅层操作后最后得到的输出；splitc为沿通道维度划分为c部分的输入特征映射，conv3×3表示核大小为3×3的二维卷积，concat表示连接操作，conv1×1表示核大小为1×1的二维卷积；

22、将输出的特征图y′10与输入信息y的残差相加，然后进行整形操作及聚焦浮动操作，得到相应层的深度切片聚焦浮动流输出y11′；(整形操作及聚焦浮动操作与浅层聚焦浮动模块中的操作相同)；由于深度切片聚焦浮动流操作分解为多个切片，并且使用较小的卷积核，因此网络的参数数量和计算量大大减少，这使得网络更加轻量化，效率更高；这对于实时图像处理和移动设备上的应用非常重要；

23、每一层深度切块聚焦浮动流，用于将特征图沿着通道维度平均划分为四个部分，并通过不同扩张率的膨胀卷积获得全局(扩张率为5和7的卷积)和局部(扩张率分别为1和2的卷积)特征信息；然后在通道维度上执行级联操作以恢复特征图的大小，再进行1×1核大小的卷积操作使得全局和局部信息进行交互，得到特征图y20′；公式表示为：

24、ni＝split4(y)，i＝1,2,3,4；

25、n′1,n′2,n′3,n′4＝d1(n1),d2(n2),d5(n3),d7(n4)；

26、y20′＝conv1×1(concat(n′i))，i＝1,2,3,4；

27、其中，y为第二流的输入，y是经过多次浅层操作后最后得到的输出；split4表示输入特征映射沿通道维度分为n1',n'2,n3',n'4四个部分，dr表示扩张速率为r的扩张卷积，r＝1,2,5,7；concat表示连接操作，conv1×1表示核大小为1×1的二维卷积；

28、将特征图y20′与输入信息y的残差相加，然后进行整形操作及聚焦浮动操作，得到每一层深度切块聚焦浮动流输出的y21′(整形操作及聚焦浮动操作与浅层聚焦浮动模块中的操作相同)；通过深度切块聚焦浮动流中感受野的扩大，可以实现更高的分辨率，从而在分割任务中精确定位目标。

29、将第一流得到的相应层的深度切片聚焦浮动流输出y11′经过混合注意力模块(cbam)获取注意力图ycbam′，将注意力图ycbam′与第二流相应层的深度切块聚焦浮动流输出y21′点乘相加，获得双流协同特征提取模块相应层的输出；

30、对双流协同特征提取模块的每一层进行相同操作，直至最深层，获得双流协同特征提取模块最深层的输出。

31、进一步地，在最深层特征映射经过编码操作后，将双流协同特征提取模块最深层的输出输入到解码器，特征图首先经过多层自适应感受野选择解码器(arfsd)进行处理，多层自适应感受野选择解码器的输出通过两次空洞空间卷积池化金字塔(aspp)传递，应用1×1的卷积和sigmoid激活，得到分割映射。

32、进一步地，所述多层自适应感受野选择解码器中使用选择性内核模块；使网络能够通过选择感受野的大小来自动适应不同大小的输入信息，巧妙地将注意力机制应用于卷积内核，根据输入图像的分辨率为不同内核大小的输出分配不同的重要性级别。它使得网络自适应地选择适当的卷积核，实现自适应感受野。不同的特征图可能会阻碍模型优化性能，选择性内核块是提取和保存重要语义特征的一种重要方法，这确保了有意义的特征被用于分割图像。

33、每层自适应感受野选择解码器的输出为：

34、

35、其中，表示第i层自适应感受野选择解码器的输出，表示第i层编码器的输出，n表示网络的深度，up(·)表示上采样操作，sk表示选择性内核操作。

36、一种基于多层编-解码框架的轻量级高效医学图像分割方法，采用所述一种基于多层编-解码框架的轻量级高效医学图像分割系统，所述方法包括：

37、步骤(1)：对于输入的医学图像，通过k次浅层聚焦浮动模块进行下采样操作实现浅层图像编码，获取足够的浅层特征，即细粒度信息，得到浅层编码器输出其中k＝1,2,…,m；m代表浅层编码器的总数；

38、步骤(2)：将步骤(1)中的浅层编码器输出通过n-m次双流协同特征提取模块进行下采样操作，获取足够的深层语义信息，即粗粒度信息，得到深层编码器输出其中i＝m+1,m+2,…,n；n代表编码器的总层数；

39、步骤(3)：将步骤(2)中的每一层通过双流协同特征提取模块得到的双流输出交互作用，得到深层编码器中每一层的输出其中i＝m+1,m+2,…,n；

40、步骤(4)：将步骤(3)中得到最深层双流协同特征提取模块的输出通过自适应感受野选择解码操作得到最深层解码器的输出目的是选择利用更有效的特征信息；

41、步骤(5)：将步骤(4)中最深层解码器的输出进行双线性插值操作得到以实现与维度的统一，执行和两者像素级的相加操作；双线性插值操作后的结果与通过自适应感受野选择解码操作，抑制不相关的特征，得到次深层解码器的输出每次n＝n-1，重复执行，直至n＝m+1；

42、步骤(6)：将步骤(4)中的输出进行双线性插值操作得到以实现与步骤(1)中的浅层最后一层输出维度的统一，然后将和两者执行相加操作，通过自适应感受野选择解码操作，自动学习选择利用有用的特征，抑制不相关的特征，得到第m层解码器的输出

43、步骤(7)：将步骤(6)中的第m层解码器的输出进行双线性插值操作得到以实现与步骤(1)中的浅层输出维度的统一，然后和两者执行相加操作，通过自适应感受野选择解码操作，自动学习选择利用有用的特征，抑制不相关的特征，重复执行，每次m＝m-1，直到得到第1层解码器的输出

44、步骤(8)：将步骤(7)中的第1层解码器的输出通过两次空洞空间卷积池化金字塔，和1×1的卷积操作，使得对有利特征进行最后捕获操作，实现对医学图像的分割。

45、本发明的有益技术效果：

46、本发明提供的轻量级高效医学图像分割方法在解决现有技术中医学图像分割模型的参数量、计算量和分割精度平衡问题上，通过创新编码器结构，提取足够的特征信息，在降低参数量和计算复杂度的同时保持高分割精度。

47、本发明提供的轻量级高效医学图像分割方法改进了原始卷积操作，规避transformer模块，从根本上降低参数量，降低计算复杂度。

48、本发明提供的轻量级高效医学图像分割方法解决了特征提取不足的问题，在编码器部分使用不同的深层或浅层新型特征提取模块，即浅层聚焦浮动模块和双流协同特征提取模块，从根本上解决特征提取不足的问题。