基于融合双注意力机制的三维图像多目标分割方法

本发明涉及计算机视觉，具体涉及基于融合双注意力机制的三维图像多目标分割方法。

背景技术：

1、随着深度学习的发展，卷积神经网络在图像分类、目标检测等不同的高级计算机视觉任务中都表现出了优异的性能，也被广泛应用于图像分割任务中。在多目标分割领域，研究者们提出了一系列基于二维卷积神经网络的分割模型，表现出优秀的性能。但由于二维模型仅针对二维图像设计开发，在处理三维图像时较难得到好的效果，因而研究者又在此基础上对模型进行改进，提出应用于三维图像处理任务的三维卷积神经网络模型。

2、为缓解由强度相近导致的多目标边界模糊及邻近结构干扰问题，研究者们为图像分割领域引入了自然语言处理中的注意力方法。注意力机制可使网络专注于感兴趣区域并忽略不相关区域，通过生成聚焦目标区域的特征权重来减少邻近结构的干扰，可有效提升分割性能。但现有的图像注意力机制大多基于二维图像设计，并不适配三维图像分割任务。与二维图像相比，三维图像虽只增加了深度这一维度，但也包含了更多的空间信息。

3、综上，提出一种三维图像多目标分割方法以实现对三维图像中多目标区域的准确识别与分割是人们亟待解决的问题。

技术实现思路

1、鉴于此，本发明公开提供了基于融合双注意力机制的三维图像多目标分割方法，以充分利用三维图像的全部信息，解决由目标间边界模糊及邻近结构强度相近导致的分割精度不足问题，有效提升多目标分割性能。

2、本发明的技术方案包括：基于融合双注意力机制的三维图像多目标分割方法，包括：

3、s1：将输入图像送入编码器下采样网络依次获得四个不同尺度的特征；

4、s2：在3d u-net的编码器与解码器网络之间添加多尺度通道增强注意力和空间分解与通道融合注意力；

5、将四个不同尺度的特征送入多尺度通道增强注意力，获得四个不同尺度的通道特征；

6、s3：将四个不同尺度通道特征中最小尺度的通道特征再送入空间分解与通道融合注意力，获得深层空间特征；

7、s4：所述深层空间特征与同尺度的通道特征相加融合，经三个串联的残差结构块深化特征信息后送入解码器上采样网络，同时其余三个通道特征依次与解码器的每一层拼接融合来补充信息，获得最终多目标分割结果。

8、具体地，所述将四个不同尺度的特征送入多尺度通道增强注意力，获得四个不同尺度的通道特征，包括：

9、s21:多尺度通道增强注意力将输入的四个尺度特征分别做全局最大池化操作，再将其按通道维度拼接起来，得到聚合特征如公式(1)所示：

10、

11、其中gmp是全局最大池化，[·,·]c表示沿通道维度的拼接操作；

12、s22:聚合特征经过两个卷积核大小为1×1×1的三维卷积操作依次进行通道的降维和升维，得到特征增强后的聚合特征如公式(2)所示，

13、

14、其中，fr1和fr2是三维卷积操作，分别实现通道维度的降低和升高；δ和σ分别代表非线性激活函数relu和sigmoid；

15、s23:特征增强后的聚合特征沿通道维度拆分成四个不同尺度的特征四个不同尺度的特征并行经过卷积核大小为1×1×1的三维卷积和sigmoid激活函数来学习每个尺度的通道关系，生成对应尺度的通道注意力权重如公式(3)所示：

16、

17、其中f1为三维卷积操作,σ为非线性激活函数sigmoid；

18、s24:通道注意力权重分别与输入特征对应相乘，得到四个不同尺度通道特征如公式(4)所示：

19、

20、其中f2是三维卷积操作，σ为非线性激活函数sigmoid。

21、具体地，s3中所述空间分解与通道融合注意力包含空间分解子注意力和通道子注意力两部分：

22、将四个不同尺度通道特征中最小尺度的通道特征再送入空间分解与通道融合注意力，获得深层空间特征，包括：

23、s31:所述空间分解子注意力将输入特征fsin经卷积核大小为1×1×1的三维卷积操作和relu激活函数合并通道信息，生成聚合特征如公式(5)所示，

24、

25、其中是将通道数c减少为1的三维卷积，δ代表非线性激活函数relu，输入特征fsin为四个不同尺度通道特征中最小尺度的通道特征；

26、s32:将聚合特征沿空间维度进行分解，产生三个具备方向信息的聚合特征xh∈r1×h×1×1、xw∈r1×1×w×1和xd∈r1×1×1×d；如公式(6)所述；

27、其中将聚合特征沿空间维度进行分解具体操作是使用三个池化内核依次为(h，1，1)、(1，w，1)和(1，1，d)的全局平均池化，沿高、宽和深三个维度的方向对进行编码；

28、

29、s33:再将三个具备方向信息的聚合特征做维度变换后沿深度维度拼接起来，得到聚合特征如公式(7)所示，

30、

31、其中[·,·]d表示沿深度维度的拼接操作，p是维度变换函数，f3是卷积核大小为1×1×1的三维卷积操作，δ为非线性激活函数relu；

32、s34：将聚合特征拆分得到方向特征和对其进行变换再扩展为输入尺度，得到空间分解权重和特征尺度均为1×h×w×d，该过程如公式(8)所示：

33、

34、其中p是维度变换函数，e为尺度扩张操作；

35、s35：同时，输入特征fsin送入通道子注意力，首先经两个卷积核大小为1×1×1的三维卷积操作依次执行通道的降维和升维，再经sigmoid函数激活后得到通道权重如公式(9)所示：

36、

37、其中fr4和f5

38、r是三维卷积操作，分别实现通道维度的降低和升高；δ和σ分别代表非线性激活函数relu和sigmoid；

39、s36：最后，空间分解权和与输入特征fsin连乘，通道权重也与输入特征fsin相乘，两个融合后的特征相加，再经sigmoid函数激活，获得深层空间特征fsout，如公式(10)所示，

40、

41、其中σ为非线性激活函数sigmoid。

42、具体地，s4具体为：将s2和s3中得到的深层空间特征fsout与同尺度的通道特征相加融合，经三个串联的残差结构块深化特征信息后送入解码器上采样网络，同时其余三个浅层通道特征依次与解码器中的每一层拼接融合，得到最终的多目标分割结果。

43、本发明提供了基于融合双注意力机制的三维图像多目标分割方法，在3d u-net的编码器与解码器网络之间添加所提出的多尺度通道增强注意力和空间分解与通道融合注意力，实现对三维图像中多目标区域的准确识别与分割。充分利用了三维图像的全部信息，提升分割精度。

44、应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明的公开。

技术特征：

1.基于融合双注意力机制的三维图像多目标分割方法，其特征在于，包括：

2.根据权利要求1所述的基于融合双注意力机制的三维图像多目标分割方法，其特征在于，所述将四个不同尺度的特征送入多尺度通道增强注意力，获得四个不同尺度的通道特征，包括：

3.根据权利要求1所述的基于融合双注意力机制的三维图像多目标分割方法，其特征在于，s3中所述空间分解与通道融合注意力包含空间分解子注意力和通道子注意力两部分：

4.根据权利要求1所述的基于融合双注意力机制的三维图像多目标分割方法，其特征在于，s4具体为：将s2和s3中得到的深层空间特征fsout与同尺度的通道特征相加融合，经三个串联的残差结构块深化特征信息后送入解码器上采样网络，同时其余三个浅层通道特征依次与解码器中的每一层拼接融合，得到最终的多目标分割结果。

技术总结本发明公开了基于融合双注意力机制的三维图像多目标分割方法，包括：S1：将输入图像送入编码器下采样网络依次获得四个不同尺度的特征；S2：将四个不同尺度的特征送入多尺度通道增强注意力，获得四个不同尺度的通道特征；S3：将四个不同尺度通道特征中最小尺度的通道特征再送入空间分解与通道融合注意力，获得深层空间特征；S4：所述深层空间特征与同尺度的通道特征相加融合，经三个串联的残差结构块深化特征信息后送入解码器上采样网络，同时其余三个通道特征依次与解码器的每一层拼接融合来补充信息，获得最终多目标分割结果。本发明可充分利用三维图像的全部信息，减少强度相近问题的干扰，有效提升多目标分割性能。技术研发人员：张国栋,谷文文,郭薇受保护的技术使用者：沈阳航空航天大学技术研发日：技术公布日：2024/8/5