一种多维远程依赖捕捉与位置感知的腹部多器官分割方法

本发明涉及医学图像分割领域，特别涉及一种多维远程依赖捕捉与位置感知的腹部多器官分割方法。

背景技术：

1、医学图像分割的目的是使图像中解剖或病理结构的变化更加清晰，它在计算机辅助诊断和智能医疗中发挥着至关重要的作用，极大地提高了诊断的效率和准确性。医学图像分割的早期方法通常依赖于边缘检测、模板匹配技术、统计形状模型、活动轮廓和传统机器学习技术，这些方法在一定程度上取得了不错的效果，但由于特征表示的困难，图像分割仍然是计算机视觉领域中最具挑战性的课题之一。与普通的图像分割不同，医学图像通常含有噪声且边界模糊，因此，仅仅依靠图像的底层特征很难对医学图像中的目标进行检测和识别，同时由于缺乏图像细节信息，仅靠图像语义特征无法获得准确的边界，因此，更高级的分割技术，如基于深度学习的方法，已成为解决这些问题的主流。

2、图像语义分割的目的是对图像进行像素分类，现代的深度学习架构，如全卷积网络(fcn)、u-net和deeplab，通常采用编码器-解码器结构来实现这一目标。编码器负责提取图像特征，而解码器则将这些特征上采样并恢复到原始图像尺寸，以输出最终的分割结果。u-net因其有效的特征融合策略和跳跃连接设计，已成为医学图像分割领域的基准模型，并激发了一系列有意义的改进。

3、在3d医学图像分割方面，ct、mri图像等大部分医学数据都是以三维数据的形式存在，与2d医学图像相比，3d医学图像数据包含丰富的空间信息，模型能够更好地理解器官的三维形态和空间关系，但这同时要求算法具有更高的复杂性和精确度。3d u-net仅包含3次下采样，不能有效提取深层图像特征，导致医学图像分割精度有限。与3d-unet相比，v-net利用残差连接设计更深层次的网络(4次下采样)，有助于获得更丰富的图像特征，从而获得更高的性能。此外，多尺度特征融合、注意力机制和自适应学习策略等技术也被引入，以增强模型对医学图像中复杂结构的理解和分割精度。

技术实现思路

1、本部分旨在说明本发明实施例的一些方面，为了避免本部分，说明书摘要和发明名称的模糊，可能会对内容进行一定的简化或省略，但这种简化或省略不能限制本发明的范围。

2、为了解决腹部ct图像中相邻器官空间界限难以确认，且不同器官的相对大小存在较大差异，在多器官分割训练过程中存在竞争影响的问题，本发明提出一种多维远程依赖捕捉与位置感知的腹部多器官分割方法，以增强模型对于相邻器官的空间边界及尺寸较小的器官的关注，提高分割精度。编码阶段采用tdi-unet(tri dimensional interaction-unet三维交互-unet)特征提取网络逐渐实现高级语义特征的提取与特征图分辨率的减半，解码阶段用转置卷积进行上采样以恢复特征图的空间分辨率，通过跳跃连接将编解码部分的对应层特征进行融合，每次上采样后的特征图送入mldc-pam模块，mldc-pam模块沿着高度，宽度，深度三个空间方向将输入特征聚合为三个嵌入特定方向信息的特征图，分别编码为方向感知和位置敏感的注意映射，每个注意映射既可捕获输入特征的其一空间方向上的远程依赖，又可保留其它两个空间方向上的位置信息，最后将每个维度的交互权重加权到输入特征图中，利用这种多维交互作用，模型可以更细致地调整其对不同方向特征的敏感度，更好地捕捉到三维图像在空间中的位置和结构信息，更准确地定位器官边界及尺寸较小的器官位置，从而有效提高多器官分割任务的性能。

3、为实现上述目的，本发明采用的技术方案如下：

4、步骤1：训练集预处理，数据集为腹部多器官ct图，对输入图像进行重采样和裁剪处理缩放至统一尺寸，输入图片形状为c×d×h×w，通道数为1，深度为64，高度为128，宽度为128。

5、步骤2：将处理过的训练集图片进行两次步长为1的1×3×3卷积，实例归一化，leakyrelu激活函数操作，得到特征图记为f1，两次步长为1的1×3×3卷积将单通道的输入数据映射到32个通道的特征表示，同时保持空间尺寸不变，f1的通道数为32，空间尺寸为64×128×128。

6、步骤3：f1输入tdi-unet特征提取网络进行进一步特征提取，减小特征图的深度，高度和宽度的同时增加通道数，实例标准化和leakyrelu激活函数提供更稳定的训练过程，改善模型的泛化能力，以步长为2的卷积层降低特征图的分辨率更好地保留特征信息，同时帮助改善梯度在网络中的流动，减少梯度消失或爆炸的问题。提取的三层特征图，依次记为f2，f3，f4。

7、步骤301：f1先经过两次步长为1的3×3×3卷积，实例归一化，leakyrelu激活函数操作，再经过一次步长为2的3×3×3卷积，实例归一化，leakyrelu激活函数操作，得到特征图记为f2，f2的通道数为64，空间尺寸为32×64×64。

8、步骤302：f2先经过两次步长为1的3×3×3卷积，实例归一化，leakyrelu激活函数操作，再经过一次步长为2的3×3×3卷积，实例归一化，leakyrelu激活函数操作，得到特征图记为f3，f3的通道数为128，空间尺寸为16×32×32。

9、步骤303：f3先经过两次步长为1的3×3×3卷积，实例归一化，leakyrelu激活函数操作，再经过一次步长为2的3×3×3卷积，实例归一化，leakyrelu激活函数操作，得到特征图记为f4，f4的通道数为256，空间尺寸为8×16×16。

10、步骤4：解码阶段用转置卷积进行上采样以恢复特征图的空间分辨率，每次上采样后的特征图输入多维远程依赖捕捉与位置感知(mldc-pam)模块，通过跳跃连接将编解码部分的对应层特征进行融合。

11、步骤401：f4经过两次步长为1的3×3×3卷积，实例归一化，leakyrelu激活函数操作，通道数和特征图大小不变，得到特征图记为g1，g1的通道数为256，空间尺寸为8×16×16。

12、步骤402：g1与f4通过跳跃连接进行特征融合，将融合后的图像经过转置卷积操作，大小变为融合后特征图的2倍，得到特征图记为h1，h1的通道数为256，空间尺寸为16×32×32。

13、步骤403：h1输入mldc-pam模块细化特征，分别沿着深度，高度，宽度三个维度方向对h1进行平均池化操作，获得输入特征三个维度上的信息编码，计算公式如下：

14、

15、其中(dα,hα,wα)为输入特征图h1的空间尺寸，h1(i,j,k)表示特征图h1的体素值，为沿x轴(深度方向)对h1进行平均池化得到的特征图，尺寸为c×1×hα×wα，为沿y轴(高度方向)对h1进行平均池化得到的特征图，尺寸为c×dα×1×wα，为沿z轴(宽度方向)对h1进行平均池化得到的特征图，尺寸为c×dα×hα×1。

16、步骤404：将沿三个方向池化得到的特征图两两进行通道上的拼接操作，与拼接得到特征图记为fcα1，fcα1尺寸为c×wα×(hα+dα)×1；与拼接得到特征图记为fcα2，fcα2尺寸为c×hα×(dα+wα)×1；与拼接得到特征图记为fcα3，fcα3尺寸为c×dα×(hα+wα)×1。即

17、

18、其中[，]为拼接操作。

19、步骤405：将拼接后的三个方向性特征图分别进行1×1×1卷积处理，减少参数量和计算复杂度，通道数都变为(r为比例因子，默认为16)，得到特征图分别记为fcα4，fcα5，fcα6；fcα4尺寸为fcα5尺寸为fcα6尺寸为为加快模型的收敛速度并防止梯度爆炸和消失问题，对融合后的三个特征图分别进行实例归一化和leakyrelu激活函数操作得到即

20、

21、其中f为1×1×1卷积操作，il为实例归一化和leakyrelu激活函数操作。

22、步骤406：在特征激励阶段将经过非线性处理的三个维度拼接特征进行划分，再将划分后的相同方向性的特征图进行特征融合，之后经过1×1×1卷积调整特征的抽象层次，整合通道间的信息，恢复到原来的通道数c，得到激励后的分方向特征分别记为δ(fcαx)，ζ(fcαz)；δ(fcαx)尺寸为c×1×hα×wα，尺寸为c×dα×1×wα，ζ(fcαz)尺寸为c×dα×hα×1。

23、步骤407：通过sigmoid函数将沿深度，高度，宽度三个维度的方向权重信息映射为[0,1]之间的权重值，获得空间中三个维度的交互权重，分别记为即

24、

25、计算加权特征图，通过矩阵相乘操作，将其作用于输入图像h1中，获得空间加权后的特征图，即

26、

27、其中yα(d,h,w)为加权特征图，xα(d,h,w)为输入特征图，分别为沿深度，高度，宽度三个维度的方向权重值。

28、步骤408：将加权后的特征图进行步长为1的3×3×3卷积，实例归一化，leakyrelu激活函数操作，通道数变为h1的1/2，输出特征图记为g2，g2通道数为128，空间尺寸为16×32×32。

29、步骤409：f3与g2通过跳跃连接进行特征融合，将融合后的图像经过转置卷积操作，尺寸变为融合后特征图的2倍，得到特征图记为h2，h2通道数为128，空间尺寸为32×64×64。

30、步骤410：h2输入mldc-pam模块细化特征，再进行步长为1的3×3×3卷积，实例归一化，leakyrelu激活函数操作，通道数变为h2的1/2，输出特征图记为g3，g3通道数为64，空间尺寸为32×64×64。

31、步骤411：f2与g3通过跳跃连接进行特征融合，将融合后的图像经过转置卷积操作，尺寸变为原特征图的2倍，得到特征图记为h3，h3通道数为64，空间尺寸为64×128×128。

32、步骤412：h3输入mldc-pam模块细化特征，再进行步长为1的3×3×3卷积，实例归一化，leakyrelu激活函数操作，通道数变为原来的1/2，输出特征图记为g4，g4通道数为32，空间尺寸为64×128×128。

33、步骤413：f1与g4通过跳跃连接进行特征融合，得到特征图记为g5；

34、步骤5：g5通过步长为1的3×3×3卷积，实例归一化，leakyrelu激活函数操作，再通过一个1×1×1卷积层来进一步调整通道维度，使其与目标分割图的通道数相匹配，经过调整的特征图通过softmax激活函数为每个体素分配属于不同器官的概率，生成多器官分割结果，输出图片通道数为c，通道数等于分割出的器官种类数。

35、综上所述，本发明提出了一种多维远程依赖捕捉与位置感知的腹部多器官分割方法，具备以下有益效果：

36、1、编码阶段采用tdi-unet特征提取网络逐渐实现高级语义特征的提取与特征图分辨率的减半，实例归一化对每个样本的每个通道独立进行归一化，这可以在小批量大小或单个样本的情况下提供更稳定的归一化效果，尤其是在批大小不固定或非常小的情况下。leakyrelu允许负输入值有非零的梯度(即使是很小的值)，有助于解决传统relu激活函数的“死亡relu”问题。以步长为2的卷积层降低特征图分辨率，可以更好地保留特征信息，且可以帮助改善梯度在网络中的流动，减少梯度消失或爆炸的问题。

37、2、本发明提出一种多维远程依赖捕捉与位置感知(mldc-pam)模块，将每次上采样后的特征图送入mldc-pam模块细化特征，模块分别沿着高度，宽度，深度三个空间方向将上采样后的特征图编码为三个方向感知和位置敏感的注意映射，每个注意映射既可捕获输入特征其一空间方向上的远程依赖，又可保留其它两个空间方向上的位置信息，最后将每个维度的交互权重加权到输入特征图中，利用这种多维交互作用，模型可以更细致地调整其对不同方向特征的敏感度，更好地捕捉到三维图像在空间中的位置和结构信息，更准确地定位器官边界及尺寸较小的器官位置，从而有效提高多器官分割任务的性能。