图像分割方法、图像分割模型训练方法及对应装置与流程

本技术涉及人工智能，特别是涉及一种图像分割方法、图像分割模型训练方法及装置。

背景技术：

1、随着人工智能领域大型模型技术的飞速发展，大模型开始应用于图像处理领域以实现更精确和高效的图像分割。sam(segmentanything model)模型是其中的代表，它通过深度学习技术能够在二维图像上根据给定的提示(prompt)生成任意的分割结果，在通用图像分割中表现出色。

2、但是，由于诸如sam等通用图像分割模型通常采用类似于transformer的结构，这种结构在处理三维医疗影像数据时，内存和计算量会呈几何级数增长。而医疗影像通常是三维数据，transformer结构在处理三维数据时需要对每个三维位置进行复杂的注意力计算，这就导致了模型的内存占用和计算消耗大幅度增加，这种海量的资源需求使传统的分割模型无法适用于医疗影像领域的图像分割需求。

技术实现思路

1、有鉴于此，本技术提供了一种图像分割方法及装置，以便于在实现高分辨率图像的分割的基础上，降低对内存和计算资源的消耗。

2、本技术提供了如下方案：

3、根据第一方面，提供了一种图像分割方法，其特征在于，所述方法基于图像分割模型实现，所述图像分割模型包括第一编码网络、图像分割网络和第二解码网络；所述方法包括：获取待分割图像，将所述待分割图像进行第一切块处理，得到第一图像块组；利用所述第一编码网络，分别对所述第一图像块组中的各图像块进行特征提取和下采样，得到各图像块的第一特征表示；利用所述图像分割网络，基于所述各图块的第一特征表示进行图像分割，得到第一分割结果；对所述第一分割结果进行第二切块处理，得到第二图像块组；利用所述第二解码网络，分别对所述第二图像块组中的各图像块进行上采样处理和拼接，得到第二分割结果。

4、根据本技术实施例中一可实现的方式，所述第一编码网络包括多个依次连接的编码层，各编码层包括用于进行特征提取的卷积层和用于进行下采样的池化层；所述第二解码网络包括多个依次连接的卷积层和拼接层，各卷积层用于对输入的各图像块进行上采样处理，所述拼接层用于对输入的各图像块进行拼接处理。

5、根据本技术实施例中一可实现的方式，所述图像分割网络包括unet模型；基于所述第一图像块中各图块的位置，对所述各图块的第一特征表示进行融合，得到融合特征表示，将所述融合特征表示输入所述unet模型。

6、根据本技术实施例中一可实现的方式，所述第一切块处理和所述第二切块处理得到的图像块的数量相同，执行相同倍数的所述上采样和所述下采样。

7、根据本技术实施例中一可实现的方式，所述待分割图像为三维医学影像；所述第一分割结果和所述第二分割结果是针对特定器官、身体部位或病灶的分割结果。

8、根据第二方面，提供了一种图像分割模型的训练方法，其特征在于，所述方法包括：获取包括多个训练样本的训练数据，所述训练样本包括图像样本及其被标注的分割结果；利用所述训练数据训练图像分割模型，其中，所述图像分割模型包括第一编码网络、图像分割网络和第二解码网络；将所述图像样本进行第一切块处理，得到第一图像块组；利用所述第一编码网络，分别对所述第一图像块组中的各图像块进行特征提取和下采样，得到各图像块的第一特征表示；利用所述图像分割网络，基于所述各图块的第一特征表示进行图像分割，得到第一分割结果；对所述第一分割结果进行第二切块处理，得到第二图像块组；利用所述第二解码网络，分别对所述第二图像块组中的各图像块进行上采样处理和拼接，得到第二分割结果；所述训练的目标包括：最小化所述第二分割结果与所述图像样本被标注的分割结果之间的差异。

9、根据本技术实施例中一可实现的方式，所述第一编码网络包括多个依次连接的编码层，各编码层包括用于进行特征提取的卷积层和用于进行下采样的池化层；所述第二解码网络包括多个依次连接的卷积层和拼接层，各卷积层用于对输入的各图像块进行上采样处理，所述拼接层用于对输入的各图像块进行拼接处理。

10、根据本技术实施例中一可实现的方式，所述图像分割网络包括unet模型；基于所述第一图像块中各图块的位置，对所述各图块的第一特征表示进行融合，得到融合特征表示，将所述融合特征表示输入所述unet模型。

11、根据本技术实施例中一可实现的方式，在所述训练过程中，基于与所述训练的目标对应的损失函数取值，利用反向传播更新所述图像分割模型的模型参数；其中，所述反向传播包括：所述第二解码网络向所述第一解码网络传递损失函数取值和所述第二解码网络向图像分割网络传递损失函数取值。

12、根据本技术实施例中一可实现的方式，基于图像块计算损失函数取值，且在所述反向传播过程中基于图块传递损失函数取值。

13、根据本技术实施例中一可实现的方式，在所述训练过程中针对所述第一编码网络、图像分割网络和第二解码网络中的预设关键层采用梯度检查点checkpoint技术。

14、根据第三方面，提供了一种图像分割装置，其特征在于，所述装置基于图像分割模型实现，所述图像分割模型包括第一编码网络、图像分割网络和第二解码网络；所述装置包括：第一切块单元，获取待分割图像，将所述待分割图像进行第一切块处理，得到第一图像块组；第一编码单元，利用所述第一编码网络，分别对所述第一图像块组中的各图像块进行特征提取和下采样，得到各图像块的第一特征表示；分割单元，利用所述图像分割网络，基于所述各图块的第一特征表示进行图像分割，得到第一分割结果；第二切块单元，对所述第一分割结果进行第二切块处理，得到第二图像块组；第二解码单元，利用所述第二解码网络，分别对所述第二图像块组中的各图像块进行上采样处理和拼接，得到第二分割结果。

15、根据第四方面，提供了一种图像分割模型的训练装置，其特征在于，所述装置包括：样本获取单元，获取包括多个训练样本的训练数据，所述训练样本包括图像样本及其被标注的分割结果；模型训练单元，利用所述训练数据训练图像分割模型，其中，所述图像分割模型包括第一编码网络、图像分割网络和第二解码网络；将所述图像样本进行第一切块处理，得到第一图像块组；利用所述第一编码网络，分别对所述第一图像块组中的各图像块进行特征提取和下采样，得到各图像块的第一特征表示；利用所述图像分割网络，基于所述各图块的第一特征表示进行图像分割，得到第一分割结果；对所述第一分割结果进行第二切块处理，得到第二图像块组；利用所述第二解码网络，分别对所述第二图像块组中的各图像块进行上采样处理和拼接，得到第二分割结果；所述训练的目标包括：最小化所述第二分割结果与所述图像样本被标注的分割结果之间的差异。

16、根据第三方面，提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述第一方面和第二方面中任一项所述的方法的步骤。

17、根据第四方面，提供了一种电子设备，包括：

18、一个或多个处理器；以及与所述一个或多个处理器关联的存储器，所述存储器用于存储程序指令，所述程序指令在被所述一个或多个处理器读取执行时，执行上述第一方面和第二方面中任一项所述的方法的步骤。

19、根据本技术提供的具体实施例，本技术公开了以下技术效果：

20、1)本技术在现有的图像分割方法的基础之上，在对图像进行分割之前，对待分割图像进行第一切块处理，并对得到的各图像块进行特征提取和下采样后提供给图像分割网络进行图像分割，从而降低了图像分割网络所需的计算资源；在图像分割之后，针对分割结果进行第二次切块处理后，再进行上采样和拼接，以保证图像分割结果的高分辨率。通过本技术的图像分割方法，实现了对于高分辨率的大尺寸图像的分割且降低了对内存和计算资源的消耗。

21、2)本技术在第一编码网络中通过卷积层进行特征提取，通过池化层进行下采样；在第二解码网络中通过卷积层进行上采样，通过拼接层对输入的各图像块进行拼接处理。相当于在图像分割网络上叠加了一个小型的u型网络，使本技术在保持图像高分辨率的同时，有效地捕捉图像信息，提高了图像分割的准确性和质量，且从整体上降低了对内存和计算资源的消耗。

22、3)本技术的图像分割网络包括unet模型，利用unet结构的对称性和跳跃连接，本技术能够有效地融合来自不同切块的特征，以获取足够的全局上下文信息，从而能够基于全局上下文进行精确分割，并为高分辨率的图像分割结果的重建提供了基础。

23、4)本技术采用相同的切块数量和采样倍数进行第一切块和第二切块处理，使图像在分割完成后可恢复为原来尺寸，提升了分割结果的清晰度和真实性。

24、5)本技术在模型训练过程中，第二解码网络分别向第一解码网络和图像分割网络传递损失函数取值，实现了损失函数取值在整个模型中的反向传播。并且在反向传播过程中基于图块传递损失函数取值，使得图像分割模型能够进行有效的训练和迭代。

25、6)本技术采用checkpoint技术，在前向传播过程中仅保存关键层的梯度，减少了内存占用，缓解了梯度爆炸或消失等问题。

26、当然，实施本技术的任一产品并不一定需要同时达到以上所述的所有优点。