基于人工智能的图像分割模型训练方法、分割方法及设备

本发明涉及图像处理领域，尤其涉及一种基于人工智能的图像分割模型训练方法、分割方法及设备。

背景技术：

1、医学图像自动分割是计算机辅助诊断系统以及智慧医疗的重要构成，随着深度学习特别是卷积神经网络的提出，各类医学图像分析任务在准确性上相比于传统的方法大幅提升，卷积神经网络具备归纳偏置特性，通过权重共享能够以较低的参数有效提取图像的局部信息。但卷积神经网络无法提取图像像素之间的长距离依赖关系，直接使用较大的卷积核会引入较大的运算量和参数量，而堆叠较小的卷积核用以扩大感受野的方式又可能导致网络深度加深带来梯度消失问题。虽然一些研究致力于通过分解较大卷积核来达到长距离依赖关系的建模，但在效率上无法与transformer的全局依赖关系建模能力相比。

2、transformer在自然语言处理领域具备优秀的长距离依赖关系建模能力，用于计算机视觉领域可以对图像像素之间的全局依赖关系进行提取，因为强大的全局依赖关系建模能力，transformer逐渐在计算机视觉任务如图像分类、目标检测以及语义分割等领域广泛应用。然而，在计算机视觉领域，transformer也有较为明显的缺陷。首先，模型的计算复杂度与输入特征图的像素量呈二次关系，尤其对于较大分辨率的图像来说模型的训练是一件极为耗时的事情，同时也会消耗更多的显存，虽然一些用于降低模型计算复杂度的方法如轴向注意力、通过卷积或池化降低序列长度等被提出，但相比较于原始的多头自注意力而言会丢失部分全局依赖关系的表示能力；其次，由于缺乏归纳偏置特性，基于transformer构建的模型需要更多的训练数据才能够具备较好的泛化能力，在自然图像中，往往使用在imagenet等数据集上进行预训练的参数初始化模型，这种方式虽然能够取得一定的性能提升，但无法做到端到端的训练，模型训练过程较为复杂，而且医学图像与自然图像由于成像方式的不同导致二者之间存在较大的差距，且目前拥有较大数据量的医学图像数据集较少，身体不同部位或不同模态图像之间也存在较大差异，通过预训练初始化的方式容易产生性能瓶颈，导致采用该方式的医学图像分割精度不够；此外，transformer无法有效提取局部细节信息，自提出以来，transformer广泛用于自然图像处理任务中，由于自然图像目标区域尺寸一般较大，且边界清晰、对比分明，transformer对于图像分类、目标检测以及图像分割任务来说具备较好的优势，但是对于医学图像分析来说，ct以及mri图像边界模糊、对比度低不易区分，目标区域本身较小，此时局部细节信息至关重要，然而transformer不具备有效的局部信息提取能力，因此对于较复杂的ct以及mri图像来说相比于卷积神经网络并不具备优势，另外也有研究利用transformer结构中的ffn模块来建模局部依赖关系，但这些做法如果不使用预训练参数初始化transformer层均无法获取较好的性能。

3、发明人在实现本发明的过程中，意识到现有技术至少存在如下技术问题：基于现有方式进行医学图像分割时，会面临计算代价高、需要预训练参数初始化以及无法有效提取局部信息的难题，从而使得医学图像分割的效率较低其准确度达不到要求。

技术实现思路

1、本发明实施例提供一种基于人工智能的图像分割模型训练方法、基于人工智能的图像分割方法、装置、计算机设备和存储介质，以提高医学图像分割的精准度。

2、为了解决上述技术问题，本技术实施例提供一种基于人工智能的图像分割模型训练方法，包括：

3、获取训练样本数据，所述训练样本数据为历史医学图像；

4、将所述训练样本数据输入到初始医学图像分割模型中，得到输入特征图，所述初始医学图像分割模型为局部指导全局注意力机制网络，所述局部指导全局注意力机制网络由lgg模块构成，包括多尺度局部特征提取模块、全局特征提取模块、局部-全局特征交互融合模块；

5、采用所述多尺度局部特征提取模块对所述输入特征图进行特征提取，得到多尺度局部特征；基于所述多尺度局部特征，指导全局特征提取层中自注意力权重生成；采用所述注意力权重对所述全局特征提取层的输入特征值进行加权，得到全局特征；

6、基于所述多尺度局部特征生成全局特征调制权重，基于所述全局特征生成局部特征调制权重，采用所述全局特征调制权重对所述全局特征在空间位置上进行重新加权，采用所述局部特征调制权重对所述多尺度局部特征在空间位置上进行重新加权；

7、在通道维度连接所述加权后的多尺度局部特征以及全局特征，并采用所述训练样本数据对局部指导全局注意力机制网络进行训练，得到训练好的医学图像分割模型。

8、可选地，所述采用所述多尺度局部特征提取模块对所述输入特征图进行特征提取，得到多尺度局部特征包括：

9、在编码器中，通过若干lgg特征提取层与下采样操作提取不同级别的语义信息，在解码器中通过若干多尺度lgg特征提取层与上采样操作恢复特征图分辨率，其中，相同分辨率的多尺度局部-全局特征提取层之间通过上下文注意力状态感知变量来存储并传递多头自注意力值。

10、可选的，所述多尺度lgg特征提取层在整体上通过调制结构构建，并采用残差连接，局部调制权重由提取的全局特征生成，全局调制权重由提取的多尺度局部特征生成，分别对多尺度局部特征以及全局特征执行调制操作后在通道维度连接，在通道连接操作之后通过一个卷积对特征图通道进行自适应选择。

11、可选的，所述lgg模块采取了并行局部到全局的渐进式多尺度交互策略提取不同尺度的信息；其中，采取了并行局部到全局的渐进式多尺度交互策略提取不同尺度的信息包括：

12、在通道维度将输入特征图分割为2组，即：

13、；

14、其中表示输入特征图，、表示分割后的两组特征，表示在通道维度分割，输入特征图分割后的2组特征分别使用感受野为、、的尺度提取多尺度局部特征以及全局感受野提取全局特征；

15、对于非全局感受野的组，使用堆叠卷积的方式提取多尺度局部特征，采用下式表示：

16、；

17、；

18、；

19、。

20、其中、、分别表示提取的、、尺度局部特征，表示融合后的多尺度局部特征。随后将提取的多尺度局部特征作为transformer自注意力结构中q值的一部分,随后由第2组计算全局依赖关系，并基于多尺度局部特征使用卷积生成全局特征调制权重，基于全局特征使用卷积生成局部特征调制权重，采用全局特征调制权重对所述全局特征在空间位置上进行重新加权，采用局部特征调制权重对所述多尺度局部特征在空间位置上进行重新加权，随后将获得的多尺度局部特征以及全局信息在通道维度进行连接：

21、；

22、；

23、；

24、；

25、；

26、；

27、。

28、其中，表示提取的全局特征，表示高效注意力模块，用于全局特征提取，、分别表示生成的局部调制权重、全局调制权重。

29、可选地，所述lget高效注意力模块首先对q值进行下采样，通过一个核大小、步幅为2的卷积在不改变通道数的情况下将分辨率减半，从而降低自注意力机制的计算代价，随后通过两个卷积对输入特征图分别映射得到k和v。随后对、、进行形状变换，其中由变换到，k和v由变换到，其中b、c、h、w分别表示特征图的批量大小、通道数、宽、高，且，表示注意力头的个数。

30、为了解决上述技术问题，本技术实施例提供一种基于人工智能的图像分割方法，包括：

31、获取待分割的医学图像；

32、对所述医学图像进行预处理，得到标准图像，并将所述标准图像输入到训练好的医学图像分割模型，得到图像分割结果，其中，所述训练好的医学图像分割模型根据上述的基于人工智能的图像分割模型训练方法进行训练得到。

33、为了解决上述技术问题，本技术实施例还提供一种基于人工智能的图像分割模型训练装置，包括：

34、样本获取模块，用于获取训练样本数据，所述训练样本数据为历史医学图像；

35、样本输入模块，用于将所述训练样本数据输入到初始医学图像分割模型中，得到输入特征图，所述初始医学图像分割模型为局部指导全局注意力机制网络，所述局部指导全局注意力机制网络由lgg模块构成，包括多尺度局部特征提取模块、全局特征提取模块、局部-全局特征交互融合模块；

36、特征提取模块，用于采用所述lgg特征提取层对所述训练样本数据进行特征提取，得到局部-全局融合特征；

37、模型训练模块，用于采用所述训练样本数据对局部指导全局的注意力机制网络进行训练，得到训练好的医学图像分割模型。

38、为了解决上述技术问题，本技术实施例还提供一种基于人工智能的图像分割装置，包括：

39、图像获取模块，用于获取待分割的医学图像；

40、图像分割模块，用于对所述医学图像进行预处理，得到标准图像，并将所述标准图像输入到训练好的医学图像分割模型，得到图像分割结果。

41、为了解决上述技术问题，本技术实施例还提供一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述基于人工智能的图像分割模型训练方法的步骤，或者，所述处理器执行所述计算机程序时实现上述基于人工智能的图像分割方法的步骤。

42、为了解决上述技术问题，本技术实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述基于人工智能的图像分割模型训练方法的步骤，或者，所述计算机程序被处理器执行时实现上述基于人工智能的图像分割方法的步骤。

43、本发明实施例提供的基于人工智能的图像分割模型训练方法、基于人工智能的图像分割方法、装置、计算机设备及存储介质，通过获取训练样本数据，训练样本数据为历史医学图像；将训练样本数据输入到初始医学图像分割模型中，得到输入特征图，初始医学图像分割模型为局部指导全局注意力机制网络，局部指导全局注意力机制网络由lgg模块构成，所述lgg模块用于特征提取，包括多尺度局部特征提取模块、全局特征提取模块、局部-全局特征交互融合模块；采用多尺度局部特征提取模块对输入特征图进行特征提取，得到多尺度局部特征；基于多尺度局部特征，指导全局注意力机制网络权重生成，使用生成的权重对特征值进行加权，提取全局特征；基于所述多尺度局部特征生成全局特征调制权重，基于所述全局特征生成局部特征调制权重，采用所述全局特征调制权重对所述全局特征在空间位置上进行重新加权，采用所述局部特征调制权重对所述多尺度局部特征在空间位置上进行重新加权；在通道维度连接所述加权后的多尺度局部特征以及全局特征，并采用训练样本数据对局部指导全局注意力机制网络进行训练，得到训练好的医学图像分割模型。实现通过卷积神经网络提取的多尺度局部特征指导transformer的自注意力权重生成，从而避免transformer缺乏归纳偏置而需要大量数据预训练的缺陷，提高了图像分割模型的效率和识别精度。