基于SAM和SSM的双通道交叉融合左心房分割方法

本发明属于医学图像分割，尤其涉及一种基于sam(segment anythingmodel)和ssm(state space model)的双通道交叉融合左心房分割方法。

背景技术：

1、左心房(la)是心房颤动、心脏瓣膜病等许多心脏疾病的重要发病部位，临床上主要利用射血分数(ejection fraction,ef)、左心房体积指数(lavi)、la应变、la应变率、波形传导时间、左房收缩功能(laef)等指标评估左心房功能，进一步辅助诊断心脏疾病，而从心脏计算机断层扫描(computer tomography,ct)和核磁共振图像(magnetic resonanceimaging,mri)中准确分割出左心房决定了这些指标的准确性，并且准确的分割可以帮助医生准确识别和定位病理区域，实现更准确的诊断和治疗。

2、由于左心房核磁共振图像复杂，不同患者的左心房在形状、大小和位置存在较大差别，而且左心房可能与其他心脏组织(例如左心室、右心房)发生重叠或接触，这会增加左心房分割任务的难度。此外，由于可用的标签数据有限，为了克服对标签数据的依赖，同时避免因标注偏差导致的分割结果不准确问题，采用无监督方式训练模型，训练得到的模型具有更好的可迁移性和泛化能力。无监督学习更加专注于探索图像本身存在的结构和模式，帮助模型理解图像自身的特征，通过学习图像的统计信息和相似性，无监督学习能够发现图像中的不同对象或纹理，进而将图像分割成具有一定连续性或一致性的区域。

技术实现思路

1、针对现有技术的不足，本发明拟解决的技术问题是，提供一种基于sam和ssm的双通道交叉融合左心房分割方法。

2、本发明解决所述技术问题采用如下的技术方案：

3、一种基于sam和ssm的双通道交叉融合左心房分割方法，其特征在于，该方法包括以下步骤：

4、步骤s1、获取若干左心房核磁共振图像，并对图像进行归一化处理，得到数据集；

5、步骤s2、构建分割模型；所述分割模型包括双通道编码器、交叉注意力模块、提示编码器和掩码解码器，双通道编码器包括trans编码器和ts编码器；输入图像经过展平操作，得到嵌入向量；嵌入向量分别输入到trans编码器和ts编码器中进行特征提取，trans编码器的输出特征和ts编码器的输出特征进入到交叉注意力模块中进一步进行特征提取，得到注意力嵌入向量；提示编码器将输入图像待分割区域的点、掩码和边界框实时编码为嵌入向量，得到提示嵌入向量；掩码解码器对注意力嵌入向量和提示嵌入向量进行解码，得到分割结果；

6、其中，trans编码器包含多个串行的transformer组，每个transformer组包含多个transformer块；ts编码器包含多个编码模块和一个transformer块，每个编码模块均包含transformer块、子窗口状态空间层和分块状态空间层；每个编码模块的子窗口状态空间层与分块状态空间层的输出特征进行残差连接后，作为编码模块的输出特征；上一个编码模块的transformer块的输出特征与下一个编码模块的transformer块的输出特征进行残差连接后，作为下一个编码模块的子窗口状态空间层的输入特征；子窗口状态空间层将输入特征划分为多个子窗口，在每个子窗口上进行特征提取，得到多个子特征，所有子特征输入到分块状态空间层中进一步进行特征提取；

7、步骤s3、利用数据集对分割模型进行训练，将训练后的分割模型用于左心房分割。

8、进一步的，在子窗口状态空间层中，将输入特征被划分多个子窗口，再利用双向曼巴块在每个子窗口上进行特征提取，得到多个子特征p1,p2,…,pk，k表示子特征的数量；子特征p1,p2,…,pk输入到分块状态空间层中，每个子特征依次经过池化、双向曼巴块和反池化操作，得到特征f1,f2,…,fk；特征f1,f2,…,fk拼接在一起后再分别与各自对应的子特征进行残差连接，得到分块状态空间层的输出特征。

9、进一步的，所述双向曼巴块的输入特征经过展平操作，得到特征r；一方面，特征r经过投影、卷积、和激活操作后，再经过前向状态空间层，得到特征r2；另一方面，特征r分别经过最大池化层和平均池化层，两个池化层的输出特征相加后，再依次经过投影、反池化和激活操作，得到特征r1；特征r1与特征r2进行逐元素相乘，得到特征r3；特征r1经过反向空间状态层后，再与特征r2进行逐元素相乘，得到特征r4；特征r4与r3相加后，再经过投影后，与特征r进行残差连接，得到双向曼巴块的输出特征。

10、进一步的，所述前向状态空间层和反向状态空间层的结构相同，输入特征g依次经过线性层、深度卷积层和激活操作，得到特征g1；同时，输入特征g依次经过线性层、深度卷积层、激活操作、ss2d模块和归一化层，得到特征g2；特征g2与特征g1进行逐元素相乘后，再经过线性层，得到输出特征。

11、进一步的，所述transformer组包含四个transformer块，第一个transformer块的输出特征与第三个transformer块的输出特征进行残差连接后，作为第四个transformer块的输入特征，第二个transformer块的输出特征与第四个transformer块的输出特征进行残差连接后，作为transformer组的输出特征。

12、进一步的，在transformer块中，输入特征依次经过层归一化、多头注意力和适配器后，再与自身进行残差连接，得到特征m；特征m经过层归一化和多层感知机后，再与自身进行残差连接，得到transformer块的输出特征。

13、进一步的，所述适配器的输入特征依次经过下采样、池化层、上采样和激活后，再与自身进行残差连接，得到适配器的输出特征。

14、进一步的，在交叉注意力模块中，首先将trans编码器的输出特征和ts编码器的输出特征进行拼接，得到嵌入向量s；嵌入向量s的一半作为注意力机制的查询q，另一半分别作为注意力机制的键k和值v；查询q和键k分别经过线性层后，再进行逐元素点积运算，得到相似度向量；相似度向量经过注意力权重缩放操作和softmax函数，得到注意力权重向量；值v经过线性层后，与注意力权重向量进行逐元素点积运算，得到注意力嵌入向量s′，即交叉注意力模块的输出。

15、进一步的，在训练过程中，通过式(1)计算模型总损失ltra；

16、ltra＝lcro+ledm     (1)

17、式中，lcro是双通道编码器的交叉熵损失，lemd是双通道编码器的正则项损失；

18、双通道编码器的交叉熵损失lcro定义为：

19、lcro＝h(vts,vtrans)+h(vts,vts)      (2)

20、式中，h(vts,vtrans)是ts编码器的输出特征vts与trans编码器的输出特征vtrans之间的交叉熵，h(vts,vts)是ts编码器的输出特征vts与自身之间的交叉熵；

21、正则项损失lemd定义为：

22、

23、式中，是ts编码器输出特征与trans编码器输出特征之间的emd适应参数，是trans编码器输出特征与自身之间的emd适应参数，是ts编码器输出特征与自身之间的emd适应参数。

24、与现有方法相比，本发明的有益效果如下：

25、1.本发明构建了由trans编码器和ts编码器组成的双通道编码器，trans编码器更加专注于全局特征的提取，而ts编码器在空间分配上具有更强的灵活性，赋予模型在大感受空间内的建模能力，更加关注对全局和局部特征之间关系的建模。由于trans编码器和ts编码器都是针对输入图像进行特征提取，两个编码器的输出特征是相似的，因此引入交叉注意力模块进一步提取两个输出特征之间的相似特征，充分利用输入图像中丰富的形状和位置等先验信息对trans编码器和ts编码器的输出特征进行相似性正则化，更加关注两个输出特征分布之间的相关信息而忽略不相关的信息，使模型充分理解输入图像自身的结构和模式信息，提高分割的准确性。

26、2.在交叉注意力模块中加入emd条件约束，引入emd损失，使得trans编码器和ts编码器在提取相似特征的同时能够专注于各自特征的学习。

27、3.本发明利用大量无标签数据对模型的学习进行正则化，使得模型在无标签的情况下能有效对左心房区域进行分割，可对不同成像方式的左心房图像中的有效信息进行不同层次的分析与加工，提高对左心房分割的准确性。