一种骨盆自动分割、系统、电子设备及存储介质

本发明涉及图像处理，尤其涉及一种骨盆自动分割、系统、电子设备及存储介质。

背景技术：

1、骨盆分割一直是骨盆骨骼疾病临床诊断和手术规划中必不可少的步骤，而对ct图像的处理正是这项步骤的一个基础性工作。因为ct保留了包括深度信息在内的实际解剖结构，为外科医生提供了更多关于损伤部位的细节信息，因此常被用于三维重建，以进行后续的手术规划和术后效果评估。在这些应用中，准确的骨盆骨骼分割对于评估骨盆损伤的严重程度以及帮助外科医生做出正确的判断和选择合适的手术方式至关重要。

2、骨盆骨骼分割的主要任务是获取属于骨盆骨结构的四个重要关节：腰椎、骶骨、左髋和右髋的分割表示。现有的骨盆骨骼分割方法要么是手工的，要么是半自动的，在处理由于多部位域偏移、对比血管的存在、粪石和食糜、骨折、低剂量、金属伪影等引起的图像外观变化时，精度有限。随着深度学习技术在图像分割、分类和特征学习领域的发展，利用计算机视觉和特征识别、融合技术进行骨盆ct图像分割、分类是一种有效的解决方案。自u-net设计问世以来，已有几种基于cnn的技术扩展了标准u-net架构，用于解决各种医学图像分割问题。在三维医学影像分割中，整个容积图像通常作为一系列二维切片进行处理。已有多项研究对捕捉上下文信息的分层框架进行了研究。milletari等人建议使用容积图像的三维表示法，通过对容积进行低分辨率采样来保留有利的图像属性。ci等人通过用三维操作取代二维操作，并在弱标记的体积图像上进行训练，扩展了用于体积分割的u-net架构。isensee等人提供的nnunet是一种通用分割框架，可自动配置架构以提取不同尺度的特征。roth等人提供了一种用于多器官分割的多尺度三维全卷积网络，可从不断变化的分辨率中学习表征。文献中也有一些人利用各种技术，如图像金字塔、大核、扩张卷积和可变形卷积，努力将全面的上下文信息纳入基于cnn的框架。

3、针对卷积感受野不足的缺点，且由于视觉transformer(vits)能够捕捉远距离依赖关系，前景广阔。transunet首次使用swin-transformer来提高医学图像的分割效果。为了创建输入切片的特征图，transunet使用convnet作为特征提取器。然后，在vit中不使用原始图像，而是对瓶颈部分的特征图进行补丁嵌入。karimi等人建议将体积图像分割成三维补丁，然后将其扁平化以形成一维嵌入，并路由到主干网进行全局表示。cao等人提出了一种用于二维医学图像分割的移位窗口架构。ds-transunet处理多尺度输入，并通过自我关注对来自不同语义尺度的局部和全局特征表示进行编码。它通过使用基于swin-transformer的双尺度编码器来实现这一点。许多研究者已经在深度学习应用于医学图像分割和重建方面做了大量的研究，提出了很多实用的方法。其中效果最好的是由fabian等人在2021年提出的，具体方法如下：步骤一，获取3d骨盆ct图像：骨盆ct分割模型的训练、验证和测试需要使用经过标注的清晰3dct图像进行训练，以此来提升模型对新样本的拟合、泛化能力，但也包含骨折，血管，金属伪影等噪声。步骤二，nnunet模型训练：骨盆分割的主要任务是训练深度网络模型对骨盆关节进行识别和分割。nnunet模型训练模块可具体分为以下三个步骤：特征编码：首先在下采样的过程中对特征进行编码以此来抽取图像的特征。特征解码：经过编码器，再进行使用上采样的特征解码来提取和识别不同的关节。内置损失函数反向传播训练模型：使用内置的交叉熵计算损失。得到单独的骨盆图像以进行图像分类。步骤三，结果进入后处理模块：通过处理模型的结果更好的可视化，如sdf、形态学重建等方法，最终得出可视化的3d图像。

4、在对3d骨盆ct的分割和重建过程中，由于骨盆数据体积大，且可能带有金属等噪音，边界不清晰等问题，且很长时间缺乏有效标注的数据集进行训练，这导致对骨盆的分割与重建目前没有对此方面有成果的研究，模型学习的特征不准确，分割重建效果不好。通过对现有的数据和基础的常识的探究，目前存在的问题如下：(1)不同人员的ct表现不尽相同，数据可能因为标注问题，噪声或ct信息偏差而造成模型性能下降。(2)传统的深监督卷积网络存在感受野不足，上下文信息丢失的问题。同时，dice和交叉熵的损失函数的组合也会导致边界区分度不足。(3)一个患者的ct序列图像中深度超过300张，各个骨块开始和结束的位置并不确定，并且相邻的解剖结构之间有一定的相似性，会让模型的分割效果出现左右偏差或者过拟合的现象。(4)在独立地考虑单张图像的分割无法利用三维ct中充足的空间信息，单纯独立地使用卷积或者自注意力会导致节点间充分的相关性信息被忽略，模糊患者ct图像序列之间的空间位置信息的相关性。

技术实现思路

1、针对上述问题中存在的不足之处，本发明提供一种骨盆自动分割、系统、电子设备及存储介质。

2、为实现上述目的，本发明提供一种骨盆自动分割方法，包括：

3、获取3d骨盆ct图像；

4、将所述3d骨盆ct图像输入预设的医学图像分割3d模型，输出分割骨盆四个不同关节后的分类图像；

5、其中，所述医学图像分割3d模型包括编码器、瓶颈层模块、特征解码器，所述编码器包括残差卷积特征编码器模块和全局-局部改进图网络，所述全局-局部改进图网络包括依次堆叠具有全局视野的图swin-transformer模块和具有局部视野的双池化图模块，所述瓶颈层模块为在所述编码器和所述解码其之间设有的空间和通道双通道的信息融合模块。

6、优选的是，所述全局-局部改进图网络计算过程为：

7、zl＝swin-graph(z(l-1))+z(l-1)

8、zl′＝pool-graph(zl)+zl

9、zl+1＝ffn(zl′)+zl′；

10、式中：zl、zl`分别为swin-graph和pool-graph的输出；ffn为前馈网络；zl+1为其输出值。

11、优选的是，所述瓶颈层模块计算过程为：

12、

13、

14、式中：xs和xc分别为空间注意力映射和通道注意力映射；sa和ca分别为通道注意力和空间注意力；qshared和kshared分别为共享查询和键矩阵；vspatial和vchannel分别为通道值层和空间值层。

15、优选的是，所述医学图像分割3d模型训练时定义混合损失函数，所述混合损失函数包括边界控制损失函数和二元拓扑损失函数。

16、优选的是，所述边界控制损失函数包括：

17、

18、式中：lbou为边界控制损失函数，sd为真实值与预测之间差异集的面积，si为交集面积；且a为常数。

19、优选的是，所述二元拓扑损失函数包括：

20、lbi＝lpixel(fv，gv)；

21、式中：lbti为二元拓扑损失函数，lpixel为逐像素损失函数；g和f分别为真实图和似然图。

22、本发明还提供了一种基骨盆自动分割系统，包括：

23、获取模块，用于获取3d骨盆ct图像；

24、3d模型模块，用于基于需求流程，拖拽对应所述流程图组件形成对应流程图；

25、解析模块，用于将所述3d骨盆ct图像输入预设的医学图像分割3d模型，输出分割骨盆四个不同关节后的分类图像；

26、其中，所述医学图像分割3d模型包括编码器、瓶颈层模块、特征解码器，所述编码器包括残差卷积特征编码器模块和全局-局部改进图网络，所述全局-局部改进图网络包括依次堆叠具有全局视野的图swin-transformer模块和具有局部视野的双池化图模块，所述瓶颈层模块为在所述编码器和所述解码其之间设有的空间和通道双通道的信息融合模块。

27、本发明还提供一种电子设备，包括至少一个处理单元以及至少一个存储单元，其中，所述存储单元存储有计算机程序，当所述程序被所述处理单元执行时，使得所述处理单元执行上述的方法。

28、本发明还提供一种存储介质，其存储有可由设备执行的计算机程序，当所述程序在所述设备上运行时，使得所述设备执行上述的方法。

29、与现有技术相比，本发明的有益效果为：

30、本发明医学图像分割3d模型为混合型网络，其3d骨盆ct的分割效果更好，对比其他模型，提高了精准度。