一种基于锚点的提示学习肺结节分割方法

本法名涉及医学影像和深度学习领域，具体涉及一种用于肺部及肺部肿瘤数据集格式转换以及肺部肿瘤数据集格式转换以及基于提示学习编码器网络的分割方法。

背景技术：

1、肺癌是一种发病率高且死亡率高的恶性疾病，肺癌的发病率和死亡率在世界各国都在迅速增加，肺结节是肺癌早期的主要症状，如果我们能够及时诊断早期的肺结节，并跟踪和治疗可疑的患者，就可以有效降低肺癌的发病率，目前的肺部影像技术主要有x光成像检查、ct(计算机体层扫描)和mri(磁共振技术)，由于其高分辨率，和能够检查到x光检查不到的位置，ct已经被应用于许多疾病的筛查，而磁共振技术虽然比ct图更能很好的区分肺部的每个区域，但是当肺中有大量气体，磁共振的观察效果就远不如ct，并且磁共振技术，高昂的设备费用，并没能得到推广，因此ct才是主流的肺部影像技术。

2、ct扫描是肺癌检测的最可靠、稳定和准确的医学检测方法之一，肺癌的发病率和死亡率在世界各国都在迅速上升，世界卫生组织国际癌症研究署(iarc)在2021年发布的全球癌症数据显示，全球新增肺癌病例有220万例，仅次于226万例的乳腺癌，2021年全球癌症死亡人数996万，其中肺癌死亡180万居首位，肺结节是肺癌早期的主要表现，ct影像上呈半透明或不透明类球体状组织，如果肺部出现的结节可以在早期及时诊断，对疑似患者进行随访和治疗，肺癌的发病率可以有效降低，ct设备的普及导致医生每天需要观察大量图像，由于长时间查看ct扫描结果，医生可能会误判和漏诊病变，使用计算机辅助检测(cad)系统帮助医生诊断检测结果具有重要意义。

3、据统计，医学影像的疾病误诊率可达到10％～30％，由此产生的假阴性结果会使病人错过最佳的治疗时机，而假阳性病例一般要依靠活检等临床手段排除，这不但增加了病人的费用，也给他们增添了痛苦和病情恶化风险。在此形势下，计算机辅助检测(computer aided detection，简称cade)与计算机辅助诊断(computer aided diagnosis，简称cadx)的成为时代的需求。

技术实现思路

1、针对目前肺结节分割的精确度问题，许多模型对小目标特征的鲁棒性不够强，使得肺结节分割结果经常容易受到医学图像当中的噪声因素干扰，分割出的肺结节容易出现过分割，欠分割的问题，本次发明设计了针对上述问题的策略和解决方案，提出了对于三维医学影像快速的转换方法以及基于锚点卷积神经网络的yolov5模型：yosam用于肺结节分割，改进head模块用于特征分割，为了提高模型的精确性，在head部分产生3种特征图之后，添加了sam模块，sam模块如图3所示，并重新设计sam模块的prompt encoder，将anchors替换为原有的boxes、classification替换为原有的text，减少point输入，使用半自动监督的方法，经验证该模块可以有效提高分割精度和分割速度，对于经典yolo系列模型对小目标特征不敏感导致漏检、误检等问题做出改进方案，通过设计图片编码器，引入提示学习以及蒙版编码器。加快了网络的分割速度，提升网络对于肺结节的检测与分割能力，提升了分割与检测时的速度。

2、本发明的技术方案：基于锚点的提示学习编码器与检测分割可视化方法，流程图如图1所示包括如下步骤：

3、s1、对公开的胸部医学影像进行数据处理制作含有肺部结节的二维医学图像；

4、s2、对制作好的二维肺部医学影像进行预处理；

5、s3、对预处理之后的医学影像进行数据增强；

6、s4、将数据增强后的数据集按照7：3的比例分配为训练集与测试集两部分；

7、s5、搭建yosam网络型，并将处理好的二维医学影像训练集传入搭建的网络进行训练，得到最优的训练权重，保存最优模型；

8、s6、对划分好的测试集数据集，载入到最优模型当中，进行测试，获得分割结果并和公开数据集当中标注的肺结节部位与肺结节金标准进行对比。

9、进一步概括s1包括以下1个步骤：

10、第一步：依据肺结节的金标准数据进行处理，将现有的公开的最大的三维肺部医学影像数据集，luna16，通过肺结节的在图像中的占比大小，剔除无肺部无肺结节的切片，同时为了避免因二维转换后金标准切片的标签产生格式混乱，首先将肺结节部分扫描像素值归一化处理肺结节部分为像素1，其余部分为像素0，对标签中的肺的像素值统一设定为(127，127，127)。

11、进一步概括s2包括以下1个步骤：

12、第一步：对原始图像进行处理，首先，使用k-means聚类算法和图像二值化根据肺组织内像素的平均值将肺组织与外来组织分开，其次，采用形态学侵蚀和扩张操作保留血管等组织的细节信息，通过侵蚀和肺整体特征信息的扩张，最后，计算图像连通域，以最大连通域作为肺掩模，继续进行扩张操作填充肺掩模并优化肺实质边缘与侵蚀操作，创建新的肺部图像，并根据二维标签剔除无价值切片，使新肺部图像名称与新二维标签一致。

13、进一步概括s3包括以下1个步骤：

14、第一步：对原始图像进行数据增强，包括：镜像反转，中心旋转，水平翻转，随即调整饱和度、对比度、亮度。为了扩充样本数量，减小过拟合的影响，提高局部边缘区域的像素分割的准确性，本发明对产生的数据集进行了随机裁剪工作，统一设定裁剪大小是640×640dpi。

15、进一步概括s4包括以下1个步骤：

16、设计python程序，将每个图像的绝对地址，标签的绝对地址，并按照顺序从1到10循环标号，存放到.xlsx文件中，再将标号为1-7的图像与标签存放到测试集的.xlsx文件中，8-10存放到训练集的.xlsx文件中，这样能够保证训练和测试的平衡以及防止过拟合的现象发生，提高网络泛化能力。

17、进一步概括s5包括以下1个步骤：

18、第一步：在所提出的yosam模型的训练阶段，首先对肺部医学影响数据集当中的测试集进行预处理和数据增强、将图像裁剪成相同的640×640×3的大小，然后将处理好的肺部医学映像输入yosam模型进行训练，训练后将生成肺结节割的最优权重。

19、进一步概括s6包括以下1个步骤：

20、第一步：将步骤4分好的训练集导入模型当中进行测试验证，最终得到最优的肺结节分割结果。

21、实验参数：

22、在肺部肺结节分割实验中，硬件环境为：nvidia geforce rtx2080ti

23、显卡，显存11g；操作系统：windows11；pytorch深度学习框架。采用adam优化器用于更新参数。其中，初始化学习率(learning rate，lr)设置为(1e-4)*3，betas参数设置为(0.9，0.999)，批处理大小(batch size)设置为14，总共训练轮数(epoch)设置为500。在训练过程中，采用学习率余弦退火衰减策略，在第t个epoch时的学习率可表示为：

24、