一种基于无监督大模型训练肠镜下病变检出的方法

本发明涉及一种基于大模型无需任何标注的训练肠镜下病变检出的方法。

背景技术：

1、计算机辅助结肠镜下病变识别系统(computer-aided detection，cade)在检查的过程中可以帮助内镜医生提高病变的检出率，降低病变的漏诊。已有结肠镜cade系统往往是利用深度学习技术，通过输入含有病变的图像以及该图像中病变区域的掩码实现模型的训练。然而，从镜检视频中筛选出含有病变的图像帧以及手工勾画出病变区域的标注过程费时耗力，因而模型的训练成本极高。实际上，各医院中心拥有海量的镜检视频以及相应的镜检报告，如何充分利用这些海量的未经处理的非结构化数据进而训练出拥有海量参数且准确实现病灶检出的肠镜大模型是一个亟待解决的问题。

技术实现思路

1、本发明的目的是：基于大模型，利用肠镜视频以及非结构化的镜检报告实现肠镜病灶检出模型的训练，且无需任何人工标注信息。

2、为了达到上述目的，本发明的技术方案是提供了一种基于无监督大模型训练肠镜下病变检出的方法，其特征在于，包括以下步骤：

3、步骤1、收集海量的镜检视频以及所对应的非结构化的镜检报告，根据镜检报告所描述的肠镜视频中有无病灶，为对应的镜检视频分配视频分类标签，通过视频分类标签表示当前镜检视频是否含有病变；

4、步骤2、对于每个含有多帧图像帧的镜检视频，采用双分支结构的多实例学习框架，包括作为教师的视频级别分类的分支以及作为学生的图像级别分类的分支，将视频级别分类的分支所学到的知识逐步蒸馏到图像级别分类的分支，以辅助镜检视频中每帧图像帧的正确分类，获得图像帧的图像分类标签，通过图像分类标签表示当前图像帧是否含有病变；

5、步骤3、利用步骤2获得的图像帧的图像分类标签，采用弱监督分割技术实现像素级别的分割任务，获得热图，其中，将vision-transformer框架引入弱监督分割任务，从vision-transformer框架的中间特征层中引出特征，将该特征作为辅助热图以监督vision-transformer框架最后一层特征所产生的热图；

6、步骤4、利用步骤3所得到的热图为中心生成恰好包含完整热图的检测框，以检测框作为图像分割模型的提示，通过图像分割模型实现对含有病变的图像帧的病灶区域的伪分割掩码；

7、步骤5、利用步骤1至步骤4从镜检视频以及镜检报告中分别提取含有病变的图像帧以及病灶区域的伪分割掩码，利用图像帧及伪分割掩码训练轻量化的病变检出模型；

8、步骤6、利用训练完毕的病变检出模型对输入的图像帧的病变区域进行预测，并将该预测结果作为步骤4中图像分割模型的提示输入，得到更加精确的病变区域的伪分割掩码；

9、步骤7、将步骤4至步骤6反复迭代多次，直至训练得到的病变检出模型性能达到专家水平。

10、优选地，在所述步骤1中，利用chatgpt大模型处理所述非结构化的镜检报告，判断当前镜检报告中所描述的肠镜视频中有无病灶。

11、优选地，在所述步骤2中，利用基于vision-transformer架构的编码器同时作为所述双分支结构的特征编码器。

12、优选地，在所述步骤2中，将所述视频级别分类的分支所提取的特征送入到一个全连接层进行分数值计算，并根据所计算得到的分数值对镜检视频的特征进行聚合从而分类，并利用所计算得到的分数值作为每个图像实例的伪标签，进而监督图像实例分类的学习。

13、优选地，在所述步骤3中，将所述辅助热图通过阈值二值化生成辅助伪标签，将辅助伪标签中前景与前景像素所对应的vision-transformer框架最后一层的特征对作为正样本，而辅助伪标签中前景与背景像素所对应的vision-transformer框架最后一层的特征对作为负样本，将正样本拉近而负样本远离，以抑制vision-transformer框架最后一层特征所产生热图的错误激活问题。

14、优选地，利用损失将正样本拉近而负样本远离：

15、

16、式中，cossim(·)为余弦相似度计算函数，n+、n-分别表示正样本对以及负样本对的数目，fi、fj表示的是vision-transformer框架最后一层特征中的特征对，yi、yj为辅助伪标签上的像素值。

17、优选地，在所述步骤5中，根据人工先验筛选出高质量的所述伪分割掩码对所述病变检出模型进行训练，其中，人工先验包括病变区域的大小、位置以及病变数量。

18、优选地，在所述步骤7之后还包括：将步骤7获得的病变检出模型性部署至计算机辅助结肠镜下病变识别系统。

19、本发明公开的方法以海量非结构化的镜检报告以及肠镜视频作为训练数据，利用现有的大模型以及弱监督学习方法即可无需任何标注实现肠镜视频中含有病变图像帧的定位以及该帧中病变区域的识别与分割。

20、与现有技术方案相比，本发明公开的方法充分利用现实生活中海量的镜检报告，无需任何人工标注信息，极大降低了计算机辅助结肠镜下病变识别系统(computer-aideddetection，cade)的训练成本，有效提高了cade的模型泛化性以及复杂检查内容的检查质量。

技术特征：

1.一种基于无监督大模型训练肠镜下病变检出的方法，其特征在于，包括以下步骤：

2.如权利要求1所述的一种基于无监督大模型训练肠镜下病变检出的方法，其特征在于，在所述步骤1中，利用chatgpt大模型处理所述非结构化的镜检报告，判断当前镜检报告中所描述的肠镜视频中有无病灶。

3.如权利要求1所述的一种基于无监督大模型训练肠镜下病变检出的方法，其特征在于，在所述步骤2中，利用基于vision-transformer架构的编码器同时作为所述双分支结构的特征编码器。

4.如权利要求1所述的一种基于无监督大模型训练肠镜下病变检出的方法，其特征在于，在所述步骤2中，将所述视频级别分类的分支所提取的特征送入到一个全连接层进行分数值计算，并根据所计算得到的分数值对镜检视频的特征进行聚合从而分类，并利用所计算得到的分数值作为每个图像实例的伪标签，进而监督图像实例分类的学习。

5.如权利要求1所述的一种基于无监督大模型训练肠镜下病变检出的方法，其特征在于，在所述步骤3中，将所述辅助热图通过阈值二值化生成辅助伪标签，将辅助伪标签中前景与前景像素所对应的vision-transformer框架最后一层的特征对作为正样本，而辅助伪标签中前景与背景像素所对应的vision-transformer框架最后一层的特征对作为负样本，将正样本拉近而负样本远离，以抑制vision-transformer框架最后一层特征所产生热图的错误激活问题。

6.如权利要求5所述的一种基于无监督大模型训练肠镜下病变检出的方法，其特征在于，利用损失将正样本拉近而负样本远离：

7.如权利要求1所述的一种基于无监督大模型训练肠镜下病变检出的方法，其特征在于，在所述步骤5中，根据人工先验筛选出高质量的所述伪分割掩码对所述病变检出模型进行训练，其中，人工先验包括病变区域的大小、位置以及病变数量。

8.如权利要求1所述的一种基于无监督大模型训练肠镜下病变检出的方法，其特征在于，在所述步骤7之后还包括：将步骤7获得的病变检出模型性部署至计算机辅助结肠镜下病变识别系统。

技术总结本发明的技术方案是提供了本发明的技术方案是提供了一种基于无监督大模型训练肠镜下病变检出的方法。本发明公开的方法以海量非结构化的镜检报告以及肠镜视频作为训练数据，利用现有的大模型以及弱监督学习方法即可无需任何标注实现肠镜视频中含有病变图像帧的定位以及该帧中病变区域的识别与分割。与现有技术方案相比，本发明公开的方法充分利用现实生活中海量的镜检报告，无需任何人工标注信息，极大降低了计算机辅助结肠镜下病变识别系统的训练成本，有效提高了CADe的模型泛化性以及复杂检查内容的检查质量。技术研发人员：诸炎,李全林,周平红受保护的技术使用者：复旦大学附属中山医院技术研发日：技术公布日：2024/6/13