基于无监督大模型训练肠镜下病变检出的方法

本发明涉及一种基于大模型无需任何标注的训练肠镜下病变检出的方法。

背景技术：

1、随着计算机技术以及人工智能的发展，计算机辅助诊断肠镜下息肉病变病理分型获得临床专家的广泛关注。现有的息肉病变病理自动分型方法往往是利用深度学习技术，通过输入息肉病理图像以及该息肉病理是否为良恶性实现模型的训练，从而达到病理的自动分型。一般而言，训练一个能达到专家水平的分型模型往往需要大量的病理图像。然而，获得一张病理图片往往需要先将病变息肉组织用病理切片进行病理检查，步骤繁琐，因而限制了自动分型方法的实际应用。实际上，各医院中心拥有海量的镜检视频以及相应的镜检报告，这些数据简单易得。如何在仅需要少量息肉病理分型监督信息的情况下，仅利用肠镜图像以及文本报告实现性能优秀的息肉病变病理的自动分型是一个亟待解决的问题。

技术实现思路

1、本发明的目的是：无需病理切片，利用肠镜图像实现息肉病变病理的自动分型。

2、为了达到上述目的，本发明的技术方案是提供了一种基于无监督大模型训练肠镜下病变检出的方法，其特征在于，包括以下步骤：

3、步骤1、利用自然语言处理工具处理非结构化的镜检文本报告，根据处理结果为镜检文本报告所对应的镜检视频分配表示当前镜检视频是否含有病变的二分类标签一；再利用多实例学习技术进一步根据每个镜检视频的二分类标签，为每个镜检视频中的所有图像帧分配表示当前图像帧是否含有病变的二分类标签二；

4、步骤2、利用步骤1得到的所有图像帧的二分类标签以及对应的海量的图像帧训练一个病变检出的二分类网络，将训练得到的二分类网络作为息肉病变任务的基础模型；

5、步骤3、训练基于视觉提示的小样本病理分型模型，训练时，采用基于视觉提示的迁移学习范式，在基础模型的输入前端添加轻量化的可学习的视觉提示作为网络知识迁移到下游任务的媒介，而不对基础模型的预训练权重进行整体更新，将视觉提示加入到图像帧之中，并输入到基础模型之中进行编码，最后通过二值交叉熵函数进行监督，在训练过程中，只有设计的视觉提示进行参数更新，而基础模型参数不进行更性操作；

6、步骤4、将训练得到的小样本病理分型模型部署到相关系统中。

7、优选地，步骤1中：所采用的自然语言处理工具为chatgpt大模型；所采用的多实例学习技术为weno++网络；

8、步骤2中，所采用的二分类网络为vision-transformer。

9、优选地，步骤1中：在所述二分类标签一中，1表示当前镜检视频含有病变，0表示当前镜检视频正常；在所述二分类标签二中，1表示当前图像帧含有病变，0表示当前图像帧正常。

10、优选地，所述二值交叉熵函数表示为下式：

11、

12、式中，表示二值交叉熵函数，n表示样本数量，yi表示分类真实标签，表示模型的预测值。

13、优选地，步骤4中，将训练得到的小样本病理分型模型部署到实际cade系统中。

14、本发明公开的方法在完全无标注的情况下，以大量非结构化镜检报告文本以及对应的肠镜检查视频作为训练集，通过预训练的大型语言模型和图像模型,以及弱监督学习策略,从这些完全未标注的数据中训练得到基础模型。在训练得到的基础模型上，仅需要少量息肉病变病理分型监督信息，即可在无需病理切片的情况下，利用肠镜图像实现息肉病变病理的自动分型，实现仅通过肠镜图像实现息肉病变病理的自动分型。本发明基于海量非结构化实际临床数据进行训练的方法,极大降低了人工标注的工作量，解决了病理图像难以获得的难题，同时保证了病理分型的准确性。本发明公开的方法充分利用现有海量镜检资料，避免了传统收集病变组织用病理切片进行病理检查的步骤，实现了仅利用肠镜图像完成息肉病变病理的自动分型。本发明公开的方法没有可比的现有产品或专利先例，原创性强，具有临床应用前景。

技术特征：

1.一种基于无监督大模型训练肠镜下病变检出的方法，其特征在于，包括以下步骤：

2.如权利要求1所述的一种基于无监督大模型训练肠镜下病变检出的方法，其特征在于，步骤1中：所采用的自然语言处理工具为chatgpt大模型；所采用的多实例学习技术为weno++网络；

3.如权利要求1所述的一种基于无监督大模型训练肠镜下病变检出的方法，其特征在于，步骤1中：在所述二分类标签一中，1表示当前镜检视频含有病变，0表示当前镜检视频正常；在所述二分类标签二中，1表示当前图像帧含有病变，0表示当前图像帧正常。

4.如权利要求1所述的一种基于无监督大模型训练肠镜下病变检出的方法，其特征在于，所述二值交叉熵函数表示为下式：

5.如权利要求1所述的一种基于无监督大模型训练肠镜下病变检出的方法，其特征在于，步骤4中，将训练得到的小样本病理分型模型部署到实际cade系统中。

技术总结本发明的技术方案是提供了一种基于无监督大模型训练肠镜下病变检出的方法。本发明公开的方法在完全无标注的情况下，以大量非结构化镜检报告文本以及对应的肠镜检查视频作为训练集，通过预训练的大型语言模型和图像模型,以及弱监督学习策略,从这些完全未标注的数据中训练得到基础模型。在训练得到的基础模型上，仅需要少量息肉病变病理分型监督信息，即可在无需病理切片的情况下，利用肠镜图像实现息肉病变病理的自动分型，实现仅通过肠镜图像实现息肉病变病理的自动分型。技术研发人员：李全林,诸炎,周平红受保护的技术使用者：复旦大学附属中山医院技术研发日：技术公布日：2024/6/13