一种基于人工智能的胶囊内镜病变识别方法及系统与流程

本发明涉及人工智能领域，具体为一种基于人工智能的胶囊内镜病变识别方法及系统。

背景技术：

1、对于小肠的检查一直是一个难点，虽然提供了小肠镜，但是操作复杂，患者的接受度低。相对于小肠镜，胶囊内镜（capsule endoscopy，ce）是一种微型摄像头装置，患者可以将其吞服，以便于医生观察并评估消化道的内部情况。这种技术主要用于检查小肠的疾病，如克罗恩病、小肠出血、息肉以及早期的肠癌。它的主要优点包括无创性、操作简单和对患者的侵扰性小。患者可以在没有麻醉和不适感的情况下进行检查，且胶囊内镜能够提供传统内镜难以到达部位的图像，从而使医生能够更全面地检查整个消化道。

2、但是胶囊内镜产生的图像数据量巨大，每秒能拍摄数张图像，胶囊内镜从吞服到排除大概要经历近10个小时，一次胶囊内镜检查可以产生上万张图片，阅片的工作量极其大，需要专业的医生进行长时间的分析和解读，这不仅费时而且对医生的专业能力要求高。而且图像可能受到体液或食物残渣的干扰，导致诊断的难度增加。此外，胶囊的运动速度不均匀可能导致部分区域的图像缺失或不清晰，给准确诊断带来挑战。但是识别准确度和识别速度是相互矛盾的，如何对胶囊内镜拍摄的上万张图像具有较高识别速度的同时，保证具有较高的准确度是对胶囊内镜拍摄的图像进行自动阅片的关键。

技术实现思路

1、为了解决上述问题，本发明提供了一种基于人工智能的胶囊内镜病变识别方法，所述方法包括以下步骤：

2、获取胶囊内镜拍摄的图像，对去重后的所述图像进行标注，对标注框进行聚类，根据聚类结果得到先验框和网格大小；基于先验框得到预测范围；

3、将胶囊内镜拍摄的待识别图像通过卷积转换为预设大小，然后分为多个所述网格大小的网格，对于每个网格计算网格对应的每个边界框中所有网格的注意力，通过所述注意力得到每个边界框的置信度；计算以网格为中心的预测范围内对应的疾病类型概率；

4、根据疾病类型概率和置信度对边界框进行过滤，采用iou阈值利用非极大值抑制的方式对剩余的边界框进行过滤，将过滤后的边界框作为识别出的病变目标框。

5、优选地，所述对标注框进行聚类，具体为：

6、从所有标注框中任选一个标注框，计算其他标注框的长与选取的标注框的长的比值，以及其他标注框的宽与选取的标注框的宽的比值，若两个比值都在设置的范围内，则将其他标注框和选取的标注框归为一类；依次类推，直到所有的标注框聚类完成；

7、判断聚类的个数，如果聚类的个数超过预设值，则将标注框最小的若干个聚类删除，直到聚类的个数不超过预设值。

8、优选地，所述根据聚类结果得到先验框和网格大小，具体为：

9、对于每个聚类，计算聚类中标注框的长的平均值和宽的平均值，基于两个平均值得到聚类对应的先验框；

10、获取所有先验框的长和宽的最小值，最小值是网格长度的多倍。

11、优选地，所述基于先验框得到预测范围，具体为：

12、计算所有先验框的并集，将所述并集作为预测范围。

13、优选地，所述对于每个网格计算网格对应的每个边界框中所有网格的注意力，通过所述注意力得到每个边界框的置信度，具体为：

14、将边界框内每个网格通过线性投射层得到嵌入向量，并加入学习token，通过注意力机制学习得到学习token的内容，通过学习token的内容得到边界框的置信度。

15、优选地，所述根据疾病类型概率和置信度对边界框进行过滤，具体为：

16、获取疾病类型概率的最大值，如果最大值满足条件，若置信度大于置信度阈值，则保留边界框；如果最大值不满足条件和/或置信度不大于置信度阈值，则不保留边界框。

17、优选地，所述iou阈值具体确定方式为：

18、判断标注框是否存在交集，如果不存在，则将iou阈值设置为0；否则计算所有具有交集的标注框的iou值的平均值，将所述平均值作为iou阈值。

19、在另外一方面，本发明还提高了一种基于人工智能的胶囊内镜病变识别系统，所述系统包括以下模块：

20、先验框和网格获取模块，用于获取胶囊内镜拍摄的图像，对去重后的所述图像进行标注，对标注框进行聚类，根据聚类结果得到先验框和网格大小；基于先验框得到预测范围；

21、特征提取模块，用于将胶囊内镜拍摄的待识别图像通过卷积转换为预设大小，然后分为多个所述网格大小的网格，对于每个网格计算网格对应的每个边界框中所有网格的注意力，通过所述注意力得到每个边界框的置信度；计算以网格为中心的预测范围内对应的疾病类型概率；

22、边界框筛选模块，用于根据疾病类型概率和置信度对边界框进行过滤，采用所述iou阈值利用非极大值抑制的方式对剩余的边界框进行过滤，将过滤后的边界框作为识别出的病变目标框。

23、优选地，所述对标注框进行聚类，具体为：

24、从所有标注框中任选一个标注框，计算其他标注框的长与选取的标注框的长的比值，以及其他标注框的宽与选取的标注框的宽的比值，若两个比值都在设置的范围内，则将其他标注框和选取的标注框归为一类；依次类推，直到所有的标注框聚类完成；

25、判断聚类的个数，如果聚类的个数超过预设值，则将标注框最小的若干个聚类删除，直到聚类的个数不超过预设值。

26、优选地，所述根据聚类结果得到先验框和网格大小，具体为：

27、对于每个聚类，计算聚类中标注框的长的平均值和宽的平均值，基于两个平均值得到聚类对应的先验框；

28、获取所有先验框的长和宽的最小值，最小值是网格长度的多倍。

29、优选地，所述基于先验框得到预测范围，具体为：

30、计算所有先验框的并集，将所述并集作为预测范围。

31、优选地，所述对于每个网格计算网格对应的每个边界框中所有网格的注意力，通过所述注意力得到每个边界框的置信度，具体为：

32、将边界框内每个网格通过线性投射层得到嵌入向量，并加入学习token，通过注意力机制学习得到学习token的内容，通过学习token的内容得到边界框的置信度。

33、优选地，所述根据疾病类型概率和置信度对边界框进行过滤，具体为：

34、获取疾病类型概率的最大值，如果最大值满足条件，若置信度大于置信度阈值，则保留边界框；如果最大值不满足条件和/或置信度不大于置信度阈值，则不保留边界框。

35、优选地，所述iou阈值具体确定方式为：

36、判断标注框是否存在交集，如果不存在，则将iou阈值设置为0；否则计算所有具有交集的标注框的iou值的平均值，将所述平均值作为iou阈值。

37、此外，本发明还提供了一种计算机程序产品，所述计算机程序产品在被处理器执行时实现如上所述的方法。

38、针对胶囊内镜拍摄的图像多，图像中干扰多的问题，本发明提供的基于人工智能的胶囊内镜病变识别方法，在较高识别速度的同时保证识别的准确性。具体地，采用注意力机制计算网格对应的每个边界框的置信度，并根据先验框得到预测范围，根据预测范围计算每个网格对应的疾病类型概率，提高了对疾病的识别准确度，同时能够有较快的识别速度。