一种肠镜图像的识别定位方法、装置及产品与流程

本发明涉及肠镜图像处理，具体涉及一种肠镜图像的识别定位方法、装置及产品。

背景技术：

1、结肠镜是一种临床常用的纤维内窥镜。通过肛门插入逆行向下可检查到直肠、乙状结肠、降结肠、横结肠、升结肠和盲肠以及与大肠相连的一小段小肠(回盲末端)。可以清楚地发现肠道病变，同时还可对部分肠道病变进行治疗。

2、现今的结肠镜检查中，通常是利用卷积神经网络（cnn）等算法增强内窥镜图像中的血管网或其他结构，帮助医生更清晰地识别病灶。对于其中结肠带的标记，通常是医生手动标记结肠带，由于每位医生的操作习惯不同，手动标记的结果往往缺乏一致性，同一个医生也难以保证不同次检测操作之间使用相同的标记方式，难以保证此次标记和历史标记的一致性，那么这导致后续检查中无法准确匹配先前的标记位置，而且重复进行标记操作浪费时间。

3、上述标记不一致的问题可能导致多次检查之间病灶定位不同使得病灶确定不准确，影响诊断和治疗的效果，在一些高级内窥镜系统利用磁场定位、ct/mri图像配准等技术帮助医生进行结肠内定位。然而，这些系统需要使用各种传感器等设备，导致系统价格高昂，进而导致应用范围有限。

4、因此，对于不具有一种成本低、前后标记一致、不重复进行标记操作的结肠镜检查识别定位方法的问题，亟需研发一种肠镜图像的识别定位方法和系统。

技术实现思路

1、鉴于上述问题，本发明提供一种肠镜图像的识别定位方法、装置及产品。

2、本发明为解决技术问题所采用的技术方案如下：

3、第一方面，本发明提供一种肠镜图像的识别定位方法，包括：

4、获得肠道内窥镜视频信号并据此生成原始图像；

5、获得患者身份信息；

6、根据患者身份信息和原始图像检索结肠血管矩阵矢量库中所述患者身份信息对应的结肠袋编号和血管网矩阵矢量编码，确定结肠带的编号；若未检索到，识别所述原始图像中的结肠带并对结肠带进行编号；

7、判别所述原始图像是否包含结肠袋区域，若包含则对结肠袋区域中的血管网区域进行语义分割得到血管网掩码图；

8、对所述血管网掩码图进行特征提取得到血管网矩阵矢量编码；

9、填充结肠血管矩阵矢量库。

10、在一个优选的实施例中，所述根据患者身份信息和原始图像检索结肠血管矩阵矢量库中的患者身份信息对应的结肠袋编号和血管网矩阵矢量编码具体包括为：

11、检索患者身份信息在结肠血管矩阵矢量库中的定位信息；

12、基于所述定位信息，检索结肠血管矩阵矢量库中与原始图像最匹配的结肠袋编号；

13、检索最匹配的结肠袋编号中与原始图像最匹配的血管网矩阵矢量编码。

14、在一个优选的实施例中，所述检索结肠血管矩阵矢量库中与原始图像最匹配的结肠袋编号具体为：使用启发式搜索方法检索结肠血管矩阵矢量库中与原始图像第一特征条件相似度最高的结肠袋编号作为最匹配的结肠袋编号；

15、所述检索最匹配的结肠袋编号中与原始图像最匹配的血管网矩阵矢量编码具体为：通过迭代优化搜索路径，逐步找到最匹配的结肠袋编号中最匹配的结肠袋编号中与原始图像第二特征条件最匹配的血管网矩阵矢量编码。

16、在一个优选的实施例中，所述识别所述原始图像中的结肠带并对结肠带进行编号具体包括：

17、对所述原始图像进行标准化处理；

18、提取标准化处理后原始图像的边缘特征和纹理特征得到第一结肠带特征图；

19、提取第一结肠带特征图的结肠带的形态特征得到第二结肠带特征图；

20、提取第二结肠带特征图中的全局上下文信息以及结肠带与周围组织的空间关系，得到第三结肠带特征图；

21、将第一结肠带特征图、第二结肠带特征图、第三结肠带特征图进行融合，生成第一多尺度特征图；

22、将第一多尺度特征图应用注意力机制对其进行加权处理，生成第一加权特征图；

23、对第一加权特征图进行压缩生成数值向量；

24、根据所述数值向量识别结肠带；

25、对识别到的结肠带进行编号。

26、在一个优选的实施例中，所述对识别到的结肠带进行编号具体为：根据内窥镜退镜的移动线路为识别到的结肠带进行编号，根据结肠带的编号对结肠袋进行编号，根据已编号的结肠袋，确定结肠带的编号。

27、在一个优选的实施例中，所述判别所述原始图像是否包含结肠袋区域，若包含则对结肠袋区域中的血管网区域进行语义分割得到血管网掩码图具体包括：

28、判别所述原始图像是否包含结肠袋区域，若包含，则根据原始图像确定结肠袋图像；

29、归一化结肠袋图像；

30、提取归一化的结肠袋图像的边缘和细节信息得到第一特征图，提取归一化的结肠袋图像的纹理和局部形状信息得到第二特征图，提取归一化的结肠袋图像的结肠袋的整体形态信息得到第三特征图；

31、将第一特征图层次化聚合形成第一层次特征图；将第二特征图与第一层次特征图进行融合生成第二层次特征图；将第三特征图与第二层次特征图进行融合生成第三层次特征图；

32、采用多尺度特征融合方法融合第一层次特征图、第二层次特征图和第三层次特征图，得到第一多尺度融合特征图；

33、捕捉第一多尺度融合特征图中全局的信息和上下文关系，应用注意力机制 作用于空间维度和通道维度，生成第一多尺度加权特征图；

34、将第一多尺度加权特征图转化为血管网掩码图。

35、在一个优选的实施例中，所述对所述血管网掩码图进行特征提取得到血管网矩阵矢量编码包括：将血管网掩码图分成若干网格单元，对每个网格单元进行特征提取并将提取到的特征编码为向量，将所有网格单元的向量组合成矩阵，该矩阵作为血管网矩阵矢量编码。

36、在一个优选的实施例中，所述对所述血管网掩码图进行特征提取得到血管网矩阵矢量编码具体包括：将血管网掩码图按照n×n网格划分网格单元；对每个网格单元进行几何中心特征、血管方向特征、血管复杂度特征提取，并将提取到的几何中心特征、血管方向特征、血管复杂度特征编码为一个向量；将所有网格单元的向量按照其网格单元在血管网掩码图中的排列顺序组合成n×n的矩阵，根据所述n×n的矩阵提取血管网的全局特征向量，所述n×n的矩阵和全局特征向量共同作为血管网矩阵矢量编码。

37、第二方面，本发明提供一种肠镜图像的识别定位装置，包括：

38、视频获取模块，用于获得肠道内窥镜视频信号并据此生成原始图像；

39、结肠袋血管网分割模块，用于判别原始图像是否包含结肠袋区域，用于在原始图像包含结肠袋区域时对结肠袋区域中的血管网区域进行语义分割得到血管网掩码图；

40、血管网特征编码模块，用于对血管网掩码图进行特征提取得到血管网矩阵矢量编码；

41、数据库填充检索模块，用于获得患者身份信息，用于根据患者身份信息和原始图像检索结肠血管矩阵矢量库中患者身份信息对应的结肠袋编号和血管网矩阵矢量编码，用于填充结肠血管矩阵矢量库；

42、结肠带识别与编号模块，用于在结肠血管矩阵矢量库未检索到患者身份信息对应的结肠袋编号和血管网矩阵矢量编码时识别原始图像中的结肠带并对结肠带进行编号，用于根据结肠血管矩阵矢量库中结肠袋编号和血管网矩阵矢量编码确定结肠带的编号。

43、第三方面，本发明提供一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如第一方面所述一种肠镜图像的识别定位方法。

44、本发明一种肠镜图像的识别定位方法、系统及产品通过对结肠袋区域中的血管网区域进行语义分割得到血管网掩码图、对所述血管网掩码图进行特征提取得到血管网矩阵矢量编码，然后填充结肠血管矩阵矢量库，实现了结肠血管矩阵矢量库的丰富；通过根据患者身份信息和原始图像进行检索结肠血管矩阵矢量库获得历史结肠信息，进而获得结肠带的编号，保证了不同次肠镜检测时编号的一致性，且不进行重复标记，同时由于不需要外接内窥镜系统，使得成本低。