一种内窥镜图像的处理方法及其内窥镜系统与流程

本技术涉及医疗设备，特别是涉及一种内窥镜图像的处理方法及其内窥镜系统。

背景技术：

1、医用内窥镜是临床诊断和手术中不可或缺的工具，它通过实时图像帮助医生观察人体内部组织。但内窥镜成像过程中，手术器械的存在可能会遮挡医生对关键区域的视线，影响手术的精确性和安全性。为了解决这一问题，一种常见的方法是简单地将手术器械图像进行去除，但这可能导致医生错过手术器械的信息。为了看到手术器械的信息，目前也有将手术器械图像进行半透明处理的方案，然而，该处理方法会大大降低被遮挡图像的显示效果，内窥镜图像显示效果不佳。

2、目前，也有通过图像处理算法来增强手术器械的可视化效果，例如在去除手术器械的图像上叠加手术器械虚拟标识。然而，这些标识并不能真实反映手术器械的真实使用状态，不便于医生进行手术操作。

技术实现思路

1、以下是对本技术详细描述的主题的概述。本概述并非是为了限制权利要求的保护范围。

2、本技术实施例提供了一种内窥镜图像的处理方法及其内窥镜系统，不仅能够避免因为手术器械的遮挡而影响医生观察人体内部组织遮挡，而且能够保留手术器械的真实使用状态。

3、一方面，本技术实施例提供了一种内窥镜图像的处理方法，包括：

4、获取待处理内窥镜图像和至少一帧历史内窥镜图像；

5、识别待处理内窥镜图像中的手术器械图像,至少部分目标组织被手术器械图像遮挡；

6、在至少一帧历史内窥镜图像中确定未被手术器械遮挡的目标组织图像；

7、对待处理内窥镜图像和目标组织图像进行融合处理，得到目标内窥镜图像，在融合处理的过程中，对手术器械图像中的不同区块作不同程度的透明度处理，其中，越靠近手术器械边缘的区块的透明度越低；

8、显示目标内窥镜图像。

9、进一步，在一些实施例中，在至少一帧历史内窥镜图像中确定未被手术器械遮挡的目标组织图像，包括以下之一：

10、将至少一帧历史内窥镜图像输入至图像处理模型中进行预测处理，得到未被手术器械遮挡的第一内窥镜图像，第一内窥镜图像包括目标组织图像；

11、或者，在至少一帧历史内窥镜图像中选择未被手术器械遮挡的第一内窥镜图像，第一内窥镜图像包括目标组织图像；

12、或者，在至少一帧历史内窥镜图像中选择未被手术器械遮挡的多帧目标历史内窥镜图像，对多帧目标历史内窥镜图像进行组合处理得到第一内窥镜图像，第一内窥镜图像包括目标组织图像。

13、进一步，在一些实施例中，对多帧目标历史内窥镜图像进行组合处理得到第一内窥镜图像，包括以下之一：

14、将多帧目标历史内窥镜图像进行叠加处理，得到第一内窥镜图像；

15、或者，将多帧目标历史内窥镜图像进行拼接处理，得到第一内窥镜图像。

16、进一步，在一些实施例中，对待处理内窥镜图像和目标组织图像进行融合处理，得到目标内窥镜图像，包括：对待处理内窥镜图像和包含目标组织图像的第一内窥镜图像进行融合处理，得到目标内窥镜图像。

17、进一步，在一些实施例中，对待处理内窥镜图像和包含目标组织图像的第一内窥镜图像进行融合处理，得到目标内窥镜图像，包括：

18、确定手术器械图像中各个区块距离手术器械边缘的目标距离；

19、根据各个区块的目标距离确定各个区块对应的目标权重，其中，目标权重与区块的透明度正相关，目标距离与目标权重负相关；

20、将待处理内窥镜图像和第一内窥镜图像进行融合处理，其中，根据目标权重对手术器械图像中的区块与目标组织图像进行融合。

21、进一步，在一些实施例中，将待处理内窥镜图像和第一内窥镜图像进行融合处理，包括：根据手术器械图像确定融合区域，并基于融合区域将待处理内窥镜图像和第一内窥镜图像进行融合处理，其中，目标组织图像以及手术器械图像位于融合区域内。

22、进一步，在一些实施例中，根据手术器械图像确定融合区域，并基于融合区域将待处理内窥镜图像和第一内窥镜图像进行融合处理，包括：

23、根据手术器械图像的位置确定掩码信息，其中，掩码信息用于在融合处理过程中，确定需要进行融合的融合区域；

24、根据掩码信息对待处理内窥镜图像和第一内窥镜图像进行融合处理，其中，对于融合区域外的图像采用待处理内窥镜图像的图像信息，对于融合区域内的图像，根据各个区块对应目标权重将各个区块与目标组织图像进行融合。

25、进一步，在一些实施例中，将待处理内窥镜图像和第一内窥镜图像进行融合处理，包括：通过以下公式对待处理内窥镜图像和第一内窥镜图像进行融合处理，得到目标内窥镜图像：

26、k＝w*i+(1-w)*t；

27、其中，k为目标内窥镜图像,i为待处理内窥镜图像，t为第一内窥镜图像，w为目标权重，目标权重w表示为：

28、w＝1-f(d/d)；

29、其中，d为目标距离，d为用于调节渐变范围的渐变系数，f(d/d)为与目标距离d相关的渐变函数，其中d与f(d/d)正相关。

30、进一步，在一些实施例中，在至少一帧历史内窥镜图像中确定未被手术器械遮挡的目标组织图像，包括以下之一：

31、在至少一帧历史内窥镜图像中选择未被手术器械遮挡的目标历史内窥镜图像，根据手术器械图像的位置在目标历史内窥镜图像中提取目标组织图像；

32、在至少一帧历史内窥镜图像中选择未被手术器械遮挡的多帧目标历史内窥镜图，根据手术器械图像的位置分别在各个目标历史内窥镜图中提取得到多个第一目标组织图像，根据多个第一目标组织图像得到目标组织图像；

33、将至少一帧历史内窥镜图像输入至图像处理模型中进行预测处理，得到未被手术器遮挡的第一内窥镜图像，根据手术器械图像的位置在第一内窥镜图像中提取目标组织图像。

34、进一步，在一些实施例中，根据多个第一目标组织图像得到目标组织图像，包括以下之一：

35、将多个第一目标组织图像输入至图像处理模型中进行预测处理，得到目标组织图像；

36、或者，将多个第一目标组织图像进行叠加处理，得到目标组织图像；

37、或者，根据预设条件在多个第一目标组织图像中选择目标组织图像。

38、进一步，在一些实施例中，对待处理内窥镜图像和目标组织图像进行融合处理，得到目标内窥镜图像，包括以下之一：

39、确定手术器械图像中各个区块距离手术器械边缘的目标距离；

40、根据各个区块的目标距离确定各个区块对应的目标权重，其中，目标权重与区块的透明度正相关，目标距离与目标权重负相关；

41、根据手术器械图像中各个区块的目标权重将区块与目标组织图像进行融合，得到手术器械融合图像；

42、将待处理内窥镜图像中的手术器械图像替换为手术器械融合图像，得到目标内窥镜图像。

43、进一步，在一些实施例中，上述的内窥镜图像的处理方法还包括：获取用于调节渐变范围的渐变系数，根据渐变系数和目标距离设置目标权重。

44、进一步，在一些实施例中，渐变系数由以下至少之一的参数确定；

45、手术器械的类型，其中，手术器械的类型由用户输入设置或者根据手术器械图像进行识别得到；

46、手术器械的部位；

47、手术器械图像的面积或者直径或者长度；

48、当前拍摄待处理内窥镜图像的内窥镜摄像头的类型或者拍摄放大倍率。

49、进一步，在一些实施例中，区块为手术器械图像中的单个像素点或者由手术器械图像中的多个像素点组成。

50、进一步，在一些实施例中，确定手术器械图像中各个区块距离手术器械边缘的目标距离，包括：确定手术器械的边缘轮廓，计算手术器械图像中各个区块距离边缘轮廓的最短距离为目标距离。

51、进一步，在一些实施例中，在对待处理内窥镜图像和目标组织图像进行融合处理之前，还包括：对待处理内窥镜图像和目标组织图像进行亮度匹配处理，使待处理内窥镜图像和目标组织图像的亮度相匹配。

52、进一步，在一些实施例中，手术器械图像包括边缘轮廓区域和中心区域，对手术器械图像中的不同区块作不同程度的透明度处理，包括：

53、对边缘轮廓区域的区块采用第一透明度处理；

54、对中心区域的区块采用第二透明度处理，第一透明度小于第二透明度。

55、进一步，在一些实施例中，第一透明度为0％，第二透明度为100％。

56、另一方面，本技术实施例提供了一种内窥镜系统，其特征在于，包括：

57、内窥镜；

58、显示装置；

59、内窥镜主机，与内窥镜连接，内窥镜主机用于获取内窥镜拍摄的内窥镜图像数据，内窥镜主机还用于执行上述的内窥镜图像的处理方法得到目标内窥镜图像，并通过显示装置进行显示。

60、本技术实施例至少包括以下有益效果：通过获取待处理内窥镜图像和至少一帧历史内窥镜图像，然后，识别待处理内窥镜图像中的手术器械图像,其中，至少部分目标组织被手术器械图像遮挡，接着，在至少一帧历史内窥镜图像中确定未被手术器械遮挡的目标组织图像，进而能够在帧图像中精细化地确定目标组织图像，提高了目标组织图像的真实性，最后，对待处理内窥镜图像和目标组织图像进行融合处理，得到目标内窥镜图像，并显示目标内窥镜图像，而在融合处理的过程中，对手术器械图像中的不同区块作不同程度的透明度处理，其中，越靠近手术器械边缘的区块的透明度越低，进而能够清晰地观察到手术器械的整体真实轮廓，同时，使得手术器械的中心区域比边缘区域更能清晰、显著地观察到目标组织，不仅能准确地反映了手术器械的真实使用状态而且还能兼顾显示出目标组织的真实情况，提高了内窥镜图像的整体显示效果。

61、本技术的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本技术而了解。