一种基于器械分割的单目内窥镜深度估计方法及系统

本发明属于医学图像处理，具体涉及一种基于器械分割的单目内窥镜深度估计方法及系统。

背景技术：

1、在现代手术中，单目深度估计对内窥镜手术至关重要，要求高准确性和高效性。然而，在单目内窥镜操作中，缺乏深度信息使得医生必须极度依赖经验来判断视野深度。单目内窥镜深度估计旨在通过单目内窥镜图像生成相应的深度图。

2、在狭窄腔道手术环境中，存在湿润和光反射现象，这给深度估计带来挑战，术中器械的存在也可能使得算法的准确性受到影响。研究者通常专注于单一任务，如器械分割或深度估计，而忽视了器械与组织之间相对深度的计算。现缺乏面向多任务的器械与组织相对深度估计方法的研究，故仅列举与本方案较贴近的近期公布的方法。

3、202310514950.5《一种单目内窥镜视频深度与位姿估计方法》构建深度估计网络和位姿估计网络,并对获取训练集和测试集并进行增强处理，完成计单目内窥镜视频的深度及位姿信息以进行三维模型重建，如图1所示。

4、202311367527.3《一种基于高亮去除和语义信息的单目内窥镜深度估计方法》，构建基于奇异值阈值算法的网络作为高亮去除网络，结合基于语义信息的深度网络和位姿估计网络，在内窥镜手术中进行实时深度估计，如图2所示。

5、202310514950.5是对monodepth2算法的改进，实验中只与原始monodepth2进行比较，由于内镜图像存在反光、模糊等不确定性因素，故该算法在面对上述情况时，检测精度较差。

6、202311367527.3通过设置亮度阈值，添加语义信息减少强光照对算法精度的影响，增加空间精确特征。但光照强度不是恒定的，且语义信息如何对算法精度产生影响并没有仔细阐述，导致算法仅对特定强度的光照敏感，不同的场景下的检测精度有好有坏。

7、上述两个发明均是对内镜图像的深度估计，现有技术中并未公开面向手术操作过程器械与组织的相对深度估计方法。

技术实现思路

1、有鉴于此，本发明提供一种基于器械分割的单目内窥镜深度估计方法及系统，能够通过计算器械与组织的相对深度，辅助手术机器人完成安全操作。

2、实现本发明的技术方案如下：

3、一种基于器械分割的单目内窥镜深度估计方法，具体过程为：

4、利用训练好的器械分割模型，在待深度估计数据集中对器械进行分割，并将分割结果作为彩色透明图层蒙版叠加在待深度估计数据集中；

5、利用训练好的深度估计模型，对叠加蒙版的待深度估计数据集中的数据进行深度估计，得到深度估计值。

6、进一步地，本发明还包括相对深度估计，具体为：

7、利用训练好的器械分割模型，进一步获得器械轮廓信息内的深度值；

8、所述相对深度估计模型，对器械分割后的轮廓信息内的深度值平均值与深度估计模型估计的深度值或特定区域深度平均值进行相减，最终获得相对深度。

9、进一步地，本发明所述器械分割模型为由编码器-解码器结构，用于训练数据集包括无手术器械的背景图像和包含手术器械的图像。

10、进一步地，本发明所述深度估计模型包括深度估计模块、位姿估计模块和亮度估计模块；

11、所述深度估计模块，输入为叠加蒙版的图像帧it，输出为深度值dt；

12、所述亮度估计模块，输入为叠加蒙版的相邻两图像帧{it,is}，输出为亮度值o(p)；

13、所述位姿估计模块，输入为叠加蒙版的相邻两图像帧{it,is}，输出为相邻两帧图像的位姿变化mt→s；

14、在深度估计模型训练时，基于上述模块的输出构造监督信号用于对模型训练过程进行监督，基于上述模块的输出利用相邻图像帧之间的约束关系计算深度真值，利用所述深度真值进行模型训练。

15、进一步地，本发明所述深度估计模块、所述亮度估计模块和所述位姿估计模块均采用编码器-解码器结构。

16、进一步地，本发明所述相邻图像帧之间的约束关系为：

17、h(ps→t)＝[k|o]mt→s[dtk-1h(pt)]

18、其中，h(ps→t)和h(pt)是相邻图像帧s和t的齐次像素坐标，k为相机内参，mt→s为相邻图像帧间的位姿变化，dt为图像帧it对应的深度值，上角标“-1”为逆矩阵。

19、进一步地，本发明所述监督信号为：

20、l＝lfs+lps+les

21、其中，lfs为图像保真度损失，lps为光度损失，les为差异平滑损失。

22、进一步地，本发明所述图像保真度损失

23、

24、其中，为光度误差最小平均值，is→t(p)为基于相邻两帧图像{it,is}中各像素点对应关系所获得的重构图像。

25、进一步地，本发明所述光度损失lps：

26、

27、i′t(p)＝it(p)+o(p)

28、其中，mean[]为求均值，ssim()为结构相似性指数，ms-ssim为多尺度结构相似性指数，l1()为平均绝对值误差，is→t(p)为基于相邻两帧图像{it,is}中各像素点对应关系所获得的重构图像。

29、一种基于器械分割的单目内窥镜深度估计系统，包括器械分割模型、深度估计模型及相对深度估计模型；其中，

30、器械分割模型，用于对待深度估计数据集进行器械分割，并将分割结果作为彩色透明图层蒙版叠加在待深度估计数据集中，还用于获得器械轮廓信息内的深度值；

31、深度估计模型，对叠加蒙版的待深度估计数据集中的图像帧进行深度估计，得到深度估计值；

32、所述相对深度估计模型，对器械分割后的轮廓信息内的深度值平均值与深度估计模型估计的深度值或设定区域深度平均值进行相减，最终获得相对深度。

33、有益效果

34、第一，本发明引入器械分割模型，不仅可以获得精确的分割结果，还可以提高术区存在手术器械时的深度估计结果的精确度。

35、第二，本发明可以提供准确的器械分割结果，深度估计结果和相对深度估计结果，以便用于单一任务或多任务检测(深度估计或者相对深度估计)。

36、第三，深度估计模块的引入，主要解决真实内窥镜检查存在的特殊情况(反射、不均匀照明和遮挡)导致现有深度估计算法精度降低的问题。通过引入亮度变化模块，可以有效提高深度估计算法的精度，使其更适用于临床。

技术特征：

1.一种基于器械分割的单目内窥镜深度估计方法，其特征在于，具体过程为：

2.根据权利要求1所述基于器械分割的单目内窥镜深度估计方法，其特征在于，还包括相对深度估计，具体为：

3.根据权利要求1或2所述基于器械分割的单目内窥镜深度估计方法，其特征在于，所述器械分割模型为由编码器-解码器结构，用于训练数据集包括无手术器械的背景图像和包含手术器械的图像。

4.根据权利要求1或2所述基于器械分割的单目内窥镜深度估计方法，其特征在于，所述深度估计模型包括深度估计模块、位姿估计模块和亮度估计模块；

5.根据权利要求4所述基于器械分割的单目内窥镜深度估计方法，其特征在于，所述深度估计模块、所述亮度估计模块和所述位姿估计模块均采用编码器-解码器结构。

6.根据权利要求4所述基于器械分割的单目内窥镜深度估计方法，其特征在于，所述相邻图像帧之间的约束关系为：

7.根据权利要求4所述基于器械分割的单目内窥镜深度估计方法，其特征在于，所述监督信号为：

8.根据权利要求7所述基于器械分割的单目内窥镜深度估计方法，其特征在于，所述图像保真度损失

9.根据权利要求7所述基于器械分割的单目内窥镜深度估计方法，其特征在于，所述光度损失lps：

10.一种基于器械分割的单目内窥镜深度估计系统，其特征在于，包括器械分割模型、深度估计模型及相对深度估计模型；其中，

技术总结本发明提供一种基于器械分割的单目内窥镜深度估计方法及系统，能够通过计算器械与组织的相对深度，辅助手术机器人完成安全操作。具体过程为：利用训练好的器械分割模型，在待深度估计数据集中对器械进行分割，并将分割结果作为彩色透明图层蒙版叠加在待深度估计数据集中；利用训练好的深度估计模型，对叠加蒙版的待深度估计数据集中的数据进行深度估计，得到深度估计值。技术研发人员：李长胜,李雪,段星光,陈文欣,刘青瑶受保护的技术使用者：北京理工大学技术研发日：技术公布日：2024/9/17