腹腔镜视野下肾组织增强现实融合显示的方法及装置

本发明涉及视觉图像处理的，尤其涉及一种腹腔镜视野下肾组织增强现实融合显示的方法，以及腹腔镜视野下肾组织增强现实融合显示的装置。

背景技术：

1、腹腔镜下肾部分切除术具有创伤小、恢复快、对肾功能损伤小的优势。然而部分内生型肾肿瘤全部或大部分位于肾实质内，解剖位置深，医生无法通过腹腔镜图像判断病灶与周围重要组织的位置关系，需要查看术前ct\mri影像，在脑海中构建腹腔镜和三维影像间的关联关系来实施手术，因此易导致病灶边界定位不准、健康组织切除过多、并发症风险高等问题，手术效果高度依赖医生经验。当前腹腔镜引导肾肿瘤切除手术主要依赖于术中超声对肿瘤进行定位，但术中超声操作及图像解读门槛高，且由于操作繁琐而容易过多占用医生手术时间。

技术实现思路

1、为克服现有技术的缺陷，本发明要解决的技术问题是提供了一种腹腔镜视野下肾组织增强现实融合显示的方法，其能够实时引导术中医生观察并定位肾组织及肿瘤的位置信息，解决肾肿瘤切除手术存在的临床难题，在最大程度上降低个体操作的不确定性和对医生临床经验的依赖，提高肾部分切除手术成功率。

2、本发明的技术方案是：这种腹腔镜视野下肾组织增强现实融合显示的方法，其包括以下步骤：

3、(1)单目腹腔镜视野图像关键特征点提取与匹配：通过腹腔镜获取到的每一帧图像进行关键特征点的提取，腹腔镜视野图像中的每个关键特征点代表其固有的位置和特征纹理信息，这些关键特征点在不同画面帧中所呈现出不同的位置关系，同时基于该点的像素坐标位置和特征纹理构建出特征向量来描述该点所固有的特征信息，在提取关键特征点后每两幅图像逐帧进行关键点匹配，通过搜索每两个特征向量值差值最小的两个点作为一个匹配点对，从而实现关键点的提取与匹配；

4、(2)腹腔镜位姿恢复与肾组织表面点云重建：基于已获取的影像逐帧关键特征点匹配信息，根据每两帧图像对极几何原理恢复后一帧腹腔镜相对前一帧腹腔镜的位姿变换矩阵及平移矩阵并依次迭代计算，由此恢复腹腔镜的相对运动轨迹及位姿参数；

5、根据位姿恢复后的虚拟腹腔镜位姿，结合图像固有的特征信息来生成对应帧图像的深度值估计，并根据最终生成的深度图像构建肾组织表面点云数据；

6、(3)肾组织表面点云与肾组织模型点云实时配准及融合显示：通过术前患者ct/mri影像分割数据生成对应的肾组织三维模型构建模型表面点云数据，结合生成的肾组织表面点云数据，对二者数据进行归一化操作，采用ransac算法对二者点云进行粗配准，并根据粗配准结果基于super4pcs算法进行精细配准，获取配准数据后将肾组织三维模型融合渲染至腹腔镜视野影像中。

7、考虑到目前绝大多数厂商提供的腹腔镜为单镜头的摄像头，本发明基于单目腹腔镜平台搭建出一套适用于腹腔镜的单目视觉运动跟踪导航系统，通过腹腔镜视频像实时提取每帧图像中关键特征点来获取特征匹配，根据极线约束原理恢复每一帧下腹腔镜的腹腔镜相对前一帧的位姿信息并重建出肾组织表面点云数据，将肾组织表面点云与术前基于ct/mri生成的肾组织模型点云进行配准并将肾组织模型融合显示至腹腔镜视野下，通过将肾组织虚拟模型融合渲染至腹腔镜视野下来实时引导术中医生观察并定位肾组织及肿瘤的位置信息，解决肾肿瘤切除手术存在的临床难题，在最大程度上降低个体操作的不确定性和对医生临床经验的依赖，提高肾部分切除手术成功率。

8、本发明提供了腹腔镜视野下肾组织增强现实融合显示的装置，其包括：

9、单目腹腔镜视野图像关键特征点提取与匹配模块，其配置来通过腹腔镜获取到的每一帧图像进行关键特征点的提取，腹腔镜视野图像中的每个关键特征点代表其固有的位置和特征纹理信息，这些关键特征点在不同画面中所呈现出不同的位置关系，同时基于该点的像素坐标位置和特征纹理构建出特征向量来描述该点所固有的特征信息，在提取关键特征点后每两幅图像逐帧进行关键点匹配，通过搜索每两个特征向量值差值最小的两个点作为一个匹配点对，从而实现关键点的提取与匹配；

10、腹腔镜位姿恢复与肾组织表面点云重建模块，其配置来基于已获取的影像逐帧关键特征点匹配信息，根据每两帧图像对及几何原理恢复后一帧腹腔镜相对前一帧腹腔镜的位姿变换矩阵及平移矩阵并依次迭代计算，由此恢复腹腔镜的相对运动轨迹及位姿参数；根据位姿恢复后的虚拟腹腔镜位姿，结合图像固有的特征信息来生成对应帧图像的深度值估计，并根据最终生成的深度图像构建肾组织表面点云数据；

11、肾组织表面点云与肾组织模型点云实时配准及融合显示模块，其配置来通过术前患者ct/mri影像分割数据生成对应的肾组织三维模型构建模型表面点云数据，结合生成的肾组织表面点云数据，对二者数据进行归一化操作，采用ransac算法对二者点云进行粗配准，并根据粗配准结果基于super4pcs算法进行精细配准，获取配准数据后将肾组织三维模型融合渲染至腹腔镜视野影像中。

技术特征：

1.腹腔镜视野下肾组织增强现实融合显示的方法，其特征在于：其包括以下步骤：

2.根据权利要求1所述的腹腔镜视野下肾组织增强现实融合显示的方法，其特征在于：所述步骤(1)包括以下分步骤：

3.根据权利要求2所述的腹腔镜视野下肾组织增强现实融合显示的方法，其特征在于：所述步骤(2)包括以下分步骤：

4.根据权利要求3所述的腹腔镜视野下肾组织增强现实融合显示的方法，其特征在于：所述步骤(3)包括以下分步骤：

5.根据权利要求1所述的腹腔镜视野下肾组织增强现实融合显示的方法的装置，其特征在于：其包括：

6.根据权利要求5所述的腹腔镜视野下肾组织增强现实融合显示的方法的装置，其特征在于：所述单目腹腔镜视野图像关键特征点提取与匹配模块执行：

7.根据权利要求6所述的腹腔镜视野下肾组织增强现实融合显示的方法的装置，其特征在于：所述腹腔镜位姿恢复与肾组织表面点云重建模块执行：

8.根据权利要求7所述的腹腔镜视野下肾组织增强现实融合显示的方法的装置，其特征在于：所述肾组织表面点云与肾组织模型点云实时配准及融合显示模块执行：

技术总结腹腔镜视野下肾组织增强现实融合显示的方法与装置，能够实时引导术中医生观察并定位肾组织及肿瘤的位置信息，解决肾肿瘤切除手术存在的临床难题，在最大程度上降低个体操作的不确定性和医生对临床经验的依赖，提高肾部分切除手术成功率。方法包括：(1)单目腹腔镜视野图像关键特征点提取与匹配；(2)腹腔镜位姿恢复与肾组织表面点云重建；(3)肾组织表面点云与肾组织模型点云实时配准及融合显示。技术研发人员：宋红,张子昂,杨健,范敬凡,肖德强,付天宇受保护的技术使用者：北京理工大学技术研发日：技术公布日：2024/10/17