手术器械追踪方法、系统、设备、介质和产品

本发明涉及计算机视觉，尤其涉及一种手术器械追踪方法、系统、设备、介质和产品。

背景技术：

1、随着医疗技术的快速发展，手术的复杂性和精细度要求也日益提高，因此实时准确地追踪和定位手术器械来进行手术导航是非常重要的。

2、目前的手术导航系统通常使用基于外部跟踪器的方法，在手术器械上附着有特殊的传感器，通过外部跟踪器进行定位和追踪。虽然目前的手术导航系统已经能够提供一定程度的手术导航和定位信息，但仍存在许多不足。首先昂贵的成本限制了在一些医疗机构的普及和应用范围；其次受限于图像质量，这使得在存在噪声、运动模糊等场景中，系统的鲁棒性较低；更重要的是这些系统需要使用装有物理定位器的特定器械，进而医生需要接受额外的培训，而进行特殊处理的装备，也增加了手术过程的复杂性和风险。

技术实现思路

1、本发明提供一种手术器械追踪方法、系统、设备、介质和产品，用以解决现有技术中系统鲁棒性较低，且手术复杂性和风险较高的缺陷。

2、本发明提供一种手术器械追踪方法，包括：

3、获取包含待追踪手术器械的视频流；

4、基于所述视频流中的二维图像和深度图像，确定器械点云；

5、将当前帧器械点云与历史帧器械点云进行点云配准，得到当前帧所述待追踪手术器械的相对位姿；

6、基于所述二维图像和所述器械点云，对所述待追踪手术器械进行神经辐射场重建，得到三维重建结果；

7、基于所述相对位姿和所述三维重建结果，对所述待追踪手术器械的器械坐标进行坐标转换，得到当前帧所述待追踪手术器械的目标位姿，并基于所述目标位姿进行追踪导航。

8、根据本发明提供的手术器械追踪方法，所述将当前帧器械点云与历史帧器械点云进行点云配准，得到当前帧所述待追踪手术器械的相对位姿，包括：

9、基于所述当前帧器械点云的点云特征，从所述历史帧器械点云中确定匹配帧器械点云；

10、将所述当前帧器械点云与所述匹配帧器械点云进行点云配准，得到当前帧所述待追踪手术器械的相对位姿。

11、根据本发明提供的手术器械追踪方法，所述基于所述当前帧器械点云的点云特征，从所述历史帧器械点云中确定匹配帧器械点云，包括：

12、基于所述当前帧器械点云与所述历史帧器械点云的点云特征之间的相似度，从所述历史帧器械点云中确定所述匹配帧器械点云。

13、根据本发明提供的手术器械追踪方法，所述基于所述视频流中的二维图像和深度图像，确定器械点云，包括：

14、基于视频分割算法，对所述二维图像进行器械分割，得到器械图块；

15、将所述器械图块与所述深度图像进行对齐，得到所述器械点云。

16、根据本发明提供的手术器械追踪方法，所述基于所述目标位姿进行追踪导航，包括：

17、对所述三维重建结果进行解析，得到所述待追踪手术器械的包围框信息；

18、基于所述待追踪手术器械的包围框信息和所述相对位姿，确定所述待追踪手术器械的包围框位姿；

19、将所述包围框位姿与医学影像数据进行配准，基于配准结果进行手术追踪导航。

20、根据本发明提供的手术器械追踪方法，所述将所述包围框位姿与医学影像数据进行配准，基于配准结果进行手术追踪导航，包括：

21、将所述包围框位姿进行实时渲染，并将渲染后的包围框位姿投影到所述医学影像数据上进行配准，得到配准后的医学影像数据；

22、展示所述配准后的医学影像数据，以进行手术追踪导航。

23、本发明还提供一种手术器械追踪系统，包括：

24、视频流获取单元，获取包含待追踪手术器械的视频流；

25、点云确定单元，用于基于所述视频流中的二维图像和深度图像，确定器械点云；

26、点云配准单元，用于将当前帧器械点云与历史帧器械点云进行点云配准，得到当前帧所述待追踪手术器械的相对位姿；

27、三维重建单元，用于基于所述二维图像和所述器械点云，对所述待追踪手术器械进行神经辐射场重建，得到三维重建结果；

28、追踪导航单元，用于基于所述相对位姿和所述三维重建结果，对所述待追踪手术器械的器械坐标进行坐标转换，得到当前帧所述待追踪手术器械的目标位姿，并基于所述目标位姿进行追踪导航。

29、本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述手术器械追踪方法。

30、本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述手术器械追踪方法。

31、本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述手术器械追踪方法。

32、本发明提供的手术器械追踪方法、系统、设备、介质和产品，通过获取包含待追踪手术器械的视频流；基于视频流中的二维图像和深度图像，确定器械点云；将当前帧器械点云与历史帧器械点云进行点云配准，得到当前帧待追踪手术器械的相对位姿；基于二维图像和器械点云，对待追踪手术器械进行神经辐射场重建，得到三维重建结果；基于相对位姿和三维重建结果，对待追踪手术器械的器械坐标进行坐标转换，得到当前帧待追踪手术器械的目标位姿，并基于目标位姿进行追踪导航。能够实现提供一个无需物理标记、抗遮挡且精准度高的手术器械追踪方案，从而提高手术过程的安全性。

技术特征：

1.一种手术器械追踪方法，其特征在于，包括：

2.根据权利要求1所述的手术器械追踪方法，其特征在于，所述将当前帧器械点云与历史帧器械点云进行点云配准，得到当前帧所述待追踪手术器械的相对位姿，包括：

3.根据权利要求2所述的手术器械追踪方法，其特征在于，所述基于所述当前帧器械点云的点云特征，从所述历史帧器械点云中确定匹配帧器械点云，包括：

4.根据权利要求1所述的手术器械追踪方法，其特征在于，所述基于所述视频流中的二维图像和深度图像，确定器械点云，包括：

5.根据权利要求1至4中任一项所述的手术器械追踪方法，其特征在于，所述基于所述目标位姿进行追踪导航，包括：

6.根据权利要求5所述的手术器械追踪方法，其特征在于，所述将所述包围框位姿与医学影像数据进行配准，基于配准结果进行手术追踪导航，包括：

7.一种手术器械追踪系统，其特征在于，包括：

8.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至6任一项所述手术器械追踪方法。

9.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述手术器械追踪方法。

10.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述手术器械追踪方法。

技术总结本发明涉及计算机视觉技术领域，提供一种手术器械追踪方法、系统、设备、介质和产品，方法包括：获取包含待追踪手术器械的视频流；基于视频流中的二维图像和深度图像，确定器械点云；将当前帧器械点云与历史帧器械点云进行点云配准，得到当前帧待追踪手术器械的相对位姿；基于二维图像和器械点云，对待追踪手术器械进行神经辐射场重建，得到三维重建结果；基于相对位姿和三维重建结果，对待追踪手术器械的器械坐标进行坐标转换，得到当前帧待追踪手术器械的目标位姿，并基于目标位姿进行追踪导航。本发明提供的方法、系统、设备、介质和产品，能够实现提供一个无需物理标记、抗遮挡且精准度高的手术器械追踪方案，从而提高手术过程的安全性。技术研发人员：吴锦林,陈阵,刘宏斌,雷震,郭文武受保护的技术使用者：中国科学院香港创新研究院人工智能与机器人创新中心有限公司技术研发日：技术公布日：2024/9/29