用于在机器人辅助医疗系统中进行远程指导的系统和方法与流程

本公开涉及用于远程指导的系统和方法，其中使用扩展的现实用户接口设备来显示内窥镜图像信息并生成视觉引导。

背景技术：

1、遥操作机器人或机器人辅助系统包括可以从主要接口系统/主要界面系统(primary interface system)进行远程控制的操纵组件。如果提供给指导者的视觉信息不提供完整的三维信息，并且指导者引导可能无法以三维准确度生成，则用于培训、指导或建议主要接口系统的操作员的系统和方法可能受到限制。因此，提供用于提供其中指导者对外科手术环境具有完整的三维体验并且能够以三维准确度提供视觉引导的远程引导的改进方法和系统将是有利的。

技术实现思路

1、本发明的实施例由随附于说明书的权利要求最佳概括。

2、与一些实施例一致，非暂时性机器可读介质可以存储指令，这些指令当由一个或多个处理器运行时，导致一个或多个处理器生成医疗场(medical field)的立体内窥镜图像数据，并根据立体内窥镜图像数据定义医疗场体积(medical field volume)。处理器还可以将医疗场体积的3d表示投影到远程体积中的扩展现实显示设备。3d表示可以包括立体图像和从立体内窥镜图像数据生成的3d场景。处理器还可以在远程体积中生成视觉引导，以增强立体内窥镜图像，将视觉引导从远程体积映射到医疗场体积，以生成医疗场体积的增强图像，并且将医疗场体积的增强图像投影到医疗场中器械的操作员所查看到的显示设备。

3、应当理解，上述一般描述和以下详细描述本质上都是示例性和解释性的，并且旨在提供对本公开的理解，而不限制本公开的范围。在这方面，根据以下详细描述，本公开的附加方面、特征和优点对本领域技术人员将是明显的。

技术特征：

1.一种存储指令的非暂时性机器可读介质，所述指令当由一个或多个处理器运行时导致所述一个或多个处理器：

2.根据权利要求1所述的非暂时性机器可读介质，其中，所述立体内窥镜图像数据由通过机器人辅助操纵器控制的内窥镜成像设备生成。

3.根据权利要求2所述的非暂时性机器可读介质，其中，所述医疗场包括由所述机器人辅助操纵器控制的工具。

4.根据权利要求1所述的非暂时性机器可读介质，其中，所述医疗场体积包括患者解剖结构和所述医疗场的器械可见的立体内窥镜图像数据。

5.根据权利要求1所述的非暂时性机器可读介质，其中，所述医疗场体积包括用户接口元素。

6.根据权利要求1所述的非暂时性机器可读介质，其存储指令，所述指令当由一个或多个处理器运行时还导致所述一个或多个处理器在操作员控制台处接收来自操作员的音频输入。

7.根据权利要求1所述的非暂时性机器可读介质，其中，所述扩展现实显示设备是头戴式的。

8.根据权利要求1所述的非暂时性机器可读介质，其中，所述远程体积在所述医疗场体积的所述三维表示之外是可见的。

9.根据权利要求1所述的非暂时性机器可读介质，其中，所述三维场景是通过确定所述立体图像中对象的对象深度而生成的。

10.根据权利要求1所述的非暂时性机器可读介质，其中，所述三维场景是针对所述立体图像的一部分而生成的。

11.根据权利要求1所述的非暂时性机器可读介质，其中，所述远程体积随着扩展现实显示设备移动。

12.根据权利要求1所述的非暂时性机器可读介质，其中，所述扩展现实显示设备在所述远程体积中跟踪用户的身体表达。

13.根据权利要求1所述的非暂时性机器可读介质，其中，所述视觉引导是由用户在所述远程体积中的徒手手势、眼睛凝视或头部运动中的至少一个生成的。

14.根据权利要求1所述的非暂时性机器可读介质，其中，所述视觉引导包括包括箭头、指针、重影手部、重影工具、凝视标记、虚拟解剖模型或注释中的至少一个。

15.根据权利要求1所述的非暂时性机器可读介质，其存储指令，所述指令当由一个或多个处理器运行时还导致所述一个或多个处理器生成音频引导。

16.根据权利要求1所述的非暂时性机器可读介质，其中，映射所述视觉引导包括确定所述视觉引导在所述医疗场体积中的三维位置。

17.根据权利要求1所述的非暂时性机器可读介质，其中，映射所述视觉引导包括将参数从所述远程体积缩放到所述医疗场体积。

18.根据权利要求1所述的非暂时性机器可读介质，其存储指令，所述指令当由一个或多个处理器运行时还导致所述一个或多个处理器随着内窥镜成像系统的移动而自适应地改变所述映射。

19.根据权利要求1所述的非暂时性机器可读介质，其存储指令，所述指令当由一个或多个处理器运行时还导致所述一个或多个处理器从所述扩展现实显示设备投影操纵器组件的模型。

20.根据权利要求19所述的非暂时性机器可读介质，其存储指令，所述指令当由一个或多个处理器运行时还导致所述一个或多个处理器将所述操纵器组件的所述模型与所述医疗场体积的所述增强图像融合，以在所述扩展现实显示设备上进行显示。

21.根据权利要求1所述的非暂时性机器可读介质，其存储指令，所述指令当由一个或多个处理器运行时还导致所述一个或多个处理器从所述扩展现实显示设备投影操作员控制台的模型。

22.根据权利要求1所述的非暂时性机器可读介质，其中，所述医疗场体积能够是包括多个图像的组合体，并且所述视觉引导能够在通过移动内窥镜成像器械可见的所述医疗场体积的区域中可见。

23.一种系统，其包括：

24.根据权利要求23所述的系统，其中，所述立体内窥镜图像数据是由通过机器人辅助操纵器控制的内窥镜成像设备生成的。

25.根据权利要求24所述的系统，其中，所述医疗场包括由所述机器人辅助操纵器控制的工具。

26.根据权利要求23所述的系统，其中，所述医疗场体积包括患者解剖结构和所述医疗场的器械可见的立体内窥镜图像数据。

27.根据权利要求23所述的系统，其中，所述医疗场体积包括用户接口元素。

28.一种方法，其包括：

29.根据权利要求28所述的方法，其中，所述立体内窥镜图像数据是由通过机器人辅助操纵器控制的内窥镜成像设备生成的。

30.根据权利要求29所述的方法，其中，所述医疗场包括由所述机器人辅助操纵器控制的工具。

31.根据权利要求28所述的方法，其中，所述医疗场体积包括患者解剖结构和所述医疗场的器械可见的立体内窥镜图像数据。

32.根据权利要求28所述的方法，其中，所述医疗场体积包括用户接口元素。

技术总结非暂时性机器可读介质可以存储指令，这些指令当由一个或多个处理器运行时导致一个或多个处理器生成医疗场的立体内窥镜图像数据，并根据立体内窥镜图像数据定义医疗场体积。处理器还可以将医疗场体积的3D表示投影到远程体积中的扩展现实显示设备。3D表示可以包括立体图像和从立体内窥镜图像数据生成的3D场景。处理器还可以在远程体积中生成视觉引导，以增强立体内窥镜图像，将视觉引导从远程体积映射到医疗场体积，以生成医疗场体积的增强图像，并且将医疗场体积的增强图像投影到医疗场中器械的操作员查看的显示设备。技术研发人员：S·穆鲁加潘,M·道蒂,G·帕雅乌拉,M·S·沃伦受保护的技术使用者：直观外科手术操作公司技术研发日：技术公布日：2024/11/4