用于辅助将工具相对于患者的特定身体部位进行定位的方法、计算设备、系统和计算机程序产品

本发明涉及一种计算机实施的辅助将工具(诸如外科手术(surgical)工具)相对于患者的特定身体部位进行定位的方法。本发明还涉及一种计算设备，该计算设备被配置为辅助将工具(诸如外科手术工具)相对于患者的特定身体部位进行定位。本发明甚至还涉及一种用于辅助将工具相对于患者的特定身体部位进行定位的系统。本发明甚至还涉及一种计算机程序产品，包括指令，该指令在由计算设备的处理单元执行时使计算设备辅助将工具(诸如外科手术工具)相对于患者的特定身体部位进行定位。

背景技术：

1、常规的、现有技术的计算机辅助手术(surgery)和外科手术导航技术已使得外科医生能够应对“玻璃般”的患者，其中来自术前成像和术前规划的重要信息可以直接用于供外科医生的感知。常规的计算机辅助外科手术引导系统依赖于三个主要方面：1)基于从术前图像(诸如ct或mri扫描)得到的解剖3d模型进行术前规划；2)将术前数据与术中解剖结构(anatomy)进行配准(registration)；以及3)对外科手术器械进行实时跟踪。

2、最先进的外科手术引导系统中使用的术前规划在生成的3d解剖模型上以逐步方式描绘了外科手术过程。然而，这些术前规划通常是对术中现实的理想化描述(sketch)，其可能受到影响患者的相应身体部位的术前事件和/或术中状况(诸如：出血、并发症和外科手术不准确)的影响。因此，外科医生常常被迫退回到常规的(非导航的)技术。

3、将术前规划与术中解剖结构进行配准常常被视为常规的计算机辅助外科手术引导系统的另一缺点。在本技术的上下文中，术语配准指将术前规划与手术时患者的实际、真实解剖结构和身体位置、取向进行校准/对准的过程。常规的计算机辅助外科手术引导系统通过使用诸如以下的技术来解决这一点：使用光学跟踪指针或通过使用基于图像的配准方法将术前规划中的共同标志(landmark)和/或特征与3d解剖模型进行匹配，，所述方法自动地将术前图像(诸如ct或mri扫描)与术中所获取的图像进行匹配(即2d-3d配准)。然而，计算机辅助手术和外科手术引导系统中的这样的常见技术容易受到不同的错误源或技术复杂性的影响，该错误源或技术复杂性包括从标记移动和小捕获范围到缓慢计算。

4、文献us2022/044440a1和wo2020/108806a1描述了用于使用统计形状建模进行人工智能辅助手术的方法，其中在x射线投影图像中对从术中成像数据(使用人工智能算法)识别出的对象进行分类，并且通过使所分类的对象的统计形状模型变形以适合x射线图像中所分类的对象的成像，确定所分类的对象的3d表示以及定位。然而，统计形状建模具有以下缺点，在使统计形状模型变形以适合术中图像的过程中，对术中图像捕获的单独的(individual)特征——其未曾被统计形状模型捕获——丢失。因此，统计形状建模最多可以提供基于术中成像的3d维度形状的一般统计近似，但不适合于解剖形状的3d重建。

5、在常规的计算机辅助外科手术导航的第三方面，应在患者的特定身体部位的解剖结构的同一参考系内估计跟踪工具(尤其是所期望的外科手术硬件)的三维姿态。为此，已知的计算机辅助手术和外科手术引导系统依赖于附接到外科手术工具上的参考标记。然而，视线问题被认为是对于这样的系统的临床使用的显著负担。存在用于基于2d x射线的外科手术工具姿态估计的方法，其使用传统的(通常基于强度的)配准技术。然而，这样的技术容易受到与基于图像的配准方法相同的限制。

6、最近，随着能够进行术中锥形束计算机断层摄影(cone-beam computedtomography，cbct)的荧光透视机的引入，可以在手术(operation)期间获取患者的3d体积图像，并且将此数据与光学跟踪系统结合使用以提供免配准的外科手术导航。在这样的方法中，通过对患者安装的光学跟踪参考标记进行监测来将患者配准到术前规划，该标记在术中锥形束计算机断层摄影中和通过光学跟踪系统都是可见的。由于获取了全范围锥形束计算机断层摄影图像，这样的方法导致增加电离辐射，并且还可能遭受金属伪影问题。此外，基于锥形束计算机断层摄影的术中导航的主要技术限制是对附接到患者解剖结构的固定的参考标记的假设，这在手术室状况下被证明是不足够的。

7、尽管这些方法已经被证明与标准的徒手外科手术方法相比导致更高的植入精度，但是它们尚未在世界各地最先进的手术室中被广泛地采用。据在世界范围的调查中报道的，仅11％的脊柱外科手术使用计算机辅助导航系统进行，并且大多数手术使用常规的徒手开放技术进行，其中外科医生依赖于其视觉和触觉反馈来将脊柱植入物放置到椎弓根区域中。这是由于上述计算机辅助外科手术导航方法需要大量的配准过程以将术前规划转移到解剖结构上和/或通常需要在手术室中安装外部导航硬件的事实。这可能干扰现有的外科手术工作流程，并且可能导致增加的手术时间、辐射暴露和成本。例如，需要在手术期间获取锥形束计算机断层摄影的导航系统可能导致外科手术时间增加高达8.2分钟，并且导致2.09至4.81msv的电离辐射。

8、总之，已知的计算机辅助手术和外科手术引导系统容易出现视线和/或标记移动问题；需要对术前规划进行大量配准；需要在手术室中安装外部导航硬件和/或显著地干扰外科手术工作流程。

技术实现思路

1、本发明的目的是提供一种用于辅助将工具相对于患者的特定身体部位进行定位的方法、计算设备、系统和计算机程序产品，其克服了现有技术的缺点中的一个或多个。

2、具体地，本发明的目的是提供一种用于辅助将工具相对于患者的特定身体部位进行定位的免配准的方法，该方法可以仅使用术中成像数据(即无需在手术室中安装导航硬件)来重建解剖3d形状并且生成工具相对于患者的特定身体部位的定位的视觉表示。

3、根据本公开内容，此目的由独立权利要求1的特征解决。另外，从从属权利要求和说明书中得到另一些有利的实施方案。

4、具体地，此目的是通过一种计算机实施的方法来实现的，该方法辅助将工具——诸如外科手术工具(例如，外科手术钻、刀或外科手术激光装备)或医疗诊断工具相对于患者的特定身体部位进行定位，该方法包括：

5、-接收术中成像数据；

6、-使用术中成像数据并且使用与特定身体部位对应的基于人工智能的算法来重建解剖3d形状；

7、-基于术中成像数据估计工具的当前定位；以及

8、-生成定位引导数据，该定位引导数据包括工具相对于特定身体部位的解剖3d形状的所估计的当前定位的视觉表示。

9、在具体的实施方案中，在准备所述患者的外科手术治疗时/在所述患者的外科手术治疗之前，在一时间段内重复地或连续地实施以下步骤：接收术中成像数据；估计所述工具的当前定位；以及生成引导数据。

10、接收术中成像数据

11、计算设备从布置在患者的附近的成像设备接收术中成像数据。在此，成像设备被布置在患者的附近指允许成像设备捕获患者的术中成像数据的定位。成像数据包括多个2d图像。2d图像中的两个或更多个从相对于患者的特定身体部位的两个或更多个不同的视角捕获患者的特定身体部位。捕获特定身体部位的同一多个2d图像中的一个或多个也从至少一个视角捕获工具的至少一部分。在本发明的上下文中，术语视角(相对于成像数据的视角)指成像设备相对于特定身体部位(或相对于工具)的(例如在x、y和z笛卡尔坐标系中的)位置和/或取向(例如滚动、俯仰、偏航)。

12、根据本发明的实施方案，术中成像数据包括以下中的一个或多个：a)基于辐射的图像，尤其是x射线图像；b)超声图像；c)关节镜图像；d)光学图像；和/或e)任何其他横截面图像。

13、使用通信地连接到计算设备的成像设备来捕获患者的特定身体部位的图像或工具的一部分的图像。在基于辐射的图像的情况下，成像设备可以包括基于x射线技术的c臂成像设备。c臂成像设备包括生成器(x射线源)和图像增强器或平板探测器。c形状的连接元件允许水平地、垂直地和/或围绕旋转轴移动，使得可以从患者周围的各个视角产生患者的2d x射线图像。生成器发射穿透患者的身体的x射线。图像增强器或探测器将x射线转换为被传输到计算设备的可见的图像。

14、术中成像数据包括指示与多个2d图像对应的视角的数据，识别捕获多个2d图像的成像设备的位置和/或取向(诸如成像设备相对于特定身体部位的在x、y和z笛卡尔坐标系中的位置和/或如滚动、俯仰、偏航的取向)的数据。根据本文所公开的实施方案，指示与多个2d图像对应的视角的数据被存储在由计算设备包括的或通信地连接到计算设备的数据存储装置中。替代地或附加地，由计算设备基于术中成像数据估计与术中成像数据对应的视角。

15、在具体的实施方案中，使用指示工具的几何形状的工具几何模型来进行估计与术中成像数据对应的视角。首先，根据多个候选视角计算工具几何模型的多个投影。候选视角被选择为成像设备的可能视角的预定义空间内的离散视角。换句话说，不考虑成像设备相对于患者的不现实的位置和取向以节省计算能力。此后，通过将如由术中成像数据的相应的2d图像捕获的工具的至少一部分与根据多个候选视角计算的多个投影进行比较，识别与术中成像数据的2d图像对应的视角。具体地，比较包括应用匹配函数来识别根据多个候选视角计算的“虚拟”工具(基于工具几何模型)的投影中的一个和如由成像设备捕获的“物理”工具的部分之间的最佳匹配。产生最佳匹配的候选视角被选择为估计的视角。

16、根据本文所公开的实施方案，使用基于人工智能的算法来进行估计与术中成像数据对应的视角，该算法使用具有已知视角的大量的成像数据集进行训练。为了克服具有已知视角的成像数据集的可用性和/或准确性的限制，根据3d成像数据(尤其是计算机断层摄影ct扫描)生成包括来自已知视角的2d图像的大量的成像数据集。使用此在外科手术前训练的基于人工智能的算法，可以仅基于术中图像来估计成像设备的术中定位，而无需外部跟踪设备或校准体模(phantom)。

17、生成解剖3d形状

18、由计算设备基于术中成像数据和指示与多个2d图像对应的视角的数据、使用与特定身体部位对应的基于人工智能的算法来重建特定身体部位的解剖3d形状。

19、根据本文所公开的实施方案，解剖3d形状被重建为体素化体积和/或网格。重要的是强调，基于人工智能的算法必须是与特定身体部位对应的模型，从而能够根据特定身体部位的多个2d图像重建3d解剖形状。

20、根据本文所公开的具体实施方案，使用大量的标注的成像数据集来训练基于人工智能的算法，所述标注的成像数据集捕获与患者的特定身体部位对应的(患者以外的人的)身体部位。成像数据集的标注包括识别和/或描述身体部位的属性的数据，诸如识别2d图像内的像素、矢量、轮廓、表面和/或在捕获特定身体部位的3d图像内的捕获特定身体部位的体素的数据。

21、为了克服标注的成像数据集——该标注的成像数据集捕获与患者的特定身体部位对应的身体部位——的可用性和/或准确性的限制——根据本文所公开的实施方案——根据标注的3d成像数据(尤其是计算机断层摄影ct扫描)生成大量的标注的成像数据集，该标注的3d成像数据捕获与患者的特定身体部位对应的身体部位。具体地，在给定输入术前ct扫描的情况下，根据患者周围的不同的视点生成合成的2d图像，诸如荧光透视照片(shot)(即，drr)。例如，使用此方法，可以根据单个标注的ct扫描生成高达数百个标注的“合成的”2d图像(捕获特定身体部位)，该标注的“合成的”2d图像可以被基于人工智能的算法使用，以提高其根据尽可能少的2d术中图像重建准确解剖3d形状的能力。

22、根据实施方案，在两个阶段中进行重建解剖3d形状：对术中成像数据进行分割以便识别患者的特定身体部位；以及进一步使用分割的术中成像数据来重建解剖3d形状。

23、为了对术中成像数据进行分割，使用基于人工智能的检测和分割模型(诸如基于卷积神经网络的检测和分割模型)，首先在术中成像数据内识别感兴趣的区域，感兴趣的区域包含患者的特定身体部位。然后使用基于人工智能的检测和分割模型对感兴趣的区域进行语义分割，从而生成分割的术中成像数据。

24、估计工具的当前定位

25、已经重建了解剖3d形状，基于术中成像数据(尤其是捕获工具的成像数据的2d图像)估计工具相对于特定身体部位的解剖3d形状的当前定位。根据本文所公开的实施方案，使用指示工具的几何形状的工具几何模型来进行估计工具的当前定位。首先，将工具几何模型的投影与如由术中成像数据的相应的2d图像捕获的工具的至少一部分进行比较。将工具几何模型投影到捕获工具的至少一部分的术中成像数据的2d图像中的一个或多个2d图像的平面上。术中成像数据的2d图像的平面基于每个2d图像的视角被确定。此后，确定产生到术中成像数据的2d图像的平面上的投影的工具几何模型的定位，该定位与如由术中成像数据的相应的2d图像捕获的工具的至少一部分(最佳)匹配。换句话说，与术中成像数据的视角的(最初)确定相比，应用了逆向过程。然而，此逆向过程不一定适用于(术中成像数据的)与以下2d图像相同的2d图像：该2d图像用于确定用于重建解剖3d形状的图像的视角。

26、根据本文所公开的实施方案，在辅助对工具进行定位的方法的初始阶段中，虽然解剖3d形状被重建一次，但是对工具的当前定位的估计以设定的间隔被重复地执行和/或由某些事件触发和/或被手动地触发。

27、为了提高对工具的定位进行估计的准确性和/或提高估计与术中成像数据对应的视角的准确性，根据另一些实施方案，本发明的方法还包括根据工具几何模型提供工具。其中工具几何模型被专门设计以基于尽可能少的术中图像来优化对其定位的估计。具体地，工具被设计使得其至少一部分不是完全围绕笛卡尔坐标系的任何轴旋转对称的，以便允许基于2d图像估计工具的取向。替代地或附加地，该工具被设计为包括特殊标记以便于其基于2d术中图像的识别。

28、生成定位引导数据

29、已经重建了特定身体部位的解剖3d形状并且已经估计了工具的当前定位，由计算设备重建定位引导数据，包括工具相对于特定身体部位的解剖3d形状的估计的当前定位的视觉表示。根据本文所公开的实施方案，引导数据被重建为2d图像以被显示在计算机显示器上。替代地或附加地，将引导数据重建为增强现实叠加层，包括叠加元数据，其允许增强现实设备——诸如耳机——将叠加层投影到用户的视场上，使得叠加层与用户对患者的特定身体部位的观看对准和/或与用户对工具的观看对准。根据本文所公开的实施方案，工具的估计的当前定位的视觉表示被叠加到重建的解剖3d形状的视觉表示上。

30、根据本文所公开的实施方案，计算设备控制显示设备显示引导数据的至少一部分，该显示设备是计算机屏幕、增强现实耳机或被配置为显示引导数据的任何设备。

31、为了引导外科医生正确地定位工具，根据本文所公开的另一些实施方案，由计算设备识别工具相对于特定身体部位的解剖3d形状的规定定位，并且工具的规定定位的视觉表示被叠加到工具的估计的当前定位的视觉表示上。由计算设备从数据存储装置检索或接收工具的规定定位，该数据存储装置被计算设备包括或通信地连接到计算设备。替代地或附加地，工具的规定定位由计算设备计算，工具的规定定位由优化函数基于身体部位的解剖3d形状以及指示外科手术过程的数据确定。

32、本文所公开的实施方案是有利的，因为它们能够基于重建的解剖3d形状自动地进行外科手术前的规划并且引导外科医生对外科手术工具进行放置。考虑到术中成像数据被用来重建身体部位(例如脊柱)的解剖3d形状，既不需要进行术前规划阶段来限定安全的植入轨迹，也不需要将术前数据配准到术中患者的定位，基于解剖3d形状可以识别工具的规定定位/轨迹。

33、本发明的另一目的是提供一种用于将工具相对于患者的特定身体部位进行定位的计算设备，该设备可以仅使用术中成像数据(即无需在手术室中安装导航硬件并且无需进行术前规划的配准过程)来重建解剖3d形状并且生成工具相对于患者的特定身体部位的定位的视觉表示。

34、根据本公开内容，此目的由独立权利要求15的特征解决。另外，从从属权利要求和说明书中得到另一些有利的实施方案。

35、具体地，上述目的还通过一种计算设备来实现，该计算设备包括：数据输入接口；数据输出接口；处理单元；以及存储单元。数据输入接口——诸如有线的(例如以太网、dvi、hdmi、vga)和/或无线的数据通信接口(例如4g、5g、wifi、蓝牙、uwb)——可与成像设备通信连接并且被配置为从其接收术中成像数据。数据输出接口——诸如有线的(例如以太网、dvi、hdmi、vga)和/或无线的数据通信接口(例如4g、5g、wifi、蓝牙、uwb)——被配置为将引导数据的至少一部分传输到可通信地连接到数据输出接口的显示设备。存储单元包括指令，该指令在由处理单元执行时使计算设备执行根据本文所公开的实施方案中的任一个所述的辅助对工具进行定位的方法。

36、根据实施方案，计算设备是通信地连接到成像设备的独立计算机。替代地或附加地，计算设备是使用通信网络(尤其是至少部分地使用移动通信网络)通信地连接到成像设备的远程计算机(例如基于云的计算机)。替代地或附加地，计算设备被集成到成像设备或显示设备中。

37、本发明的另一目的是提供一种用于将工具相对于患者的特定身体部位进行定位的系统，该系统可以仅使用术中成像数据(即无需在手术室中安装导航硬件并且无需进行术前规划的配准过程)来重建解剖3d形状并且生成工具相对于患者的特定身体部位的定位的视觉表示。

38、根据本公开内容，此目的由独立权利要求16的特征解决。另外，从从属权利要求和说明书中得到另一些有利的实施方案。

39、具体地，上述目的还通过一种系统来实现，该系统包括：根据本文所公开的实施方案中的任一个的计算设备；成像设备；以及显示设备，该系统被配置为执行根据本文所公开的实施方案中的任一个所述的方法。成像设备通信地连接到计算设备并且被布置在患者的附近，从而允许成像设备捕获患者的术中成像数据，使得2d图像中的两个或更多个从相对于患者的特定身体部位的两个或更多个不同的视角捕获患者的特定身体部位。捕获特定身体部位的同一多个2d图像中的一个或多个还从至少一个视角捕获工具的至少一部分。在基于辐射的图像作为术中图像的情况下，成像设备包括基于x射线技术的c臂成像设备。c臂成像设备包括生成器(x射线源)和图像增强器或平板探测器。c形状的连接元件允许水平地、垂直地和/或围绕旋转轴移动，使得可以从患者周围的各个视角产生患者的2d x射线图像。生成器发射穿透患者的身体的x射线。图像增强器或探测器将x射线转换为被传输到计算设备的可见的图像。显示设备是计算机屏幕、增强现实耳机或被配置为显示引导数据的任何设备。

40、本发明的另一目的是提供一种用于将工具相对于患者的特定身体部位进行定位的计算机程序产品，该计算机程序产品可以仅使用术中成像数据(即无需在手术室中安装导航硬件并且无需进行术前规划的配准过程)来重建解剖3d形状并且生成工具相对于患者的特定身体部位的定位的视觉表示。

41、根据本公开内容，此目的由独立权利要求18的特征解决。另外，从从属权利要求和说明书中得到另一些有利的实施方案。

42、具体地，上述目的通过一种计算机程序产品来解决，该产品包括指令，该指令在由计算设备的处理单元执行时使计算设备执行根据本文所公开的实施方案中的任一个所述的方法。

43、根据实施方案，指令(被计算机程序产品包括)包括与患者的特定身体部位对应的基于人工智能的算法，该基于人工智能的算法已经使用大量的标注的成像数据集来进行训练，该标注的成像数据集捕获与患者的特定身体部位对应的身体部位，其中所述标注包括识别和/或描述身体部位的属性的数据。

44、根据实施方案，指令(被计算机程序产品包括)包括控制成像设备捕获包括2d图像的术中成像数据的指令，多个2d图像从相对于患者的特定身体部位的多个不同的视角捕获患者的特定身体部位，并且多个2d图像中的一个或多个从至少一个视角捕获工具的至少一部分。

45、根据实施方案，指令(被计算机程序产品包括)包括控制显示设备诸如显示引导数据的至少一部分——包括工具的估计的当前定位的视觉表示、重建的解剖3d形状的视觉表示和/或工具的规定定位的视觉表示——的指令。

46、应理解，前述一般描述和以下详细的描述二者呈现实施方案，并且意在提供用于理解本公开内容的本质和特征的概述或框架。所附附图被包括以提供进一步的理解，并且被并入到本说明书中并且构成本说明书的一部分。附图例示了各种实施方案，并与说明书一起用于解释所公开的构思的原理和操作。

47、如在本说明书中所使用的，术语“具体(particular，尤其)”指本发明的实施方案，而不是对偏好的任何指示，也不指示作为特定被引入的特征将对于本发明的所有实施方案是必需的。