用于自主自校准手术机器人的系统和方法与流程

本发明涉及人工智能、计算机辅助和机器人辅助手术领域。此外，本发明涉及基于x射线图像提供与对象相关信息的系统和方法。具体地，本发明涉及用于自动确定对象相对于与解剖结构相关的移动空间的空间位置和定向的系统和方法。这些方法可以作为在系统的处理单元上可执行的计算机程序来实现。基于上述方面，能够提供用于真正自主的机器人手术的系统和方法，这些系统可以包括自校准机器人。

背景技术：

1、骨科手术中的计算机辅助主要为外科医生导航，例如确保在正确的位置进行钻孔、正确放置植入物等。这需要确定手术工具(例如钻头)、植入物(例如螺钉或钉子)和解剖结构之间精确的相对3d位置和3d定向，以便提供导航指令。计算机辅助导航已在骨科手术的某些领域(例如脊柱手术)中使用，但在其他领域(尤其是创伤手术)使用较少。例如，在脊柱手术中，计算机辅助导航用于精确放置椎弓根螺钉，避免神经血管损伤，并使修复手术的风险最小化。

2、然而，在骨科手术中使用计算机辅助仍存在主要问题。现有的导航系统需要额外的程序步骤和装置，比如3d相机、跟踪器、参考体等。例如，在导航的脊柱手术中，大多数当前系统使用光学跟踪，其中动态参考框架附接到脊柱(用于患者跟踪)，并且参考体附接到该器械。然后，这两个参考必须始终对3d相机可见。这种方法有多个缺点，包括但不限于：

3、·需要进行耗时的配准过程(至少持续几分钟，但可能长达30分钟)，以便系统学习相对的3d位置和定向。

4、·必须持续留意配准的合理性和准确性。在跟踪器移动的情况下，可能必须重新配准。

5、·如果追踪器移动未被察觉，导航指令将不正确，可能对患者造成伤害。

6、·随着与相机距离的增加，准确度会降低。

7、·将参考框架附接到解剖结构(例如脊柱)可能会损害解剖结构。

8、总之，所有现有的导航系统都需要额外的程序步骤和装置，这不仅延长了手术过程且使其复杂化，而且成本高昂，甚至容易出错。

9、机器人辅助手术系统因其精度高而越来越受欢迎。然而，现有导航系统容易出错，这阻碍了真正自主的机器人手术。传统系统利用相机通过跟踪固定到工具(例如钻头)和解剖结构的参考体来确定工具和解剖结构之间的相对3d位置和定向。这种相机本质上只能看到外部固定的参考体，而看不到骨骼内的钻头本身。如果参考体中的任一个移动，或者如果钻头在骨骼内弯曲，那么导航系统将忽略这一事实并提供错误信息，从而可能对患者造成伤害。因此，现有导航技术不够可靠，无法实现真正自主的机器人手术。

10、希望拥有这样一种导航系统：(i)不需要用于导航的任何额外的程序和装置；并且(ii)能够确定手术工具、植入物和解剖结构的实际相对3d位置和定向，而不是通过评估外部固定的跟踪器、基准点或参考体来推断这些位置和定向。

技术实现思路

1、本发明提出了既不需要参考体也不需要跟踪器的系统和方法，其在所需的时间点配准多个对象，或者配准对象与可以相对于彼此移动的移动空间。本发明的目的可以是仅基于当前x射线投影图像，提供这种配准，即，可能在几分之一秒内近乎实时地确定相对3d位置和方向。本发明的目的还可以是确定对象上或对象内感兴趣的特定点或曲线，可能相对于另一个对象或相对于移动空间。本发明的目的还可以是确定多个对象之间的相对3d位置和3d定向。具体地，本发明的目的是确定对象(例如钻头、凿子、骨磨机、铰刀)或对象的几何方面(例如钻头的轴线、钻头的尖端、凿子的切削刃)相对于移动空间的3d位置和3d定向，该移动空间是相对于解剖结构定义的。该移动空间例如可以由轨迹、1d曲线、平面、扭曲平面、部分3d体积或任何其他高达3维的流形定义。例如，该移动空间可以由椎骨内的钻孔轨迹定义。

2、本发明的另一个目的是向外科医生或手术机器人提供指令，以引导和/或限制对象(例如钻头)在移动空间内的移动。该移动空间无需在x射线图像的视野范围内。该移动空间可以由系统(例如，使用神经网络)基于解剖结构模型确定，也可以由外科医生预先确定。系统还可以在手术过程中验证预先确定的移动空间。

3、确定对象与移动空间之间的相对3d位置和定向的一种方式是首先确定对象与解剖结构之间的相对3d位置和3d定向，但是，如果已经基于术前ct图像数据预先确定了移动空间，则确定对象与解剖结构之间的相对3d位置和定向的这个中间步骤可能不是必需的。

4、本发明教导了如何结合先验信息来解决诸如x射线图像之类的2d投影图像所固有的底层3d场景的模糊性。

5、本发明可以为真正自主的机器人手术奠定基础。如上所述，本发明的目的可以是确定对象相对于与解剖结构有关的移动空间的空间位置和定向，然后引导和/或限制该对象在移动空间内的移动。作为示例，可以指示机器人沿着股骨内的植入曲线钻孔，即沿着植入曲线在包含钻头体积的移动空间内钻孔。作为另一个示例，可以配置机械臂，使得用户只能在移动空间内移动该机械臂，例如当铰削骨头时。

6、这样的系统还可以将来自其他来源或传感器的信息考虑在内。例如，可以将压力传感器集成到机器人中，并且当遇到太大或太小的阻力时，可以停止钻头。

7、本公开中教导的方法还可以补充现有的导航技术。本发明的主要方面是持续整合来自术中x射线的信息。虽然本发明不需要相机或其他传感器进行导航，但它仍然可以(为了提高准确性和/或冗余度)与相机或其他传感器(例如，附接到机器人的传感器)相结合进行导航。可以将来自x射线图像的信息和来自相机或其他传感器的信息组合起来，以提高确定相对空间位置和定向的准确性或解决任何剩余的模糊性(例如，其可能是由于遮挡造成的)。还可以考虑机器人或机械臂本身提供的信息(例如，关于其已进行的移动)。

8、如上所述，本发明的目的是仅基于当前x射线图像和可从先前x射线图像中提取的信息来近实时地(可能在几分之一秒内)确定对象(例如钻头)相对于移动空间(例如钻孔轨迹)的3d位置和定向。在真正自主的机器人手术系统中，在执行手术程序步骤时，系统本身可能必须确定何时暂停手术程序步骤并获取新的x射线图像(从相同和/或另一个成像方向)以获得对象相对于移动空间的空间位置和定向的新确定。新x射线图像的获取可以由许多事件触发，包括但不限于机器人传感器的输入(例如压力传感器、工具已经行进的距离)、基于跟踪的导航系统的请求、或者因为处理当前x射线图像的算法中的阈值已被超过。基于从新的x射线图像中提取的信息，系统可以继续执行手术程序步骤、中止或完成它。如果手术程序步骤被中止，则系统可以执行新的规划和/或重新校准自身，然后它可以在进行适当的更改后继续执行手术程序步骤。一旦完成手术程序步骤(例如，已按计划钻出椎弓根孔)，就可以启动新的手术程序步骤(例如，从患者体内取出钻头并定位以进行进一步的钻孔，或者在适当更换工具后将椎弓根螺钉插入椎弓根中)。

9、应用本公开的可能指示包括任何类型的骨钻孔，例如，用于将螺钉插入椎弓根中、将螺钉插入骶髂关节、用螺钉连接两个椎骨、用于关键韧带的钻孔。本发明可以用于例如钻孔、铰孔、铣削、凿刻、锯切、切除和植入物定位，因此它可以支持例如截骨术、肿瘤切除、全髋关节置换术。

10、上述目的中的至少一个或另一个通过根据任何一项独立权利要求所述的主题来解决。在相应的从属权利要求中描述了根据本发明的其他实施例。

11、通常，根据本发明的用于自主机器人手术的系统和方法可以被配置为控制机器人设备或对象的移动，该对象附接到机器人设备或者由机器人设备持有、控制，以便执行手术程序步骤，其中，对移动的控制基于包含机器人设备的至少一部分或对象的一部分的空间位置和定向的信息，该对象可以附接到机器人设备或者由机器人设备持有、控制。触发信息可以导致系统暂停或停止手术程序步骤，并使系统接收投影图像。此外，投影图像被处理以确定对象或机器人设备的至少一部分的空间位置和定向。这些步骤可以循环执行。因此，该系统和方法可以被配置为控制机器人设备或对象的进一步移动，该对象可以附接到机器人设备或者由机器人设备持有、控制，以便执行下一个手术程序步骤。

12、在本公开的上下文中，术语“手术程序步骤”旨在表示对象(例如，如钻头或克氏针(k-wire)之类的手术工具、如髓内钉、骨头或骨碎片之类的植入物等)相对于解剖结构的任何种类的移动，包括完整的一组移动以及分成多个子步骤的移动。手术程序步骤的示例可以是钻完整孔或部分孔、开始钻孔、恢复已经开始的钻孔、移除工具、旋转工具、将工具移动到用于下一个手术步骤的下一个起点、更换工具、插入或移除植入物、移动成像设备。

13、值得注意的是，机器人设备的移动可以理解为机器人设备的一部分(例如机械臂或具有多个部分的机械臂的一部分)的任何移动或附接到机器人设备的工具的移动。换言之，可移动地附接到机械臂的末端执行器或工具的移动可以被视为机器人设备的移动。

14、应当理解，该系统可以实时执行上述步骤，即无需暂停机器人设备的移动以生成和接收投影图像。

15、根据实施例，可以基于从机器人设备处的传感器、导航系统、跟踪系统、相机、先前投影图像、术中3d扫描、移动空间的定义和/或任何其他合适的信息接收的数据而生成触发信息。

16、根据实施例，可以确定所确定的空间位置和定向与预期的空间位置和定向之间的偏差。基于所确定的偏差，可以生成校准信息。机器人设备的下一次移动可以将该校准信息考虑在内，以提高下一个手术步骤的准确性。

17、根据实施例，该系统和方法还可以配置为确定对于下一个投影图像的成像方向。例如，在从特定成像方向生成的当前投影图像中对象或结构被遮挡的情况下，可以从从另一个成像方向生成的投影图像中提取更准确的信息。该系统可以配置为建议适当的成像方向或成像设备的具体姿态。虽然成像方向完全由五个自由度指定，但系统给出的建议可以包括更多的自由度，以描述成像设备的移动以达到适当的成像方向(例如，基于c臂和/或其子部件的移动可能性)。

18、根据实施例，该系统和方法可以使成像设备生成投影图像。附加地或替代地，该系统和方法可以控制成像设备移动到新位置以从不同的成像方向生成投影图像。该不同的成像方向可以是系统建议的适当成像方向。

19、值得注意的是，控制机器人设备的移动还可以基于包含以下项的组中的至少一项：另外的投影图像的图像处理、来自跟踪系统的信息、来自导航系统的信息、来自相机的信息、来自激光雷达的信息、来自压力传感器的信息和校准信息。

20、更一般地，可以提供一种用于图像引导手术的系统和方法。这样的系统和方法接收解剖结构的模型以及对象的模型，并对成像设备从成像方向生成的投影图像进行处理，其中投影图像包括解剖结构的至少一部分和对象的至少一部分。基于(i)投影图像、(ii)成像方向、(iii)对象的模型和(iv)解剖结构的模型，该系统和方法确定对象相对于移动空间的空间位置和定向。如本文所用，移动空间可以相对于解剖结构来定义。

21、可以理解的是，该系统可以包括处理单元，并且该方法可以实现为能在该处理单元上执行的计算机程序产品。

22、根据实施例，可以监控对象在确定的移动空间内的移动，例如当手动执行手术程序时。替代地或者附加地，可以使用机器人设备。机器人设备可以将对象的移动限制在确定的移动空间内，以便手动执行手术程序，而机器人设备充当仅允许在移动空间内移动的安全防护。机器人设备还可以配置为主动控制对象在确定的移动空间内的移动。

23、根据实施例，确定对象相对于移动空间的空间位置和定向可以基于从机器人设备处的传感器接收的信息或者基于实时导航系统，其中，实时导航系统是包含以下项的组中的至少一项：具有光学跟踪器的导航系统、具有红外跟踪器的导航系统、具有em跟踪的导航系统、利用2d相机的导航系统、利用激光雷达的导航系统、利用3d相机的导航系统、包含可穿戴跟踪元件(如增强现实眼镜)的导航系统。

24、该模型可以基于(统计)可变形形状模型、表面模型、(统计)可变形外观模型、ct扫描的表面模型、mr扫描的表面模型、pet扫描的表面模型、术中3d x射线的表面模型或基于3d图像数据，其中3d图像数据可以是ct扫描、pet扫描、mr扫描或术中3d x射线扫描。

25、根据实施例，可以基于从3d图像数据的不同虚拟成像方向生成多个虚拟投影图像并从一组虚拟投影图像中识别出与投影图像相似度最大的一个虚拟投影图像来确定投影图像的成像方向。

26、根据另一实施例，该系统和方法可以配置为接收来自另一成像方向的先前的投影图像，该先前的投影图像包括解剖结构的另一部分，以检测先前的投影图像中的点或线作为对象的几何方面，并检测投影图像中的对象的几何方面，其中对象的几何方面在生成先前的投影图像的时间点与生成投影图像的时间点之间相对于该部分解剖结构没有移动。在这种情况下，确定对象相对于移动空间的空间位置和定向还可以基于检测到的对象的几何方面以及以下知识：在生成先前的投影图像的时间点与生成投影图像的时间点之间，对象的几何方面和该部分解剖结构之间没有移动。

27、根据另一实施例，该系统和方法还可以配置为接收来自另一成像方向的先前的投影图像，该先前的投影图像包括解剖结构的另一部分，以确定先前的投影图像中对象的第一部分的成像方向，以确定投影图像中对象的第二部分的成像方向，其中对象在生成先前的投影图像的时间点与生成投影图像的时间点之间相对于该部分解剖结构没有移动。在这种情况下，确定对象相对于移动空间的空间位置和定向还基于所确定的对象部分上的成像方向以及以下知识：在生成先前的投影图像的时间点与生成投影图像的时间点之间，对象和该部分解剖结构之间没有移动。

28、确定对象相对于移动空间的空间位置和定向还可以基于关于对象的点与解剖结构部分之间的空间关系的先验信息，或者基于关于对象轴线上的点的先验信息，其中，该点是相对于解剖结构定义的。

29、如本文所用，“对象”可以是任何对象，例如解剖结构、工具或植入物，其至少部分地在x射线图像中可见，或者在x射线图像中不可见但相对于在x射线图像中至少部分可见的对象具有已知的相对位置和定向。当将“对象”视为植入物时，可以理解为该植入物可能已经被放置在解剖结构内。在x射线图像中，“工具”也可以是至少部分可见的，例如钻头、克氏针、螺钉、骨磨机等。在更具体的示例中，如果“对象”是骨骼，那么“工具”也可以是旨在插入骨骼中但尚未插入的类似于骨钉的植入物。可以说，“工具”是应插入的对象，而“对象”是解剖结构或已经放置在该解剖结构内的类似于植入物的对象。需要再次指出的是，本发明不需要使用任何参考体或跟踪器，尽管使用例如追踪器可使系统更加稳健并且可例如用于机械臂。

30、在整个本公开中，应以非常通用的含义来理解术语“模型”。它用于对象(或对象的一部分)的任何虚拟表示，例如工具或植入物(或工具的一部分或植入物的一部分)或解剖结构(或解剖结构的一部分)的任何虚拟表示。例如，定义植入物的形状和/或尺寸的数据集可以构成植入物的模型。作为另一示例，例如在诊断程序(例如，椎骨的3d ct图像扫描)期间生成的解剖结构的3d表示可以是真实解剖对象的模型。应当注意，“模型”可以描述特定对象，例如特定患者的特定钉或特定椎骨，或者它可以描述具有一定可变性的一类对象，例如一般的椎骨。在后一种情况下，此类对象可以例如通过统计形状或外观模型来描述。然后，本发明的目的可以是从所获取的x射线图像中描绘的对象类别中找到特定实例的3d表示。例如，目的可以是基于椎骨的一般统计形状模型来找到所获取的x射线图像中描绘的椎骨的3d表示。还可以使用包含一组离散的确定可能性的模型，然后系统将选择其中哪一个最能描述图像中的对象。例如，数据库中可能存在数个植入物，然后算法将识别图像中描绘的是哪个植入物。

31、模型可以是对象的原始3d图像(例如，一个或数个椎骨的3d ct扫描)，或者它可以是3d图像数据的处理形式，例如，包括对象表面的分割。模型也可以是对象3d形状的参数化描述，例如，其还可以包括对象表面和/或对象的射线照相密度的描述。可以使用各种成像方式生成模型，例如，使用一个或更多个ct扫描、一个或更多个pet扫描、一个或更多个mr扫描、对象表面的机械感测或一个或更多个术中3d x射线扫描，这些扫描可能会或可能不会被进一步处理。

32、还要注意的是，模型可以是真实对象的完整或部分3d模型，或者它可以仅描述对象的某些几何方面(其维度也可以小于3)，例如股骨头或肱骨头能够在3d中用球近似，在2d投影图像中用圆圈近似，或者钻头具有钻头轴线。

33、术语“3d表示”可以指3d体积或3d表面的完整或部分描述，也可以指选定的几何方面，例如半径、曲线、平面、角度等。本发明可以允许确定关于对象的3d表面或体积的完整3d信息，但是本发明还考虑了仅确定选定几何方面(例如，表示钻头尖端的点或表示凿子切削刃的线)的方法。然而，为了确定相对于第二对象的相对3d位置和定向以及相对于第一对象定义的移动空间，确定第一对象(例如，解剖结构)的3d表示可能不是必需的。

34、由于x射线成像是一种2d成像(投影)方式，因此通常无法唯一地确定x射线图像中描绘的各个对象的3d姿态(即3d位置和3d定向)，通常也无法唯一地确定x射线图像中描绘的对象之间的相对3d位置和3d定向。

35、因为x射线束源自x射线源(焦点)并被图像平面中的x射线检测器检测到，对象的物理尺寸通过截距定理与其在x射线图像中的投影尺寸相关。在确定“成像深度”时通常存在模糊性，该图像深度是距图像平面的距离，其在下文中也被称为“z坐标”。在本发明中，术语“成像方向”(也称为“观察方向”)表示3d角度，该3d角度描述了所选x射线束(例如，中心x射线束)穿过对象的选定点的方向。在c臂示例中，投影成像设备的中心光束是焦点和投影平面的中心之间的光束(换言之，它是焦点和投影图像的中心之间的光束)。值得注意的是，在某些情况下，它对于确定对象模型上的虚拟成像方向可能就足够了，这可以在不分割或检测x射线图像中的对象的情况下完成，并且该模型可以是未经分割的原始3d-ct图像数据。例如，在脊柱的未分割3d-ct扫描中，既无法识别单个椎骨，也无法识别其表面。在进一步处理时，该虚拟成像方向可以用作x射线图像的成像方向。

36、如果x射线图像中描绘的对象的模型可用，则可以确定对象的成像方向。只要对象足够大且具有足够的结构，甚至可以确定该对象的3d姿态。然而，即使x射线图像中显示的已知对象的确定性3d模型可用，也存在无法确定对象的成像方向的情况。例如，这尤其适用于诸如钻头或克氏针之类的细对象。在不知道钻头尖端的成像深度的情况下，钻头的多个3d姿态会在2d x射线图像中产生相同或几乎相同的投影。因此，通常可能无法确定钻头相对于x射线图像中显示的植入物的相对3d位置和3d定向。

37、本发明的目的在于确定某个对象(其几何形状使得如果没有另外的信息则无法确定其成像方向)和另一个对象或与其他对象相关的移动空间之间的相对3d位置和3d定向。

38、例如，对象可以包括带孔的植入物。在这种情况下，基于该植入物中的孔的轴线，可以根据本发明的实施例确定点相对于对象的3d位置。需要指出的是，该植入物可以是髓内钉，该髓内钉横向延伸穿过孔以将骨结构锁定在该钉处。这种孔可以设置有螺纹。该孔的轴线将切割骨骼的外表面，从而定义用于锁定螺钉的进入点。在另一示例中，可以放置在长骨内部的钉子和可以放置在所述长骨外部的板的组合能够被至少一个螺钉组合并固定在一起，该至少一个螺钉延伸穿过板中的孔并且延伸穿过钉子中上的孔。同样在此处，螺钉的进入点可以由延伸穿过这些孔的轴线来定义。

39、在又一示例中，对象可以被认为是已经植入骨骼中的钉子，并且x射线图像还显示了工具(如钻头)的至少一部分。在这种情况下，该工具在第一x射线图像中至少部分可见，并且识别点是该工具处的点，例如工具的尖端。基于第二x射线图像，可以确定该工具相对于对象的3d位置和定向，尽管该工具在生成第一x射线图像和生成第二x射线图像之间已经相对于对象移动了。在描绘第二x射线图像中时，确定钻头相对于骨骼中的植入物的3d位置和定向可以有助于评估该钻头是否处于指向植入物中的孔的方向(移动空间)上，当稍后沿着钻孔植入螺钉时，螺钉应穿过该孔延伸。

40、在x射线图像中识别的点的3d位置可以通过不同的方式确定。一方面，点相对于对象的3d位置可以基于关于骨骼表面的位置的知识和点位于骨骼表面的知识来确定。例如，当生成第一x射线图像时，钻头的尖端可以位于骨骼的外表面上。当生成第二x射线图像时，即使钻头将钻入骨骼中，该点可能仍然相同。因此，这两个x射线图像中的点可以是进入点，尽管该点仅在第一x射线图像中由钻头的尖端定义。

41、另一方面，点相对于对象的3d位置可以基于来自另一观察方向的另外的x射线图像来确定。例如，基于c臂的x射线系统可以在生成该另外的x射线图像之前旋转。

42、此外，可以基于第一x射线图像的工具相对于对象的3d位置和定向的确定来确定点相对于对象的3d位置。即，当在生成第一x射线图像的那一刻已经知道3d位置和定向时，能够使用该知识确定稍后时刻以及工具相对于对象移动之后的3d位置和定向。事实上，在一系列x射线图像中能够一次又一次地重复该过程。

43、在工具的尖端在x射线图像中可见的情况下，确定工具相对于对象的3d位置和定向还可以基于定义了另一个点的工具的尖端。需要指出的是，该另一个点可能只是投影图像中的点，即2d点。然而，与该点的已知3d位置(例如进入点)一起，可以考虑该另一个点来确定x射线图像之间的移动过程。

44、在少数情况下，确定工具相对于对象的3d位置和定向可能会更加困难。例如，工具的至少一部分(该部分在x射线图像中可见)可能是旋转对称的，就像在生成x射线图像期间旋转的钻头一样。根据本发明的实施例，仍然能够以至少足够的精度来确定工具相对于对象的3d位置和定向。例如，在考虑像钻头或克氏针这样的细而长的工具，或薄而长的植入物时，单个投影可能无法显示足够的细节以便能够区分工具在3d空间中的定向，其中这些定向可能导致相似或相同的投影。但是，当对多于一个投影图像进行比较时，可能会存在能够假定的特定定向。此外，还可以考虑其他方面，例如可见的工具尖端。

45、在另一示例中，当生成一起显示对象和工具的x射线图像时，该工具可能被部分遮挡。可能会出现工具的尖端被植入物遮挡，或者钻头的轴主要被管子遮挡，该管子在钻骨过程中保护周围的软组织免受伤害。在这些情况下，可以接收第三x射线图像，该第三x射线图像如先前的x射线图像一样是从另一个观察方向生成的。这种第三x射线图像可以提供除了从主要观察方向生成的图像中能够获取的信息之外的合适信息。例如，工具的尖端可以在第三x射线图像中可见。尽管尖端的3d位置在第二x射线图像中不可见，但可以确定尖端的3d位置，这归功于以下事实：在生成第二x射线图像时，在第二x射线图像中可见的工具的轴线定义了朝向x射线成像设备的焦点方向的平面，并且工具的尖端随后必须位于该平面上。此外，在生成第三x射线图像时，能够认为该工具的尖端定义了朝向x射线成像设备的焦点方向的线。由尖端定义的线(即由第三x射线图像中的可见点定义的线)在基于第二x射线图像定义的3d空间中切割平面。可以理解，第二x射线图像和第三x射线图像是配准的，例如，通过在两个图像中确定对象的成像方向来配准。

46、需要注意的是，前面段落中提到的提供先验信息的第一x射线图像可以用解剖对象的模型代替，该模型的形式例如是解剖对象的分段ct扫描或解剖对象表面的统计模型。此外，在这种情况下，另一对象的识别点(例如，钻头的尖端)到解剖对象的表面的3d距离已知(例如，钻头尖端接触骨骼)。

47、基于处理后的x射线图像，该设备可以配置成向用户提供指令或自动执行相应的动作。特别地，该设备可以配置成将已确定的工具相对于对象的3d位置和定向与期望或预期的3d位置和定向进行比较。不仅可以在钻孔开始时进行适当的定向，而且还可以在钻孔过程中进行监控。例如，该设备可以在钻孔过程中评估钻孔方向是否最终会达到目标结构，并且如果需要，它可以确定钻孔方向的校正。当提供指令或自己执行动作时，该设备可以考虑已经执行的钻孔深度、对象的密度、钻头的直径和钻头的刚度中的至少一个。可以理解，钻孔过程中钻头的倾斜可能会导致钻头弯曲或钻头轴线偏移，这取决于周围材料(例如骨骼)的性质。当提供指令或自主执行动作时，该设备可以将这些在某种程度上能够预期的方面考虑在内。

48、ep 19217245提出的一种可能的解决方案是利用有关成像深度的先验信息。例如，根据从不同成像方向(其描述了x射线束穿过对象的方向)获取的先前x射线图像可以知道，克氏针的尖端位于股骨粗隆部上，从而限制了克氏针尖端相对于另一个对象的成像深度。这可能足以解决有关当前成像方向上克氏针相对于另一个对象的3d位置和3d定向的任何模糊性。

49、两个或更多个x射线的3d配准

50、另一种可能的解决方案是利用从不同成像方向采集的两个或更多个x射线图像，并配准这些图像。成像方向越不同(例如，ap和ml图像)，在确定3d信息方面，附加图像可能就越有用。图像配准可以基于确定图像中描绘的对象的成像方向来进行，该对象的3d模型是已知的并且不得在图像之间移动。如上所述，本领域中最常见的方法是使用参考体或跟踪器。但是，通常更优选的是不使用任何参考体，因为这样做会简化产品开发和系统使用。如果c臂移动是精确已知的(例如，如果c臂是电子控制的)，则可以仅基于这些已知的c臂移动进行图像配准。

51、然而，在许多情况下，x射线图像中并不存在这种刚性对象。例如，在确定植入钉子的进入点时，x射线图像中没有植入物。本发明教导的系统和方法允许在缺少通常允许唯一且足够精确3d配准的已知几何形状的单个刚性对象的情况下对多个x射线图像进行3d配准。这里提出的方法是使用两个或更多个对象的特征组合或者一个对象的至少两个或更多个部分的特征组合，特征中的每一个本身可能不允许唯一且足够精确的3d配准，但它们一起实现了这种配准，和/或限制了图像采集之间允许的c臂移动(例如，只允许绕x射线成像设备的特定轴线(例如c臂轴线)旋转，或沿特定轴线进行平移)。用于配准的对象可以是人造的并具有已知的几何形状(例如，钻头或克氏针)，或者其可以是解剖部分。也可以使用简单的几何模型来近似对象或对象的部分(例如，可以用球来近似股骨头)，或者可以只使用它们的特定特征(其可以是单个点，例如，克氏针或钻头的尖端)。用于配准的对象的特征不得在图像采集之间移动：如果此类特征是单个点，则仅要求该点不移动。例如，如果使用克氏针尖端，则该尖端不得在图像之间移动，而克氏针的倾斜度可以在图像之间发生变化。

52、根据实施例，可以配准x射线图像，其中x射线图像中的每一个示出对象的至少一部分。可以利用第一成像方向和x射线源相对于对象的第一位置生成第一x射线图像。可以利用第二成像方向和x射线源相对于对象的第二位置生成第二图像。基于对象的模型和以下条件中的至少一项，可以对这两个x射线图像进行配准：

53、-相对于对象具有固定3d位置的点在两个x射线图像中都是可定义的和/或可检测的，例如，在两个x射线图像中均可识别。需要指出的是，单个点可能就足够了。还需要指出的是，该点可以具有距对象结构(例如对象表面)已知的距离。

54、-两个x射线图像中都有相对于对象具有固定3d位置的两个可识别的点。

55、-在两个x射线图像中都可以看到具有固定3d位置的另一对象的部分。在这种情况下，在配准x射线图像时可以使用该另一对象的模型。可以设想，甚至可以将一个点视作该另一对象的部分。

56、-在采集第一x射线图像和第二x射线图像之间，x射线源相对于对象的唯一移动是平移。

57、-在生成第一x射线图像和第二x射线图像之间，x射线源的唯一旋转是围绕垂直于成像方向的轴线的旋转。例如，x射线源可以围绕基于c臂的x射线成像设备的c轴线旋转。

58、可以理解，结合上述条件中的多于一项一起时，基于对象模型的x射线图像配准可以更准确。

59、根据实施例，相对于对象具有固定3d位置的点可以是另一对象的点，只要该点是固定的，就允许该另一对象移动。可以理解，相对于对象的固定3d位置可以位于该对象的表面上(即接触点)，但也可以是距对象指定距离(大于零)的点。该指定距离可以是距对象表面的距离(这将允许位于对象外部或内部的位置)或距对象的特定点的距离(例如，如果对象是球，则为到球中心的距离)。

60、根据实施例，相对于对象具有固定3d位置的另一对象可以与该对象接触或在距该对象指定距离处。需要指出的是，该另一对象相对于该对象的定向可以是固定的或可变的，其中该另一对象的定向可以由于该另一对象相对于该对象的平移和/或旋转而改变。

61、可以理解，还可以用三个或更多个对象进行x射线图像的配准。

62、根据各种实施例，以下是允许图像配准(无参考体)的示例：

63、1.使用球(对象1)以及克氏针或钻头的尖端(对象2)来近似表示股骨头或人工股骨头(作为髋关节植入物的一部分)，同时还限制图像之间允许的c臂移动。

64、2.使用圆柱体(对象1)以及克氏针或钻头的尖端(对象2)来近似表示骨干或椎体，其中在图像之间可以限制或不限制允许的c臂移动。

65、3.使用球(对象1)来近似表示股骨头或人造股骨头(作为髋关节植入物的一部分)并使用圆柱体(对象2)来近似表示股骨干，其中不需要限制图像之间允许的c臂移动。

66、4.使用导杆(导杆具有防止其插入太深的挡块)或固定在骨骼内的克氏针，同时还限制图像之间允许的c臂移动。在这种情况下，只使用一个对象，并且该方法通过图像之间受限制的c臂移动来体现。

67、5.使用固定在骨骼内的导杆或克氏针(对象1)并使用球(对象2)来近似表示股骨头。

68、需要指出的是，该方法还可以用于提高配准的精度或验证其他结果。即，当使用多个对象或对象的至少多个部分进行图像配准时，其中的一个或更多个甚至自身就可以允许3d配准，并且还可以限制允许的c臂移动，与不使用所提出的方法相比，这种过度确定(overdetermination)可以提高配准精度。替代地，可以基于可用对象或特征的子集来对图像进行配准。这种配准可以用于验证对剩余对象或特征(其未用于配准)的检测，或者它可以允许检测图像之间的移动(例如，开口器械的尖端是否移动)。

69、该方法的另一个实施例可以通过将模型联合拟合到所有可用的x射线投影图像，同时限制x射线图像之间允许的c臂移动(例如，只允许平移)来配准描绘对象不同(但可能重叠)部分的两个或更多个x射线图像(例如，一个x射线图像显示股骨的近端部分，另一个x射线图像显示同一股骨的远端部分)。拟合的模型可以是整体或局部3d模型(例如，统计形状或外观模型)，或者还可以是仅描述对象的某些几何方面(例如，轴线、平面或选择点的位置)的简化模型。

70、如下详细所述，基于配准的x射线图像可以确定对象的3d重建。可以理解，可以基于该对象(或多个对象中的至少一个)的3d重建来执行和/或增强x射线图像的配准。基于配准的x射线图像确定的3d重建可以用于其它x射线图像的配准。替代地，可以基于单个或第一x射线图像以及对象的3d模型来确定该对象的3d重建，然后在配准第一x射线图像与第二x射线图像时使用。

71、通常，在以下情况下，x射线图像的配准和/或3d重建可以是有利的：

72、·确定股骨处的前倾角是感兴趣的。

73、·确定胫骨或肱骨处的扭转角是感兴趣的。

74、·确定股骨头和股骨干之间的ccd角度是感兴趣的。

75、·确定长骨的前弯曲度是感兴趣的。

76、·确定骨骼的长度是感兴趣的。

77、·确定股骨、胫骨或肱骨处的植入物的进入点是感兴趣的。

78、下面列出了对象组合的示例以供说明。

79、·对象1是肱骨头，并且点是开口器械或钻头的尖端。

80、·对象1是椎骨，并且点是位于椎骨表面上的开口器械或钻头的尖端。

81、·对象1是胫骨，并且点是开口器械的尖端。

82、·对象1是胫骨，并且对象2是腓骨、股骨或距骨或足部的另一骨骼。

83、·对象1是股骨的近端部分，并且对象2是股骨表面处的开口器械。

84、·对象1是股骨的远端部分，并且对象2是股骨表面处的开口器械。

85、·对象1是股骨的远端部分，并且对象2是股骨的近端部分，其中至少一个x射线图像描绘了股骨的远端部分，至少一个x射线图像描绘了股骨的近端部分，并且另一对象是位于股骨近端上的开口器械。

86、·对象1是髂骨，并且对象2是骶骨，点是开口器械或钻头的尖端。

87、·对象1是植入骨骼中的髓内钉，并且对象2是骨骼。

88、·对象1是植入骨骼中的髓内钉，并且对象2是骨骼，点是开口器械、钻头或子植入物(如锁定螺钉)的尖端。

89、如果解剖结构的例如3d ct扫描形式的3d模型可用，则可以通过将该模型与x射线图像进行匹配来确定该解剖结构的成像方向。为此，计算多个成像方向的数字重建射线照片(drr)，并采用与x射线图像最匹配的drr来确定成像方向。

90、为了确定成像方向，可能不需要将drr限制在感兴趣的解剖结构上，从而避免在模型中分割感兴趣的解剖结构。在评估drr和x射线之间的最佳匹配时，可以强调(例如，以适当的权重)感兴趣的解剖结构，例如，如果x射线图像中描绘的钻头尖端指向感兴趣的结构。然而，通常可能不需要在x射线中检测感兴趣的解剖结构。

91、如前文段落所述，可以通过确定两个x射线图像各自的成像方向来配准它们。如果两个图像都描绘了一个允许检测点的对象(例如，外科医生将钻头尖端指向骨骼表面，同时允许倾斜钻头)，该点在获取两个图像之间相对于解剖结构没有移动，则可以确定该点相对于3d模型的3d位置。首先，确定两个x射线图像的两个成像方向。然后，计算连接穿过各个点(例如，钻头尖端位置)的极线的最短线上的点(例如，中点)。该点确定了点(例如，钻头尖端)相对于3d模型以及相对于所定义的移动空间的3d位置。极线之间的距离可用于验证。移动空间是相对于感兴趣的解剖结构定义的，但它不必位于感兴趣的解剖结构内，也不必位于x射线图像的视野内。如果与相对于模型或移动空间的空间位置有关的先验信息可用，则可以利用该信息来提高配准的准确性。这可以使图像配准和确定点的空间位置相互优化，这可能导致点的位置偏离上述定义的点。还需要注意的是，如果对象允许检测在获取两个x射线图像之间不移动的线(例如，凿子的切削刃)，则可以进行类似的程序，从而产生极线平面而不是极线。然而，极线平面不提供任何验证选项。

92、在两个x射线图像都描绘了在获取两个图像之间相对于解剖结构未移动的对象(例如钻头)的情况下，可以进行确定感兴趣的解剖结构上的成像方向和确定对象上的成像方向的联合优化。如果机器人执行钻孔，则这可能适用。

93、如果存在与对象的点相对于解剖结构的位置(例如，骨骼表面的钻头尖端)有关的先验信息，则可以将其用于解剖结构的3d重建(例如，骨骼表面必须包含该点)。

94、所有讨论的程序也适用于配准两个以上的x射线图像。

95、计算3d表示/重建

96、一旦两个或更多个x射线图像被配准，则可以使用它们来计算至少部分在x射线图像中描绘的解剖结构的3d表示或重建。根据实施例，这可以按照p.gamage等,“3dreconstruction of patient specific bone models from2d radiographs for imageguided orthopedic surgery”doi:10.1109/dicta.2009.42中所建议的思路进行。在第一步骤中，在每个x射线图像中确定感兴趣的骨骼结构的特征(通常是特征骨骼边缘，包括外部骨轮廓和一些特征内部边缘)，可能使用被训练用于分割的神经网络。在第二步骤中，对感兴趣的骨骼结构的3d模型进行变形，使其2d投影拟合第一步骤中确定的所有可用x射线图像中的特征(例如，特征骨骼边缘)。虽然gamage等人的论文使用了通用3d模型来表示感兴趣的解剖结构，但也可以使用其他3d模型，例如统计形状模型。需要指出的是，该程序不仅需要图像之间的相对视角(由图像配准提供)，还需要其中一个图像的成像方向。该方向可以是已知的(例如，因为外科医生被指示从特定的观察方向获取图像，即前后(ap)或内外侧(ml))，或者可以基于各种方法(例如，通过使用lu100907b1或如上文所述)估计。尽管如果图像之间的相对视角更准确，3d重建的精度可能会提高，但确定图像之一的成像方向的精度可能不是关键因素。

97、通过结合有关感兴趣骨骼结构上一个或更多个点，甚至部分表面的3d位置的先验信息，可以提高所确定的3d表示的精度。例如，在植有钉子的股骨的3d重建中，可以使用克氏针在x射线图像中标示股骨表面上的特定点。根据先前的程序步骤，该标示点在植入钉给出的坐标系中的3d位置可以是已知的。然后，可以使用这一知识更准确地重建股骨的3d表面。如果有关特定点的3d位置的这种先验信息是可用的，那么这甚至可以允许基于单个x射线图像进行3d重建。此外，如果植入物(如板)与部分骨骼的形状相匹配，并且已被定位在骨骼的该匹配部分上，则该信息也可用于3d重建。

98、作为替代方法，也可以在没有事先图像配准的情况下对对象(例如骨骼)进行3d重建，即也可以联合执行图像配准和3d重建。本公开教导的是，通过限制允许的c臂移动和/或利用出现在联合配准和重建所基于的至少两个图像中的另一个对象(例如，钻头或克氏针)的易于检测的特征来提高精度并解决模糊性。例如，这种易于检测的特征可以是，例如克氏针或钻头的尖端，该尖端要么位于待重建的对象的表面上，要么在距其已知距离处。该特征不得在图像采集之间移动。在克氏针或钻头的情况下，这意味着只要其尖端保持在原位，器械自身就可以改变其倾斜度。如果使用两个以上的图像进行此类重建，则不带事先图像配准的重建可能会效果更好。需要指出的是，联合图像配准和3d重建通常可能优于首先执行配准的方法，因为联合配准和3d重建允许对所有参数进行联合优化(即，对于配准和重建两者而言)。这在过度确定的情况下尤其适用，例如，当用植入钉或板以及与表面上点的3d位置有关的先验信息重建骨骼的3d表面时。

99、对于联合图像配准和3d重建，可以接收显示第一对象的第一部分的第一x射线图像并且可以接收显示第一对象的第二部分的至少第二图像，其中，利用第一成像方向和x射线源相对于第一对象的第一位置生成第一x射线图像，其中，利用第二成像方向和x射线源相对于第一对象的第二位置生成第二x射线图像。通过使用第一对象的模型，第一对象在两个x射线图像中的投影可以被联合匹配，使得能够确定图像的空间关系，因为该模型能够变形并适于匹配x射线图像中的外观。这种联合配准和3d重建的结果可以通过相对于第一对象具有固定3d位置的至少一个点来增强，其中该点在至少两个x射线图像中是可识别和可检测的(可以理解，在改进3d重建时也可以对两个以上的图像进行配准)。此外，可以考虑相对于第一对象具有固定3d位置的第二对象的至少一部分，其中基于第二对象的模型，该第二对象的至少部分可以在x射线图像中被识别和被检测。

100、需要指出的是，第一对象的第一部分和第二部分可以重叠，这将提高结果的精度。例如，第一对象的所谓第一部分和第二部分可以都是股骨的近端部分，其中成像方向不同，使得在图像中至少股骨的外观有所不同。

101、确定植入曲线和/或进入点

102、本发明的目的可以是确定植入曲线或路径，沿着该曲线或路径能够将诸如钉子或螺钉之类的植入物插入并植入骨骼中，和/或确定进入点，该进入点是外科医生将骨骼打开以插入植入物的点。因此，进入点是植入曲线与骨骼表面的交点。植入曲线可以是直线(或轴线)，也可以是弯曲的，因为植入物(例如，钉子)具有曲率。需要指出的是，进入点的最优位置可能取决于植入物并且还取决于骨骼中骨折的位置，即骨折位于远端或近端方向上的何处位置。

103、存在着可能需要确定植入曲线和/或进入点的各种情况。特别是在某些情况下，如果尚未进行完全解剖复位，则可能仅确定进入点。在其他情况下，首先获得植入曲线，然后通过确定植入曲线与骨骼表面的交点来获得进入点。在其他情况下，植入曲线和进入点是共同确定的。本发明讨论了所有这些实例的示例。

104、通常，根据实施例，接收2d x射线图像，该x射线图像显示了感兴趣的手术区域。在该x射线图像中，可以确定与感兴趣的结构以及骨骼内的植入路径相关联的第一点，该植入路径用于旨在被植入的植入物，其中植入曲线或路径与第一点具有预定的关系。用于将植入物插入骨骼中的进入点位于植入路径上。可以理解，该第一点可以不是进入点。

105、基于骨骼的3d重建，该系统还可以帮助选择植入物并计算骨骼内的(植入曲线)位置(即进入点、插入深度、旋转等)，使得植入物离骨骼的狭窄点足够远。一旦选择了进入点，系统就可以根据实际的进入点(如果植入物已经在骨骼中可见)计算出骨骼内新的理想位置。然后，系统可以考虑骨骼碎片的实际位置来更新3d重建。该系统还可以计算和显示待植入的子植入物的投影位置。例如，在头髓钉的情况下，可以根据股骨近端的完整3d重建来计算颈螺钉/刀片的投影位置。

106、徒手锁定程序

107、基于上述在2d x射线图像中对点和植入路径的大致确定，当考虑植入螺钉以锁定例如骨钉时，植入路径和点之间的预定关系可以满足以下条件：当感兴趣的结构是植入物上的孔时，该孔可以具有预定的轴线，并且点可以与该孔的中心相关联，并且植入路径可以指向该孔的轴线方向。该孔可以被认为是移动空间。

108、作为一种可能的应用，描述了徒手锁定程序的示例工作流程，其中通过将螺钉穿过植入物的孔进行植入来锁定该植入物。根据实施例，在x射线图像中确定已经植入的钉子的成像方向，这决定了植入曲线。在此，植入曲线是直线(轴线)，沿着这条直线将螺钉植入。骨骼表面的3d重建(至少在植入曲线附近)可以相对于已经植入的钉子(即，在钉子给出的坐标系中)进行。这可以按如下方式进行。从不同的观察方向获取至少两个x射线图像(例如，一个ap或ml图像和一个从倾斜角度拍摄的图像)。这些x射线图像可以通过神经网络进行分类，例如，考虑并使用如植入的钉子来配准，并且可能通过神经网络在所有图像中对骨骼轮廓进行分割。遵循上述3d重建过程，可以对骨骼表面进行3d重建。植入曲线与骨骼表面的交点决定了进入点相对于钉子的3d位置。由于可以确定x射线图像中的观察方向，因此这还允许在给定的x射线图像中标示进入点的位置。

109、通过结合骨骼表面上的至少一个点相对于钉子的已知3d位置，可以提高该程序的精度。这种知识可以通过将本发明中的该程序与ep 19217245所教导的徒手锁定程序相结合来获得。一种可能的方法是使用ep 19217245来获得第一锁定孔的进入点，然后该点成为骨骼表面上的已知点。该已知点在本发明中可以用于骨骼的3d重建和随后确定第二锁定孔及其它锁定孔的进入点。还可以识别骨骼表面上的点，例如通过接触骨骼表面的钻头尖端。如果在从不同成像方向拍摄的多于一个的x射线图像中识别出某点，则可以提高精度。

110、确定用于将钉子植入股骨中的进入点

111、基于上述在2d x射线图像中对第一点和植入路径的大致确定，当考虑将钉子植入股骨中时，植入路径与第一点之间的预定关系可以满足以下条件中的至少一项：

112、当感兴趣的结构是股骨头时，第一点可以与股骨头的中心相关联，并且因此可以位于植入路径的近端延伸上，即相对于x射线图像中的进入点的近端；

113、当感兴趣的结构是股骨颈的狭窄部分时，第一点可以与股骨颈的狭窄部分的横截面中心相关联，并且植入路径的近端延伸在所述狭窄部分中，可以比股骨颈的外表面更靠近第一点；

114、当感兴趣的结构是股骨干的狭窄部分时，第一点可以与股骨干近端处的狭窄部分的横截面中心相关联，并且植入路径的近端延伸在所述狭窄部分中可以比股骨干的外表面更靠近第一点；

115、当感兴趣的结构是股骨干的峡部时，第一点可以与该峡部的横截面中心相关联，并且第一点可以位于植入路径上。

116、在实施例中，感兴趣的结构不需要在x射线图像中完全可见。在x射线图像中，仅20％至80％的感兴趣结构可见可能就足够了。根据感兴趣的具体结构(即感兴趣的结构是否是股骨头、股骨颈、股骨干还是其他解剖结构)，该结构的至少30％到40％必须可见。因此，即使例如股骨头的中心本身在x射线图像中不可见(即位于成像区域之外)，即使在只有20％至30％的股骨头可见的情况下，也可以识别股骨头的中心。对于股骨干的峡部，同样的情况也是可能的，即使该峡部位于成像区域之外并且只有30％到50％的股骨干可见。

117、为了检测图像中的感兴趣点，可以使用神经分割网络，该网络以是否是可能的关键点来对每个像素进行分类。能够使用中心位于真正关键点处的2d高斯热图来训练神经分割网络。高斯热图可以是旋转不变的，或者，如果特定方向的不确定性是可容忍的，则高斯热图也可以是定向的。为了检测图像本身之外的感兴趣点，一种可能的方法可能是分割原始图像之外的附加像素，使用包含在图像本身中的所有信息进行推断。

118、本发明呈现了确定将髓内钉或头髓钉植入股骨中的进入点的示例工作流程。根据实施例，首先确定x射线图像的植入曲线的投影。在该实施例中，植入曲线近似表示为直线(即植入轴线)。作为第一步骤，可以检查当前的x射线图像是否满足确定植入轴线的必要要求。这些要求可以包括图像质量、解剖结构某些区域的足够可见性、以及至少近似适当的解剖视角(ml)。此外，这些要求可以包括上述条件是否满足。可以通过图像处理算法(可能利用神经网络)检查这些要求。此外，如果适用，可以确定骨骼碎片的相对位置并将其与期望位置进行比较，在此基础上可以确定这些碎片是否排列得足够好(即，解剖复位已经进行得足够好)。

119、更详细地说，上述条件可以描述如下。通过方向和一个点来确定植入轴线，该方向和一个点与至少两个解剖标志(例如，它们可以是股骨头的中心和股骨干的峡部)相关联。如上所述，可以通过神经网络确定标志，即使该标志在x射线图像中不可见。可以通过确定从建议轴线到x射线中可见的骨骼轮廓上的各种标志的距离来检查建议的植入轴线是否可接受。例如，建议的植入轴线应靠近股骨颈峡部的中心穿过，即它不应太靠近骨骼表面。考虑到沿着植入轴线延伸的对应于骨钉体积的移动空间不应导致与骨骼表面的冲突。在这种情况下，可能无法从合适的成像方向获取x射线图像，而应该从不同的成像方向获取另一x射线图像。在不同观察方向的另一x射线图像中确定植入曲线可能会导致不同的植入轴线，从而可能导致不同的进入点。本发明还教导了如何调整成像设备以便从合适的方向获取x射线图像。可能需要指出的是，两个植入轴线都可以位于移动空间内。

120、需要指出的是，植入物可以具有曲率，这意味着笔直的植入轴线可能仅近似表示所插入的植入物的投影。本发明还可以基于植入物的3d模型来确定更接近植入物的2d投影的植入曲线。这种方法可以使用与两个或更多个解剖标志相关联的多个点来确定植入曲线，并由此确定移动空间。

121、植入轴线的投影决定了3d空间中的植入平面(或者更一般地说，植入曲线的投影决定了3d空间中的二维流形)。可以通过将该植入平面与另一骨骼结构相交来获得进入点，该另一骨骼结构可以通过线来近似表示并且已知其包含该进入点。在股骨的情况下，这种骨骼结构可以是股骨粗隆部边缘(trochanter rim)，它狭窄而笔直，足以通过线来很好地近似表示，并且可以假设进入点位于其上。需要指出的是，根据植入物，进入点的其他位置也是可能的，例如，在梨状肌窝上。

122、股骨粗隆部边缘可以在侧向x线图像中检测到。替代地或者附加地，可以使用图像中可识别的另一点(例如，所描绘的克氏针或一些其他开口工具的尖端)，对于该点，有关其相对于进入点的位置的一些先验信息是已知的。在股骨的情况下，其示例可以为如果已知克氏针的尖端位于股骨粗隆部边缘上，这可以通过触诊知道和/或因为先前从不同视角(例如ap)获取的x射线在至少一个维度或自由度上限制了克氏针尖端的位置。

123、可能至少存在三种方法以利用有关克氏针(或其他一些开口器械)尖端相对于进入点的先验信息。最简单的可能方法是使用克氏针尖端在植入轴线投影上的正交投影。在这种情况下，可能需要在从不同角度(例如，ap)获取的后续x射线图像中检查在根据ml图像中的信息重新定位克氏针尖端后以及在重新定位后可能获取新的ml图像后，克氏针尖端是否仍然位于期望的结构(股骨粗隆部边缘)上。另一种可能方法是根据解剖学先验信息估计结构的投影(其在ml图像中可能无法识别)与植入轴线的投影之间的角度，并以该估计角度将克氏针的尖端倾斜投影到植入轴线的投影上。最后，第三种可能方法是使用配准的ap和ml图像对在ml图像中计算投影极线与投影植入轴线的交点，该投影极线是通过将克氏针尖端和ap图像的焦点连接而定义的。一旦获得了进入点，这也就确定了3d空间中的植入轴线。

124、或者，还可以通过对股骨近端进行部分3d重建来找到骨骼结构(此处为股骨粗隆部边缘)，该骨骼结构与植入平面的交点决定了进入点。根据实施例，这种3d重建可以基于来自不同观察方向的两个或更多个x射线图像(其中至少两个包含克氏针)如下进行。在所有x射线图像中检测股骨的特征骨骼边缘(至少包括骨骼轮廓)。此外，在所有x射线图像中，找到股骨头并用圆圈来近似表示，并检测克氏针的尖端。现在可以使用上述方法基于特征骨骼边缘、近似表示的股骨头和克氏针尖端以及受限的c臂移动来对图像进行配准。图像配准后，可以重建至少包含股骨粗隆部区域的3d表面。通过利用有关克氏针尖端距骨骼表面的距离的先验信息(例如，可以从ap图像中知晓)可以提高3d重建的精度。可以使用该程序的各种替代方案，这些替代方案被描述在实施例的详细说明中。

125、在前面的方法中，植入曲线是在2d x射线图像中确定的，然后讨论了获得进入点的各种替代方案。或者，整个程序(即确定植入曲线和进入点)可以基于股骨的近端(如果使用逆行钉，则为股骨远端)的3d重建，包括股骨干的足够部分。这种3d重建可以再次基于多个x射线图像，这些x射线图像已使用上述方法进行配准。例如，配准可以使用球来近似表示股骨头部，并且用圆柱体或平均骨干形状来近似表示骨干。或者，可以执行配准和骨骼重建(其可能包括表面，也可能包括髓管和内皮质等内部结构)的联合优化和确定。一旦获得了股骨相关部分的3d重建，就可以通过优化植入物表面和骨骼表面之间的距离来拟合3d植入曲线。3d植入曲线与已经确定的3d骨骼表面的交点产生进入点。

126、与2d x射线图像相关的植入曲线的位置和定向是在第一点的基础上确定的，其中植入曲线包括骨骼内距骨骼表面为第一距离的第一部段和骨骼内距骨骼表面为第二距离的第二部段，其中，第一距离小于第二距离，并且其中第一点位于骨骼的第一可识别结构上，并且位于距植入轴线的第一部段一定距离处。可以使用第二点，该第二点可以位于骨骼的可识别结构上并且可以位于距植入曲线的第二部段一定距离处。此外，可以基于至少一个另一点来另外确定植入曲线的位置和定向，其中所述至少一个另一点位于骨骼的第二可识别结构上并且位于植入曲线上。移动空间可以由植入曲线定义。

127、确定将钉子植入胫骨中的进入点

128、根据上文“计算3d表示/重建”章节中描述的联合配准和3d重建，可以确定将髓内钉植入胫骨中的进入点。

129、根据实施例，建议通过要求用户将开口器械(例如，钻头或克氏针)放置在胫骨表面上的近端任意点处(但最好是放在可疑进入点附近)来提高精度并解决任何模糊性。用户获取胫骨近端部分的侧向图像和至少一个ap图像。可以通过将胫骨的统计模型联合拟合到其所有x射线图像的投影来计算胫骨的3d重建，同时考虑开口器械的尖端不会在图像之间移动这一事实。通过要求用户从不同的(例如近似ap)成像方向获取两个或更多个图像，也可能是获取另一(例如，侧向)图像，可以进一步增加精度。任何过度确定都可以允许检测开口器械尖端的可能移动和/或验证开口器械尖端的检测。

130、基于胫骨的3d重建，系统可以确定进入点，例如，通过在拟合统计模型的平均形状上识别进入点。需要指出的是，这种仅基于成像(即没有触诊)的用于查找对于顺行胫骨钉的进入点的指导可以使外科医生执行髌上入路(suprapatellar approach)，这通常是可取的，但通常具有在进入点无法触诊骨骼的缺点。

131、确定将钉子植入肱骨中的进入点

132、上述提出的图像配准和重建技术的另一应用可以是确定将髓内钉植入肱骨中的进入点。

133、通常，可以使用包含用于处理x射线图像的处理单元的系统基于x射线图像来辅助肱骨手术，从而实现上述目的。当软件程序产品被处理单元执行时，可以使系统执行包含以下步骤的方法。首先，接收以第一成像方向生成并显示肱骨近端部分的第一x射线图像，并且接收以第二成像方向生成并显示肱骨近端部分的第二x射线图像。这些图像可以包括肱骨干的近端部分以及具有关节面的肱骨头，以及关节盂(即肩部的互补关节结构)。需要指出的是，第二成像方向通常与第一成像方向不同。然后，(i)配准第一x射线图像和第二x射线图像，(ii)确定这两个图像中的肱骨头的2d轮廓中的至少一部分的近似表示，(iii)基于近似表示的2d轮廓和第一图像与第二图像的配准确定肱骨头的3d近似表示，(iv)确定第一x射线图像和第二x射线图像中至少三个不同点的2d图像坐标。最后，基于至少三个确定的点，将解剖颈的近似表示确定为肱骨头的3d近似表示上的曲线。需要指出的是，至少三个确定的点不必位于所确定的曲线上。如果可以确定与前三个点不在同一平面上的解剖颈的其他点，则可以确定解剖颈的更精确的近似表示。这可以允许确定解剖颈的旋转位置，从而确定围绕肩关节轴线的肱骨头。确定围绕关节轴线的旋转位置的另一种方法是检测大结节和/或小结节的位置，前提是两者中的至少一个相对于近端碎片处于固定位置。另一种选择是使用术前获得的3d信息(例如ct扫描)基于术中x射线图像生成近端骨折的3d重建。该方法可以与上述方法结合。

134、根据实施例，肱骨头的2d轮廓的至少一部分的近似表示可以是2d圆或2d椭圆。此外，肱骨头的3d近似表示可以是3d球或3d椭球。解剖颈的近似表示可以是3d空间中的圆或椭圆。

135、根据实施例，可以接收另外的x射线图像，并且可以确定由第一x射线图像、第二x射线图像和该另外的x射线图像组成的组中的至少两个x射线图像中的肱骨干轴线的近似表示。基于所述至少两个x射线图像中近似表示的肱骨干轴线和第一x射线图像与第二x射线图像的配准，可以确定肱骨的3d骨干轴线的近似表示。

136、根据所公开方法的实施例，然后可以基于近似表示的解剖颈和近似表示的3d骨干轴线和/或近似表示的肱骨关节盂来确定骨折肱骨的近端碎片的进入点和/或脱位。因此，可以基于进入点和头的脱位在近端碎片中确定植入曲线。此外，可以提供信息以重新定位近端碎片。

137、根据实施例，可以对至少两个x射线图像进行配准，其中这两个x射线图像可以是第一x射线图像、第二x射线图像和另外的x射线图像中的两个。可以基于肱骨头的模型并基于相对于肱骨头具有固定3d位置的一个附加点来对x射线图像进行配准，其中该点在所述至少两个x射线图像中被识别和被检测。该一个附加点可以是器械的尖端，并且可以位于肱骨头的关节表面上。在这种情况下，可以利用点与肱骨头中心之间的距离等于由球来近似表示的肱骨头的半径这一事实来提高x射线图像配准的精度。

138、在下文中，更详细地描述了根据本公开的方法的各个方面。位于肩关节中的肱骨头可以用球(球体)来近似表示。在下文中，除非另有说明，否则应当理解，肱骨近似于这样的球，这意味着将肱骨在x射线图像中的投影近似为圆。因此，“中心”和“半径”总是指这样近似表示的球或圆。需要指出的是，也可以使用肱骨头的其他简单几何近似表示，例如，椭球体。在这种情况下，解剖颈将由椭圆近似表示。

139、下面描述确定进入点的示例工作流程。确定肱骨进入点时的复杂问题是，利用肱骨钉治疗的骨折经常沿着手术颈出现，从而使肱骨头移位。在正确的复位中，肱骨头的中心应当靠近肱骨干轴线。根据实施例，这可以在描绘近端肱骨的轴向x射线图像中得到验证。如果肱骨头的中心离骨干轴线不够近，则建议用户在远端方向对手臂施加牵引力，以纠正肱骨头围绕关节轴线的任何旋转(可能无法检测到)。然后建议近似进入点位于骨干轴线上距肱骨头中心大约20％的内侧(意味着在上文的典型轴向x射线图像中)。然后，用户需要将开口器械(例如，克氏针)放在这个建议的进入点上。或者，为了如上所述地提高配准的精度，该系统要求用户故意将开口器械放置在可疑进入点的内侧(意味着，轴向x射线图像中描绘的股骨头中心上方30％至80％)，以确保器械的尖端位于肱骨头的球形部分上。该系统可以在新的轴向x射线图像中检测肱骨头和该器械的尖端(例如，通过使用神经网络)。

140、然后指示用户获取ap图像，仅允许特定的c臂移动(例如，绕c轴线旋转和额外的平移)并使器械的尖端就位(允许器械的倾斜度改变)。再次检测肱骨头和器械尖端。然后可以按照上文“两个或更多个x射线的3d配准”章节中所述，基于近似表示肱骨头和器械的尖端的球对轴向图像和ap图像进行配准。

141、界定肩关节的关节表面的曲线被称为解剖颈(anatomical neck)(collumanatomicum，解剖柱)。解剖颈界定了肱骨的球形部分，但外科医生通常无法在x射线图像识别它。它可以用3d空间中的2d圆来近似表示，该2d圆是通过将平面与近似表示肱骨头的球相交得到的，其中该平面相对于肱骨的骨干轴线倾斜。球形关节表面朝上(外翻)并朝背侧(患者的手臂从肩部放松向下垂下并平行于胸部)定向。三个点足以定义该相交平面。轴向x射线和ap x射线可以分别允许确定解剖颈上的两个点，即限定肱骨球形部分的圆弧的起点和终点。因此，这是过度确定的问题：基于两个x射线图像，可以确定四个点，而定义相交平面只需要三个点。如果使用了附加x射线图像，该问题可能变得更加过度确定。这种过度确定可以允许对相交平面进行更精确的计算，或者可以允许处理可能无法确定某点(例如，因为它被遮挡了)的情况。

142、需要指出是，当通过将确定的平面与近似表示肱骨头的球相交来确定解剖颈的近似表示时，可以进行各种修改。例如，该相交平面可以在侧向方向上移动，以得到解剖颈在肱骨头部上的更精确位置。替代地或者附加地，可以调整近似表示解剖颈的圆的半径。也可以使用具有更多自由度的几何模型来近似表示肱骨头和/或近似表示解剖颈。

143、进入点可以被认为是解剖颈在3d空间中最接近骨干轴线和骨骼表面交点的点，或者它可以在内侧方向上位于距该点的距离等于用户定义的距离处。这样确定的解剖颈和进入点可以在当前x射线图像中显示为叠加。如果在x射线图像中，该进入点与近似表示头部的圆很近，则会导致z坐标的潜在较大误差。为了缓解这种情况，可以发出旋转c臂的指令，使得建议的进入点在x射线图像中进一步向肱骨头的内部移动。这在任何情况下都是有利的，这是因为由于机械限制，获得进入点位于近似圆附近的x射线图像可能很困难。换言之，c臂在轴向图像和ap图像之间的旋转可以是例如60度，这在手术工作流程中可能比90度旋转更容易实现。

144、该工作流程的其它细节、可选实现和扩展被描述在下文实施例的详细描述中。

145、允许近实时地连续对对象进行3d配准的其他方法

146、本公开教导了另外两种允许确定对象(例如，小直径的钻头或植入物)的成像方向的方法，该对象的几何形状使得在没有另外信息的情况下可能无法确定其成像方向，也无法确定该对象相对于另一对象(例如钉子、骨骼、或其组合)的3d位置和3d定向(即，提供这些对象的3d配准)。第一种方法不需要对象(例如钻头)的2d-3d匹配，并且在两个x射线图像中检测该对象(例如钻头)的点可能就足够了。例如，如果在钻孔时使用软组织保护套管，那么这可能是优势，因为钻头的2d-3d匹配可能需要在x射线采集之前停止钻头并拉回套筒，这可能很繁琐且容易出错。为了实现准确的2d-3d匹配，如果钻头已经进入骨骼，那么这种回拉甚至可能很有必要，否则在x射线图像中可能看不到足够的钻头。所提出的方法可能是有利的，因为钻头可以旋转并且可以不需要拉回套筒来进行x射线采集。

147、这里提出的第二种方法不需要旋转或重新调整c臂(即使没有禁止更改c臂位置)。例如，在钻孔场景中，这可以允许在钻孔过程中的任何时刻基于x射线图像与外科医生的近实时(near-real-time，nrt)反馈持续验证实际钻孔轨迹并将其与移动空间进行比较。

148、在第一种方法中，对象(例如，钻头)的可识别点相对于另一对象(例如，骶骨)的3d位置可以例如通过以下步骤来确定：从不同的观察方向获取两个x射线图像(在采集这两个图像之间不移动钻头尖端)；在两个x射线图像中检测钻头尖端；基于上文呈现的程序之一对这两个x射线图像进行配准；然后计算连接延伸穿过各个钻头尖端位置的极线的最短线的中点。如果已知对象的轴线包含特定点(例如，钻头轴线穿过骨骼表面上的进入点，即钻头尖端位于钻孔开始处)，则可以确定该对象(例如，钻头)的相对3d定向，其中该特定点相对于另一个对象(例如，骶骨)的3d坐标是已知的。在计算对象的相对3d定向时，可以考虑钻头的可能的弯曲和x射线图像在相应区域中的失真。

149、第二种方法通过结合先验信息来消除有关对象(例如，钻头)的z坐标的模糊性，该先验信息为在该对象的坐标系中已知的轴线(例如，钻孔轴线)穿过一点(例如，进入点，即钻孔的起点)，其中该点相对于另一对象(例如，骶骨)的3d坐标是已知的。同样，在计算这种轨迹时，可以考虑钻头的可能的弯曲和x射线图像在相应区域中的失真。

150、如果第一种方法和第二种方法导致不同的结果，这可能是由于解剖结构匹配不正确，表明配准不正确。这反过来可以通过匹配两个图像中的对象来验证。如果匹配看起来正确，则可以假定解剖结构匹配和图像配准是正确的，在这种情况下可以假定存在机械问题。例如，钻入骨骼的进入点不再位于钻孔轨迹上，必须将其作为参考点丢弃。然后可以使用当前确定的点(例如，由钻头尖端确定)作为继续钻孔的新参考点。

151、在实际钻孔轨迹与移动空间不匹配(即，在远端锁定的情况下，如果钻头继续沿当前路径前进，钻头将错过钉子的锁定孔)的情况下，系统可以给用户发出指令以通过旋转钻头钻子来将电动工具倾斜指定角度。通过这样做，钻头钻子侧向穿过海绵骨，从而回到正确的轨迹。因为这可能会扩大进入骨骼的入口孔，从而移动原始进入点的位置，所以这种校正可能必须考虑这种增加的不确定性。

152、这种方法还可以允许处理由板和钉子组合而组成的植入物，其中板上的孔和钉子上的孔之间采用螺钉连接。这种植入物类型的nrt指导可以按如下方式进行。基于相关解剖结构的3d重建，可以计算该组合植入物的理想位置，权衡板位置的优劣(例如，表面贴合度)和钉子位置的优劣(例如，在狭窄点距骨表面的距离足够)。基于计算出的位置，可以计算钉子进入骨骼的进入点。插入钉子后，可以基于钉子轴线的当前位置重新计算组合植入物的理想位置。该系统可以为外科医生提供指导以旋转和平移钉子，使得钉子和子植入物(例如螺钉，如果适用的话)的最终位置，同时板(其或多或少地刚性连接到钉子)的投影最终位置得以优化。在到达钉子的最终位置后，系统可以通过确定x射线中板(尚未到达其最终目的地)的成像方向并考虑已插入的钉子施加的限制，为板的定位提供支持。接下来，可以执行穿过板孔的钻孔。这种钻孔是关键的步骤：钻孔也必须击中钉孔，误钻可能不容易被校正，因为可能无法从不同的起点重新钻孔。如果之前已经固定了板(使用未穿过钉子的螺钉)，则钻孔起点和进入点也已固定。在这种情况下，如有必要，可以多次进行钻头角度验证和校正。

153、如果板孔只允许以特定角度钻孔，则根据钉子的实际位置定位板可能是决定性的。在这种情况下，没有进一步调整的空间，系统可以提供指导以根据钉子的当前位置定位板。这可以允许在钻孔过程中简单地根据钉子与板的配准来推导钻孔轨迹，这反过来又可以确定钻头的位置，即使在x射线中只有钻头的一小部分可见(可能仍然需要钻头尖端)。

154、所提出的系统可以近实时地为外科医生提供持续指导。如果配准足够快，甚至可以评估来自c臂的连续视频流，从而为外科医生提供准连续的导向指导。通过计算对象在当前x射线图像中的相对3d位置和定向，并将其与期望的星座图(constellation)进行比较，可以向外科医生提供有关如何达到期望星座图的指导。必要的调整或移动可以由外科医生徒手进行，也可以由外科医生利用传感器和/或机械支持地进行。例如，可以将加速度传感器附接到电动工具上，以支持调整钻头角度。另一种可能性是使用机器人，该机器人可以根据计算出的所需调整来定位一个或更多个对象。根据系统的nrt反馈，可以随时重新计算调整，并在必要时进行校正。

155、需要强调的是，本文公开的所有针对无法确定对象上的成像方向的情况的程序更适用于能够确定对象上的成像方向的情况。然后可以利用从成像方向知识中获得的附加信息来提高准确性和精确度。

156、复位支持

157、本发明的另一个目的可以是支持骨骼碎片的解剖学正确复位。通常，外科医生会尝试以尽可能自然的相对排列方式重新定位骨折碎片。为了获得更好的结果，在插入任何植入物进行固定之前或之后检查这种复位在解剖学上是否正确可能是有必要的。

158、可以通过计算感兴趣骨骼的3d重建来支持复位。这种3d重建可能不一定是整个骨骼的完整重建，也可能不必在每个方面都精确。在仅提取特定测量值的情况下，3d重建只需要足够精确，就可以足够准确地确定该测量值。例如，如果要确定股骨前倾角(av)，则在髁突和颈区域进行足够准确的股骨3d重建可能就足够了。其他感兴趣的测量示例可以包括腿部长度、腿部畸形程度、曲率(如股骨的前曲度)或头颈干(caput-collum-diaphysis，ccd)角，因为在插入髓内钉之前或之后经常出现股骨近端碎片的内翻旋转。一旦确定了感兴趣的测量值，就可以使用它来选择合适的植入物，或者可以将其与期望值进行比较，该期望值可以来自数据库或者特定于患者，例如，通过将正在手术的腿与另一条健康腿进行比较。可以向外科医生提供有关如何获得期望值(例如，所需的前倾角)的指导。

159、感兴趣的还有：通过从可用的x射线图像中自动计算来监控整个手术过程中的某个测量值，并在测量值偏离期望值太大时警告外科医生或者触发机器人的正确动作。

160、在某些情况下，甚至可以根据单个x射线图像进行3d重建，特别是如果能够确定观察方向(例如，基于lu100907b1或者如本文所述)。然而，通常，从不同的观察方向拍摄的两个或更多个x射线图像和/或描绘骨骼的不同部位的两个或更多个x射线图像可以提高3d重建的精度(参见上文“计算3d表示/重建”章节)。甚至某部分骨骼在x射线图像中不可见或仅部分可见，也可以计算3d重建，前提是该不可见部分不会因骨折而相对于可见部分发生位移，或者即使存在这种位移，错位参数也是已知的或能够以其他方式确定。例如，基于股骨的统计3d模型，可以根据ml和ap图像对(股骨头的大部分在其中不可见)足够准确地重建股骨头。作为另一个示例，如果股骨干没有骨折，则可以基于两个近端x射线图像重建股骨的远端部分。当然，如果还可以获得显示远端部分的另一x射线图像，则能够提高远端部分重建的精度。

161、在基于两个或更多个x射线图像的骨骼3d重建中，如果按照上文“两个或更多个x射线的3d配准”章节中描述的方法之一，在计算3d重建之前能够对这些x射线图像进行配准，则可以进一步提高精度。如果要根据显示骨骼不同部位的两个或更多个x射线(例如，两个x射线显示股骨近端，一个x射线显示股骨远端)来计算骨骼的3d重建，则可以基于每个骨骼部位在至少一个x射线中可见的具有已知3d模型的对象(例如，已经植入的钉子)和/或通过限制采集这些x射线图像之间允许的c臂移动，来对描绘不同部分的x射线图像进行3d配准。

162、当植入物尚未插入时，无论是在对患者开孔之前还是之后(例如，为了检测股骨粗隆骨折复位过程中的背侧间隙)，可能都必须确定av角。在这种情况下，两个或更多个股骨近端图像(例如ap和ml)的配准可以按照上文“两个或更多个x射线的3d配准”章节所述进行，如下所示。在确定插入钉子的进入点时，可以将诸如克氏针(其直径已知)之类的开口器械放置在可疑的进入点上，从而在x射线图像中检测到。根据其尖端的位置以及检测到的股骨头，可以对图像进行配准。如果在x射线图像中看不到其他对象(如克氏针)，则仍可以通过要求c臂在图像之间进行特定移动来进行图像配准。例如，系统可能需要围绕c臂的c轴线旋转75度。如果以足够的精度执行此旋转，则也可以以足够的精度对图像进行配准。可以通过将允许的c臂移动限制为仅平移运动来对骨骼的非重叠部分(例如，股骨的远端和近端部分)进行配准，如实施例中所述。

163、需要指出的是，为了确定av角，3d重建并不是必需的。通过确定另一个点(例如，在颈轴线附近)，可以有足够的信息来基于2d方法确定av角。通过采用上述方法，可以对在x射线图像中检测到的2d结构(例如，股骨近端和远端部分内的结构)进行配准。

164、在其他情况下，考虑相邻的骨骼或骨骼结构可能是有益的，例如，当确定骨骼的正确旋转角度时。例如，在胫骨骨折的情况下，对其近端部分定向的评估可能会考虑股骨、髌骨和/或腓骨的髁突。类似的建议也适用于评估其远端的旋转位置。胫骨相对于腓骨或其他骨骼结构(例如，足部关节的重叠边缘)的相对位置可以清楚地指示胫骨远端的观察方向。所有这些评估都可以基于神经网络，该神经网络可以执行联合优化，可能基于每个所考虑结构的置信度值(正确检测)。可以将此类评估的结果与有关患者或肢体定位的知识相结合，以评估骨骼的当前复位。例如，在肱骨的情况下，系统可以指示外科医生将患者的桡骨定位在平行于患者身体的位置。对于复位评估，通过在x射线图像中检测这些结构来指导用户实现肱骨关节表面相对于关节盂的中心位置可能就足够了。

165、x射线剂量的减少

166、需要记住的是，总体目的可能是减少患者和手术室工作人员的x射线暴露。根据本文公开的实施例，在骨折治疗过程中应生成尽可能少的x射线图像。例如，为检查近端片段相对于远端片段的位置而获取的图像也可用于确定进入点。作为另一示例，在确定进入点的过程中生成的图像也可用于测量av角或ccd角。

167、根据实施例，还可以减少x射线暴露，因为无需使完整解剖结构在x射线图像中都可见。可以提供对象(例如解剖结构、植入物、手术工具和/或植入系统的部分)的3d表示或确定对象(例如解剖结构、植入物、手术工具、和/或植入系统的部分)的成像方向，即使它们在x射线图像中不可见或仅部分可见。例如，即使投影图像没有完全描绘股骨头，仍然可以对其完整重建。作为另一示例，在远端部分未被完全描绘的情况下，可以基于一个或更多个近端图像重建股骨的远端部分。

168、在某些情况下，可能需要确定与解剖结构相关的感兴趣点，例如股骨头的中心或股骨干上的特定点。在这种情况下，可能无需在x射线图像中显示该感兴趣点。如果确定此类感兴趣点时的任何不确定性或不准确性会影响后续中不太重要的维度或自由度，则这更加适用。例如，股骨头的中心点和/或股骨干轴线上的特定点可能位于x射线图像之外，但是基于例如深度神经网络方法，系统可能仍然能够确定这些点并利用它们，例如，以足够的精度计算植入曲线，因为植入曲线方向上的任何不准确性可能不会对计算的植入曲线产生显著影响。

169、根据实施例，系统的处理单元可以被配置成基于显示解剖结构的某最低要求百分比(例如，20％)的x射线投影图像来确定该解剖结构和/或与该解剖结构相关联的感兴趣点。如果可见的解剖结构部分小于最低要求(例如，小于20％)，则系统可以引导用户获取所需的视图。例如，如果股骨头完全不可见，则系统可以发出指令，使c臂沿根据当前x射线投影图像中股骨干的外观计算的方向移动。

170、将3d模型匹配到2d投影图像

171、需要指出的是，可以直接从成像设备接收处理后的x射线图像的图像数据，例如从c臂、g臂或双平面2d x射线设备接收，或者替代地从数据库接收。双平面2d x射线设备可以具有两个以任意角度偏移的x射线源和接收器。x射线投影图像可以表示感兴趣的解剖结构，特别是骨骼。例如，该骨骼可以是手部或脚部的骨骼，但特别可能是下肢的长骨(如股骨和胫骨)和上肢的长骨(如肱骨)，或者可以是骶骨、髂骨或椎骨。图像还可包括人造对象，如骨骼植入物或手术工具，例如钻头或克氏针。

172、本公开区分了“对象”和“模型”。术语“对象”将用于真实对象，例如，用于骨骼或骨骼的一部分或其他解剖结构，或用于植入物(如髓内钉、骨板或骨螺钉)，或用于手术工具(如套管或克氏针)。“对象”还可以只描述真实对象的一部分(例如，骨骼的一部分)，或者它可以是真实对象的集合，因此由子对象组成(例如，对象“骨骼”可以断裂，因此由子对象“骨折的骨骼部分”组成)。术语“模型”已在上文中定义。

173、由于3d表示实际上是一组计算机数据，因此很容易从该数据中提取特定信息，例如虚拟表示对象的几何方面和/或尺寸(例如，轴线、轮廓、曲率、中心点、角度、距离或半径)。如果基于一个对象确定了比例，例如，由于根据模型数据已知钉子的宽度，那么如果另一被描绘且可能未知的对象位于相似的成像深度处，则也可以测量此对象的几何方面或尺寸。如果一个对象的成像深度已知(例如，因为该对象足够大，或者因为x射线检测器的尺寸以及成像平面与焦点之间的距离已知)，并且如果存在关于两个对象之间成像深度差异的信息(例如，基于解剖学知识)，则甚至可以根据截距定理计算出不同成像深度处的不同对象的大小。

174、根据实施例，x射线图像中的对象在x射线投影图像中被自动分类和识别。然而，也可以在x射线投影图像中手动分类和/或识别对象。这种分类或识别可以由设备通过自动参考该设备所辨别出的结构来支持。

175、将对象的模型匹配到与其在x射线图像中描绘的投影时，可以只考虑该投影的选定特征(例如，轮廓或特征边缘)，也可以考虑整个外观。可以使用神经分割网络来确定轮廓或特征边缘。对象在x射线图像中的外观主要取决于x射线辐射的衰减、吸收和偏转，而x射线辐射的衰减、吸收和偏转又取决于对象的材料。例如，钢制钉子通常比钛制钉子吸收更多的x射线辐射，这不仅会影响钉子在其轮廓内的投影图像的外观，而且还可能改变其自身轮廓的形状，例如改变钉孔的轮廓。这种效应的强度还取决于x射线强度和x射线束必须穿过的该对象周围的组织的数量。作为另一示例，软组织和硬组织之间的过渡在x射线图像中是可识别的，因为这种过渡会导致x射线图像中较暗区域和较亮区域之间的边缘。例如，肌肉组织和骨骼组织之间的过渡可以是可识别的结构，而且内皮质，海绵内骨组织和硬皮质外骨组织之间的过渡在x射线图像中也可以被识别为x射线图像中的特征。需要指出的是，在本公开中确定骨骼轮廓的任何地方，这种轮廓也可以是内皮层或骨骼形状的任何其他可识别特征。

176、根据实施例，对于由确定性模型描述的对象，2d-3d匹配可以按照lavallée s.,szeliski r.,brunie l.(1993)matching 3-d smooth surfaces with their 2-dprojections using 3-d distance maps,in laugier c.(eds):geometric reasoningfor perception and action.grpa 1991,lecture notes in computer science,vol708.springer,berlin,heidelberg中的思路进行。在这种方法中，可以通过向参数向量中引入附加的自由度或通过使用适当调整的模型来解释附加的效应，例如图像失真(例如，由图像增强器引入的枕头效应)或钉子弯曲。

177、根据实施例，对于由统计形状或外观模型描述的对象，将虚拟投影匹配到实际投影可以按照v.blanz,t.vetter(2003),face recognition based on fitting a 3dmorphable model,ieee transactions on pattern analysis and machineintelligence中的思路进行。在该论文中，统计的、可变形的3d模型被拟合到2d图像。为此，确定了用于轮廓和外观的统计模型参数以及用于透视投影的相机和姿态参数。另一种方法是遵循x.dong和g.zheng的automatic extract of proximal femur contours fromcalibrated x-ray images using 3d statistical models,in t.dohi et al.(eds.),lecture notes in computer science,2008。使3d模型变形使得其虚拟投影与x射线图像中对象的实际投影相匹配，这样做也可以计算成像方向(其描述了x射线束穿过对象的方向)。

178、在显示x射线图像时，几何方面和/或尺寸可以在投影图像中显示为叠加。替代地或附加地，模型的至少一部分可以显示在投影图像中，例如作为透明可视化或3d渲染，这可以促进用户识别模型的结构方面，从而识别成像对象的结构方面。

179、总体评述

180、关于c臂的旋转轴线和平移轴线的定义，参见图25。在该图中，x射线源用xr表示，用字母b表示的旋转轴线被称为垂直轴线，用字母d表示的旋转轴线被称为螺旋轴线，用字母e表示的旋转轴线被称为c轴线。需要指出的是，对于某些c臂模型，轴线e可能更靠近轴线b。轴线d与中心x射线束(标有xb)之间的交点被称为c臂的中心“c”。c臂可以沿字母a指示的方向上下移动。c臂也可以沿字母c指示的方向移动。垂直轴线距c臂的中心“c”的距离可以在c臂之间不同。需要指出的是，也可以使用g臂来代替c臂。

181、神经网络可以基于与其将要应用的数据相当的大量数据进行训练。在评估图像中的骨骼结构时，应基于感兴趣骨骼的大量x射线图像来训练神经网络。可以理解，也可以基于模拟的x射线图像来训练神经网络。

182、根据实施例，可以使用多于一个神经网络，其中每个神经网络可以专门针对实现所需解决方案的必要子步骤进行训练。例如，第一神经网络可以被训练以评估x射线图像数据，以便对2d投影图像中的解剖结构进行分类，而第二神经网络可以被训练以检测2d投影图像中该结构的特征边缘。第三神经网络可以被训练以确定如股骨头中心之类的特定关键点。还可以将神经网络与其他算法相结合，包括但不限于基于模型的算法，如主动形状模型(active shape model)。需要指出的是，神经网络还可以直接解决本发明中的任务之一，例如，确定植入曲线。

183、需要指出的是，处理单元可以仅由执行该过程的所有步骤的一个处理器实现，也可以由一组处理器或多个处理器实现，这些处理器不需要位于同一位置。例如，云计算允许将处理器放置在任何地方。例如，处理单元可以分为控制与用户交互的第一子处理器(其包括用于可视化结果的监控器)，和执行所有计算的第二子处理器(可能位于其他地方)。第一子处理器或另一子处理器还可以控制例如x射线成像设备的c臂或g臂的移动。

184、根据实施例，该设备还可以包括存储装置，该存储装置提供用于存储例如x射线图像的数据库。可以理解，还可以在系统可以连接的网络中提供这种存储装置，并且可以通过该网络接收与神经网络相关的数据。此外，该设备可以包括用于生成至少一个2d x射线图像的成像单元，其中该成像单元能够从不同方向生成图像。

185、根据实施例，该系统可以包括用于向用户提供信息的设备，其中，该信息包括由x射线图像和关于程序步骤的指令组成的组中的至少一条信息。可以理解，这种设备可以是用于信息可视化的监控器或增强现实设备，或者可以是用于以声学方式提供信息的扬声器。该设备还可以包括用于手动确定或选择x射线图像中对象的位置或部分(例如骨骼轮廓)的输入装置，例如用于测量图像中的距离。例如，这种输入装置可以是例如计算机键盘、计算机鼠标或触摸屏，以控制可以包括在该设备中的指示设备(例如监视器屏幕上的光标)。该设备还可以包括相机或扫描仪，以读取包装的标签或以其他方式识别植入物或手术工具。相机还可以使用户能够通过手势或模仿(例如，通过虚拟现实显示的虚拟触摸设备)以视觉方式与设备进行通信。该设备还可以包括麦克风和/或扬声器，并通过声学方式与用户进行通信。

186、需要指出的是，本公开中提及的所有c臂移动始终指的是c臂和患者之间的相对重新定位。因此，任何c臂平移或旋转通常都可以被患者/手术台的对应平移或旋转所取代，或被c臂平移/旋转和患者/手术台平移/旋转的组合所取代。这在处理四肢时可能特别重要，因为在实践中，移动患者的四肢可能比移动c臂更容易。需要指出的是，所需的患者移动通常与c臂移动不同，特别是，如果目标结构已经在x射线图像位于所需位置，则通常不需要对患者进行平移。该系统可以计算c臂调整和/或患者调整。还需要指出的是，所有对c臂的引用都可以类比地适用于g臂。

187、本发明所公开的方法和技术可以用在支持人类用户或外科医生的系统中，或者它们也可以用在部分或全部步骤由机器人执行的系统中。因此，本专利申请中提及的所有“用户”或“外科医生”都可以指人类用户以及机器人外科医生、机械支持设备或类似装置。类似地，每当提到发出如何调整c臂的指令时，可以理解这种调整也可以在没有人工干预的情况下执行，即自动执行、由机器人c臂执行、由机械工作台执行，或者它们可以由手术室工作人员在一些自动化支持下执行。需要指出的是，由于机器人外科医生和/或机器人c臂的操作精度可能高于人类，因此迭代过程可能需要更少的迭代，并且可能会执行更复杂的指令(例如，组合多个迭代步骤)。机器人外科医生和人类外科医生之间的关键区别是，机器人可以在获取两个x射线图像之间保持工具完全静止。在本公开中，每当要求工具在获取x射线图像之间不移动时，这可以由机器人来执行，或者替代地，该工具可能已经被稍微固定在解剖结构内。

188、计算机程序可以优选加载到数据处理器的随机存取存储器中。因此，根据实施例的系统的数据处理器或处理单元可以被配备成执行所描述的过程的至少一部分。此外，本发明涉及一种计算机可读介质，例如cd-rom，其上可以存储所公开的计算机程序。然而，计算机程序也可以通过像万维网这样的网络呈现，并且能够从这样的网络下载到数据处理器的随机存取存储器中。此外，计算机程序还可以在基于云的处理器上执行，其结果通过网络呈现。

189、需要指出的是，在手术前或手术过程中，可能只需扫描植入物的包装(例如条形码)或植入物本身上的任何文字，即可获得有关植入物的先验信息(例如，钉子的大小和类型)。

190、从上文的描述中可以清楚地看出，本发明的主要方面是处理x射线图像数据，允许对可见对象进行自动解释。本文所述的方法应理解为辅助患者手术治疗的方法。因此，根据实施例，该方法可以不包括通过手术治疗动物或人体的任何步骤。

191、可以理解，本文所述的方法的步骤——特别是根据实施例描述的与工作流程相关的方法的步骤(其中一些在图中可视化)——是主要步骤，其中这些主要步骤可以被区分或划分为几个子步骤。此外，在这些主要步骤之间可能还有其他子步骤。还可以理解，整个方法中只有一部分可以构成本发明，即步骤可以被省略或被概括。

192、必须指出的是，实施例是参照不同的主题来描述的。具体地，一些实施例是参照方法类型权利要求(计算机程序)来描述的，而其他实施例是参照装置类型权利要求(系统/设备)来描述的。但是，本领域技术人员将从上述和以下描述中明白，除非另有说明，否则属于一类主题的特征的任何组合以及与不同主题相关的特征之间的任何组合都被视为与本技术一起公开。

193、本发明的上述方面以及其它方面、特征和优点也能够从下文描述的实施例示例中推导出来，并且还参照附图中的实施例示例对其进行解释，但本发明并不局限于这些实施例示例。