将软组织渲染到X射线成像中的方法与流程

本发明涉及一种将软组织渲染到x射线图像中的计算机实施方法。

背景技术：

1、x射线诊断、透视和ct等x射线成像技术被广泛应用于临床实践中，自x射线发现以来的100多年中，这些成像技术经历了不断的发展。最近的大多数研究都旨在将暗视野x射线(dax)引入临床应用，以便使肺实质等部位与诊断相关的变化可视化。对比剂有助于增强目标组织或结构的放射密度。然而，许多组织在x射线下仍然不可见，因此需要额外的成像或手术才能诊断。

2、某些组织(如软骨或肌腱)的不可见使骨骼x射线图像和序列不完整，并影响了诊断信心。通常情况下，需要通过其他成像技术进行额外扫描来确认或反驳某项发现。这给患者和工作人员都造成了负担，患者需要重复扫描或到专门的放射科就诊，而工作人员则需要为同一患者重复扫描。此外，医疗服务提供者的负担也很重，他们可能会承受更高的机器负荷。在理想情况下，一些医疗状况可以直接通过常规x射线图像进行评估，但这些状况目前还无法诊断。

3、chen hsin-chen等人的文章:“a joint-constraint model-based system forreconstructing total knee motion”,ieee transactions on biomedicalengineering,ieee,usa,vol.61,no.1,january 2014,pages 171-181公开了一种基于关节约束模型的2d-3d配准系统，用于重建全膝关节运动。该模型包含骨骼几何图形和铰接关节机制，并与单平透视视频迭代配准，以获得一系列配准的膝关节姿势，从而显示平滑合理的生理运动模式。

4、因此，本发明的发明者们发现，如果有一种将软组织渲染在x射线图像中的方法，那将是非常有利的，因为该方法不存在上述缺点。

技术实现思路

1、本发明的目的是提供一种将软组织渲染(呈现)到x射线图像中的方法。

2、本发明的目的是通过独立权利要求的主题来解决的，其中进一步的实施例包含在从属权利要求中。

3、所述实施例同样涉及将软组织渲染到x射线图像中的计算机实施方法、数据处理装置、计算机程序和计算机可读存储介质。不同的实施例组合可能会产生协同效果，尽管这些实施例组合可能不会被详细描述。

4、此外，应当指出的是，本发明有关方法的所有实施例均可按所述步骤顺序实施，但这并不是方法步骤的唯一和必须的顺序。除非下文明确提到相反的情况，否则本文所提出的方法可以在不偏离相应方法实施例的情况下采用所公开步骤的另一种顺序实施。

5、根据本发明的第一个实施例，提供了一种将软组织渲染到x射线图像中的计算机实施方法。所述方法包括以下步骤：提供人体至少一个关节的铰接式三维解剖模型，其中，所述模型包括刚性结构和至少一种类型的软组织，并且其中，所述刚性结构包括通过所述关节相连接的至少两个骨骼。所述方法还包括以下步骤：提供患者关节的x射线图像，其中，所述患者关节与所述解剖模型的关节相对应；以及将所述解剖模型与所述x射线图像配准。所述方法还包括以下步骤：将所述至少一种类型的软组织投影(投射)到所述x射线图像的图像域中；以及使所述至少一种类型的软组织在所述x射线图像中可视化。

6、因此，根据这种方法，提供了铰接式解剖模型以及医学x射线图像，所述铰接式解剖模型包括至少一组刚性结构和至少一组非刚性结构。所述模型和所述x射线图像优选地覆盖患者身体的同一区域，尤其是同一关节，例如膝关节。所述解剖模型包括至少一个刚性结构和至少一种类型的软组织，其中，所述刚性结构可包括多个骨骼，这些骨骼通过关节相互连接。所述软组织可被视为患者身体中不是骨骼或至少一部分不是骨骼的部分。例如，软组织可以是肌腱、韧带、皮肤、软骨、肌肉等。特别是，根据本发明，软组织可被视为具有相对较低x射线吸收系数的组织，因此软组织在x射线图像中无法清晰成像。此外，肌肉、脂肪或软骨等不同类型的软组织在衰减方面缺乏差异，这也导致在骨骼射线照相术中难以对软组织成像。铰接式三维解剖模型可以是人体至少一个关节的计算机实施呈现，其中，所述模型包括刚性结构的骨骼和软组织在关节铰接范围内相对于彼此的相对位置和定向(方向)。所述模型的铰接范围以及刚性部分和软性部分的姿势可作为受关注解剖结构的铰接范围(例如膝关节的直腿到完全屈曲)内的采样/支撑点进行采样。

7、在将解剖模型与x射线图像配准的步骤中，可根据x射线图像中描绘的关节姿势调整解剖模型，并确定模型的正确位置和定向，以使得解剖模型的刚性结构与x射线图像中的骨骼相对应。下一步，从解剖模型中得出所述至少一种类型的软组织，并将软组织前向投影到x射线图像的图像域中。这样，软组织就可以与x射线图像中的骨骼一起在x射线图像中渲染和/或可视化。在检查研究的时间序列图像中，可对多个图像重复此步骤。

8、铰接式解剖三维模型能让人很好地了解软组织部分在不同姿势下的外观和行为，并提供了使用由刚性和非刚性结构组成的模型对这些软组织成分进行建模的可能性。因此，基于x射线检查中可见的刚性结构进行配准，并渲染在x射线检查中大多不可见的非刚性结构，可以对诊断、透视、断层扫描或(锥形束)ct中的传统x射线图像进行有力的增强。根据本发明增强的这些图像提高了可读性(特别是对于训练不足的读者)，从而提高了诊断信心。通过将特定受关注结构的统计图谱(图集)映射在x射线图像中，并对色调或颜色图进行局部调整，可以直观地突出显示任何偏差和异常。

9、例如，该方法可作为软件特征(功能)应用于质量控制、cad、pacs、观察站或教育产品。不过，该方法也可应用于任何二维或三维静态或动态成像的x射线成像技术中。

10、在本发明的一个实施例中，将解剖模型与x射线图像配准的步骤包括以下步骤：分割x射线图像，以确定x射线图像中至少两个骨骼的位置；通过对解剖模型应用变换，使解剖模型的刚性结构与x射线图像中至少两个骨骼的位置对齐(对准)，其中，所述变换由解剖模型的旋转、缩放和平移以及解剖模型的关节姿势的调整来定义；以及在对解剖模型应用变换后确定解剖模型中至少一种类型的软组织的位置。

11、因此，目标解剖结构的铰接式三维模型可以静态或动态地与x射线图像配准。例如，x射线图像中骨骼的分割可通过基于模型的分割、全卷积神经网络或其他众所周知的方法进行。可通过优化各关节的旋转、缩放、平移，优选地同时优化各关节的铰接和姿势，将铰接式模型的刚性部分与分割后的骨骼对齐。对于二维图像，这可能需要对图像中的关节进行姿势估计(评估)。

12、然后，可从相应铰接式模型中提取所选的身体软组织部分，并使用相同的变换进行变换，以便将其直接渲染到x射线图像域中，或将统计解剖图谱中受关注结构存在的统计概率图映射到x射线图像中，以便使用局部调整的颜色或色调图增强这些结构的可见度。软组织成分可通过之前确定的变换对软组织的体积或插值表面进行变形来添加。然后，可以使用ct或x射线几何图形和/或之前推断的姿势将软组织前向投影到图像域中。可以使用不同的方法使这些额外的软组织部分可视化。

13、此外，如果图像是通过不同的成像技术获取的，则可通过根据第二个图像调整铰接式模型并对两个图像可能存在的不同铰接进行补偿来将软组织等结构映射到x射线图像上。

14、在本发明的一个实施例中，提供铰接式三维解剖模型的步骤包括提供多个铰接式三维解剖模型，并且将解剖模型的刚性结构与x射线图像中至少两个骨骼的位置对齐的步骤包括以下步骤：确定多个解剖模型中每个解剖模型的残余误差；以及选择多个解剖模型中残余误差最小的解剖模型。

15、因此，可以为每个患者提供一个合适的模型。提供多个解剖模型可确保确定并使用最符合相应患者解剖结构的模型。

16、在本发明的一个实施例中，多个解剖模型包括男性模型和女性模型。

17、除了男性解剖模型和女性解剖模型外，还可以提供不同年龄段患者的模型，例如多个儿童或青少年解剖模型。此外，还可以为不同体重指数的患者(如体重不足、正常、肥胖或运动型患者)提供相应的模型。使用多个模型可确保软组织在x射线图像中的可视化具有最佳效果。

18、在本发明的一个实施例中，x射线图像是二维图像，并且将解剖模型的刚性结构与x射线图像中至少两个骨骼的位置对齐的步骤包括估计x射线图像中患者关节的姿势。

19、使用二维x射线图像可能需要首先确定x射线图像中关节的姿势，然后才能将刚性结构与x射线图像中的骨骼对齐。

20、在本发明的一个实施例中，x射线图像是三维x射线图像。因此，根据本发明的方法也可以使用和增强计算机断层扫描等检查的图像。

21、在本发明的一个实施例中，关节是髋关节、膝关节、踝关节、肩关节、肘关节或腕关节，和/或，软组织包括韧带、肌肉、软骨、肌腱或皮肤。

22、根据本发明，铰接式三维解剖模型可以是人体关节模型。关节可以是但不限于髋关节、膝关节、踝关节、肩关节、肘关节、腕关节。该模型至少包括作为刚性部分的主要骨骼(也可能包括附加骨骼，如膝关节的髌骨)以及至少一种类型的软组织，例如但不限于韧带、肌肉、软骨、皮肤。

23、在本发明的一个实施例中，铰接式三维解剖模型是根据对研究对象的专门或常规检查和/或解剖图谱建立的。

24、在本发明的一个实施例中，铰接式三维解剖模型包括刚性结构和至少一种类型的软组织在关节铰接范围内的位置和形状。

25、在本发明的一个实施例中，将x射线图像分割的步骤是通过基于模型的分割或全卷积神经网络来执行的。

26、另外，也可以通过端到端深度学习模型来执行将解剖模型与x射线图像配准的步骤。因此，如旋转、缩放、平移和姿势之类的配准的参数可以从深度学习模型中导出。

27、在本发明的一个实施例中，使至少一种类型的软组织在x射线图像中可视化的步骤包括确定x射线图像中的强度变化，并基于确定的强度变化调整至少一种类型的软组织的可视化。

28、在该实施例中，使用原始图像中的低级强度变化对软组织部分进行后处理，从而将其细化成实际图像内容。

29、此外，在本发明的一个实施例中，通过从铰接式三维解剖模型中导出的软组织结构对x射线图像进行增强，可用于受关注区域(roi)的自动定位。这些roi可用于吸引读者注意图像中的某些区域，或作为计算机辅助诊断应用的预处理步骤。

30、在本发明的一个实施例中，使至少一种类型的软组织在x射线图像中可视化的步骤包括将软组织渲染为附加对比度、色调映射、颜色叠加或色度调制。

31、因此，身体软组织部分可以以叠加、颜色或强度调制或并排视图的形式可视化。软组织部分也可以使用色调映射来渲染，以增强图像的动态范围。对于图像序列，可将软组织动态渲染到每个帧中。

32、根据本发明的另一方面，提供了一种数据处理装置，该装置包括处理器，所述处理器被配置为执行任一前述实施例的方法的步骤。

33、该数据处理装置可以包括多个处理器，以执行根据本发明的计算机程序。

34、根据本发明的另一方面，提供了一种包括指令的计算机程序，当该程序被计算机执行时，所述指令可使计算机执行任一前述实施例的方法的步骤。

35、该计算机程序可以在一个或多个处理单元上执行，所述处理单元被指示执行将软组织渲染到x射线图像中的方法。优选地，所述程序被存储在将软组织渲染到x射线图像中的系统中，而执行该程序的处理单元是所述系统的一部分。该计算机程序可以是一个计算机程序的一部分，但也可以本身是整个程序。例如，该计算机程序可用于更新已有的计算机程序，以实现本发明。

36、根据本发明的另一方面，提供了一种计算机可读存储介质，该计算机可读存储介质包括指令，所述指令当被计算机执行时可使计算机执行任一前述实施例的方法的步骤。

37、该计算机程序可存储在计算机可读存储介质上。该计算机可读存储介质可以看作是一种存储介质，例如，usb闪存盘、cd、dvd、数据存储设备、硬盘或任何其他可以存储上述程序的介质。

38、因此，任一上述方面提供的益处同样适用于所有其他方面，反之亦然。

39、简而言之，本发明涉及一种将软组织渲染到x射线图像中的计算机实施方法。该方法包括以下步骤：提供人体至少一个关节的铰接式三维解剖模型，其中，所述模型包括刚性结构和至少一种类型的软组织，并且其中，所述刚性结构包括通过关节相连接的至少两个骨骼。该方法还包括以下步骤：提供患者关节的x射线图像，其中，患者的关节与解剖模型的关节相对应；以及将解剖模型与x射线图像配准。该方法还包括以下步骤：将至少一种类型的软组织投影到x射线图像的图像域中；以及使至少一种类型的软组织在x射线图像中可视化。

40、上述方面和实施例将通过以下描述的示例性实施例变得显而易见，并通过参考这些实施例得到阐释。下面将参考以下附图描述本发明的示例性实施例：