对图形显示的调整的制作方法

本发明涉及一种用于调整(适配)图形显示的计算机实现的方法、系统和计算机程序产品。

背景技术：

1、为了检测检查对象中的复杂解剖对象，例如器官和/或中空器官和/或组织和/或肿瘤和/或神经血管病变，和/或医学对象，例如导管和/或导丝和/或内窥镜和/或植入物，可以检测检查对象的3d空间解析的医学图像数据和/或模型数据，并以图形显示给医学查看者。目前的方法基于立方视场(field-of-view，fov)重建3d数据集，例如3d数字减影血管造影(dsa)。不利的是，沿观察方向布置在检查对象的感兴趣的解剖和/或医学对象前的解剖和/或医学对象会至少部分叠加和/或覆盖图形显示中的感兴趣的对象。由此会不利地影响检查对象的过程规划和/或诊断。

技术实现思路

1、因此，本发明的任务是确保在图形显示中检查对象的多个解剖和/或医学对象的可检测性。

2、该技术问题根据本发明通过独立权利要求的内容解决。具有适宜的改进设计的有利实施方式是从属权利要求的内容。无论特定术语的语法性别如何，具有男性、女性或其他性别身份的人都包括在内。

3、在第一方面，本发明涉及一种用于调整图形显示的计算机实施的方法。在步骤a)中，检测具有检查对象的多个解剖和/或医学对象的图像和/或模型的数据集。在另外的步骤b)中，通过显示单元显示数据集的图形显示。在另外的步骤c)中，通过检测信号识别多个解剖和/或医学对象中的至少一个，该至少一个对象由图形显示的查看者查看。在此，检测信号由检测单元提供，该检测单元构造用于识别由查看者当前查看的图形显示的子区域，并且根据所识别的子区域提供检测信号。在另外的步骤d)中，通过调整图形显示的显示参数调整至少一个识别的对象的图形显示。

4、有利的是，上述步骤a)至d)可以至少部分地、特别是全部地、先后相继地或同时进行。此外，上述步骤a)至d)可以至少部分，特别是全部由计算机执行。

5、检查对象可以是例如人类的和/或动物病患和/或检查体模。查看者可以是人员，特别是医学人员，例如医生。

6、检测数据集可包括接收和/或记录数据集。接收数据集尤其可以包括检测和/或读取计算机可读数据存储器和/或从数据存储单元，例如数据库接收。此外，数据集可由医学成像设备的提供单元提供。替选或额外地，可以通过医学成像设备记录数据集。

7、用于记录数据集的医学成像设备可包括医学x光设备，特别是医学c型臂x光设备和/或锥束ct(cbct)系统和/或计算机断层扫描(ct)系统和/或磁共振成像(mri)系统和/或正电子发射断层扫描(pet)系统和/或超声波设备。

8、数据集可具有检查对象的多个解剖和/或医学对象的图像和/或模型，特别是分别包括图像和/或分别包括模型。检查对象可具有至少一个解剖对象，特别是多个解剖对象，以及至少一个医学对象，特别是多个医学对象。替选地，检查对象可具有多个解剖对象或多个医学对象。至少一个解剖对象可包括检查对象的血管区段和/或中空器官和/或器官和/或组织。此外，至少一个医学对象可包括诊断和/或手术器械和/或布置在检查对象内或检查对象上的植入物。

9、有利的是，数据集可具有检查对象的多个解剖和/或医学对象的二维(2d)和/或三维(3d)空间分辨图像。二维空间分辨图像可将检查对象的多个解剖和/或医学对象映射成二维投影。特别是，检查对象的多个解剖和/或医学对象的图像可包括多个像点，特别是像素和/或体素，其带有图像值，特别是衰减值和/或强度值，其映射多个解剖和/或医学对象。替选或额外地，数据集可具有检查对象的多个解剖和/或医学对象的二维和/或三维空间分辨模型，例如容积模型，特别是容积网格模型，和/或骨架化模型，特别是中心线模型。例如统计和/或标准化模型可根据检查对象的参数调整适配检查对象。替选或额外地，可以根据预检测的数据，例如检查对象的术前图像数据提供模型。例如可将模型设计为检查对象的数字孪生(digital twin)。数据集也可以是时间分辨的，特别是数据集可以包括检查对象的多个解剖和/或医学对象的时间分辨图像和/或时间分辨模型。

10、显示单元可包括监视器和/或投影仪和/或屏幕和/或数据眼镜，其用于显示数据集的图形显示。数据集的图形显示可以是二维或三维空间分辨的。此外，数据集的图形显示可以是时间分辨的，例如视频和/或序列。

11、检测单元可包括传感器，特别是光学和/或声学和/或电磁和/或机械传感器，其构造用于识别查看者当前查看的图形显示的子区域。替选或额外地，检测单元还可以包括输入单元，例如键盘和/或指示设备和/或输入屏，其构造用于检测查看者的输入。检测单元还在此可以构造为根据用户的输入识别图形显示的子区域。输入可包括用于子区域空间识别的信息。替选或额外地，输入可以包括图形显示的几何变换的信息，例如渲染和/或旋转和/或缩放和/或平移和/或变焦和/或剪切。子区域可包括数据集图形显示的空间区段，特别是关联的空间区段。有利的是，检测单元根据识别的子区域提供检测信号，特别是具有关于识别的子区域的信息。对查看者当前查看的图形显示的子区域的识别可以手动进行，例如根据输入，也可以自动进行，例如根据检测到的查看者的视线方向。

12、有利的是，多个解剖和/或医学对象中的至少一个，特别是多个，可以根据检测信号被识别，其由图形显示的查看者查看，特别是在瞬间查看。有利的是，多个解剖和/或医学对象中的至少一个，特别是多个解剖和/或医学对象的至少一个图像和/或至少一个模型，可以与数据集图形显示的子区域相关联，例如通过空间对应以提供数据集的图形显示。有利的是，多个解剖和/或医学对象中的至少一个解剖和/或医学对象可以根据检测信号被识别，其至少部分地，特别是大部分或完全地表示在图形显示的子区域中。

13、在步骤d)中，可以尤其选择性地调整至少一个识别出的对象，尤其是多个识别出的对象的图形显示的尤其多个显示参数。有利的是，其他解剖和/或医学对象的图形显示的显示参数可以保持基本不变。显示参数可包括亮度和/或对比度和/或透明度和/或色彩和/或饱和度。有利的是，通过调整显示参数，可对至少一个识别出的对象的图形显示进行突显、隐藏和/或标注，特别是标记。有利的是，待调整的显示参数可以自动预先给定，特别是识别，或根据查看者的另外的输入识别。

14、所提出的实施方式可有利地确保在图形显示中多个解剖和/或医学对象的可检测性。

15、在所提出的方法的另外的有利实施方式中，步骤b)至d)可重复执行，直到出现中断条件。

16、有利的是，中断条件可以规定步骤c)至d)的最大重复数量，例如剩余的计划的程序步骤的数量。替选或额外地，中断条件还可以规定重复执行步骤b)至d)的最长持续时间，特别是总共的。替选或额外地，查看者对所有的多个解剖和/或医学对象的查看，特别是累积的查看，可导致中断条件的发生。

17、所提出的实施方式可以根据已查看过的对象通过反复、尤其是逐步调整图形显示，实现图形显示中其余对象的更好的可检测性。

18、在所建议方法的另一个有利实施例中，数据集可分别包括多个解剖和/或医学对象的三维图像和/或三维模型。图形显示可包括三维图像和/或三维模型的二维投影。

19、有利的是，数据集可针对多个解剖和/或医学对象中的每个对象分别包括三维图像，特别是三维空间分辨图像，和/或三维模型，特别是三维空间分辨模型。有利的是，多个解剖和/或医学对象的三维图像和/或三维模型可以在三维空间布局中彼此虚拟定位，特别是根据它们在检查对象中的实际定位。图形显示可作为多个解剖和/或医学对象的三维图像和/或三维模型的二维投影图像提供，例如在显示平面上。

20、有利的是，图形显示可以具有显示点、尤其是像素，其带有显示值、尤其是像素值，表示三维图像和/或三维模型的二维投影。二维投影图像可将三维图像和/或三维模型的图像值和/或模型值沿二维投影，特别是沿相应的投影方向，映射到显示平面上，特别是显示值上。

21、在所建议方法的另一个有利实施例中，多个解剖和/或医学对象的三维图像和/或三维模型可沿二维投影至少部分相互重叠和/或覆盖。在此，如果多个解剖和/或医学对象在图形显示的子区域内至少部分相互重叠和/或覆盖，则可根据检测信号识别沿二维投影分别在前景的解剖和/或医学对象。

22、多个解剖和/或医学对象的三维图像和/或三维模型可沿二维投影，特别是沿二维投影图像在显示平面上的投影方向，至少部分相互重叠和/或相互覆盖。特别是，多个不同三维图像和/或三维模型的图像值和/或模型值可以映射到显示值上。例如显示值可以确定为函数，例如作为沿二维投影的图像和/或模型值的总和和/或乘积，和/或作为最大值和/或最小值。

23、如果多个三维图像和/或三维模型与数据集图形显示的子区域相关联，例如通过用于提供数据集图形显示的空间对应关系相关联，则可根据检测信号分别识别沿二维投影的前景的解剖和/或医学对象。在此，相对于其他解剖和/或医学对象，沿二维投影朝向查看者布置的解剖和/或医学对象可有利地作为前景识别。

24、在所建议方法的另一个有利实施例中，可通过光线追踪和/或深度缓冲(z-buffering)在三维图像和/或三维模型中识别至少一个解剖和/或医学对象。

25、根据检测信号可有利地将图形显示的子区域识别为表示平面内的二维空间限定区域。子区域可包括图形显示的多个显示点，其表示二维投影。从子区域，特别是子区域内的显示点开始，可以通过光线跟踪和/或深度缓冲识别由查看者查看的至少一个解剖和/或医学对象。特别是，在子区域内有多个解剖和/或医学对象而其至少部分相互重叠和/或遮挡时，可通过光线跟踪和/或深度缓冲从子区域出发与二维投影的投影方向相反地识别前景的解剖和/或医学对象。

26、所建议的实施例可以实现对至少一个被观察的解剖和/或医学对象的更好的、特别是鲁棒的识别。

27、在所建议方法的另一个有利实施例中，检测数据集可包括通过至少部分不共线的投影方向记录检查对象的投影图像。在此三维图像可以从多个投影图像重建。

28、用于记录数据集，特别是投影图像的成像设备可以有利地具有源和探测器，它们可以相对于检查对象，特别是感兴趣区域以确定的布局定位。在医学成像设备构造为医学x射线设备，特别是医学c臂x射线设备和/或计算机断层扫描(ct)系统时，源可以是x射线源，探测器可以是x射线探测器。

29、至少部分非共线的投影方向可以分别说明在相应的投影图像的记录时间点、医学成像设备的源和探测器，特别是探测器中心之间的光束，特别是中心和/或中央光束的走向。特别是，投影方向可以分别说明医学成像设备相对于检查对象的角度和/或确定的源和探测器布局的等中心，特别是旋转中心。等中心可以说明一个空间点，尤其在记录投影图像期间，确定的源和探测器布局可以围绕该空间点移动，特别是旋转。有利的是，至少部分共线的投影方向可以分别穿过、尤其是共同的等中心。

30、有利的是，多个投影图像可以分别以二维空间分辨地对检查对象成像。有利的是，可以从多个投影图像重建三维图像，使三维图像以三维空间分辨对检查对象中的解剖和/或医学对象成像。例如重建可以包括滤波背投影。特别是可以根据三维dsa从投影图像重建三维图像。为此，投影图像可以在掩膜阶段、尤其是未施加对比，和填充阶段、尤其是施加对比地对检查对象成像。通过从填充阶段的投影图像、特别是三维图像中减去掩膜阶段的投影图像、特别是重建的三维图像，可以提供施加对比的解剖对象的三维图像。此外，重建可以包括投影图像和/或三维图像的空间、时间和/或基于强度的窗化，尤其是自动或用户特定地进行窗化(fensterung或称为视窗化)。

31、在所建议方法的另一个有利实施例中，检测单元可以具有视线方向检测单元，其构造用于检测查看者相对于图形显示的瞬间视线方向。此外可以根据视线方向识别查看者当前查看的图形显示子区域。

32、视线方向检测单元可以具有传感器，例如电磁和/或光学传感器，用于检测查看者的瞬间视线方向，例如通过检测查看者瞳孔的空间定位，特别是瞬间定位。有利的是，视线方向检测单元构造用于检测查看者对图形显示，特别是显示平面的视线方向。视线方向可以描述查看者视线所沿的空间维度。视线方向检测单元可以集成到显示单元中，和/或以与显示单元确定的位置关系布置。此外，视线方向检测单元可以设计成将视线方向与图形显示的尤其是显示平面上的至少一个显示点，尤其多个显示点关联。子区域可以包括与当前视线方向关联的至少一个显示点。此外，子区域还可以被识别，形式为包括预定义环境中的多个显示点，例如围绕相关联的显示点。替选或额外地，可以包括多个显示点地识别子区域，这些显示点由查看者查看，持续预定的查看持续时间和/或在预定的查看间隔内。

33、建议的实施例可以特别直观地识别图形显示的子区域。

34、在所建议方法的另一个有利实施例中，显示参数可包括亮度和/或对比度和/或透明度和/或着色和/或饱和度。

35、调整显示参数可包括增加或减少至少一个识别的对象的图形显示的亮度和/或对比度和/或透明度和/或饱和度。替选或额外地，可以调整至少一个识别的对象的图形显示的着色。有利的是，至少一个识别的对象的图形显示的亮度和/或对比度和/或透明度和/或着色和/或饱和度可以相对于其余的解剖和/或医学对象的图形显示的亮度和/或对比度和/或透明度和/或着色和/或饱和度进行调整。

36、如果图形显示有三维图像和/或三维模型的二维投影，则至少一个识别的对象的三维图像和/或三维模型的二维投影的亮度和/或对比度和/或透明度和/或着色和/或饱和度可以有利地调整，特别是选择性地调整。有利的是，至少一个识别对象的图形显示的显示参数，特别是亮度和/或对比度和/或透明度和/或着色和/或饱和度，可以以这样的方式进行调整，即其他对象的图形显示的至少部分叠加和/或遮挡被减少，特别是最小化。替选或额外地，可以调整显示参数，将至少一个识别的对象标示，特别是标记以查看，例如通过专用的着色和/或去饱和度和/或透明度。

37、所建议的实施例可以有利地实现经调整的图形显示中剩余、特别是未查看的解剖和/或医学对象的更好的可检测性。

38、在所建议方法的另一个有利实施例中，至少一个解剖对象可包括检查对象的血管区段和/或中空器官和/或器官和/或组织。此外，至少一个医学对象可包括诊断和/或手术器械和/或植入物。

39、至少一个解剖对象可以有利地包括检查对象的血管区段，例如动脉和/或静脉，和/或血管畸形，例如动静脉畸形和/或病灶，和/或中空器官，例如肺，和/或器官，例如肝脏和/或心脏，和/或组织，例如肌肉组织和/或骨骼结构和/或肿瘤组织。

40、至少一个医学对象例如可包括诊断和/或手术器械，例如导丝和/或导管和/或内窥镜，和/或植入物，例如支架。

41、所提出的实施方式可有利地确保在图形显示中多个解剖和/或医学对象的可检测性。

42、在所建议方法的另一个有利实施例中，可根据检测信号检测图形显示子区域的查看持续时间。在此，在达到或超过预定的阈值时，可以通过检测到的查看持续时间识别至少一个对象。

43、有利的是，根据时间分辨的检测信号可确定查看者查看图形显示的单个空间区域多久。在此根据检测信号首先可将图形显示的所有查看的区域识别为候选子区域。在候选子区域的查看持续时间达到或超过预定的阈值时，候选子区域可被识别为子区域。在此查看持续时间可表示查看者查看图形显示子区域的持续时间。

44、阈值可根据查看者的进一步输入和/或根据统计的查看持续时间和/或查看者特定地确定。

45、所建议的实施例可以实现对子区域和至少一个被观察的解剖和/或医学对象的更好的、特别是可靠的识别。

46、在所建议方法的另一个有利实施例中，可以检查查看者是否已查看过图形显示中多个解剖和/或医学对象的所有图像。如果没有，则可输出工作流程提示。

47、有利的是可以将多个解剖和/或医学对象的图像分类为已查看或未查看，特别是根据步骤c)中的识别。有利的是可以反复，特别是连续检查图形显示中的多个解剖和/或医学对象的所有图像是否都被分类为已查看。如果没有，特别是有解剖和/或医学对象的图像被分类为未查看时，则可以输出工作流程提示。工作流程提示可以包括图形显示，例如提示文本和/或符号和/或几何对象，例如轮廓，和/或语音输出和/或触觉反馈，例如振动。有利的是，工作流程提示可以通过显示单元和/或扬声器和/或振动电机输出。工作流程提示可具有在图形显示中存在被归类为未查看的解剖和/或医学对象图像的信息。此外，工作流程提示还可以具有对至少一个被归类为未查看的图像的提示，特别是图像在图形显示中的位置，例如箭头和/或轮廓。

48、所建议的实施例可有利地确保完整查看图形显示中成像的解剖和/或医学对象。

49、第二方面本发明涉及一种系统，其包括检测单元、显示单元和提供单元构成。提供单元构造用于检测具有检查对象的多个解剖和/或医学对象的图像和/或模型的数据集。显示单元用于显示数据集的图形显示。检测单元构造用于识别由查看者当前查看的图形显示的子区域，并且根据所检测的子区域提供检测信号。提供单元进一步构造用于根据检测信号识别多个解剖和/或医学对象中的至少一个，该至少一个对象由图形显示的查看者查看。提供单元和/或显示单元进一步构造用于通过调整图形显示的显示参数来调整至少一个识别的对象的图形显示。

50、所建议系统的优点基本上与所建议对图形显示调整的方法的优点相对应。在此提到的特征、优点或者备选的实施方式同样也可以向其他要求保护的内容上转移并且反之亦然。

51、在所建议系统的另一个有利实施方式中，系统可进一步包括医学成像设备，该设备构造用于记录数据集。

52、用于记录数据集的医学成像设备可包括医学x光设备，特别是医学c型臂x光设备和/或锥束ct(cbct)系统和/或计算机断层扫描(ct)系统和/或磁共振成像(mri)系统和/或正电子发射断层扫描(pet)系统和/或超声波设备。

53、所建议成像设备的优点基本上与所建议对图形显示调整的方法的优点相对应。在此提到的特征、优点或者备选的实施方式同样也可以向其他要求保护的内容上转移并且反之亦然。

54、本发明在第三方面涉及一种计算机程序产品，其具有可直接加载到提供单元的存储器中的计算机程序，计算机程序带有程序部段，当程序部段由提供单元执行时，执行所建议的用于调整图形显示的方法的所有步骤。计算机程序产品在此可以包括带有仍需编译和绑定或仅需解释的源代码的软件，或仅需加载到提供单元中执行的可执行的软件代码。通过计算机程序产品可通过提供单元快速、可相同地重复和鲁棒地执行调整图形显示的方法。计算机程序产品配置成可以通过提供单元执行根据本发明的方法步骤。

55、计算机程序产品例如存储在计算机可读存储介质上或存在网络或服务器上，可从该网络或服务器加载到提供单元的处理器中，其与提供单元直接连接或构造为提供单元的一部分。此外计算机程序产品的控制信息可以存储在电子可读数据载体上。电子可读数据载体的控制信息可以设计为在数据载体用于提供单元中时执行建根据本发明的方法。对于电子可读数据载体的例子是dvd、磁带或usb棒，其上存储电子可读控制信息，尤其软件。当该控制信息由数据载体读取和存储到提供单元中时，可以执行上述方法的所有根据本发明的实施方式。

56、主要根据软件实现具有的优点是，至今已使用的提供单元可以以简单的方式通过软件更新改装，以按照本发明的方式工作。除了计算机程序外，这样的计算机程序产品还可以包括其他组成部分，如文件和/或其他组件，以及硬件组件，如用于使用该软件的硬件锁(加密狗等)。