用于术中可视化的装置、系统和方法与流程

本文所公开的主题涉及术中可视化，并且具体地涉及增强术中可视化系统中的容错性的装置、系统和方法。

背景技术：

1、可视化系统通常在术中用于成像组织、进行活检、外科手术、诊断和/或其他医疗手术。如本文所用，术语“术中”是指在任何医疗手术(侵入性或非侵入性)期间执行的动作或发生的事件。在可视化系统混合和融合多个流的情况下，意外的故障可能导致没有图像显示给医疗人员。因为可视化通常对许多医疗手术的执行极为重要，所以故障可能不利地影响手术的执行，从而引起延迟、增加错误的可能性、中断流动、降低设备利用率，并且在一些情况下可导致手术中止。因此，本文所公开的一些实施方案通过增强术中可视化系统中的容错性来增强安全性和功效。

技术实现思路

1、在一些实施方案中，一种方法可包括：接收具有α信道的一个或多个图形流，其中该图形流包括一个或多个图形帧；接收包括实时视频帧的至少一个第一术中实时视频流，该至少一个第一术中实时视频流是从医疗设备接收的；将至少一个当前图形帧存储到第一缓冲器中；将来自该第一缓冲器的该至少一个当前图形帧与该至少一个当前实时视频帧融合到至少一个融合帧中；以及响应于该融合将导致该至少一个当前实时视频帧的不显示的同时确定，在该术中手术期间实时发起当前实时视频帧的显示。在一些实施方案中，该至少一个第一术中实时视频流可通过混合两个术中实时视频流获得。在一些实施方案中，该至少一个第一术中实时视频流可包括立体实时视频流。

2、在一些实施方案中，上述方法还可包括实时显示该至少一个当前实时视频帧以及错误指示。

3、在一些实施方案中，发起该当前实时视频帧的显示的确定可发生在完成该至少一个当前图形帧与该至少一个当前实时视频帧的该融合的时间内。在一些实施方案中，发起该至少一个当前实时视频帧的显示的确定可以是基于该至少一个融合帧中的实心行的数量与该至少一个融合帧中的行的总数量的比率。例如，当该比率超过阈值时，可做出发起该至少一个当前实时视频帧的显示的确定。

4、在一些实施方案中，响应于该融合将导致该至少一个当前实时视频帧的显示的确定，可发起该至少一个融合帧的显示。例如，当该至少一个融合帧中的实心行的数量与该至少一个融合帧中的行的总数量的该比率不超过阈值时，可做出发起该至少一个融合帧的显示的确定。

5、在一些实施方案中，接收至少一个第一术中实时视频流可包括以下中的至少一者：任选地将该至少一个当前实时视频帧存储到至少一个第二缓冲器中；或者对该至少一个当前实时视频帧进行下采样，并且将该至少一个下采样的当前实时视频帧存储到至少一个第三缓冲器中；或者它们的组合。在一些实施方案中，可实时执行下采样。

6、在另一方面，一种装置可包括：至少一个存储器，该存储器包括多个缓冲器；以及处理器，该处理器耦合到该存储器，其中该处理器被配置为：接收具有α信道的一个或多个图形流，其中该图形流包括一个或多个图形帧；接收包括实时视频帧的至少一个第一术中实时视频流，该至少一个第一术中实时视频流是从医疗设备接收的；将至少一个当前图形帧存储到第一缓冲器中；将来自该第一缓冲器的该至少一个当前图形帧与该至少一个当前实时视频帧融合到至少一个融合帧中；以及响应于该融合将导致该至少一个当前实时视频帧的不显示的同时确定，在该术中手术期间实时发起当前实时视频帧的显示。在一些实施方案中，该至少一个第一术中实时视频流可通过混合两个术中实时视频流获得。在一些实施方案中，该至少一个第一术中实时视频流可包括立体实时视频流。在一些实施方案中，该装置和/或该处理器可被配置为执行上述方法。

7、在又一方面，一种系统可包括：用于接收具有α信道的一个或多个图形流的装置，其中该图形流包括一个或多个图形帧；用于接收包括实时视频帧的至少一个第一术中实时视频流的装置，该至少一个第一术中实时视频流是从医疗设备接收的；用于将至少一个当前图形帧存储到第一缓冲装置中的装置；用于将来自该第一缓冲装置的该至少一个当前图形帧与该至少一个当前实时视频帧融合到至少一个融合帧中的装置；用于响应于融合装置的输出将导致该至少一个当前实时视频帧的不显示的同时确定而在该术中手术期间实时发起当前实时视频帧的显示的装置。在一些实施方案中，机器人医疗系统可包括用于执行本文所述的方法的装置。

8、在又一方面，一种系统可包括：至少一个存储器，该存储器包括多个缓冲器；以及处理器，该处理器耦合到该存储器，其中该处理器被配置为：接收具有α信道的一个或多个图形流，其中该图形流包括一个或多个图形帧；接收包括实时视频帧的至少一个第一术中实时视频流，该至少一个第一术中实时视频流是从医疗设备接收的；将至少一个当前图形帧存储到第一缓冲器中；将来自该第一缓冲器的该至少一个当前图形帧与该至少一个当前实时视频帧融合到至少一个融合帧中；以及响应于该融合将导致该至少一个当前实时视频帧的不显示的同时确定，在该术中手术期间实时发起当前实时视频帧的显示。在一些实施方案中，该至少一个第一术中实时视频流可通过混合两个术中实时视频流获得。在一些实施方案中，该至少一个第一术中实时视频流可包括立体实时视频流。在一些实施方案中，该装置和/或该处理器可被配置为执行本文所述的方法。

9、在一些实施方案中，一种计算机可读介质可包括指令，以将处理器配置为：接收具有α信道的一个或多个图形流，其中该图形流包括一个或多个图形帧；接收包括实时视频帧的至少一个第一术中实时视频流，该至少一个第一术中实时视频流是从医疗设备接收的；将至少一个当前图形帧存储到第一缓冲器中；将来自该第一缓冲器的该至少一个当前图形帧与该至少一个当前实时视频帧融合到至少一个融合帧中；以及响应于该融合将导致该至少一个当前实时视频帧的不显示的同时确定，在该术中手术期间实时发起当前实时视频帧的显示。在一些实施方案中，该至少一个第一术中实时视频流可通过混合两个术中实时视频流获得。在一些实施方案中，该至少一个第一术中实时视频流可包括立体实时视频流。在一些实施方案中，计算机可读介质可包括指令，以将该处理器配置为执行本文所述的方法。

技术特征：

1.一种处理器实现的方法，包括：

2.根据权利要求1所述的方法，其中，发起所述当前实时视频帧的显示的所述确定发生在完成所述至少一个当前图形帧与所述至少一个当前实时视频帧的所述融合的时间内。

3.根据权利要求1所述的方法，还包括：

4.根据权利要求1所述的方法，其中，发起所述至少一个当前实时视频帧的显示的所述确定是基于所述至少一个融合帧中的实心行的数量与所述至少一个融合帧中的行的总数量的比率。

5.根据权利要求4所述的方法，其中，当所述比率超过阈值时，做出发起所述至少一个当前实时视频帧的显示的所述确定。

6.根据权利要求1所述的方法，还包括：

7.根据权利要求6所述的方法，其中，当所述至少一个融合帧中的实心行的数量与所述至少一个融合帧中的行的总数量的所述比率不超过阈值时，做出发起所述至少一个融合帧的显示的所述确定。

8.根据权利要求1所述的方法，其中，接收至少一个第一术中实时视频流包括以下中的至少一者：

9.根据权利要求8所述的方法，其中，实时执行所述下采样。

10.根据权利要求1所述的方法，其中，所述至少一个第一术中实时视频流是通过混合两个术中实时视频流来获得的。

11.根据权利要求1所述的方法，其中，所述至少一个第一术中实时视频流包括立体实时视频流。

12.根据权利要求1所述的方法，所述方法由处理器执行，其中，所述处理器耦合到存储器，包括所述第一缓冲器的多个缓冲器在所述存储器中实现。

13.一种系统，包括：

14.根据权利要求13所述的系统，其中，发起所述至少一个当前实时视频帧的显示的确定发生在完成所述至少一个当前图形帧与所述至少一个当前实时视频帧的所述融合的时间内。

15.根据权利要求13所述的系统，还包括所述处理器，所述处理器使所述至少一个当前实时视频帧以及错误指示显示。

16.根据权利要求13所述的系统，其中，发起所述至少一个当前实时视频帧的显示的确定是基于所述至少一个融合帧中的实心行的数量与所述至少一个融合帧中的行的总数量的比率。

17.根据权利要求16所述的系统，其中，当所述比率超过阈值时，做出发起所述至少一个当前实时视频帧的显示的所述确定。

18.根据权利要求13所述的系统，其中，所述处理器被进一步配置为：

19.根据权利要求18所述的系统，其中，当所述至少一个融合帧中的实心行的数量与所述至少一个融合帧中的行的总数量的所述比率不超过阈值时，做出发起所述至少一个融合帧的显示的所述确定。

20.一种非暂态计算机可读介质，包括指令，以将处理器配置为：

技术总结将导致来自医疗设备的实时视频流的不显示或模糊的融合流中的错误可被自动地检测，并且对应于第一实时视频流的故障转移流可显示给医疗人员。例如，正被融合的一个或多个第二输入流可能不含有数据或含有无效数据，这可能导致该融合流不显示(或模糊)实时视频流(如果显示该融合流)。从融合到故障转移缓冲器的切换可能发生在处理单个视频图像帧的时间内。在检测到(在显示之前)该融合流将不显示实时视频流时，可发起来自该故障转移缓冲器的实时视频流的显示。还描述并要求保护其他方面。技术研发人员：B·A·菲尔斯特,B·戈内克,R·科杰夫,P·G·吉尔罗伊,B·桑克,F·博克受保护的技术使用者：威博外科公司技术研发日：技术公布日：2024/9/26