用于确定工具定位及其基准标记物的系统和方法与流程

1.本公开整体涉及外科手术工具，具体地，涉及确定在腹腔镜式外科手术中使用的工具的空间定位。


背景技术：

2.内窥镜式器械已被外科医生广泛用于内窥镜式外科手术规程中，因为与外科医生需要切开大面积身体组织的传统开放式外科手术规程相比，内窥镜式器械使得外科手术的侵入性能够更小。其直接结果是，内窥镜式外科手术使患者的创伤降到最低并且减少患者康复时间和住院成本。
3.在标准内窥镜式规程中，使用内窥镜或腹腔镜来观察外科手术区域并使用工作工具来执行外科手术。此类工具通常由外科医生操作工具的外部手柄、连接轴和端部执行器组成，该端部执行器可包括抓钳、夹具、剪刀、缝合器、持针器、血管密封设备等。
4.内窥镜式外科手术中还经常利用与手术室显示器通信的内窥镜式相机，以使外科医生能够在端部执行器组件被操纵到位并被操作以执行期望的外科手术任务时可视化外科手术部位。在这种类型的手术中，外科医生不能依赖眼-心-手的协调。需要专门的训练来补偿腹腔镜式器械的不同感知和有限的自由度。确定工具定位具有以下挑战，例如，光线变化、阴影、镜面反射、噪声、图像中的运动模糊和/或视角。
5.因此，持续需要确定外科手术图像中的工具空间定位。


技术实现要素：

6.根据本公开，提出了一种空间取向和维度确定系统。该空间取向和维度确定系统包括：成像设备，该成像设备被配置用于获得外科手术部位的图像；外科手术工具，该外科手术工具限定中心轴线；处理器；和存储器。该外科手术工具被配置用于在外科手术部位处操作并在其上设置有由机器学习网络生成的基准标记物。该基准标记物包括不同图案。该存储器包括指令，该指令在由该处理器执行时，致使该空间取向和维度确定系统：访问来自该成像设备的图像，该图像包括该基准标记物的至少一部分；基于该基准标记物的可见部分和该不同图案确定该外科手术工具的空间定位；以及基于该外科手术工具的空间参数确定该外科手术工具的位置、维度和/或取向中的至少一者。
7.在一个方面，该外科手术工具是内窥镜式外科手术工具，其具有被配置成执行外科手术功能的功能延伸部。该功能延伸部可包括抓钳、缝合器和/或血管密封器。该功能延伸部可包括钳口。
8.在一方面，该指令在由该处理器执行时，还致使该系统：基于所确定的该外科手术工具的位置、维度或取向确定该功能延伸部的开口程度；以及基于该功能延伸部的该钳口的该开口程度，确定该功能延伸部的该钳口之间夹持的组织的量，和/或该组织在该功能延伸部的该钳口之间被夹持的程度。
9.在另一方面，该功能延伸部具有可限定平面的第一固定钳口和相对于该平面移动
的第二活动钳口。
10.在一方面，该外科手术工具还可包括具有纵向轴线的轴，该外科手术工具被配置用于至少围绕该中心轴线旋转并且包括位于该轴上的至少一个基准标记物。
11.该指令在由该处理器执行时，还可致使该空间取向确定系统提取以下物理量中的至少任一个物理量：钳口开度、到内窥镜的距离、沿着该轴的距离和/或与该轴正交的距离。
12.在另一方面，该基准标记物可围绕该中心轴线沿着该轴的弯曲外表面延伸，使得该外科手术工具的图像仅显露该基准标记物的一部分。
13.在又一方面，该基准标记物的该部分可足以确定该外科手术工具的该空间定位。
14.在再一方面，该基准标记物可包括对应于该外科手术工具的已知点的固定点，由此识别该基准标记物的对该成像设备可见的该部分允许该外科手术工具的该取向的该确定。
15.在再一方面，该基准标记物可具有颜色、大小、聚类、颜色梯度和/或突起的独特布置。
16.在另一方面，该基准标记物可包括具有不同特性的四乘四正方形的图案。
17.根据本公开的各方面，提出了一种被配置用于在外科手术部位处操作的外科手术工具。该外科手术工具包括抓钳，该抓钳包括钳口和设置在该抓钳上的由机器学习网络生成的至少一个基准标记物。该至少一个基准标记物包括不同图案。
18.在一方面，该外科手术工具还可包括被配置成执行外科功能的至少一个功能延伸部。
19.在另一方面，该至少一个功能延伸部可以是肠抓钳、缝合器和/或血管密封器。
20.在又一方面，该基准标记物可包括被配置成可由分析由成像设备获得的图像的软件识别的该图像和/或图案。
21.在再一方面，该基准标记物可具有颜色、大小、聚类、颜色梯度和/或突起的独特布置。
22.在再一方面，该外科手术工具还可包括限定中心轴线的轴。该基准标记物围绕该中心轴线沿着该轴延伸，使得该外科手术工具的图像仅显露该基准标记物的一部分。
23.在再一方面，该基准标记物的该部分可足以确定该外科手术工具的空间定位。
24.在再一方面，该基准标记物可包括具有不同特性的四乘四正方形的图案。
25.在再一方面，该基准标记物可为qr码的形式。
26.根据本公开的其他方面，基准标记物被配置用于与该外科手术工具结合使用。该基准标记物可具有被配置用于由处理单元识别以确定该外科手术工具的空间取向的独特图案。
附图说明
27.本文参考附图描述了本公开的各个方面，其中：
28.图1是根据本公开的示例性可视化或内窥镜系统的图；
29.图2是图1的可视化或内窥镜系统的示意性配置；
30.图3是示出图1系统的光学系统的另一示意性配置的图；
31.图4是根据本公开的方面的可视化或内窥镜系统的示意性配置；
32.图5是根据本公开的用于生成基准物的机器学习网络的框图；
33.图6是根据本公开的用于图1的系统的外科手术工具的空间取向的方法的流程图；
34.图7是根据本公开的外科手术期间肠抓钳的图像；
35.图8是根据本公开的图1的系统的肠抓钳的透视图；
36.图9是根据本公开的用作虚拟卷尺的肠抓钳的透视图；
37.图10是演示根据本公开的测量肠抓钳与观测仪器之间的距离的示意图；
38.图11a是演示根据本公开的基于icg标记进行深度学习的步骤的外科手术图像；
39.图11b是演示根据本公开的利用经典计算机视觉进行解码的步骤的示意性外科手术图像；
40.图12是演示根据本公开的3d重建的外科手术图像；
41.图13是演示根据本公开的3d重建的计算机模型；
42.图14是演示根据本公开的基于从基准标记物获得的数据而进行的外科手术工具的视觉增强的外科手术图像；并且
43.图15是演示根据本公开的通过预测已知对象的大小进行准确度估计的增强外科手术图像。
44.应当理解，为了说明简单和清楚起见，附图所示的元件未必精确地或按比例绘制。例如，为了清楚起见，可相对于其他元件夸大一些元件的尺寸，或可在一个功能块或元件中包括若干物理部件。此外，在认为适当的情况下，可在附图之间重复附图标记以指示对应或类似的元件。
具体实施方式
45.现将参考图式详细地描述所公开的外科手术设备，在图式中，相同参考标号指代若干视图中的每一个中的相同或对应元件。然而，应当理解，本公开的各方面仅仅是本公开的示例，并且可以各种形式体现。未详细描述众所周知的功能或构造，以免不必要的细节模糊本公开。因此，本文所公开的特定的结构和功能细节不应理解为限制性的，而仅仅是权力要求书的基础，并作为具有代表性的基础用于教导本领域的技术人员以几乎任何合适的具体结构不同地采用本公开。此外，方向术语诸如前、后、上、下、顶部、底部、远侧、近侧和类似术语用于帮助理解本说明书，并且不旨在限制本公开。
46.本公开整体涉及外科手术工具，具体地，涉及确定在腹腔镜式外科手术或机器人外科手术中使用的工具的空间定位。
47.参考附图详细地描述了当前所公开的设备、系统和治疗方法的实施方案，其中在若干视图中的每一个中，相同附图标记指代相同或对应的元件。如本文所用，术语“远侧”是指结构的距使用者较远的那部分，而术语“近侧”是指结构的距使用者较近的那部分。术语“临床医生”是指医生、护士或其他护理提供者并可包括支持人员。
48.本公开可适用于捕获外科手术部位的图像的情况。提供内窥镜系统作为示例，但将理解，这样的描述是示例性的，并且不限制本公开的范围和对其它系统和程序的适用性。
49.首先参考图1至图3，根据本公开，内窥镜系统1包含内窥镜10、光源20、视频系统30和显示设备40。继续参考图1，经由光纤引导件22将诸如led光源/氙光源的光源20连接到内窥镜10，该光纤引导件可操作地联接到光源20，且可操作地联接到设置在内窥镜10的手柄
18上或邻近于该手柄设置的内联接器16。光纤引导件22包括例如光纤电缆，该光纤电缆延伸穿过内窥镜10的细长主体12并终止于内窥镜10的远侧端部14处。因此，光从光源20传输通过光纤引导件22，并且离开内窥镜10的远侧端部14朝向患者身体的靶向内部特征(诸如组织或器官)发射。由于这样的配置中的光传输路径相对较长，例如，光纤引导件22的长度可为约1.0m至约1.5m，因此从光源20所发射的光通量的仅约15％(或更少)从内窥镜10的远侧端部14输出。
50.参考图2和图3，视频系统30可操作地连接到图像传感器32，该图像传感器经由数据电缆34安装到内窥镜10的手柄18上或设置在该手柄内。物镜36设置在内窥镜10的细长主体12的远侧端部14处，并且一系列间隔开的中继透镜38(诸如棒状透镜)沿着细长主体12的长度定位在物镜36与图像传感器32之间。由物镜36所捕获的图像经由中继透镜38通过内窥镜10的细长主体12转递到图像传感器32，然后传送给视频系统30进行处理并且经由电缆39输出到显示设备40。图像传感器32定位在内窥镜10的手柄18内或安装到该手柄，该手柄到内窥镜10的远侧端部14的距离可长达约30cm。
51.参考图4，示出了系统的示意性配置，该系统可为图1的内窥镜系统，或可为不同类型的系统(例如，可视化系统等)。根据本公开，该系统包含成像设备410、光源420、视频系统430和显示设备440。光源420被配置为经由光纤引导件422通过成像设备410向外科手术部位提供光。成像设备410的远侧端部414包括用于接收或捕获在外科手术部位处的图像的物镜436。物镜436将图像转递或传输到图像传感器432。然后将图像传送给视频系统430进行处理。视频系统430包含用于控制内窥镜和处理图像的成像设备控制器450。成像设备控制器450包括连接到计算机可读存储介质或存储器454的处理器452，该存储介质或存储器可以是易失性类型存储器诸如ram，或者非易失性类型存储器诸如闪存介质、磁盘介质或其他类型的存储器。在各种实施方案中，处理器452可以是另一种类型的处理器，诸如但不限于数字信号处理器、微处理器、asic、图形处理单元(gpu)、现场可编程门阵列(fpga)或中央处理单元(cpu)。
52.在各种实施方案中，存储器454可以是随机存取存储器、只读存储器、磁盘存储器、固态存储器、光盘存储器和/或另一种类型的存储器。在各种实施方案中，存储器454可与成像设备控制器450分离，并且可通过电路板的通信总线和/或通过通信电缆诸如串行ata电缆或其他类型的电缆与处理器452通信。存储器454包含可由处理器452执行以操作成像设备控制器450的计算机可读指令。在各种实施方案中，成像设备控制器450可包括网络接口540以与其它计算机或服务器通信。
53.图5示出了根据本公开的用于生成基准标记物504的机器学习网络500的框图。在各方面，机器学习网络500可基于图像数据502生成基准标记物504。图像数据可包括训练图像。机器学习网络500可优化基准标记物504，使其更容易在外科手术部位的图像中读取。机器学习网络500可包括例如卷积神经网络(cnn)和/或递归对抗网络。例如，给定训练数据集，递归对抗网络学习生成具有与训练数据集相同统计信息的新数据。可使用其他训练技术。
54.在机器学习中，cnn是一类人工神经网络(ann)，最常用于分析视觉图像。cnn的卷积方面涉及将矩阵处理操作应用于图像的局部部分，并且这些操作的结果(可能涉及数十种不同的并行计算和串行计算)是用于训练神经网络的许多特征的集合。cnn通常包括卷积
层、激活函数层和池化(通常为最大池化)层，以在不损失太多特征的情况下降低维度。在生成这些特征的操作中可包括附加信息。提供产生给出神经网络信息的特征的独特信息可用于最终提供区分神经网络的不同数据输入的聚合方式。
55.术语“人工智能”、“数据模型”或“机器学习”可包括但不限于神经网络、cnn、递归神经网络(rnn)、生成性对抗网络(gan)、贝叶斯回归、朴素贝叶斯、最近邻法、最小二乘法、均值法和支持向量回归法，以及其他数据科学和人工科学技术。
56.基准标记物504可包括被配置成可由分析由内窥镜10获得的图像的软件识别的一组形状或图形、图像和/或不同图案，以使得它们对相机可见的任何组合将足以与相机相比定位基准(距离、角度和/或取向)。对相机可见的任何两个形状或图形或图案足以进行定位。然而，为了更高的准确度，可使用多于两个形状或图形或图案。例如，基准标记物504可包括四乘四正方形的独特图案，例如选择性着色的黑色和白色。在另一示例中，该图案可类似于简化的qr码(参见例如图5)。应当理解，可使用基准标记物504的各种设计，只要以不同角度拍摄的基准标记物504的图像是独特的并且可由软件识别。在各方面，基准标记物504可具有颜色、大小、聚类、颜色梯度的独特布置。
57.在一个方面，基准可应用于外科手术工具的轴的对成像系统最可见的远侧部分。然而，基准可应用于工具的对成像系统可见的任何部分。基准可应用于可通过任何印刷方法和/或突起附接或印刷的任何技术。印刷方法可包括但不限于激光印刷、油墨印刷、3d印刷和/或在被配置用于在外科手术部位处操作的外科手术工具上绘制基准。
58.参考图6，流程图包括按有序顺序描述的各种框。然而，本领域技术人员将理解，可在不脱离本公开的范围的情况下以不同的次序执行、重复和/或省略流程图的一个或多个框。以下对流程图的描述涉及由一个或多个视频系统30执行的各种动作或任务，但本领域技术人员将理解，视频系统30是示例性的。在各种实施方案中，所公开的操作可以由另一部件、设备或系统来执行。在各种实施方案中，视频系统30或其他部件/设备经由在处理器上执行的一个或多个软件应用程序来执行动作或任务。在各种实施方案中，至少一些操作可以由固件、可编程逻辑设备和/或硬件电路系统来实施。本公开的范围内还预期其它实现方式。
59.初始，在步骤602处，视频系统30访问来自成像设备(例如，内窥镜10)的图像。该图像包括被配置用于在外科手术部位处操作的外科手术工具的基准标记物504(图5)的至少一部分。例如，该图像可在基准标记物504的顶部或底部四分之一处仅显示2
×
2图案的正方形。在各方面，图像可包括构成基准标记物504的至少两个形状、图形和/或图案。
60.基准标记物504可包括被配置成可由分析由内窥镜10获得的图像的软件识别的图像和/或不同图案。例如，基准标记物504可包括四乘四正方形的独特图案，例如选择性着色的黑色和白色。在另一示例中，该图案可类似于简化的qr码(参见例如图5)。应当理解，可使用基准标记物504的各种设计，只要以不同角度拍摄的基准标记物504的图像是独特的并且可由软件识别。在各方面，基准标记物504可具有颜色、大小、聚类、颜色梯度、印刷方法和/或突起的独特布置。印刷方法可包括但不限于激光印刷、油墨印刷和/或3d印刷。
61.在各方面，基准标记物可由机器学习网络500生成。例如，机器学习网络可包括神经网络、支持向量机(svm)和/或递归对抗网络。基准标记物可由机器学习网络生成，该基准标记物经优化用于由成像设备进行成像。例如，优化可基于用于训练机器学习网络的图像
的一个或多个特性。一般来讲，在训练期间，确认数据中的图案和关系以构建模型。例如，机器学习网络然后基于该模型根据图像的特性做出推断。
62.接下来，在步骤604处，视频系统30至少基于基准标记物504的可见部分来确定外科手术工具80的空间定位。在各方面，基准标记物504可围绕中心轴线沿着外科手术工具80的轴86(图8)的弯曲外表面延伸，使得外科手术工具80的图像仅显露基准标记物504的一部分。例如，基准标记物的一部分足以确定外科手术工具的空间定位(参见例如图12)。基准标记物504的固定点对应于外科手术工具80的已知点，由此确认基准标记物504的对内窥镜10(例如，成像设备)可见的部分允许外科手术工具80的取向的确定。
63.接下来，在步骤606处，视频系统30基于不同图案确定外科手术工具80围绕其中心轴线的维度、定位、取向和/或旋转角度。例如，视频系统30可基于基准标记物504的不同图案确定外科手术工具80围绕其中心轴旋转约90度。在各方面，视频系统30可基于不同图案确定例如与外科手术工具相邻的组织的维度、定位和/或取向，诸如但不限于抓钳的钳口的开口程度和/或待由动力递送设备(例如，血管密封器)密封的血管的直径。
64.接下来，在步骤608处，视频系统30基于外科手术工具80的空间参数确定抓钳的钳口的开口程度。例如，视频系统30可确定钳口开口约5mm。在各方面，视频系统30可基于功能延伸部81(例如，缝合器)的钳口的开口程度来确定夹持在功能延伸部81的钳口82、84之间的组织的量，和/或组织在功能延伸部81的钳口82、84之间被夹持的程度。例如，组织厚度的确定可用于确定将多少电外科能量施加到被夹持的组织。在各方面，视频系统30可确定工具的所有部分和/或外科手术工具的任何部分附近的组织的维度和/或取向。功能延伸部81可包括具有已知维度的任何端部执行器，例如但不限于抓钳、缝合器和/或血管密封器。
65.在各方面，外科手术工具包括具有纵向轴线的轴。外科手术工具被配置用于至少围绕中心轴线回转。在各方面，外科手术工具可包括位于轴上的基准标记物。在各方面，视频系统30可提取以下物理量：钳口开度、到内窥镜的距离、沿着轴的距离和/或与轴正交的距离。所提取的物理量可用于确定图像中的对象(诸如但不限于器官和/或外科手术工具)的大小。例如，基于所提取的物理量，钳口可用作虚拟卷尺设备。在各方面，功能延伸部81(例如，端部执行器)的边缘可限定垂直于中心轴线的平面，在该平面上可建立对象在该平面上相对于该边缘的径向距离测量。
66.在各方面，视频系统30可基于基准标记物来检测外科手术工具的存在和/或模型。基于外科手术工具的已知模型，可由视频系统30进行3d重建。
67.图7示出了在外科手术期间肠抓钳81的图像，该肠抓钳将夹持患者的组织700的一部分。
68.参考图8和图9，示出了被配置用于在外科手术部位处操作的外科手术工具80。外科手术工具80限定中心轴线。外科手术工具可包括功能延伸部81，例如肠抓钳、端部执行器、缝合器或血管密封器。功能延伸部81(例如，端部执行器)通常包括轴86、第一固定钳口84和第二活动钳口82。外科手术工具80可包括基准标记物504。确定外科手术工具80的空间位置可允许确定沿着组织的点之间的距离，或者至少确定两个钳口的尖端之间的距离。具体地，下部钳口是固定的，其中其顶点可被认为是空间中的固定点，而第二钳口被配置成旋转以便增加/减小钳口的开度。
69.外科手术工具80限定中心轴线(参见图8)。外科手术工具可包括功能延伸部，例
如，功能延伸部81(例如，血管密封器)。在各方面，血管密封器81包括钳口和设置在其上的基准标记物504(图8)。功能延伸部81可包括第一固定钳口84(用作固定点)和第二活动钳口82(图8)。
70.现在转到图10，检测不限于功能延伸部81(例如，肠抓钳)，并且也可扩展到其他外科手术工具。例如，本公开的系统可被配置用于提取内窥镜10的空间数据，并且与外科手术工具80的检测结合，允许确定距离和钳口开度。
71.参考图11a和图11b，示出基准标记物504的标记。初始，将外科手术部位的图像1100输入到机器学习网络500(图5)中。该图像包含外科手术工具80。机器学习网络500标记基准标记物504。例如，基准标记物504可使用吲哚菁绿(icg)绘制来标记(参见图11b)。然后对外科手术工具成像，并预测基准标记物的感兴趣区域(roi)。
72.接下来，视频系统30使用例如但不限于计算机视觉对图像进行解码，包括对roi的自适应阈值化、对roi中轮廓的几何和代码约束以用于检测基准标记物504和/或基于基准标记物对外科手术工具的2d投影。此步骤可能会提供相当低的假阳性率，低于约0.1％。本领域普通技术人员将了解计算机视觉及其实现方法。计算机视觉可由机器学习网络500执行。
73.接下来，视频系统30通过求解透视n点(pnp)问题来执行3d重建，包括在3d模型和匹配的2d投影上提供点，然后求解相机定位。pnp是在给定世界上的一组3d点及其在图像中的对应2d投影的情况下估计经校准相机的姿态的问题。
74.参考图12至图14，一旦视频系统30基于2d投影确定外科手术工具80的在图像1200(图12)中的取向，则之后可通过将计算机模型投影到图像上来通过注释1402(图14)增强图像。例如，视频系统30可确定外科手术工具80在3d空间(图13)中的取向并确定注释1402(例如，目标)的位置。然后，视频系统30可使用注释1402(图14)来增强图像。注释可包括但不限于图形、文本(例如，工具类型的指示)、一种或多种颜色和/或图案(例如，一系列彩色点)。
75.图15示出经增强以指示基于本公开的系统的图像的示例性增强的图像。外科手术工具80具有基于基准标记物504覆盖在外科手术工具80的活动钳口82上的图案1502。
76.根据上文并且参考各种附图，本领域技术人员将理解，在不脱离本公开的范围的情况下，还可对本公开进行某些修改。虽然已经在附图中示出了本公开的若干实施方案，但并不希望将本公开限于此，因为希望使本公开与所属领域所允许的范围一样广泛并且应以同样的方式阅读本说明书。因此，以上说明不应理解为限制性的，而是仅作为具体实施方案的例示。本领域的技术人员能够设想在本文所附权利要求书的范围和实质内的其他修改。