在控制状态之间的分段力反馈过渡的制作方法

在控制状态之间的分段力反馈过渡
1.本技术是于2017年1月12日提交的名称为“在控制状态之间的分段力 反馈过渡”的中国专利申请201780006338.x的分案申请。
2.优先权声明
3.本技术要求在2016年1月12日提交的美国临时专利申请号62/277,820 的优先权，其全部内容通过引用并入本文。
技术领域
4.本发明涉及用于向手术系统的操作者提供触觉反馈的系统和方法，并且 更具体地涉及当系统的控制状态改变时维持使用者的直观触觉轮廓。


背景技术：

5.远程操作的手术系统往往旨在医疗手术期间提高医生的精确度和/或减少 患者创伤。在这样的系统中，外科医生与输入装置(有时被称为“主装置
”ꢀ
或“主控制器”)交互以控制由驱动机构(例如马达)致动的手术器械。由于 外科医生不直接操纵手术器械，因此在输入装置处提供指示或复制手术器械 感觉到的力的触觉反馈有时可能是有益的。为了提供良好的用户体验，外科 医生将通过系统状态和配置变化理想地体验无缝触觉体验。然而，这可能难 以实现，特别是当给定的输入装置被用于多个不同的控制状态时。例如，单 个输入装置可以用于控制多个不同器械(需要在这些不同器械之间切换控 制)，可以用于控制手术系统的整体定位(例如，改变正观察关注的解剖区域 的内窥镜的视点)，可以用于改变手术系统的设置，和/或可以简单地与任何控 制效果分离。
6.响应于这种控制状态改变以简单地激活/去激活/改变触觉反馈可产生抽 动和不直观的交互。如果在一种状态下对使用者施加力并且在下一状态下不 会施加给使用者力，则立即将力从完全力变为无力会令使用者感到困惑。例 如，当从控制具有触觉反馈的器械过渡到控制没有触觉反馈的器械(例如， 内窥镜)或以其他方式进入没有触觉反馈(或甚至不同触觉反馈)的控制状 态，例如器械改变(即，从操纵器上移除器械)、退出随动(即，禁止通过输 入装置控制器械)或者换臂(即，在输入装置的控制下改变手术器械/机械臂/ 操纵器)时，触觉反馈的立即丢失会感觉像是对使用者的阻力意外丢失。
7.当使用者从没有给予力(或给予低力)的器械过渡到具有力(高力)的 器械时，如果立即启用力反馈，则使用者发现它也同样令人感到困惑。例如， 当我们从摄像机控制过渡回带有力反馈的器械时，会发生这种情况。这也会 在使用者最初控制器械的任何时候发生(例如，首先进入与器械随动的过渡)。
8.当使用者正在将控制状态改变到中间状态时，出现另一个问题，在中间 状态时虽然控制状态仍然与特定器械相关联(例如离合，进入ui等)但没有 施加控制。在中间状态期间关闭力反馈并且在返回直接控制器械时重新打开 力反馈，这对于使用者来说并不理想。往往这些中间控制状态持续时间短， 因此快速开启/关闭力可能会产生问题。
9.需注意，呈现给使用者的力反馈可以为来自传感器、来自算法、来自用 户界面提
示、碰撞检测等的反馈的总和。


技术实现要素：

10.为了减轻在改变控制状态时的突然的力过渡的不适，可以执行从在输入 装置处显示的原始力(并且因此，对使用者)到适于新控制状态的水平的分 段过渡。
11.在一些实施例中，触觉反馈力矢量从力a过渡(在某段非零时间内在方 向和/或大小上过渡)到力b。力a大小可以大于或小于力b(或在一些实施 例中等同，在此过渡是仅方向的过渡)。从力a到力b的大小的分段过渡的轮 廓可以为随时间发生的任何轮廓，包括线性或曲线的过渡，并且可以包括作 为所述过渡的一部分的非连续性过渡(例如，阶跃)。
12.在一些实施例中，对于涉及进入使用者保持与特定器械相关联的中间模 式的控制状态改变，力反馈可以保持在最近的当使用者停止直接控制所述器 械时的水平。例如，如果控制状态从器械控制(随动)过渡到非器械控制(退 出随动)，则相关联的输入装置处的触觉反馈可以维持在其当前水平达至少一 段时间。在各种实施例中，在这样的稳定时间之后，随后可以施加至减小的 力或无力状态的分段过渡。
13.应当理解，前面的一般描述和下面的详细描述本质上是示例性和解释性 的，并且旨在提供对本公开的理解而非限制本公开的范围。在这方面，根据 以下详细描述，本公开的另外方面、特征和优点对于本领域技术人员将是显 而易见的。
附图说明
14.当结合附图阅读时，根据以下详细描述可以充分地理解本公开的各方面。 需要强调的是，按照行业的标准做法，各种特征并不按比例绘制。实际上， 为了清楚地论述，各种特征的尺寸可以任意增加或减小。另外，本公开可以 在各种示例中重复附图标记和/或字母。这种重复是出于简单和清楚的目的， 并且本身不表示所讨论的各种实施例和/或配置之间的关系。
15.图1a-1b示出了根据本发明的各种实施例的在控制状态改变期间向手术 系统的使用者提供直观触觉反馈的方法。
16.图2a示出了根据本发明的各种实施例的在控制状态改变期间的示例性 触觉力矢量过渡。
17.图2b示出了根据本发明的各种实施例的示例性触觉力反馈过渡轮廓。
18.图3a-3c示出了根据本发明的各种实施例的响应于控制状态的变化而提 供触觉力反馈过渡的示例性手术系统。
具体实施方式
19.在本发明的各方面的以下详细描述中，阐述了许多具体细节以便提供对 所公开实施例的透彻理解。然而，对于本领域技术人员显而易见的是，可以 在没有这些具体细节的情况下实施本公开的实施例。在其他实例中，众所周 知的方法、过程、部件和电路未被详细描述，以免不必要地模糊本发明的实 施例的各方面。并且，为了避免不必要的描述性重复，可以使用或省略根据 一个说明性实施例描述的可适用于其他说明性实施例的一个或多个部件或动 作。
20.通过在手术系统的控制状态改变时提供力反馈轮廓之间的分段过渡，可 以为手术系统的使用者维持直观的触觉体验。
21.图1a示出了用于提供这种分阶段触觉过渡的示例性方法。在提供触觉反 馈步骤110中，手术系统允许使用者(例如外科医生)经由一个或多个输入 装置(例如，一个或多个控制杆、夹钳、操纵杆和/或能够接收使用者输入的 任何其他结构)控制手术器械(和/或手术系统的其他元件，例如机械臂、装 配结构或例如吊杆或推车的定位元件)，并且然后基于期望的触觉反馈轮廓 (至少部分地重生或再现真实或虚拟/建模的交互作用的物理体验的一个或多 个触觉反馈效果的集合)向该输入装置提供力反馈。所述触觉反馈轮廓可以 基于任何触觉模型输入，例如在器械(例如，组织或其他器械交互)或机械 臂(例如，与结构或支柱碰撞的臂)处感测的力，使用者引导装置(例如， 用于为使用者提供引导以沿着期望的路径或轨迹移动一个或多个输入装置的 触觉止动装置、防护装置或其他轮廓)以及用户界面(ui)元件(例如，向 使用者呈现虚拟手柄或方向盘)。应用于期望的触觉反馈轮廓以在输入装置处 生成触觉反馈的变换可以为下列形式：触觉反馈轮廓的直接复制、触觉反馈 轮廓的缩放、对触觉反馈轮廓施加非线性修改或者任何其他变换(例如，取 决于例如器械状态/速度、观察放大率等的一个或多个其他因素而变化的力缩 放)。步骤110中的触觉反馈还可以包括基于手术系统的附加传感器(例如位 置传感器、按钮或接触传感器)计算的力。
22.然后在改变控制模式步骤120中，发生手术系统中的控制模式改变(典 型地响应于使用者命令/动作，但是在其他示例中，响应于外部命令，例如系 统定时器或警告或第三方动作/命令)，使得输入装置处的输入不再在所述手术 器械处提供相同的效果。例如，在包括手术器械和摄像机(例如内窥镜)两 者的手术系统中，可能存在控制状态从输入装置正在控制手术器械的状态改 变为所述输入装置正在控制手术部位的摄像机/视野的视点的“摄像机控制模 式”的情况。如果所述输入装置在发生这样的控制状态改变时正向使用者提 供触觉反馈，则响应于该改变立即移除触觉反馈将致使输入装置处的力反馈 的突然丢失，这可能令使用者困惑和/或迷惑。
23.因此，在施加分段触觉反馈过渡步骤130中，执行从原始触觉反馈轮廓 到用于新控制状态的期望触觉反馈轮廓的分段过渡。换句话说，从原始触觉 反馈轮廓到期望触觉反馈轮廓的过渡包括至少一个中间阶段，该至少一个中 间阶段减少触觉反馈中的对应于控制状态之间的切换而在旧触觉轮廓和新触 觉轮廓之间的立即切换中将会发生的突然改变。
24.通常，从原始触觉反馈轮廓到期望(新)触觉反馈轮廓的这种过渡将涉 及对在输入装置处表达的力反馈矢量的调整。图2a示出了从初始力fa到新 力fb的示例性触觉力反馈矢量过渡。力fa可以大于或小于力fb(或者在一 些实施例中等同，在此过渡为仅方向的过渡)。从力fa到新力fb的分段过渡 可以采取任何路径，包括线性或曲线过渡，并且可以包括作为所述过渡的一 部分的非连续性过渡(例如，阶跃)。例如，图2b示出了可响应于步骤120 而发生的触觉反馈轮廓之间的若干示例性分段过渡，包括直线线性缩放(# 1)、单调缩放(#2)、锯齿双向缩放(#3)和曲线多向缩放(#4)。在一些 情况下，过渡可以将力大小移动通过零力状态(例如，#3和#4)。在各种其 他实施例中，从力fa到力fb的过渡可使用若干算法，包括将力fa和fb的缩 放变体求和以创建中间方向矢量或保持与力fa对齐一段时间然后再与力fb对齐。
25.需注意，在一些实施例中，当在具有触觉反馈的控制状态与通常不会生 成触觉反馈的控制状态之间改变时，可以维持“幻象”触觉反馈。图1b示出 了用于提供这种类型的稳定过渡的示例性方法。
26.如以上关于图1a所描述，在提供触觉反馈步骤110中，手术系统处于控 制状态，该控制状态基于触觉模型输入向所述输入装置提供力反馈，所述触 觉模型输入为例如在所述器械和/或其他系统结构处感测的力或基于虚拟或合 成交互式元件(例如，用户界面元件、虚拟防护装置和/或虚拟控制特征等其 他元件)的触觉反馈轮廓。同样如上所述，步骤110中的触觉反馈还可以包 括基于手术系统的附加传感器(例如位置传感器、按钮或接触传感器)计算 的力。并且在改变控制模式步骤120中，手术系统的控制状态改变到触觉反 馈未关联(或不同于原始触觉反馈轮廓)的控制状态，例如系统设置模式、 臂改变模式(即，将控制切换到手术系统上的不同器械)或退出随动模式(即， 简单地禁用所述输入装置与手术器械之间的控制链路)等其他模式。
27.然后，在维持触觉反馈步骤125中，即使所述系统的控制状态改变，触 觉反馈轮廓也保持不变。与完全改变或消除反馈相比，这种触觉反馈一致性 有时可以为使用者提供更直观的体验。例如，从器械控制状态(具有触觉反 馈)改变到输入装置用于改变系统参数(例如，选择菜单选项)并且因此不 具有与所述手术器械力的任何逻辑触觉反馈关系的控制状态，即使在系统设 定控制状态期间，简单地维持来自所述器械控制状态的反馈轮廓可能是有益 的，使得当所述控制状态改变回到所述器械控制状态时，使用者不会对所述 输入装置处突然出现的力反馈感到意外。因此，即使新状态下的触觉反馈轮 廓与用于所述新状态的输入装置处执行的控制动作在技术上不一致，该触觉 不一致实际上可以提供更一致的用户体验。
28.需注意，在一些实施例中，步骤125可以包括将与新控制状态相关联的 附加触觉反馈叠加或添加到所述原始触觉反馈轮廓中。对于上述系统设置示 例，某些触觉反馈效果可与系统设置控制状态相关联，例如改变或选择设置 时的触觉“点击(click)”或“撞击”。在一些实施例中，可以连同来自先前 控制状态的原始力反馈一起提供这样的触觉效果。
29.还需注意，在一些实施例中，在步骤125的触觉反馈维持之后，可以为 施加分段触觉反馈过渡步骤130，如上面关于图1a所述。在这种情况下，在 步骤120的控制状态改变之后，触觉反馈轮廓最初将不会改变，但最终将经 历分段过渡到新的触觉反馈轮廓。
30.图3a示出了手术系统300的框图，该手术系统包括如上面关于图1a和 /或1b所描述的触觉反馈以及用于为使用者提供直观的触觉体验的装置。手 术系统300包括器械310(例如，钳子、切割器、牵开器、血管封闭器、针驱 动器、导管等)，其用于执行手术任务；输入装置330(例如，一个或多个控 制杆、一个或多个夹钳、一个或多个操纵杆和/或能够接收使用者输入的任何 其他结构)，其用于接收使用者(例如，外科医生)的输入；以及控制器320， 控制器320用于接收来自输入装置330的输入指令，经由操纵结构313相应 地控制器械310的动作并且向触觉反馈致动器340提供指令以根据期望的触 觉反馈轮廓向输入装置330提供触觉反馈。在各种实施例中，操纵结构313 可以包括用于操纵、定位、致动或以其他方式控制器械310(包括一个或多个 机器臂/操纵器，一个或多个装配结构和/或例如一个或多个吊杆或一个或多个 推车的一个或多个定位元件等)的行为的任何数量的系统和结构。控制器320 可以包括硬件、软件、固件和用于生成、管理、控制和实现本文描述的动作 的其他
形态的任何组合。在各种实施例中，控制器320可以与器械310、输入 装置330和/或离散控制硬件(例如，独立处理单元或计算平台)成一体。
31.为了示例性的目的，图3a示出了处于控制状态a的手术系统300，在控 制状态a时输入装置330正控制器械310。如图3a所示，外科医生已经使用 输入装置330以用器械310的轴312上的末端执行器311抓住和缩回组织390 的一部分。这在末端执行器311处产生向下的力fs，并且作为响应，控制器 320向输入装置330传递触觉反馈力fa(例如，如关于上述步骤110所述)。 以这种方式，当组织390正被缩回时，外科医生将“感觉到”由组织390提 供的阻力。
32.需注意，控制状态a的这种描述仅用于示例性目的，因为该初始控制状 态a可以为手术系统300的任何状态。例如，虽然出于示例性目的，触觉反 馈轮廓力fa被描述为来自器械310的末端执行器311处感测到的力fs，但 是在各种其他实施例中，力fs可以在输入装置330处的对应触觉反馈将是有 益的任何位置处被感测到，例如在轴312或操纵结构313的任何其他元件(例 如，针对结构或支柱的臂压力)的交互处。
33.在各种其他实施例中，力fs可以根据非物理参数定义，例如上述的合成 交互式元件。例如，在一些实施例中，手术系统300可以包括可选的显示器 350(例如，一个或多个监视器、一个或多个浸入(head-in)观察器、投影仪、 一个或多个视频眼镜/头盔和/或任何其他图形显示元件)。在各种实施例中， 显示器350可以呈现可以经由输入装置330与之交互的虚拟或合成元件361。 在一些实施例中，合成元件361可以用作与手术系统300的物理部件交互的 补充接口。例如，如图3a所示，合成元件361可以为虚拟手柄或旋钮，其可 以被“抓住”并使用输入装置330拖动以在手术部位处重新定位器械310。在 其他实施例中，合成元件361可以提供纯粹虚拟的交互元件，例如转盘、肘 节、控制杆或用于控制手术系统300的任何其他结构。在任何情况下，通过 基于与合成元件361交互相关联的模型力fs1生成触觉反馈轮廓(例如，通 过抓住圆形旋钮所产生的径向向外的阻力)，控制器320然后可以尝试在输入 装置330处提供适当的触觉反馈轮廓力fa。
34.在各种其他实施例中，手术系统300可以向使用者提供关于器械310和/ 或输入装置330的移动的引导。例如，可以可选地将器械310的期望运动(例 如，目标或安全的解剖路径、期望的缩回运动或任何其他有益的关节运动) 定义为轨迹362。通过基于与沿着轨迹362维持器械310的位置相关联的模型 力fs2(例如，在偏离轨迹362时产生的向内指向的力)生成触觉反馈轮廓， 控制器320然后可在输入装置330处尝试提供适当的触觉反馈轮廓力fa。
35.然后，在示例性控制状态中，改变到图3b中描绘的新的控制状态b(例 如，如关于上面的步骤120所描述的)，输入装置330将其控制从其现有元件 (例如，原始器械310，例如牵开器)转移到新元件(例如，器械310(2)， 例如用于缝合组织390的针驱动器)。控制状态改变在新元件(例如，器械310 (2))处产生力fs'，力fs'不同于原始元件(例如，器械310)处的力fs，从 而需要在输入装置330处被表达为触觉反馈fb。因此，在时间(t2-t1)内， 执行从触觉力反馈fa到fb的分段过渡，如上面关于步骤130所述。如前所 述，由于分段过渡，输入装置330处的使用者不会体验到从力反馈fa到fb的突然且令人困惑的跃变，否则如果施加到所述感测到的力的力反馈变换与 所述控制状态变化同时切换，将会发生所述跃变。例如，所述分段过渡将确 保代表支撑缩回组织的触觉反馈不会立即消失，或者确保保持虚拟
旋钮或手 柄的感觉不会立即消失。
36.在其他实施例中，从图3a中的控制状态a到图3c中所示的新控制状态 c(例如，如关于上述步骤125所描述的)的另一示例性控制状态改变将输入 装置330从器械310的控制(或具有触觉反馈的任何其他控制状态)转移到 系统设置选择界面321(或没有触觉反馈(或不同的触觉反馈)的任何其他控 制状态)。这里，即使控制状态改变，触觉反馈轮廓也被维持，并且因此即使 设置选择菜单不是力生成环境，输入装置330处的反馈力也被维持为力fa。 因此，使用者对输入装置处的力反馈的突然消失(或者一旦选择菜单退出时 力反馈突然再现)不会感到意外。
37.如上所述，在一些实施例中，当改变或选择设置时，保留的触觉力fa与 附加触觉反馈叠加，所述附加触觉反馈(例如触觉“点击”或“撞击”)与新 的控制状态相关联。如上面进一步指出的，所维持的触觉反馈之后，可以为 至新的触觉反馈轮廓的后续分段过渡。
38.尽管已经在附图中描述和示出了本发明的某些示例性实施例，但应当理 解，这样的实施例仅仅是对广义发明的说明而不是限制，并且本发明的实施 例不限于所示出和描述的特定构造和布置，因为本领域普通技术人员可以想 到各种其他修改。