手术机器人手眼标定方法、装置、存储介质及处理器与流程

1.本发明涉及手术机器人标定技术领域，具体而言，涉及一种手术机器人手眼标定方法、装置、存储介质及处理器。


背景技术：

2.在医学手术中，通常需要在光学跟踪仪的跟踪下，准确地跟踪到手术器械，即手术所用的机器人的法兰上的工具实时位置，并且通过物理空间和图像空间的配准将工具的实时位置显示在图像上，使得医生参考患者病灶部位的图像实施手术。
3.在整个医学手术过程中最重要的一步是将患者实际体位和图像空间位置进行配准，而手眼标定是其中的一个重要环节。手眼标定的目的是获取机器人基坐标系与视觉设备坐标系之间的转换关系以及机器人法兰坐标系与工具坐标系之间的转换关系。
4.在相关技术中，需要通过标定图像和手术器械的位姿数据，以及视觉设备操作人员和手术工具人员的配合实现手眼标定。但是，上述方法常常无法保证手眼标定的精度要求。


技术实现要素：

5.本发明的主要目的在于提供一种手术机器人手眼标定方法、装置、存储介质及处理器，以解决相关技术中的手术机器人手眼标定的精度无法保证的问题。
6.为了实现上述目的，根据本发明的第一个方面，提供了一种手术机器人手眼标定方法，包括：根据手术机器人的法兰的初始点位、初始姿态角度、多个实际采集点位以及手术机器人自带的工具标定关系，得到与多个实际采集点位相对应的多个实际采集姿态角度；使法兰依次位于初始点位及多个实际采集点位，法兰位于每个实际采集点位时，处于与该实际采集点位相对应的实际采集姿态角度，采集法兰位于初始点位及每个实际采集点位时法兰在机器人基坐标系内的位姿及安装在法兰上的工具在视觉采集装置坐标系内的位姿；根据法兰位于初始点位及每个实际采集点位时法兰在机器人基坐标系内的位姿及安装在法兰上的工具在视觉采集装置坐标系内的位姿，得到机器人基坐标系与视觉采集装置坐标系的转换关系以及工具坐标系与法兰坐标系的转换关系。
7.进一步地，根据手术机器人的法兰初始点位、初始姿态角度、多个实际采集点位以及手术机器人自带的工具标定关系，得到与多个实际采集点位相对应的多个实际采集姿态角度的步骤包括：获得手术机器人的m矩阵；使手术机器人的法兰处于初始点位和初始姿态角度，通过手术机器人自带的工具标定关系得到工具在机器人基坐标系内的位姿，通过视觉采集装置得到工具在视觉采集装置坐标系内的位姿；获得多个实际采集点位对应的多组姿态角度列表，每组姿态角度列表包括对应于多个实际采集点位的多个姿态角度；根据工具在机器人基坐标系内的位姿、工具在视觉采集装置坐标系内的位姿、多组姿态角度列表和m矩阵得到每组姿态角度列表对应的m矩阵的条件数；根据全部m矩阵的条件数中的最小值所对应的姿态角度列表确定多个实际采集姿态角度。
8.进一步地，确定多个所述实际采集点位对应的多组姿态角度列表，每组所述姿态角度列表包括对应于多个实际采集点位的多个姿态角度的步骤包括：多个实际采集点位对应的每组姿态角度列表中的多个姿态角度通过在预定规则下随机采样得到，预定规则为每个实际采集点位的工具坐标系的z轴相对于初始点位的工具坐标系的z轴之间的夹角小于等于60
°
。
9.进一步地，实际采集点位的数量为八个，八个实际采集点位为以初始点位为中心的正方体的八个顶点。
10.进一步地，使法兰依次位于初始点位及多个实际采集点位的步骤之前，手术机器人手眼标定方法还包括：根据法兰位于初始点位时工具的位置调整视觉采集装置的实际采集区域。
11.进一步地，据法兰位于初始点位时工具的位置调整视觉采集装置的实际采集区域的步骤包括：将所述视觉采集装置的采集区域在各个方向进行缩小得到限定区域，使得所述工具位于限定区域内。
12.进一步地，m矩阵为：；其中，，，，，，；为法兰位于初始点位时法兰在机器人基坐标系内的位姿，为法兰位于其中一个实际采集点位时法兰在机器人基坐标系内的位姿；为法兰位于初始点位时工具在视觉采集装置坐标系内的位姿，为法兰位于其中一个实际采集点位时工具在视觉采集装置坐标系内的位姿。
13.根据本发明的第二个方面，提供了一种手术机器人手眼标定装置，包括：姿态角度获取单元，用于根据手术机器人的法兰初始点位、初始姿态角度、多个实际采集点位以及手术机器人自带的工具标定关系，得到与多个实际采集点位相对应的多个实际采集姿态角度；位姿采集单元，用于使法兰依次位于初始点位及多个实际采集点位，法兰位于每个实际采集点位时，处于与该实际采集点位相对应的实际采集姿态角度，采集法兰位于初始点位及每个实际采集点位时法兰在机器人基坐标系内的位姿及安装在法兰上的工具在视觉采集装置坐标系内的位姿；计算单元，用于根据法兰位于初始点位及每个实际采集点位时法兰在机器人基坐标系内的位姿及工具在视觉采集装置坐标系内的位姿，得到机器人基坐标系与视觉采集装置坐标系的转换关系以及工具坐标系与法兰坐标系的转换关系。
14.根据本发明的第三个方面，提供了一种计算机可读存储介质，计算机可读存储介质包括存储的程序，其中，程序执行上述的手术机器人手眼标定方法。
15.根据本发明的第四个方面，提供了一种处理器，处理器用于运行程序，其中，程序运行时执行上述的手术机器人手眼标定方法。
16.应用本发明的技术方案，根据手术机器人的法兰的初始点位、初始姿态角度、多个实际采集点位以及手术机器人自带的工具标定关系，得到与多个实际采集点位相对应的多个实际采集姿态角度。上述的多个实际采集姿态角度利用手术机器人自带的工具标定关系，通过计算得出，因此能够从一定程度上避免后续转换关系求解时出现奇异问题。之后进行所需数据采集，具体地，使法兰依次位于初始点位及多个实际采集点位，采集法兰位于初始点位及每个实际采集点位时法兰在机器人基坐标系内的位姿及安装在法兰上的工具在视觉采集装置坐标系内的位姿。最后，由于工具坐标系与法兰坐标系的转换关系唯一，因此根据上述过程中采集到的数据以及相关公式推导，得到机器人基坐标系与视觉采集装置坐标系的转换关系以及工具坐标系与法兰坐标系的转换关系。本技术的技术方案能够有效地解决相关技术中的手术机器人手眼标定的精度无法保证的问题。
附图说明
17.构成本技术的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：图1示出了根据本发明的手术机器人手眼标定方法的实施例的流程示意图；图2示出了图1的手术机器人手眼标定方法的步骤s10的具体流程示意图；图3示出了根据本发明的手术机器人手眼标定方法的优选实施例的流程示意图；图4示出了根据本发明的手术机器人手眼标定装置的实施例的示意图；图5示出了图1的手术机器人手眼标定方法中视觉采集装置与手术机器人坐标转换关系示意图；图6示出了图1的手术机器人手眼标定方法中视觉采集装置的采集区域的示意图；图7示出了图6的视觉采集装置的采集区域的三视图；图8示出了图2的手术机器人手眼标定方法中每个实际采集点位的工具坐标系的z轴坐标方向示意图。
18.其中，上述附图包括以下附图标记：10、机械臂；20、视觉采集装置；100、姿态角度获取单元；200、位姿采集单元；300、计算单元。
具体实施方式
19.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
20.需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本技术的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
21.手术机器人的实际采集姿态角的选择会导致转换关系求解时带来奇异问题。在相
关技术中，一般根据操作者的经验手动调整实际采集姿态角，这会降低后续计算出的转换关系的精度，也即影响手眼标定的精度。本实施例的技术方案在数据采集工作之前寻找较优的实际采集姿态角，进而较好的解决了上述问题。
22.如图1所示，本实施例的手术机器人手眼标定方法包括：步骤s10：根据手术机器人的法兰的初始点位、初始姿态角度、多个实际采集点位以及手术机器人自带的工具标定关系，得到与多个实际采集点位相对应的多个实际采集姿态角度；步骤s30：使法兰依次位于初始点位及多个实际采集点位，法兰位于每个所述实际采集点位时，处于与该实际采集点位相对应的实际采集姿态角度，采集法兰位于初始点位及每个实际采集点位时法兰在机器人基坐标系内的位姿及安装在法兰上的工具在视觉采集装置坐标系内的位姿；步骤s40：根据法兰位于初始点位及每个实际采集点位时法兰在机器人基坐标系内的位姿及工具在视觉采集装置坐标系内的位姿，得到机器人基坐标系与视觉采集装置坐标系的转换关系以及工具坐标系与法兰坐标系的转换关系。
23.应用本实施例的技术方案，根据手术机器人的法兰初始点位、初始姿态角度、多个实际采集点位以及手术机器人自带的工具标定关系，得到与多个实际采集点位相对应的多个实际采集姿态角度。上述的多个实际采集姿态角度利用手术机器人自带的工具标定关系，通过计算得出，因此能够从一定程度上避免后续转换关系求解时出现奇异问题。之后进行所需数据采集，具体地，使法兰依次位于初始点位及多个实际采集点位，采集法兰位于初始点位及每个实际采集点位时法兰在机器人基坐标系内的位姿及安装在法兰上的工具在视觉采集装置坐标系内的位姿。最后，由于工具坐标系与法兰坐标系的转换关系唯一，因此根据上述过程中采集到的数据以及相关公式推导，得到机器人基坐标系与视觉采集装置坐标系的转换关系以及工具坐标系与法兰坐标系的转换关系。本实施例的技术方案能够有效地解决相关技术中的手术机器人手眼标定的精度无法保证的问题。
24.上述的手术机器人自带的工具标定关系是手术机器人的机械臂10出厂时自带的标定功能，它标定了法兰坐标系统与工具坐标系的转换关系，它的标定精度较差，本实施例的技术方案利用自带的工具标定关系来得到多个实际采集姿态角度，也即得到能够提高标定精度的多个姿态角度。
25.如图2所示，在本实施例中，步骤s10：根据手术机器人的法兰初始点位、初始姿态角度、多个实际采集点位以及手术机器人自带的工具标定关系，得到与多个实际采集点位相对应的多个实际采集姿态角度的步骤包括：步骤s11：获得手术机器人的m矩阵；步骤s12：使手术机器人的法兰处于初始点位和初始姿态角度，通过手术机器人自带的工具标定关系得到工具在机器人基坐标系内的位姿，通过视觉采集装置20得到工具在视觉采集装置坐标系内的位姿；步骤s13：获得多个实际采集点位对应的多组姿态角度列表，每组姿态角度列表包
括对应于多个实际采集点位的多个姿态角度，根据工具在机器人基坐标系内的位姿和工具在视觉采集装置坐标系内的位姿、多组姿态角度列表和m矩阵得到每组姿态角度列表对应的m矩阵的条件数cond(m) ；步骤s14：根据全部m矩阵的条件数中的最小值所对应的姿态角度列表确定多个实际采集姿态角度。
26.上述步骤s11可以在步骤s12之前进行，也可以在步骤s12和步骤s13之间进行。在上述步骤s11中，需要通过公式推导的方式得到m矩阵，具体推导过程如下：对于法兰的随机的两对运动数据，法兰坐标系至工具坐标系的转换关系唯一，即：，故可得：，为法兰位于初始点位时法兰在机器人基坐标系内的位姿，为法兰位于其中一个实际采集点位时法兰在机器人基坐标系内的位姿；为法兰位于初始点位时工具在视觉采集装置坐标系内的位姿，为法兰位于其中一个实际采集点位时工具在视觉采集装置坐标系内的位姿；化简得：，令上式左右两边中，，上式可化简为：，为方便计算可写为，，，展开得：，其中对，等式两侧同时向量化得：，令，，进而上式简化为，进而转换为最优解问题：
，即，求得m矩阵：。
27.在步骤s30中，采集法兰位于初始点位及每个实际采集点位时法兰在机器人基坐标系内的位姿能够得到坐标系集合r，其中，r包括：，上述r集合通过手术机器人的法兰的反馈值得到，其中，为法兰位于初始点位时法兰在机器人基坐标系内的位姿，至为法兰位于每个实际采集点位时法兰在机器人基坐标系内的位姿；采集安装在法兰上的工具在视觉采集装置坐标系内的位姿能够得到坐标系集合v，其中v包括：，为法兰位于初始点位时工具在视觉采集装置坐标系内的位姿， 至为法兰位于每个实际采集点位时工具在视觉采集装置坐标系内的位姿。上述v集合通过视觉采集装置得到，一般会在工具上设置视觉特征阵列（比如发光小球），一般设置四个，四个发光小球设置成四边形。
28.在步骤s40中，根据法兰位于初始点位及每个采集点位时法兰在机器人基坐标系内的位姿及工具在视觉采集装置坐标系内的位姿，得到机器人基坐标系与视觉采集装置坐标系的转换关系以及工具坐标系与法兰坐标系的转换关系。
29.具体地，根据之前得到的公式，通过对r集合以及v集合中的数据进行相连成对组合，可获取8组对应的a集合与b集合，故上述k=8。之后便可以确定m矩阵，即也可以得到r
x
。
30.在此基础上根据公式：，求得p
x
，最终获得机器人基坐标系与视觉采集装置坐标系的转换关系，进而可以得到工具坐标系与法兰坐标系的转换关系。
31.在步骤s13中，多个实际采集点位是提前规划好的，具体地，在本实施例中，实际采集点位的数量为八个，八个实际采集点位为以初始点位为中心的正方体的八个顶点。当正方体的边长为确定值时，八个实际采集点位相对于初始点位的位置就是确定的。因此当多个实际采集点位对应的每组姿态角度列表确定时，即可以在机械臂不运动情况下，获得法兰位于各个实际采集点时法兰在机器人基坐标系内的位姿。
32.多个实际采集点位对应的每组姿态角度列表中的多个姿态角度通过随机采样得到。每次采样时，需要使得实际采集点位的工具坐标系的z轴相对于初始点位的工具坐标系
的z轴旋转一定的夹角。由于该夹角是已知的，即可以得到该实际采集点位与初始点位之间的工具坐标系的转换关系。因此该实际采集点的工具在视觉采集装置坐标系内的位姿无需再通过视觉采集装置进行采集，直接通过计算即可得到：通过法兰处于初始点位时工具在视觉采集装置坐标系内的位姿乘以工具坐标系的转换关系得到。通过上述方法即可得到法兰位于各个实际采集点位时工具在视觉采集装置坐标系内的位姿。
33.通过上述的法兰位于各个实际采集点时法兰在机器人基坐标系内的位姿、工具在视觉采集装置坐标系内的位姿以及m矩阵计算得到每组姿态角度列表对应的m矩阵的条件数。
34.对于m矩阵而言，矩阵的条件数越小代表矩阵引起的发散越低，最终结果精度越高，因此，在步骤s14中，根据全部m矩阵的条件数中的最小值所对应的姿态角度列表确定多个实际采集姿态角度。通过上述方法能够得到较优的实际采集姿态角。
35.在本实施例中，步骤s13：确定多个所述实际采集点位对应的多组姿态角度列表，每组所述姿态角度列表包括对应于多个实际采集点位的多个姿态角度的步骤包括：多个实际采集点位对应的每组姿态角度列表中的多个姿态角度通过在预定规则下随机采样得到，预定规则为每个实际采集点位的工具坐标系的z轴相对于初始点位的工具坐标系的z轴之间的夹角小于等于60
°
。上述夹角考虑到了机器人的机械臂的运动范围。图8示出了不同采集点的工具坐标系z坐标方向的示意图。
36.姿态角度列表的组数可以根据实际需要来确定，在本实施例中，需要10组姿态角度列表。同时，这10组姿态角度列表中至少需要有1组m矩阵的条件数需要小于规定阈值。否则，则判定手术机器人出现故障，需要对故障进行排查。具体地，依次得到第1组至第10组的姿态角度列表及其对应的m矩阵的条件数，如果其中仅有1组小于阈值，则采用该组姿态角度列表确定多个实际采集姿态角度。如果有多组均小于阈值，则选择m矩阵的条件数中的最小值所对应的姿态角度列表确定多个实际采集姿态角度。
37.在一种优选的实施方式中，手术机器人手眼标定方法能够自动进行数据采集，且能够保证手术机器人的各个点位能够有效被视觉采集装置采集。
38.使法兰依次位于初始点位及多个实际采集点位的步骤之前，手术机器人手眼标定方法还包括：步骤s20：根据法兰位于初始点时所述工具的位置调整视觉采集装置的采集区域。
39.根据手术机器人的初始点位及视觉采集装置的有效工作空间，计算后续手术机器人运动点位，进而判定后续点位是否可达可采。具体如下：对于手术机器人位置，如图6所示，首先设定手术机器人运动范围为正方体8个顶点（多个实际采集点）及中心点（初始点位），共9组点位，设定手术机器人运动初始点位为正方体中心。其次，以正方体中心至顶点的距离为半径构造圆球包络空间区域，故只要保证包络区域在视觉采集装置的有效采集区域，就能保证手术机器人运动的各个点位能够有效被视觉采集装置采集。
40.在图6中，实线多面体为视觉采集装置有效检测空间，虚线正方体定点为机器运动点位，虚线圆球为正方体包络空间。
41.进一步地，如图3所示，步骤s20：根据法兰位于初始点时所述工具的位置调整视觉采集装置的实际采集区域的步骤包括：
将视觉采集装置的采集区域在各个方向进行缩小得到限定区域，使得所述工具位于限定区域内。
42.具体来说，在视觉采集装置的有效工作区域内，以圆球半径为长度，在各个方向将整体采集区域进行缩小，如图7所示，获得手术机器人初始点位的机器人运动有效区域。故只要保证手术机器人初始点位在手术机器人运动的有效区域内，所以在机器人运动至初始点位后，需调整视觉采集装置，使工具显示至虚心范围内，即在运动过程中的所有位置都在视觉设备有效采集区间。
43.在图7中，实线部分为视觉采集装置有效检测空间三视图，虚线部分为视觉采集装置坐标系下手术机器人有效运动空间三视图，黑色点位为工具在视觉坐标系下位置。
44.根据本发明的第二个方面，提供了一种手术机器人手眼标定装置，用于执行本技术的实施例所提供的手术机器人手眼标定方法。以下对本实施例的手术机器人手眼标定装置进行介绍。
45.如图4所示，手术机器人手眼标定装置包括：姿态角度获取单元100，用于根据手术机器人的法兰初始点位、初始姿态角度、多个实际采集点位以及手术机器人自带的工具标定关系，得到与多个实际采集点位相对应的多个实际采集姿态角度；位姿采集单元200，用于使法兰依次位于初始点位及多个实际采集点位，法兰位于每个实际采集点位时，处于与该实际采集点位相对应的实际采集姿态角度，采集法兰位于初始点位及每个实际采集点位时法兰在机器人基坐标系内的位姿及安装在法兰上的工具在视觉采集装置坐标系内的位姿；计算单元300，用于根据法兰位于初始点位及每个实际采集点位时法兰在机器人基坐标系内的位姿及工具在视觉采集装置坐标系内的位姿，得到机器人基坐标系与视觉采集装置坐标系的转换关系以及工具坐标系与法兰坐标系的转换关系。
46.应用本实施例的技术方案，姿态角度获取单元100用于根据手术机器人的法兰初始点位、初始姿态角度、多个实际采集点位以及手术机器人自带的工具标定关系，得到与多个实际采集点位相对应的多个实际采集姿态角度。上述的多个实际采集姿态角度利用手术机器人自带的工具标定关系，通过计算得出，因此能够从一定程度上避免后续转换关系求解时出现奇异问题。之后进行所需数据采集，具体地，位姿采集单元200，用于使法兰依次位于初始点位及多个实际采集点位，采集法兰位于初始点位及每个实际采集点位时法兰在机器人基坐标系内的位姿及安装在法兰上的工具在视觉采集装置坐标系内的位姿。最后，由于工具坐标系与法兰坐标系的转换关系唯一，因此根据上述过程中采集到的数据以及相关公式推导，计算单元300用于得到机器人基坐标系与视觉采集装置坐标系的转换关系以及工具坐标系与法兰坐标系的转换关系。本实施例的技术方案能够有效地解决相关技术中的手术机器人手眼标定的精度无法保证的问题。
47.根据本发明的第三个方面，提供了一种计算机可读存储介质，计算机可读存储介质包括存储的程序，其中，程序执行上述的手术机器人手眼标定方法。
48.根据本发明的第四个方面，提供了一种处理器，处理器用于运行程序，其中，程序运行时执行上述的手术机器人手眼标定方法。
49.在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有
详述的部分，可以参见其他实施例的相关描述。
50.在本技术所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如上述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
51.上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
52.另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
53.上述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取计算机可读存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个计算机可读存储介质中，包括若干指令用以使得一台计算机设备（可为个人计算机、服务器或者网络设备等）执行本发明各个实施例上述方法的全部或部分步骤。而前述的计算机可读存储介质包括：u盘、只读存储器（rom，read-only memory）、随机存取存储器（ram，random access memory）、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
54.以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。