基于关键点跟踪的定位方法、系统、设备、终端及应用与流程

技术特征：
1.一种基于关键点跟踪的定位系统，其特征在于，所述基于关键点跟踪的定位系统，包括人机交互界面、计算单元、自动化机械设备、末端手术组件、关键点器具、相机模组、3dct机以及手术台；其中，所述计算单元包括工控机、树莓派，所述自动化机械设备包括机械臂、机械手，所述末端手术组件包括钻孔机，所述关键点器具包括红外反光标记球，所述相机模组包括双目、多目、彩色相机，所述3dct机包括cbct；其中，所述人机交互界面与计算单元连接用于控制整个系统操作，所述自动化机械设备与计算单元连接用于传输与接受计算单元命令，所述末端手术组件安装在自动化设备末端法兰处用于手术操作，所述关键点器具安装在末端手术组件某一固定位置提供关键跟踪点，所述相机模组安装在空间中某一位置，该位置需满足关键点器具位于相机模组视野内，用于跟踪关键点器具，所述3dct机安装在手术台旁边用于提供3d医疗影像。2.一种运行权利要求1所述基于关键点跟踪的定位系统的基于关键点跟踪的定位方法，所述基于关键点跟踪的定位方法包括以下步骤：步骤一，将红外反光标记工具安装到患病点某一固定位置处；步骤二，3dct机进行术前3dct重建，得到3dct影像；步骤三，对得到的3dct影像进行分割得到目标区域影像图；步骤四，设计虚拟定位位置及方向；步骤五，将虚拟定位位置与原始3d影像融合，得到原始3d影像目标位置点；步骤六，计算虚拟图像目标位置点在真实物理世界的位姿，得到导航系统坐标系相对于执行目标点的真实位姿m1；步骤七，导航实时跟踪反光标记工具，与m1联合计算得到机械臂执行目标点位姿；步骤八，机械执行运动规划，操作机械臂到执行目标点；步骤九，导航判断机械臂末端是否到达执行点，如果到达，执行操作；如果未到达，则反馈给机械臂补偿姿态，对机械臂进行误差补偿，直到可执行目标点位置结束。3.如权利要求2所述基于关键点跟踪的定位方法，其特征在于，步骤一中，所述安装反光标记工具到患病位置处需要医生进行术前诊断，之后安装至患病目标点；步骤三中，所述3d医疗影像分割是指语义分割，执行目标操作区域与其他背景区域需要区分开表示。4.如权利要求2所述基于关键点跟踪的定位方法，其特征在于，步骤四中，所述虚拟定位位置及方向的设计需要主刀医生进行规划，以确保手术过程的合理性；步骤六中，所述图像坐标到真实物理世界坐标指的是dicom图像像素坐标与真实物理世界的转换，表达公式如下：p＝o d
×
s
×
i；其中，p表示对应的待求得物理空间点，o表示图像得坐标原点，d表示图像与物理空间坐标的方向关系，s表示像素间距，i表示图像空间下标。5.如权利要求2所述基于关键点跟踪的定位方法，其特征在于，步骤七中，所述导航系统坐标与机械臂坐标之间需进行手眼标定，设标定后导航系统坐标与机械臂底座直接位姿关系为m0，机械臂末端与执行工具之间坐标为m1，安装于患病处的反光标记工具与执行工具之间位姿关系为m2，则患病目标点相对于机械臂的位姿关系为m0
×
m2
×
m1。6.一种计算机设备，其特征在于，所述计算机设备包括存储器和处理器，所述存储器存
储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如下步骤：将红外反光标记工具安装到患病点某一固定位置处；3dct机进行术前3dct重建，得到3dct影像；对得到的3dct影像进行分割得到执行目标区域影像图；对执行目标区域3d影像设计虚拟操作点，得到虚拟执行目标位置点；将虚拟执行目标位置点与原始3d影像融合，得到原始3d影像操作位置点；计算图像虚拟操作点位姿在真实物理世界的位姿，得到患病处反光标记工具相对于执行目标点的真实位姿m1；导航实时跟踪位于机械臂末端法兰处反光标记工具，与m1联合计算得到机械臂执行目标点位姿；机械执行运动规划，操作机械臂到执行目标点；导航判断机械臂末端是否到达执行点，如果到达，执行操作；如果未到达，则反馈给机械臂补偿姿态，对机械臂进行误差补偿，直到到达可执行目标点结束。7.一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如下步骤：将红外反光标记工具安装到患病点某一固定位置处；3dct机进行术前3dct重建，得到3dct影像；对得到的3dct影像进行分割得到执行目标区域影像图；设计虚拟手术操作位置点；将虚拟操作位置点与原始3d影像融合，得到原始3d影像操作位置点；计算图像虚拟操作位置点位姿在真实物理世界的位姿，得到患病处反光标记工具相对于执行目标点的真实位姿m1；导航实时跟踪机械臂末端法兰处反光标记工具，与m1联合计算得到机械臂执行目标点位姿；机械执行运动规划，操作机械臂到执行目标点；导航判断机械臂末端是否到达执行点，如果到达，执行操作；如果未到达，则反馈给机械臂补偿姿态，对机械臂进行误差补偿，直到到达可执行目标点结束。8.一种信息数据处理终端，其特征在于，所述信息数据处理终端用于实现如权利要求1所述基于关键点跟踪的定位系统。9.一种如权利要求1所述基于关键点跟踪的定位系统在医疗器械技术领域中的应用，其特征在于，所述医疗器械技术领域，包括用于人体的医疗器械和用于动物的医疗器械；其中，所述医疗器械包括呼吸机、超声仪、ct机、核磁共振、激光治疗仪以及手术机器人在内的医疗器械设备；所述关键点为手工制作的工具标记点或者经过视觉特征检测提供的关键点在内的位置点。

技术总结
本发明属于医疗器械技术领域，公开了一种基于关键点跟踪的定位方法、系统、设备、终端及应用，所述基于关键点跟踪的定位系统包括人机交互界面、计算单元、自动化机械设备、末端手术组件、关键点器具、相机模组、3DCT机以及手术台；所述人机交互界面与计算单元连接用于控制整个系统操作，所述自动化机械设备与计算单元连接用于传输与接受计算单元命令，所述末端手术组件安装在自动化设备末端法兰处用于手术操作，所述关键点器具安装在末端手术组件某一固定位置提供关键跟踪点，所述相机模组用于跟踪关键点器具，所述3DCT机安装在手术台旁边用于提供3D医疗影像。本发明解决了传统手术存在的痛点，特别是手术过程存在的精准定位问题。特别是手术过程存在的精准定位问题。特别是手术过程存在的精准定位问题。


技术研发人员：高丰伟 赵国军 刘律文 周华明 李昂 李文倩 张帅 陈健
受保护的技术使用者：上海由格医疗技术有限公司
技术研发日：2021.11.04
技术公布日：2022/3/25