基于眼动追踪的手术显微镜控制方法、装置、设备及介质

本申请涉及显微镜控制，尤其涉及一种基于眼动追踪的手术显微镜控制方法、装置、设备及介质。

背景技术：

1、手术显微镜是显微外科手术的关键设备，在神经外科、眼科、耳鼻喉科、口腔颌面外科、手外科等领域广泛应用。然而，传统手术显微镜主要依靠手动操控，长时间手术过程中，长期紧贴目镜观察可能引起眼部和颈椎的疲劳与损伤，频繁的手动调焦、移镜等操作也降低了手术效率，在操控镜头和手术器械之间切换还可能带来感染风险。

2、虽然采用高清数字成像系统和3d立体显示屏的数字化显微镜在一定程度上改善了人机工程问题，但其镜头调节仍主要依赖手动操作或半自动化控制，无法充分发挥数字成像优势。近年来，机器人辅助手术系统实现了高难度手术操作的精准控制，但这些手术机器人与专用显微镜之间缺乏有效的信息交互与协同控制手段，术者难以兼顾对二者的控制，影响手术流程和操作体验，显微镜人机交互方式的滞后成为手术机器人进一步发展的掣肘之一。

3、为解决上述难题，学术界和工业界都在探索机器人辅助控制的新型手术显微镜系统。一些机构开发了机器人自动调整的显微镜，实现了显微镜视野与机器人规划轨迹的实时匹配。蔡司、奥林巴斯、贝朗等厂商也推出了新一代机器人显微镜产品，实现了镜头位置和姿态的全范围电动调节。然而，这些系统大多基于手柄或脚踏板控制，仍无法充分理解术者意图，缺乏更高层次的智能交互能力。

技术实现思路

1、本申请提供一种基于眼动追踪的手术显微镜控制方法、装置、设备及介质，用以解决现有技术中手术显微镜人机交互智能化程度偏低的缺陷。

2、第一方面，本申请提供一种基于眼动追踪的手术显微镜控制方法，包括：

3、确定手术者视线与3d手术显示屏上注视点的目标映射关系；

4、基于手术者视线变化规律与所述目标映射关系，确定手术显微镜调节参数；

5、基于所述手术显微镜调节参数，控制机器人调节所述手术显微镜。

6、可选地，所述确定手术者视线与3d手术显示屏上注视点的目标映射关系，包括：利用实例分割模型确定所述手术者视线与所述3d手术显示屏上注视点的第一映射关系；确定所述3d手术显示屏中的原始图像平面与矩形屏幕平面的第二映射关系；所述原始图像平面是所述3d手术显示屏中与所述手术者视线对应的原始图像；

7、基于所述第一映射关系与所述第二映射关系，确定所述目标映射关系。

8、可选地，所述实例分割模型的基线模型为mask r-cnn，骨干网络为resnet50+fpn；所述实例分割模型的检测分支使用全连接层对候选框内容进行分类和位置回归；所述实例分割模型的掩码分支用于对感兴趣区域特征进行逐像素分类。

9、可选地，所述确定所述3d手术显示屏中的原始图像平面与矩形屏幕平面的第二映射关系，包括：

10、提取所述原始图像平面的第一顶点坐标，并确定所述矩形屏幕平面的第二顶点坐标；

11、通过对所述第一顶点坐标与所述第二顶点坐标进行坐标求解，确定所述第二映射关系。

12、可选地，所述基于手术者视线变化规律与所述目标映射关系，确定手术显微镜调节参数，包括：

13、基于所述手术者视线变化规律与所述目标映射关系，确定所述3d手术显示屏中的感兴趣点坐标；

14、基于所述感兴趣点坐标，确定机械臂的目标关节角度；

15、基于所述目标关节角度，确定所述手术显微镜调节参数。

16、可选地，所述基于手术者视线变化规律与所述目标映射关系，确定手术显微镜调节参数，包括：

17、基于所述目标映射关系提取所述手术者视线变化规律对应的所述3d手术显示屏的目标点的目标特征；所述目标特征包括：轨迹长度、覆盖面积、平均速度、主方向与频率；

18、对所述目标特征进行规则匹配，得到所述手术显微镜调节参数。

19、可选地，所述方法还包括：

20、基于所述手术者视线变化规律，确定手术者的分心状态、疲劳状态与异常眼动行为；

21、基于所述分心状态、所述疲劳状态与所述异常眼动行为，确定风险等级，并进行风险预警。

22、第二方面，本申请还提供一种基于眼动追踪的手术显微镜控制装置，包括：

23、第一确定模块，用于确定手术者视线与3d手术显示屏上注视点的目标映射关系；

24、第二确定模块，用于基于手术者视线变化规律与所述目标映射关系，确定手术显微镜调节参数；

25、控制模块，用于基于所述手术显微镜调节参数，控制机器人调节所述手术显微镜。

26、第三方面，本申请还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如第一方面所述的方法。

27、第四方面，本申请还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面所述的方法。

28、第五方面，本申请还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如第一方面所述的方法。

29、本申请提供的基于眼动追踪的手术显微镜控制方法、装置、设备及介质，通过确定手术者视线与3d手术显示屏上注视点的目标映射关系，确定手术显微镜调节参数进行调节，可以突破传统显微镜人机交互的局限，实现更高层次的智能交互，将眼动追踪、机器人控制、人工智能决策有机结合，极大提高了显微手术效率和精准度，减轻医生脑力和体力负担，降低长时间手术的风险，推动显微外科向智能化、微创化方向发展，具有显著的临床应用价值和广阔的推广前景。

技术特征：

1.一种基于眼动追踪的手术显微镜控制方法，其特征在于，包括：

2.根据权利要求1所述的基于眼动追踪的手术显微镜控制方法，其特征在于，所述确定手术者视线与3d手术显示屏上注视点的目标映射关系，包括：

3.根据权利要求2所述的基于眼动追踪的手术显微镜控制方法，其特征在于，所述实例分割模型的基线模型为mask r-cnn，骨干网络为resnet50+fpn；所述实例分割模型的检测分支使用全连接层对候选框内容进行分类和位置回归；所述实例分割模型的掩码分支用于对感兴趣区域特征进行逐像素分类。

4.根据权利要求2所述的基于眼动追踪的手术显微镜控制方法，其特征在于，所述确定所述3d手术显示屏中的原始图像平面与矩形屏幕平面的第二映射关系，包括：

5.根据权利要求1所述的基于眼动追踪的手术显微镜控制方法，其特征在于，所述基于手术者视线变化规律与所述目标映射关系，确定手术显微镜调节参数，包括：

6.根据权利要求1所述的基于眼动追踪的手术显微镜控制方法，其特征在于，所述基于手术者视线变化规律与所述目标映射关系，确定手术显微镜调节参数，包括：

7.根据权利要求1至6任一项所述的基于眼动追踪的手术显微镜控制方法，其特征在于，所述方法还包括：

8.一种基于眼动追踪的手术显微镜控制装置，其特征在于，包括：

9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述基于眼动追踪的手术显微镜控制方法。

10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述基于眼动追踪的手术显微镜控制方法。

技术总结本申请提供一种基于眼动追踪的手术显微镜控制方法、装置、设备及介质，涉及显微镜控制技术领域。所述方法包括：确定手术者视线与3D手术显示屏上注视点的目标映射关系；基于手术者视线变化规律与所述目标映射关系，确定手术显微镜调节参数；基于所述手术显微镜调节参数，控制机器人调节所述手术显微镜。本申请提供的基于眼动追踪的手术显微镜控制方法、装置、设备及介质，可以提高手术效率与精准度。技术研发人员：边桂彬,李桢,付攀,叶强受保护的技术使用者：中国科学院自动化研究所技术研发日：技术公布日：2024/9/26