一种手术显微镜的图像导航方法及系统与流程

本发明涉及牙科诊疗，尤其涉及一种手术显微镜的图像导航方法及系统。

背景技术：

1、现代医学在体外诊断、显微治疗、医学影像和微创治疗等领域有了实质性进展，跨种类、多学科整合类型诊疗手段层出不穷。由于医学影像设备的不断发展，医学影像技术的日新月异，医学影像学的ct、mr、介入普放、超声和核医学等亚学科逐步建立，医学影像技术学科也逐步形成。

2、医学影像信息更加具有敏感性、直观性、特异性和早期型。图像分析由定性向定量发展，由显示诊断信息向提供手术路径方案发展；图像相机与显示由二维模拟向三位全数字化发展；图像存储由胶片硬拷贝向软拷贝无胶片化，乃至图像传输网络化发展；从单一图像技术向综合图像技术发展。

3、为了适应医学影像学数字化、网络化和融合化，必须建立诊断、技术、工程三个专业融合的观点，单一专业已不能完成现代医学影像学科的功能。

4、以根管治疗为例，医生需要彻底打开髓腔，找到全部根管并加以处理。人类一般每颗牙齿有1-4个根管，后部的牙齿根管最多。多根管牙常因增龄性变化或修复性牙本质的沉积，或髓石，或髓腔钙化，或根管形态变异等情况，而使根管口不易查找时，需要借助于牙齿的三维立体解剖形态，从各个方向和位置来理解和看牙髓腔的解剖形态；并采用多种角度投照法所拍摄的x线片来了解和指出牙根和根管的数目、形状、位置、方向和弯曲情况；牙根对牙冠的关系；牙根及根管解剖形态的各种可能的变异情况等。由于部分牙齿的根管数量可达四个，还可能存在侧支根管、副根管、根尖分歧和根尖分叉等复杂情况，即便在放大观察下也可能会遗漏；需要估计根管的可能位置，必要时可用小球钻在其根管可能或预期所在的发育沟部位除去少量牙本质，然后使用锐利探针试图刺穿任何钙化区，以指出根管口除去牙颈部的牙本质领圈以暴露根管口的位置，即如果存在根管口钙化等情况，就更需要医生对各可能位置进行反复试探，难免会过多地去除健康牙齿组织。

5、目前经常采用术前牙片的方式来帮助医生判断和确定目标牙齿的钻入点和钻入深度。首先，医生需要分出部分精力来记忆根冠形态，甚至暂停手术重新观察牙片；其次，人为的观察误差容易导致钻头切入点的偏差，并且钻入路径和深度都是凭借医师经验，无法准确定位。此外，现有的手术导航设备复杂，医生在术前准备时间较长，严重影响手术效率。

6、因此，结合上述存在的技术问题，有必要进行新的创新。

技术实现思路

1、本发明的目的在于至少解决现有技术中存在的技术问题之一，故提出一种手术显微镜的图像导航方法及系统，用于定位目标患处，标记钻头的切入点以及切入深度，使医生可以精准进行手术。

2、本发明提供一种手术显微镜的图像导航方法，其包括如下步骤：

3、s1：将手术对象与标记物进行固定设置，对手术对象和标记物进行辐射成像，获得三维结构数字图像；

4、s2：通过三维结构数字图像对所述标记物进行定位，建立三维空间坐标系，获得目标患处和标记物之间的相对位置；

5、s3：在所述三维结构数字图像上规划手术器械的切入点和路径导向点，生成导航路径，并将导航路径数据传输至媒体信号处理装置；

6、s4：将目标患处和标记物置于手术显微镜的视场内，并将手术显微镜视场内的影像传输至所述媒体信号处理装置；

7、s5：所述媒体信号处理装置识别所述标记物，生成与所述手术显微镜视场内影像相匹配的三维空间；

8、s6：根据所述三维空间将对应坐标的导航路径图像通过增强影像装置与手术显微镜视场中的影像进行叠加，实现实时导航。

9、进一步的，在步骤s5之前，所述媒体信号处理装置对所述标记物进行校准，消除所述媒体信号处理装置所接收的影像与现实影像之间的误差。

10、进一步的，对所述标记物进行校准包括如下步骤：

11、t1：所述媒体信号处理装置通过相机模块拍摄多张手术显微镜视场内的影像图片；

12、t2：在图片中检测特征点，并根据特征点位置信息以及图像中的坐标，求解单应矩阵；

13、t3：利用解析解估算法计算出内部参数以及外部参数；

14、t4：根据极大似然估计策略设计优化目标并实现参数优化，得到高精度参数。

15、进一步的，所述标记物包括基体和设置在所述基体上的定位件，所述定位件至少为三个，所述基体上设置有标定图案，

16、步骤s1中，所述标记物设置在目标患处附近，

17、步骤s2中，通过所述媒体信号处理装置打开所述三维结构数字图像，并依次对三个定位件进行定位，建立三维空间坐标系。

18、进一步的，所述定位件为金属球。

19、进一步的，对每个定位件进行定位时，同时选中该定位件在三个方向上的中心位置进行定位。

20、进一步的，所述标定图案为aruco图案，

21、步骤s5中，所述媒体信号处理装置提取aruco图案信息中的aruco码的id信息，并基于aruco码的id信息建立世界坐标系，根据角点坐标中的图像角点与世界坐标系中世界角点的对应关系，判断所述手术显微镜视场中所述标记物的位姿，从而生成相匹配的三维空间；

22、步骤s6中，所述媒体信号处理装置将世界坐标系、屏幕坐标系与三维空间坐标系进行配准，将三维空间内对应坐标的导航路径图像发送至增强影像装置与手术显微镜视场中的影像进行叠加。

23、进一步的，所述媒体信号处理装置包括第一媒体信号处理装置和第二媒体信号处理装置，所述第一媒体信号处理装置与所述第二媒体信号处理装置通讯连接，所述第二媒体信号处理装置通过光学适配器与所述增强影像装置连接，所述第二媒体信号处理装置的相机模块通过所述光学适配器采集所述手术显微镜视场中的影像，并将采集的影像显示于第二媒体信号处理装置，

24、所述第一媒体信号处理装置接收手术对象和标记物的三维结构数字图像数据，并通过三维结构数字图像对所述标记物进行定位，建立三维空间坐标系，

25、通过所述第一媒体信号处理装置在所述三维结构数字图像上规划手术器械的切入点和路径导向点，生成导航路径，之后将导航路径数据传输到所述第二媒体信号处理装置，所述第二媒体信号处理装置将导航路径数据传输到所述增强影像装置上，所述增强影像装置将所述导航路径数据转化为光学影像，并叠加在所述手术显微镜的视场中形成叠加影像。

26、进一步的，步骤s6中还包括：根据所述三维空间将对应匹配的三维结构数字图像通过增强影像装置与手术显微镜视场中的影像进行叠加。

27、进一步的，所述增强影像装置包括分光结构，所述手术显微镜视场中的影像通过所述分光结构实时显示于所述媒体信号处理装置上，所述手术显微镜视场内的影像包括目标患处的影像以及标记物的影像。

28、本发明还提供一种手术显微镜的图像导航系统，其包括手术显微镜、媒体信号处理装置和标记物，所述手术显微镜包括显微镜镜体和增强影像装置，所述增强影像装置设置在所述显微镜镜体上，所述增强影像装置包括分光结构，所述手术显微镜视场中的影像通过所述分光结构实时显示于所述媒体信号处理装置上，所述增强影像装置与所述媒体信号处理装置通讯连接；

29、所述标记物设置在目标患处附近，所述媒体信号处理装置接收手术对象和标记物的三维结构数字图像，并通过三维结构数字图像对所述标记物进行定位，建立三维空间坐标系，获得目标患处和标记物之间的相对位置；

30、在所述三维结构数字图像上规划手术器械的切入点和路径导向点，生成导航路径，媒体信号处理装置将导航路径数据传输到所述增强影像装置上，所述增强影像装置将所述导航路径数据转化为光学影像，并叠加在所述显微镜镜体的主光路上，在所述手术显微镜视场中形成叠加影像。

31、进一步的，所述增强影像装置包括投影模块和叠加镜组，所述投影模块与所述媒体信号处理装置通讯连接，所述叠加镜组设置在所述显微镜镜体的主光路上，所述投影模块被配置的接收所述媒体信号处理装置发出的导航路径数据，并将接收到的导航路径数据转化为光学影像，所述叠加镜组将所述投影模块发出的光学影像叠加至所述显微镜镜体的主光路中形成叠加影像，通过所述手术显微镜的双目镜筒能够观察到所述叠加影像。

32、进一步的，所述媒体信号处理装置包括第一媒体信号处理装置和第二媒体信号处理装置，所述第一媒体信号处理装置与所述第二媒体信号处理装置通讯连接，所述第二媒体信号处理装置通过光学适配器与所述增强影像装置连接，所述第二媒体信号处理装置的相机模块通过所述光学适配器采集所述手术显微镜视场中的影像，并将采集的影像显示于第二媒体信号处理装置，

33、所述第一媒体信号处理装置接收手术对象和标记物的三维结构数字图像，并通过三维结构数字图像对所述标记物进行定位，建立三维空间坐标系，

34、通过所述第一媒体信号处理装置在所述三维结构数字图像上规划手术器械的切入点和路径导向点，生成导航路径，之后将导航路径数据传输到所述第二媒体信号处理装置，所述第二媒体信号处理装置将导航路径数据传输到所述增强影像装置上。

35、与现有技术相比，本技术的手术显微镜的图像导航方法及系统至少具有如下一个或多个有益效果：

36、本技术的手术显微镜的图像导航方法及系统，其可以精确定位手术器械的切入点以及切入路径，引导医师或相关操作者完成牙科诊疗手术，提高手术精度；同时整体方案简单易操作，可以有效减少术前准备时间，提高手术效率；现有的手术显微镜导航系统一般需要使用专门的导航仪，但专门的导航仪体积较大，容易遮挡住手术显微镜的视野，而本技术则无需配置专门的导航仪，成本低，效率高，使用方便，器械少，手术规划诊断时间缩短；

37、其对标记物进行设计，可以提高导航的精确度，降低整个系统的复杂度；

38、其可采用双光路叠加设计，保证操作者通过双目镜筒观察时，双眼均可观察到叠加影像，可以使得操作者观察影像时更加的舒适和方便；优选使用dmd投影模块代替传统的oled屏投影，由于照明原理上的差异，dmd投影模块的亮度可以达到oled屏的上百倍，从而可以有效解决oled屏在屏幕高亮时对比度较差的问题。