图像配准方法及装置、电子设备和存储介质与流程

本发明涉及图像处理，尤其涉及一种用于手术机器人的图像配准方法及装置、电子设备和存储介质。

背景技术：

1、随着我国老龄化的趋势加剧，我国人民骨科疾病发病率逐渐增多。其中脊柱疾病占比是很大的一部分，据统计60岁以上50％以上的人患有脊柱类疾病。因此机器人辅助的脊柱导航系统具有非常重要的意义。

2、目前，机器人辅助的脊柱导航主要有以下几种方法：基于二维c型臂x光机的导航成像方法；基于三维c型臂影像的术中导航成像方法；基于术前三维ct重建并规划的导航成像方法。其中，基于二维c型臂x光机的导航成像方法应用最多，但是不够直观，手术效率较低；基于三维c型臂影像的术中导航成像方法，成像质量不太理想，价格昂贵，设备普及率较低；基于术前三维ct重建并规划的导航成像方法，如果没有术中空间定位算法，无法准确实施手术。基于2d/3d配准的术前三维ct重建并规划的导航成像方法可以避免上述问题，难点在于2d/3d配准之间的配准精度需要满足临床需求。

技术实现思路

1、现有技术中，手术过程中的2d/3d图像配准方法，缺乏对于ct数据初始位姿的精准计算方法，对于ct图像数据与x光图像数据的相似度计算方法也不够准确、快速和稳定，从而使得2d/3d图像配准的配准精度和效率均不高。

2、有鉴于此，第一方面，本发明提供一种用于手术机器人的图像配准方法，包括：拍摄手术对象的二维图像，并确定所述二维图像中的第一引导信息；获取所述手术对象的三维图像和术前规划信息，并确定所述三维图像中的第二引导信息；根据所述第一引导信息和所述第二引导信息计算第一位姿信息；根据所述第一位姿信息调整所述三维图像，并在调整后的三维图像中获取数字重建二维影像；计算所述二维图像与所述数字重建二维影像的相似度；当所述相似度满足预设条件时，根据所述第一位姿信息将所述术前规划信息投影在所述二维图像上；当所述相似度不满足预设条件时，更新所述第一位姿信息，获得第二位姿信息，并根据所述第二位姿信息调整所述三维图像。

3、根据本发明的第一方面的一些实施例，所述二维图像包括正位二维图像和侧位二维图像，所述第一引导信息包括正位引导信息和侧位引导信息，所述拍摄手术对象的二维图像包括：在第一位置拍摄所述手术对象的正位二维图像，并确定所述正位二维图像中的所述正位引导信息；在第二位置拍摄所述手术对象的侧位二维图像，并确定所述侧位二维图像中的所述侧位引导信息；其中，所述正位引导信息包括所述手术对象在所述正位二维图像中的正位中心位置信息及正位命名信息，所述侧位引导信息包括所述手术对象在所述侧位二维图像中的侧位中心位置信息及侧位命名信息。

4、根据本发明的第一方面的一些实施例，所述获取所述手术对象的三维图像，并确定所述三维图像中的第二引导信息括：采集患者手术区域的三维医学图像；对所述三维医学图像进行roi区域剪裁；对剪裁后的三维医学图像进行单节段分割提取；在至少一个节段中选择所述手术对象，检查分割结果；对所述手术对象进行命名；通过深度学习算法计算所述手术对象的中心位置，将所述手术对象的命名信息及中心位置信息作为所述第二引导信息。

5、根据本发明的第一方面的一些实施例，所述二维图像通过二维图像拍摄设备拍摄，所述根据所述第一引导信息和所述第二引导信息计算第一位姿信息包括：获取所述二维图像中的标尺信息；获取所述二维图像拍摄设备的内部参数；根据所述标尺信息和所述内部参数计算所述二维图像拍摄设备的外部参数；根据所述外部参数和所述第一引导信息、所述第二引导信息获得所述第一位姿信息。

6、根据本发明的第一方面的一些实施例，所述根据所述第一位姿信息调整所述三维图像，并在调整后的三维图像中获取数字重建二维影像包括：对所述三维图像进行处理，模拟x射线光源，计算射线方向上的图像密度值，获得所述数字重建二维影像。

7、根据本发明的第一方面的一些实施例，所述计算所述二维图像与所述数字重建二维影像的相似度包括：使用归一化互相关性系数计算所述相似度。

8、根据本发明的第一方面的一些实施例，所述使用归一化互相关性系数计算所述相似度包括:计算所述二维图像和所述数字重建二维影像的均值和标准差，根据所述均值和所述标准差确定所述归一化互相关性系数；根据所述归一化互相关性系数确定所述相似度。

9、根据本发明的第一方面的一些实施例，计算所述二维图像和所述数字重建二维影像的均值和标准差的公式为：

10、

11、

12、其中，k为所述二维图像或所述数字重建二维影像，μ为所述均值，σ为所述标准差，ω为图像像素的总数，p为所述二维图像k或所述数字重建二维影像k所对应图像的像素的大小。

13、根据本发明的第一方面的一些实施例，所述根据所述均值和所述标准差确定所述归一化互相关性系数的公式为：

14、

15、其中，i为所述二维图像，j为所述数字重建二维影像，t-1代表图像通过t-1变换为同一时域空间的图像。

16、根据本发明的第一方面的一些实施例，所述根据所述归一化互相关性系数确定所述相似度的公式为：

17、

18、其中，s_gncc为x梯度和y梯度两个梯度图像的ncc的和，cr为在x方向的中心位置的坐标，cc为在y方向的中心位置的坐标，r为半径，s_gncc(i1,i2,cr,cc)为以cr和cc为中心，2r为边长的方形区域的相似度。

19、根据本发明的第一方面的一些实施例，所述根据所述第一位姿信息将术前规划信息投影在所述二维图像上包括：将术前规划的椎弓根螺钉位置投影在所述二维图像上。

20、根据本发明的第一方面的一些实施例，所述更新所述第一位姿信息，获得第二位姿信息包括：以所述第一位姿信息为初始值，采用梯度无关的优化算法更新所述第一位姿信息，获得所述第二位姿信息。

21、第二方面，本发明还提供一种用于手术机器人的图像配准装置，包括：拍摄组件，配置成拍摄手术对象的二维图像，并确定所述二维图像中的第一引导信息；获取组件，配置成获取所述手术对象的三维图像，并确定所述三维图像中的第二引导信息；信息处理组件，配置成：根据所述第一引导信息和所述第二引导信息计算第一位姿信息；根据所述第一位姿信息调整所述三维图像，并在调整后的三维图像中获取数字重建二维影像；计算所述二维图像与所述数字重建二维影像的相似度；当所述相似度满足预设条件时，根据所述第一位姿信息将术前规划信息投影在所述二维图像上；当所述相似度不满足预设条件时，更新所述第一位姿信息，获得第二位姿信息，并根据所述第二位姿信息调整所述三维图像。

22、第三方面，本发明还提供一种电子设备，包括：处理器；以及存储器，存储有计算机程序，当所述计算机程序被所述处理器执行时，使得所述处理器执行如本发明的第一方面所述的方法。

23、第四方面，本发明还提供一种非瞬时性计算机可读存储介质，其上存储有计算机可读指令，当所述指令被处理器执行时，使得所述处理器执行如本发明的第一方面所述的方法。

24、本发明所提供的用于手术机器人的图像配准方法，通过对术中二维图像提取引导信息、对术前三维图像提取引导信息，将二维图像与三维图像配准，并根据二维图像与数字重建二维影像的相似度进行判断，算法迭代速度快，配准效率高。进一步地，使用手术对象的中心位置作为引导信息，使用一点法计算初始位姿转换矩阵，配准精度高、速度快，保障了外科手术(例如脊柱手术)的顺利进行，给病人更轻松的手术体验，对于手术机器人在临床领域的应用具有重大意义。经过验证，本发明所提供的图像配准方法，仅5秒时间可达到万层配准，满足了临床实时需求；并且，本发明所提供的图像配准方法应用了人工智能深度学习算法进行脊柱节段的提取和分割，使得配准精度和效率更高，用户体验更好。