内窥镜设备及三维模型和内窥镜图像的配准方法与流程

本技术涉及图像配准，特别涉及一种内窥镜设备及三维模型和内窥镜图像的配准方法。

背景技术：

1、增强现实技术可以将基于术前医学影像重建的三维模型与术中内窥镜设备采集的内窥镜图像进行融合显示，使得医生能够直观地看到器官表面以下的解剖结构，有效地解决深度感知信息与触觉反馈信息缺失的问题，使外科手术更快速、更精确、更安全。

2、但是，在手术过程中，由于病人的体位变化和各种手术操作，会导致手术部位发生比较大的形变，使得当前形态下的手术部位与术前拍摄的手术部位相比，形成了比较大的差异，因此，需要根据三维模型和内窥镜图像的融合显示的误差，对三维模型和内窥镜图像进行配准。

3、相关技术中，为了确定三维模型和内窥镜图像的融合显示的误差，需要手动分别在三维模型和内窥镜图像上选取标记点位置，导致不能准确计算出三维模型和内窥镜图像的实际融合误差。

技术实现思路

1、为了解决上述现有技术中的问题，本技术实施例提供了一种内窥镜设备及三维模型和内窥镜图像的配准方法，用于解决现有技术不能准确计算出基于医学影像重建的三维模型与内窥镜设备采集的内窥镜图像的实际融合误差的问题，从而对三维模型和内窥镜图像进行更精确的配准。

2、第一方面，本技术实施例提供一种内窥镜设备，所述内窥镜设备包括处理器和显示器；

3、所述处理器被配置为：

4、获取对生物组织进行拍摄以及三维重建得到的所述生物组织对应的三维模型，以及获取所述生物组织的内窥镜图像；所述生物组织包括至少一个标记点；

5、根据所述内窥镜图像中每个像素点的像素特征，识别所述内窥镜图像中每个所述标记点对应的第一标记点区域；以及根据基于所述内窥镜设备对应的虚拟相机的投影变换矩阵，将所述三维模型进行投影得到参考图像，所述参考图像为二维图像，所述虚拟相机是基于所述内窥镜设备的相机参数构建得到的；根据所述参考图像中每个像素点的像素特征，确定所述参考图像中每个所述标记点对应的第二标记点区域；

6、根据所述内窥镜图像中的各个所述第一标记点区域，以及所述参考图像中的各个所述第二标记点区域，确定所述三维模型和所述内窥镜图像之间的融合误差；并根据所述融合误差，对所述三维模型和所述内窥镜图像进行配准；

7、所述显示器被配置为：显示配准之后的所述三维模型和所述内窥镜图像。

8、在一种可能的实施方式中，所述处理器在根据所述内窥镜图像中每个像素点的像素特征，识别所述内窥镜图像中每个所述标记点对应的第一标记点区域时，具体被配置为：根据所述内窥镜图像中每个像素点的像素特征，以及所述标记点的像素特征，确定所述内窥镜图像中每个所述标记点对应的第一标记点区域；

9、所述处理器在根据所述参考图像中每个像素点的像素特征，确定所述参考图像中每个所述标记点对应的第二标记点区域时，具体被配置为：根据所述参考图像中每个像素点的像素特征，以及所述标记点的像素特征，确定所述参考图像中每个所述标记点对应的第二标记点区域。

10、在一种可能的实施方式中，所述像素特征为颜色特征值，所述处理器具体被配置为：

11、针对所述内窥镜图像中每个像素点，将所述像素点的颜色特征值和第一颜色阈值进行比较，根据比较结果确定所述像素点是否为第一目标像素点，所述第一目标像素点为所述内窥镜图像中与所述标记点对应的像素点；

12、根据确定出的第一目标像素点，确定所述内窥镜图像中的第一标记点区域。

13、在一种可能的实施方式中，所述像素特征为颜色特征值，所述处理器具体被配置为：

14、针对所述参考图像中每个像素点，将所述像素点的颜色特征值和第二颜色阈值进行比较，根据比较结果确定所述像素点是否为第二目标像素点，所述第二目标像素点为所述参考图像中与所述标记点对应的像素点；

15、根据确定出的第二目标像素点，确定所述参考图像中的第二标记点区域。

16、在一种可能的实施方式中，所述处理器具体被配置为：

17、确定每个第一标记点区域和每个第二标记点区域之间的对应关系；

18、根据所述对应关系，确定每个所述第一标记点区域与对应的第二标记点区域之间的参考融合误差；根据每个所述第一标记点区域与对应的第二标记点区域之间的参考融合误差，确定所述三维模型和所述内窥镜图像之间的融合误差。

19、在一种可能的实施方式中，所述生物组织包括多个标记点；

20、所述处理器在确定每个第一标记点区域和每个第二标记点区域之间的对应关系时，具体被配置为：

21、针对每个所述第一标记点区域，从多个所述第二标记点区域中确定与所述第一标记点区域对应相同标记点的第二标记点区域；将与所述第一标记点区域对应相同标记点的第二标记点区域，作为所述第一标记点区域对应的第二标记点区域。

22、在一种可能的实施方式中，所述处理器在从多个所述第二标记点区域中确定与所述第一标记点区域对应相同标记点的第二标记点区域时，具体被配置为：

23、根据所述第一标记点区域的中心位置的坐标，以及每个所述第二标记点区域的中心位置的坐标，确定所述第一标记点区域的中心位置与每个所述第二标记点区域的中心位置的距离；

24、根据所述第一标记点区域的中心位置与每个所述第二标记点区域的中心位置的距离，确定与所述第一标记点区域对应相同标记点的第二标记点区域。

25、在一种可能的实施方式中，所述处理器在根据所述对应关系，确定每个所述第一标记点区域与对应的第二标记点区域之间的参考融合误差时，具体被配置为：

26、根据所述对应关系，确定所述每个第一标记点区域与对应的第二标记点区域之间的像素距离和/或物理距离；

27、将所述像素距离和/或物理距离，作为所述每个第一标记点区域与对应的第二标记点区域之间的参考融合误差。

28、第二方面，本技术实施例提供一种三维模型和内窥镜图像的配准方法，应用于内窥镜设备，所述方法包括：

29、获取对生物组织进行拍摄以及三维重建得到的所述生物组织对应的三维模型，以及获取所述生物组织的内窥镜图像；所述生物组织包括至少一个标记点；

30、根据所述内窥镜图像中每个像素点的像素特征，识别所述内窥镜图像中每个所述标记点对应的第一标记点区域；以及根据基于所述内窥镜设备对应的虚拟相机的投影变换矩阵，将所述三维模型进行投影得到参考图像，所述参考图像为二维图像，所述虚拟相机是基于所述内窥镜设备的相机参数构建得到的；根据所述参考图像中每个像素点的像素特征，确定所述参考图像中每个所述标记点对应的第二标记点区域；

31、根据所述内窥镜图像中的各个所述第一标记点区域，以及所述参考图像中的各个所述第二标记点区域，确定所述三维模型和所述内窥镜图像之间的融合误差；并根据所述融合误差，对所述三维模型和所述内窥镜图像进行配准；

32、显示配准之后的所述三维模型和所述内窥镜图像。

33、在一种可能的实施方式中，所述根据所述内窥镜图像中每个像素点的像素特征，识别所述内窥镜图像中每个所述标记点对应的第一标记点区域，包括：根据所述内窥镜图像中每个像素点的像素特征，以及所述标记点的像素特征，确定所述内窥镜图像中每个所述标记点对应的第一标记点区域；

34、所述根据所述参考图像中每个像素点的像素特征，确定所述参考图像中每个所述标记点对应的第二标记点区域，包括：根据所述参考图像中每个像素点的像素特征，以及所述标记点的像素特征，确定所述参考图像中每个所述标记点对应的第二标记点区域。

35、第三方面，本技术实施例提供一种三维模型和内窥镜图像的配准装置，包括：

36、获取模块，用于获取对生物组织进行拍摄以及三维重建得到的所述生物组织对应的三维模型，以及获取所述生物组织的内窥镜图像；所述生物组织包括至少一个标记点；

37、区域识别模块，用于根据所述内窥镜图像中每个像素点的像素特征，识别所述内窥镜图像中每个所述标记点对应的第一标记点区域；以及根据基于所述内窥镜设备对应的虚拟相机的投影变换矩阵，将所述三维模型进行投影得到参考图像，所述参考图像为二维图像，所述虚拟相机是基于所述内窥镜设备的相机参数构建得到的；根据所述参考图像中每个像素点的像素特征，确定所述参考图像中每个所述标记点对应的第二标记点区域；

38、配准模块，用于根据所述内窥镜图像中的各个所述第一标记点区域，以及所述参考图像中的各个所述第二标记点区域，确定所述三维模型和所述内窥镜图像之间的融合误差；并根据所述融合误差，对所述三维模型和所述内窥镜图像进行配准；

39、显示模块，用于显示配准之后的所述三维模型和所述内窥镜图像。

40、第四方面，本技术实施例提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时，实现第二方面三维模型和内窥镜图像的配准方法中任一项所述的方法。

41、本技术实施例提供的一种内窥镜设备及三维模型和内窥镜图像的配准方法，获取生物组织的三维模型和内窥镜图像之后，根据内窥镜图像中每个像素点的像素特征，识别内窥镜图像中的第一标记点区域，接着，将三维模型进行投影得到参考图像，识别参考图像中的第二标记点区域。最后，根据内窥镜图像中的各个第一标记点区域，以及参考图像中的各个第二标记点区域，确定三维模型和内窥镜图像之间的融合误差，并根据融合误差，对三维模型和内窥镜图像进行配准。由此，可以在三维模型和二维图像中自动获取标记点区域，无需人工手动选取标记点区域，可以更为准确地量化三维模型和二维图像之间的融合误差，避免引入手工误差导致不能准确计算出三维模型和二维图像的实际融合误差，从而对三维模型和内窥镜图像进行更精确的配准。