基于混合现实的实时跟随显示方法、装置、设备及介质与流程

本技术涉及混合现实领域，特别是涉及到一种基于混合现实的实时跟随显示方法、装置、设备及介质。

背景技术：

1、在传统的手术导航系统中，外科医生需要不断将视线从手术区域移开，以观察显示屏上的医学影像数据，然后再将注意力重新集中到手术操作器械上，以确认手术部位的详细位置。这种频繁的视线转移和不可避免的注意力切换对外科医生的认知负担和手术流程的优化构成了干扰，从而在一定程度上延长了手术时间。针对解决这种问题，为了实现真实世界场景和虚拟空间环境准确对齐，此外，目前绝大多数融合光学定位系统的混合现实空间注册算法主要通过采集标志点，然后利用svd算法(singular value decomposition,奇异值分解)或单位四元数法进行注册。然而，这些注册过程非自动，容易引入人为误差，最终导致重叠效果不佳，难以满足临床精度的要求。另外，完成注册后，无法根据真实空间物体状态做到实时跟随

2、因此，如何实现自动且实时跟随的注册方法，减少混合现实的手术导航系统的注册误差，缓解医生频繁切换视线问题，提升手术过程中的临床精度是亟待解决的问题。

技术实现思路

1、本技术的主要目的为提供一种基于混合现实的实时跟随显示方法、装置、设备及介质，旨在解决如何减少混合现实的手术导航系统的注册误差，提升手术过程中的临床精度的技术问题。

2、为了实现上述发明目的，本技术提出一种基于混合现实的实时跟随显示方法，所述方法包括：一种基于混合现实的实时跟随显示方法，其特征在于，所述方法包括：

3、基于光学定位系统识别工具计算定位系统空间坐标系与标定工具坐标系的第二转换矩阵；

4、调用眼镜端api函数实时获取虚拟空间坐标系与相机坐标系的第三转换矩阵；

5、基于第二转换矩阵和第三转换矩阵，通过预设公式计算相机坐标系和标定工具坐标系第四转换矩阵；

6、通过视频流将实时捕获的图像数据传输给眼镜端，并实时渲染到虚拟空间的三维物体上；

7、通过光学定位系统识别病人表面的多个反光标记球，建立实际模型坐标系，并获得实际模型坐标系与定位系统空间坐标系之间的第五转换矩阵；

8、基于第二转换矩阵、第三转换矩阵、第四转换矩阵、第五转换矩阵和实时获取的病人表面多个反光标记球的移动位置，计算得到病人在虚拟空间对应的坐标进行画面显示。

9、进一步地，所述基于光学定位系统识别工具计算定位系统空间坐标系与标定工具坐标系的第二转换矩阵的步骤，包括：

10、基于眼镜端上固定的标定工具，通过光学定位系统识别所述标定工具上标记反光球相对于光学定位系统坐标系的位置和朝向；

11、基于所述位置和朝向，计算出光学定位系统空间坐标系与标定工具坐标系之间的第二转换矩阵。

12、进一步地，所述调用眼镜端api函数实时获取虚拟空间坐标系与相机坐标系的第三转换矩阵的步骤，包括：

13、读取眼镜端固定的相机的传感器数据；

14、基于所述传感器数据获取相机的运动和姿态信息；

15、使用所述运动和姿态信息，计算出虚拟空间坐标系与眼镜相机坐标系之间的第三转换矩阵。

16、进一步地，所述基于第二转换矩阵和第三转换矩阵，通过预设公式计算定位系统空间坐标系和虚拟空间坐标系的第一转换矩阵以及计算相机坐标系和标定工具坐标系的第四转换矩阵的步骤，包括：

17、基于以下公式计算所述第一转换矩阵以及第四转换矩阵：其中，mtc为第四转换矩阵；muc为第三转换矩阵，mou为第一转换矩阵，mto为第二转换矩阵；μ和λ分别对应不同时刻。

18、进一步地，所述通过光学定位系统识别病人表面的多个反光标记球，建立实际模型坐标系，并获得实际模型坐标系与定位系统空间坐标系之间的第五转换矩阵的步骤，包括：

19、使用光学定位系统识别病人表面的多个反光标记球的不同的位置信息；

20、根据识别到的反光标记球的位置信息，建立实际模型坐标系；

21、根据光学定位系统确定定位系统空间坐标系；

22、基于实际模型坐标系与定位系统空间坐标系，计算出第五转换矩阵。

23、进一步地，所述基于第二转换矩阵、第三转换矩阵、第四转换矩阵、第五转换矩阵和实时获取的病人表面多个反光标记球的移动位置，计算得到病人在虚拟空间对应的坐标进行画面显示的步骤，包括：

24、设病人在虚拟空间对应的坐标为pu，

25、实时获取病人的坐标移动距离pr；

26、则pu＝mcumtcmotmropr；其中，mcu为第三转换矩阵的逆矩阵，mtc为第四转换矩阵，mot为第二转换矩阵的逆矩阵；mro为第五转换矩阵的逆矩阵；

27、根据病人在虚拟空间对应的坐标pu进行实时跟随显示。

28、本技术的第二方面还包括一种基于混合现实的实时跟随显示装置，包括：

29、第二计算模块；用于基于光学定位系统识别工具计算定位系统空间坐标系与标定工具坐标系的第二转换矩阵；

30、第三计算模块；用于调用眼镜端api函数实时获取虚拟空间坐标系与相机坐标系的第三转换矩阵；

31、第四计算模块，用于基于第二转换矩阵和第三转换矩阵，通过预设公式计算定位系统空间坐标系和虚拟空间坐标系的第一转换矩阵以及计算相机坐标系和标定工具坐标系的第四转换矩阵；

32、渲染模块，用于通过视频流将实时捕获的图像数据传输给眼镜端，并实时渲染到虚拟空间的三维物体上；

33、第五计算模块，用于通过光学定位系统识别病人表面的多个反光标记球，建立实际模型坐标系，并获得实际模型坐标系与定位系统空间坐标系之间的第五转换矩阵；

34、实时跟随模块，用于基于第二转换矩阵、第三转换矩阵、第四转换矩阵、第五转换矩阵和实时获取的病人表面多个反光标记球的移动位置，计算得到病人在虚拟空间对应的坐标进行画面显示。

35、进一步地，上述第二计算模块，包括：

36、识别标定工具单元，基于眼镜端上固定的标定工具，通过光学定位系统识别所述标定工具上标记反光球相对于光学定位系统坐标系的位置和朝向；

37、计算转换矩阵单元，基于所述位置和朝向，计算出光学定位系统空间坐标系与标定工具坐标系之间的第二转换矩阵。

38、本技术的第三方面还包括一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述中任一项所述方法的步骤。

39、本技术的第四方面还包括一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述中任一项所述方法的步骤。

40、本技术基于混合现实的实时跟随显示方法利用光学定位系统和眼镜端api函数，能够实现对病人表面的反光标记球进行实时跟踪和显示。通过多个转换矩阵实现对视频流的实时渲染，然后实时获取病人表面反光标记球的移动位置，计算病人在虚拟空间对应的坐标进行画面显示，为医疗人员提供了精确、直观的实时信息，提升了术中操作的效率和准确性。