一种医用增强现实系统

本发明属于医学应用及增强现实领域，尤其涉及一种医用增强现实系统。

背景技术：

1、随着医疗与技术的发展，人们对医疗水平与质量有了更高的要求，传统的医学教育与实践显示出不足之处。随着科技的进步，医用增强现实在医疗领域发挥着越来越重要的作用。医用增强现实技术是医学和增强现实技术的结合，医用增强现实系统为医学教育提供了一种新的可视化方式，它通过在学生面前展示临床图像来丰富医学教学，并使抽象内容直观且易于理解。此外，与系统的互动可以提高学生的学习兴趣和效率，在患者病情分析和临床治疗方面，增强现实可以直接在外科医生的视野中提供信息，这为增强现实提供了颠覆性改变手术的潜力。医护人员可以通过增强现实技术清晰直观地识别患者的病变部位，更有利于分析患者的病情。增强现实技术实现的手术导航，使医生在手术过程中能够准确控制患者病灶的位置和边界。医用增强现实系统也用于培训医疗技能和复杂的手术操作。医生可以利用增强现实技术制定手术计划，对患者病灶部位进行准确的把握，预测手术的复杂性。

2、当前，医用增强现实技术在医学教育、手术导航和诊断辅助等方面展示了巨大的应用潜力。然而，尽管取得了显著进展，目前的医用增强现实系统仍然面临一些挑战和局限。现有的医用增强现实系统大多依赖于带有标记的跟踪技术，如sebastian oberdörfer等人使用标记物实现的蛙类解剖教学系统的增强显示效果，这些标记通常是预先设计好的图案或物体，通过摄像头或其他传感器捕捉这些标记的位置和姿态，以实现虚拟信息的精确叠加。这种方法虽然在一定程度上保证了系统的准确性，但也存在一些问题：首先是额外硬件需求。使用标记进行追踪需要额外的硬件设备和标记物，这不仅增加了系统的复杂性和成本，还可能在手术或诊断过程中带来不便。其次是环境依赖性，系统在使用过程中标记需要被清晰地捕捉和识别，这要求操作环境具有良好的光线条件和较少的遮挡。此外，标记物的损坏或移位可能导致系统追踪失败，使得系统的适应性较低。而且，现有系统使用的模型通常由医学影像如ct三维重建得来，通常不考虑模型姿态的变化，即在使用过程中，模型的姿态是固定的。这在实际应用中会限制系统的灵活性，无法充分满足动态手术场景的需求。

技术实现思路

1、为解决当前的医用增强现实使用标记物与追踪系统进行定位，增加了系统的硬件要求与成本，且系统使用模型姿态固定，适应性较低的技术问题，本发明提供了一种医用增强现实系统，包括：

2、图像获取模块，用于采集真实世界图像；

3、人体识别模块，与所述图像获取模块连接，用于将所述真实世界图像作为输入进行人体识别，并输出人体各部位的位置信息，获得关键点坐标信息；

4、模型控制模块，与所述人体识别模块连接，用于基于三维医用人体模型，以所述关键点坐标信息作为输入，通过模型控制和读取展示窗口数据获取模型图像；

5、图像处理模块，与所述模型控制模块连接，用于对所述模型图像和真实世界图像进行处理后，输出获得增强现实图像；

6、图像展示模块，与所述图像处理模块连接，用于将所述增强现实图像在屏幕上进行展示。

7、优选地，所述人体识别模块包括姿态识别单元、信息存储单元；

8、所述姿态识别单元用于对输入的真实世界图像进行人体姿态识别，获取人体的关键点位置信息；

9、所述信息存储单元用于将所述关键点位置信息存储在数组中，所述数组存储的信息包括关键点平面坐标信息x和y，以及深度坐标信息z。

10、优选地，所述姿态识别单元具有人体局部识别功能；

11、所述人体局部识别功能包括人脸识别和手部识别。

12、优选地，所述模型控制模块包括位置控制单元、姿态控制单元；

13、所述位置控制单元用于将模型在展示窗口中的位置与相机捕获的图像中的人体位置进行相同配准后，对模型空间位置的变换进行控制；

14、所述模型空间位置的变换包括旋转、缩放和平移；

15、所述姿态控制单元用于通过绑定骨骼与建立姿态库对模型进行姿态控制，控制模型与真实世界图像中的人体姿态相同。

16、优选地，所述位置控制单元包括坐标统一单元、参考点选择单元、参数计算单元、坐标更新单元、模型渲染单元；

17、所述坐标统一单元用于将摄像头捕获的图像像素与模型展示窗口的像素大小设置为相同，以图像中心为原点，以像素为单位，建立二维统一坐标系，并将关键点坐标x、y、z以像素为单位进行转换；

18、所述参考点选择单元用于根据不同模式选择参考点；

19、所述参数计算单元用于计算模型位置控制所需的参数；

20、所述坐标更新单元用于将模型顶点坐标用四维列向量表示，并通过计算更新模型所有顶点坐标：

21、所述模型渲染单元用于在坐标更新后执行重新渲染，将更新后的模型渲染在模型展示窗口，并获取模型展示窗口的图像数据作为模型控制模块的输出。

22、优选地，所述模式包括全身模式、面部模式、手部模式；

23、所述全身模式为全部或几乎全部人体出现在摄像头视野内；

24、所述面部模式为面部处于摄像头视野内，但大部分身体不在摄像头视野内；

25、所述手部模式为手部出现在摄像头视野内，面部不在摄像头视野内；

26、当系统处于全身模式或面部模式时，选择两只眼睛作为参考点；

27、当系统处于手部模式时，选择手腕和中指尖作为参考点。

28、优选地，所述参数包括旋转角度、缩放因子、平移量、旋转矩阵、缩放矩阵、平移矩阵。

29、优选地，所述姿态控制单元包括骨骼姿态调整单元、姿态信息存储单元、权重分配单元、局部姿态控制单元；

30、所述骨骼姿态调整单元用于为初始状态模型绑定骨骼，获得默认骨骼，并根据人体的运动方式对所述默认骨骼的位置姿态进行调整；

31、所述姿态信息存储单元用于将处于不同的姿态下的每个骨骼坐标及相对于默认骨骼的偏移信息存储为姿态文件，然后将姿态文件加载到系统中；

32、所述权重分配单元用于根据默认骨骼的信息，创建初始模型的骨骼并制作权重文件，然后系统为默认骨骼分配权重并将绑定到模型上，获得默认姿态；

33、所述局部姿态控制单元用于当模型处于默认姿态时，为每块骨骼建立局部坐标系；在模型姿态需要变换时，由骨骼控制的点的坐标在骨骼的局部坐标系中保持不变，只改变局部坐标系的位置和方向，对骨骼进行局部姿态控制。

34、优选地，所述局部姿态控制单元包括第一变换矩阵计算单元、第二变换矩阵计算单元、空间转换单元、顶点更新渲染单元；

35、所述第一变换矩阵计算单元用于通过骨骼在默认姿态下的控制点的局部空间坐标获得所述控制点在默认姿态下的模型空间坐标，并计算获得将所述控制点的坐标从骨骼的局部空间变换为模型空间的第一空间变换矩阵；

36、所述第二变换矩阵计算单元用于当模型应用新姿态时，根据加载的姿态文件信息，计算获得新姿态下将控制点从骨骼局部空间变换到模型空间的第二空间变换矩阵；

37、所述空间转换单元用于通过计算先将控制点的坐标从模型空间转移到默认姿态下骨骼的局部空间，然后基于新姿态下骨骼的第二空间变换矩阵与新姿态下顶点的坐标，将顶点的坐标从局部空间转换回模型空间：

38、所述顶点更新渲染单元用于更新模型的所有顶点并重新渲染后，模型被应用新姿态，从而实现模型的姿态控制。

39、优选地，所述图像处理模块包括图像融合单元、图像替换单元；

40、所述图像融合单元用于通过图像处理函数将模型图像和真实世界图像进行融合；

41、所述图像替换单元用于从模型图像中取出模型区域，并移除真实图像中的对应区域，然后将所述模型区域添加到真实世界图像的空白区域，获得增强现实图像。

42、与现有技术相比，本发明具有如下优点和技术效果：

43、本发明的医用增强现实系统可以实现人体全身骨骼可视化的增强现实效果，且具有局部可视化功能。并且，减少了系统的硬件需求与造价，同时增强系统的适应性，使用无标记的方式进行配准，降低了系统的硬件要求。采用模型控制方法，实时改变模型姿态，使之适应人体姿态的变化，增强了系统的适应性。