基于无介质全息显示终端的多模态手术系统、设备的制作方法

本发明涉及医疗设备，具体地涉及一种基于无介质全息显示终端的多模态手术系统、一种基于无介质全息显示终端的多模态手术设备以及一种多模态手术管理方法。

背景技术：

1、随着医学技术的不断发展，人们在就医治疗的过程中，所采用的医疗手段在不断增加和丰富，同时，随着医疗设备的技术发展和不断更新，当人们在进行手术治疗时，所依赖的医疗设备也越来越多。

2、在现有的手术过程中，医生需要首先根据多台医疗设备对患者进行全面检查后，根据对应的多个检查结果进行病情的协同判断，以确定最终手术方案。在现有技术方案中，由于国内医疗设备供应商较多，不同的医疗设备之间无法进行信息互联，由此导致了信息孤岛的产生，医生在获取多个检查结果时，需要人为获取多个检查结果，根据个人的医疗素质进行病情的分析和判别，因此导致误诊率较高，主观性较强。

3、同时，目前医疗设备在进行检查并生成检查结果后，往往将其以文字或二维图像的方式传输至对应的终端设备以供医生查阅，然而一方面，由于患者的器官为三维构造，因此在阅读上述文字或二维图像时，对医生对患者病情的理解造成了一定不便；另一方面，医生基于对文字或二维图像的查阅以在脑中重构患者器官的病情时，可能与实际病情存在一定偏差，由此降低了诊断精确性，并进而导致后续手术准确性降低。

技术实现思路

1、为了克服现有技术中存在的上述技术问题，本发明实施例提供一种基于无介质全息显示终端的多模态手术系统、设备，通过采用无介质全息显示终端与多种医学设备相结合的方式，为医生提供三维、直观、切面的器官展示，从而提高了手术便捷性和安全性。

2、为了实现上述目的，本发明实施例提供一种基于无介质全息显示终端的多模态手术系统，所述系统包括：二维信息获取装置，与多个二维扫描设备连接，用于实时获取采集自每个二维扫描设备的二维器官信息，所述二维器官信息包括器官切面信息；数字造影获取装置，与预设数字造影设备连接，用于获取采集自所述数字造影设备的器官造影信息；三维建模装置，与所述二维信息获取装置和所述数字造影获取装置连接，用于基于所述二维器官信息和所述器官造影信息生成对应的三维模型；无介质全息显示终端，与所述三维建模装置连接，用于基于所述三维模型生成全息图像，在预设无介质显示空间实时显示所述全息图像。

3、优选地，所述系统还包括与所述无介质全息显示终端固定连接的第一平面显示装置，用于实时显示与所述全息图像对应的二维图像。

4、优选地，所述系统还包括第二平面显示装置，所述第二屏幕显示装置配置于所述医生的视野区域内且远离所述无介质全息显示终端的位置，所述第二平面显示装置的展示面积大于所述第一平面显示装置，所述第二平面显示装置与所述二维信息获取装置、所述数字造影获取装置、所述三维建模装置和预设拍摄装置连接，所述预设拍摄装置用于实时采集手术部位的手术图像信息，所述第二平面显示装置用于显示所述二维器官信息、所述器官造影信息、所述三维模型以及所述手术图像信息。

5、优选地，所述基于所述三维模型生成全息图像，包括：获取与所述无介质全息显示终端对应的全息转换光学参数；基于所述全息转换光学参数对所述三维模型进行光学转换，生成光学转换后信息；对所述光学转换后信息进行全息格式处理，生成对应的全息图像。

6、优选地，所述无介质全息显示终端包括触发单元，所述触发单元用于获取医生的操作信息，所述操作信息获取自预设无介质操作空间，所述无介质全息显示终端还用于：判断所述操作信息的操作类型；在所述操作类型为针对所述三维模型的外表操作时，执行对应的三维模型调整操作，生成并显示对应的第一调整全息图像；在所述操作类型为针对所述三维模型的内部操作时，执行对应的三维模型切面操作，生成并显示对应的第二调整全息图像。

7、优选地，所述第二平面显示装置还与所述无介质全息显示终端连接，所述第二平面显示装置的显示区域中包括全息展示区域，所述第二平面显示装置还用于：在所述全息展示区域平面，实时显示所述第一调整全息图像或所述第二调整全息图像。

8、相应的，本发明还提供一种基于无介质全息显示终端的多模态手术设备，所述设备包括本发明实施例所述的系统，所述系统包括无介质全息显示终端，所述设备还包括控制装置，所述控制装置包括升降部件和旋转部件，所述升降部件用于控制所述无介质全息显示终端执行升降操作；所述旋转部件用于控制所述无介质全息显示终端执行水平旋转操作。

9、另一方面，本发明实施例还提供一种多模态手术管理方法，所述方法包括：实时获取待手术器官的二维器官信息，所述二维器官信息包括器官切面信息；获取所述待手术器官的器官造影信息；基于所述二维器官信息和所述器官造影信息生成对应的三维模型；基于所述三维模型生成全息图像；在预设无介质显示空间实时显示所述全息图像。

10、优选地，所述方法还包括：获取医生的操作信息；判断所述操作信息的操作类型；在所述操作类型为针对所述三维模型的外表操作时，执行对应的三维模型调整操作，生成并显示对应的第一调整全息图像；在所述操作类型为针对所述三维模型的内部操作时，执行对应的三维模型切面操作，生成并显示对应的第二调整全息图像。

11、优选地，所述方法还包括：在判断所述操作信息的操作类型之前，获取与所述操作信息对应的操作触点数和触发时间；基于所述操作触点数和所述触发时间判断所述操作信息是否为误操作信息；在确定所述操作信息不是误操作信息的情况下，判断所述操作信息的操作类型。

12、通过本发明提供的技术方案，本发明至少具有如下技术效果：

13、通过对现有的手术辅助方式进行改进，为医生配备具有全息投影功能的无介质全息显示终端，并将其与多种医疗设备相结合，以综合待手术器官的所有医学检测信息并生成对应的全息投影，医生能够从所有维度上查看待手术器官的形状、结构、组织、部位等信息，大大提高了医生手术的便捷性和可靠性，提高了手术安全性。

14、本发明实施例的其它特征和优点将在随后的具体实施方式部分予以详细说明。

技术特征：

1.一种基于无介质全息显示终端的多模态手术系统，其特征在于，所述系统包括：

2.根据权利要求1所述的系统，其特征在于，所述系统还包括与所述无介质全息显示终端固定连接的第一平面显示装置，用于实时显示与所述全息图像对应的二维图像。

3.根据权利要求1所述的系统，其特征在于，所述系统还包括第二平面显示装置，所述第二屏幕显示装置配置于所述医生的视野区域内且远离所述无介质全息显示终端的位置，所述第二平面显示装置的展示面积大于所述第一平面显示装置，所述第二平面显示装置与所述二维信息获取装置、所述数字造影获取装置、所述三维建模装置和预设拍摄装置连接，所述预设拍摄装置用于实时采集手术部位的手术图像信息，所述第二平面显示装置用于显示所述二维器官信息、所述器官造影信息、所述三维模型以及所述手术图像信息。

4.根据权利要求1所述的系统，其特征在于，所述基于所述三维模型生成全息图像，包括：

5.根据权利要求3所述的系统，其特征在于，所述无介质全息显示终端包括触发单元，所述触发单元用于获取医生的操作信息，所述操作信息获取自预设无介质操作空间，所述无介质全息显示终端还用于：

6.根据权利要求5所述的系统，其特征在于，所述第二平面显示装置还与所述无介质全息显示终端连接，所述第二平面显示装置的显示区域中包括全息展示区域，所述第二平面显示装置还用于：

7.一种基于无介质全息显示终端的多模态手术设备，其特征在于，所述设备包括根据权利要求1-6中任一权利要求所述的系统，所述系统包括无介质全息显示终端，所述设备还包括控制装置，所述控制装置包括升降部件和旋转部件，

8.一种多模态手术管理方法，其特征在于，所述方法包括：

9.根据权利要求8所述的方法，其特征在于，所述方法还包括：

10.根据权利要求9所述的方法，其特征在于，所述方法还包括：

技术总结本发明涉及医疗设备技术领域，公开一种基于无介质全息显示终端的多模态手术系统、设备，包括：二维信息获取装置，与多个二维扫描设备连接，用于实时获取每个二维扫描设备的二维器官信息，二维器官信息包括器官切面信息；数字造影获取装置，与预设数字造影设备连接，用于获取采集自数字造影设备的器官造影信息；三维建模装置，与二维信息获取装置和数字造影获取装置连接，用于基于二维器官信息和器官造影信息生成三维模型；无介质全息显示终端，与三维建模装置连接，用于基于三维模型生成全息图像，在预设无介质显示空间实时显示全息图像。将无介质全息显示终端与多医学设备结合，为医生提供三维、直观、切面的器官展示，提高手术便捷性和安全性。技术研发人员：党征刚,张兵,沈煜,王侃,何云龙,张旭平受保护的技术使用者：像航（如东）科技有限公司技术研发日：技术公布日：2024/6/11