一种基于混合现实技术的远程骨科手术指导装置和操作方法

技术特征：
1.一种远程骨科手术指导装置，其包括：本地设备和远程设备；其中，所述本地设备包括：采集设备、混合现实设备hololens、本地5g通讯终端，所述采集设备和混合现实设备hololens连接至本地5g通讯终端；所述远程设备所括：头戴式显示器、远程控制终端、计算机设备、以及远程5g通讯终端；所述头戴式显示器与远程控制终端连接于计算机设备，所述计算机设备连接于远程5g通讯终端；所述本地设备与远程设备通过所述本地5g通讯终端和远程5g通讯终端以无线方式实现实时数据传输。2.根据权利要求1所述的远程骨科手术指导装置，其中，所述混合现实设备hololens包括三维建模单元、三维显示单元。3.根据权利要求2所述的远程骨科手术指导装置，其中，所述三维建模单元用于根据人体骨骼图像建立虚拟的人体骨骼的三维模型。4.根据权利要求1所述的远程骨科手术指导装置，其中，所述远程控制终端包括手持控制器和远程跟踪设备。5.权利要求1～4任一项所述的远程骨科手术指导装置，其包括至少一组权利要求1所述本地设备和远程设备的组合。6.一种权利要求1所述远程骨科手术指导装置的操作方法，包括：采集设备采集人体骨骼图像并传输至混合现实设备hololens；混合现实设备hololens通过所述人体骨骼图像构建虚拟的三维人体骨骼模型；并将所述虚拟的三维人体骨骼模型传输至远程设备端；远程专家用户通过远程控制终端的手持控制器完成在虚拟的三维人体骨骼模型上的虚拟手术操作；计算机设备合成图像信息生成手术指导影像，并传输至显示终端；本地用户观看手术指导影像。7.根据权利要求6所述的操作方法，其中，所述人体骨骼图像包括x光图像、ct图像及mri图像的至少一种。8.根据权利要求6所述的操作方法，其中，所述计算机设备将接收到的人体骨骼图像和人体骨骼信息显示在本地设备和远程设备的显示终端上，本地设备的显示终端位于混合现实设备hololens上，远程设备的显示终端位于前述头戴式显示器。9.根据权利要求6～8任一项所述的操作方法，其中，远程控制终端采集专家用户的手势和位姿信息，并将手势和位姿信息传递至计算机设备。10.根据权利要求9所述的操作方法，其中，所述计算机设备接收前述手势和位姿信息，并将手势和位姿信息转化为虚拟的手势和位姿图像，然后将虚拟的手势和位姿图像与前述的虚拟的三维人体骨骼模型融合，生成合并的骨科模拟手术场景图像，显示在本地设备和远程设备的显示终端上。

技术总结
本申请涉及一种基于混合现实技术的远程骨科手术指导装置和操作方法。该远程骨科手术指导装置包括：本地设备和远程设备；其中，本地设备包括：采集设备、混合现实设备Hololens、本地5G通讯终端，远程设备所括：头戴式显示器、远程控制终端、计算机设备、以及远程5G通讯终端。通过操作远程骨科手术指导装置，一名或多名远程专家在混合现实环境中实时接收到来自工作环境中的一名或多名本地用户共享的信息，并为本地用户远程提供手术指导操作。本地用户远程提供手术指导操作。本地用户远程提供手术指导操作。


技术研发人员：刘蓬然 叶哲伟
受保护的技术使用者：华中科技大学同济医学院附属协和医院
技术研发日：2022.07.19
技术公布日：2022/10/18