一种本异地混合现实主从人员协同交互的方式的制作方法

本发明涉及增强现实领域，特别是一种本异地混合现实主从人员协同交互的方式。

背景技术：

1、xr技术是一种集成了增强现实（ar）、虚拟现实（vr）和混合现实（mr）等多种技术的新型技术，通过计算机图形学、传感器、摄像头等，将现实世界与虚拟世界进行融合，使用户能够与虚拟对象进行互动并感知虚拟信息。随着xr技术的快速发展，其应用范围越来越广泛，包括游戏、教育、医疗、建筑、工业等领域，前景广阔。

2、教育是xr技术的一个重要应用领域。借助xr技术，教育可以变得更加生动、直观、沉浸式，为学生提供更具体、更深入的学习体验。目前典型的应用案例主要有：

3、虚拟实验室：通过虚拟现实技术，学生可以在虚拟环境中进行各种实验，无需实际物理设备和材料，既能降低实验成本，又能提高实验的安全性和可重复性。学生可以在虚拟实验室中自由探索和实践，加深对科学原理的理解。

4、沉浸式学习：借助增强现实技术，学生可以将虚拟对象与真实世界相结合，实现沉浸式学习体验。例如，在历史课上，学生可以通过ar应用程序将历史场景和人物呈现在现实中，亲身感受历史事件的重要性和影响。

5、三维建模与设计：xr技术可以帮助学生进行三维建模和设计的学习。学生可以使用虚拟现实技术创建和操纵三维对象，从而培养创造力和空间思维能力。这种学习方式能够提高学生的实践能力和解决问题的能力。

6、但目前教师基于ar设备的上课方式仍是单人演示及大屏投屏显示，学生无法直观感受到与场景中虚拟对象交互的乐趣。即便是远程教育，也缺乏学生自主的互动学习。本发明旨在实现一种本异地混合现实主从人员协同交互的方式，面向教室所管理的班级课堂，使学生也能直接地参与到混合现实空间，与其中的虚拟对象进行交互，而非枯燥地观看大屏。教师即主人员在应用端给其他终端授予可交互操作的权利，学生即其他人员在其所使用的终端就可以自由编辑虚拟对象，包括空间中的移动、缩放、旋转等，增加了学生自主学习的积极性，提升了课堂互动体验。

技术实现思路

1、鉴于现有技术中的不足，本发明的目的在于提一种本异地混合现实主从人员协同交互的方式，使学生也能根据自己的进度自主学习，与课程内容进行互动，提高学习的主动性和参与度。在xr应用领域尤其是教育领域内，这种主从人员协同交互的方式，能够激发学生的创新思维和实践能力，提升xr课堂的质量和教学效果，更方便地满足更多用户的需求。

2、为了解决上述问题，本发明提供一种本异地混合现实主从人员协同交互的方式，其实现模块包括：主人员所使用的终端、其他人员所使用的终端、云端服务器；

3、所述主人员所使用的终端，用于授予其他终端可交互操作的权利；

4、所述其他人员所使用的终端，用于同步场景内虚拟对象的属性并接受交互操作的权利；

5、所述云端，用于保证其他所有终端可见场景的同步性。

6、进一步地，所述的主人员所使用的终端及其他人员所使用的终端，主要是面向支持xr体验的相关设备，包括：

7、xr眼镜；

8、移动端，例如平板手机等。

9、进一步地，以xr眼镜为例，所述终端包括：

10、网络模块：负责处理网络连接和数据传输，使用xr眼镜上的无线网卡或蓝牙等技术与其他终端进行通信，负责建立和管理websocket连接，发送和接收数据；

11、websocket客户端模块：负责实现websocket协议的客户端功能，封装websocket相关的协议和消息处理逻辑，将应用程序中的数据和事件转换为websocket消息，并将接收到的websocket消息传递给应用程序；

12、数据解析和封装模块：负责将应用程序中的数据解析为适合websocket协议的格式，并将接收到的websocket消息解析为应用程序可读取的数据格式；

13、交互控制模块：负责处理用户与xr眼镜之间的交互，包括手势识别、语音识别、头部追踪等技术，用于捕捉用户的交互行为，并将其转换为相应的websocket消息发送给其他终端；

14、安全认证模块：负责保护websocket通信的安全性，防止未经授权的访问和数据泄露。

15、进一步地，所述方法的完整实现流程包括：

16、创建房间，给所有终端发送指令，并渲染场景；

17、主人员所使用的终端授予其他终端可交互的权利；

18、有交互权利的终端进行场景交互，所有终端可视场景同步更新。

19、进一步地，所述主人员所使用的终端授予其他终端可交互的权利基于websocket实现，包括：

20、主人员所使用的终端向其他人员所使用的终端发送websocket连接请求，建立websocket连接；

21、主人员所使用的终端向其他人员所使用的终端发送授权消息；

22、其他人员所使用的终端接收到授权消息后，对其中的授权码或认证信息进行验证。如果验证通过，则表示主人员所使用的终端有授权访问其他人员所使用的终端的权限，如果验证通过，其他人员所使用的终端向主人员所使用的终端发送授权确认消息，并在websocket连接中建立授权访问通道；

23、主人员所使用的终端接收到授权确认后，可以使用已经建立的websocket连接与其他

24、人员所使用的终端进行通信，并进行相应的操作。

25、由于上述技术方案，本发明具有以下有益效果：一种本异地混合现实主从人员协同交互的方式，使主从人员使用终端可视对方的交互操作及虚拟对象的属性变化，提供实时共享和协作能力、实时反馈和调整能力。该方案可以更好地帮助进入该场景的终端使用人员更好地理解和执行任务，有助于提高工作的灵活性和适应性，提升教学效率和学生的学习体验。

技术特征：

1.一种本异地混合现实主从人员协同交互的方式，其实现模块包括：主人员所使用的终端、其他人员所使用的终端、云端服务器；

2.根据权利要求1所述的方式，所述的主人员所使用的终端及其他人员所使用的终端，主要是面向支持xr体验的相关设备，包括：

3.根据权利要求2所述的相关设备，以xr眼镜为例，所述终端包括：

4.根据权利要求1所述的方式，所述方法的完整实现流程包括：

5.根据根据权利要求4所述的方法，所述主人员所使用的终端授予其他终端可交互的权利基于websocket实现，包括：

技术总结本发明公开了一种本异地混合现实主从人员协同交互的方式，其包括：主人员所使用的终端、其他人员所使用的终端、云端服务器；所述主人员所使用的终端，用于授予其他终端交互操作的权利；所述其他人员所使用的终端，用于同步场景内虚拟对象的属性并接受交互操作的权利；所述云端，用于保证所有终端可见场景的同步性。本发明通过主人员所使用终端的授权控制作用，可广泛应用于AR课堂，便于在老师的管理下给予学生与虚拟对象的可交互性。技术研发人员：潘从政,王胜,邹常华,孙振宇,王林弢受保护的技术使用者：影育（上海）科技有限公司技术研发日：技术公布日：2024/6/2