基于混合现实技术的教学系统及方法

本发明涉及混合现实，尤其涉及基于混合现实技术的教学系统及方法。

背景技术：

1、汽车教学过程中，需要让学生对汽车的各个部件进行了解，在讲解时，需要将汽车教具的各个零部件，进行展示、拆解、拼装，便于学生更好的认知，现有技术中，如发明专利cn112294041a公开的一种用于汽车教具零部件的教学装置，通过定位与转动机构进行展示教学，但是由于汽车零部件较多且体积较大，不方便移动，也无法进行细节展示，学生们在实际学习过程中只能观摩老师操作而无法自己动手实操，从而影响课程效果。

技术实现思路

1、发明目的：本发明的目的是提供一种基于混合现实技术能够实现高精度与高清晰度地移动、拆卸、组装和细节展示的基于uml图的混合现实虚拟教学系统及方法。

2、技术方案：第一方面本发明提供了一种基于混合现实技术的教学系统，包括混合现实眼镜、手部动作采集装置、上位机和用于拍摄教学用模型的鱼眼状摄像头，所述混合现实眼镜透镜采用自由曲面技术，视场角大于45°fov，所述混合现实眼镜配置视觉处理器gpu、6自由度系统、九轴陀螺仪、26自由度手势输入系统和按键输入设备，所述26自由度手势输入系统支持双手势并行控制，并支持这26自由度手势输入系统和按键输入设备的并存及动态启用和关闭。

3、进一步的，所述鱼眼状摄像头对称布置于混合现实眼镜两侧前端，用于模拟人眼拍摄扫描教学用模型。

4、进一步的，所述鱼眼状摄像头用于重叠计算的教学用模型，包括两个100w、单个的视场角为150°fov的1300万高清rgb camera摄像头。

5、进一步的，所述九轴陀螺仪包括3轴加速度计、3轴陀螺仪和3轴磁力计，把这些数据经过融合算法后，嵌于应用程序系统中。

6、进一步的，所述九轴陀螺仪的刷新率为1000hz。

7、进一步的，系统配置wifi和蓝牙系统，用于实现混合现实眼镜、手部动作采集装置和上位机间的交互通讯与文件传输。

8、进一步的，基于uml(标准建模语言)图进行模型控制，具体包括如下模块：

9、inputsystem(输入系统)：管理所有输入设备子系统；

10、device(设备)：输入设备，包含多个part及注册输入设备的api；

11、register/unregister(设备注册/解注册)：把输入设备注册到inputsystem所需要的模块，实现device的注册、解注册，只有注册过的device才能使用；

12、part(部件)：具体到某个输入设备中的某一部分，每个输入设备属于一个part；

13、data(数据)：输入设备part所需要存储数据的数据结构，管理此输入设备part所有数据；

14、status(状态)：输入设备part状态检测、查询模块，检测此输入设备part是否活跃，如果状态为活跃，则打开其他模块，否则其他模块关闭；

15、getdata(获取数据)：输入设备part数据获取模块，用于此输入设备part数据的获取，然后填充到输入设备part data中；

16、dataprocess(数据处理)：输入设备part用于处理输入设备part data中数据所需要的模块，进一步会分为简单处理模块和event处理模块，分析数据是否有event发生并派发event；

17、simpledataprocess(简单数据处理)：输入设备part数据简单处理，通过getdata模块获取到的数据，计算出某些中间数据；

18、eventdataprocess(对象数据处理)：输入设备part的event处理模块，用于分析key按键及其他数据，检测到event则派发event；

19、targedectect(目标检测)：输入设备part用于检测目标物体的模块，主要通过射线或者collider检测包含collider的目标物体，检测到目标物体后，输入设备partdataprocess会给目标物体派发的event；

20、ui(用户界面)：输入设备part所需要ui显示；

21、model(模型)：模型上挂载的脚本，控制模型的行为；

22、keyevent(按键对象)：用于分析key按键及其数据；

23、event(对象)：对象处理模块，分析数据是否有对象的位状态发生，并派发event。

24、进一步的，采用shadowsdk软件中的inputsystem输入子系统负责处理输入设备和输出执行动作，负责包括各种输入设备的数据收集，数据处理，目标的检测，事件的派发；inputsystem输入子系统同时支持6自由度系统数据、按键输入设备和自由度手势输入系统输入，支持26自由度手势输入系统和按键输入设备并存及动态启用和关闭；inputsystem输入子系统提取各种输入设备共性，进行统一管理。

25、第二方面本发明提供了一种基于混合现实技术的汽车零部件装配教学方法包括以下步骤：

26、s1：采集搭建教学场景；

27、s2：拷贝和/或扫描采集教学用模型；

28、s3：采用双摄像头拍摄教学用模型重叠计算；

29、s4：合并融合教学用模型与教学场景形成教学空间，并调整模型与空间比例关系；

30、s5：计算混合现实设备移动在教学空间中产生的移动距离和角度，得到教学用模型在教学空间内的相对移动参数；

31、s6：识别交互信息，所述交互信息包括语音指令和捕捉手部运动轨迹信息，所述手部运动轨迹信息生成模型控制指令，控制指令控制虚拟教学场景中教学用模型的操作；

32、s7：教师佩戴混合现实设备在虚拟教学空间中模拟教学，在模拟教学空间中产生的教学过程生成视频并保存上传至服务器。

33、进一步的，所述手部运动轨迹信息包括教学用模型的移动、拆卸、组装、细节展示。

34、有益效果：与现有技术相比，本发明具有如下显著优点：本发明基于混合现实技术通过拷贝和拍摄扫描等方式录入教学用模具，高精度与高清晰度地移动、拆卸、组装和细节展示汽车零部件模型，教学带入感强，学生可以反复动手实操，从而激发学生的学习兴趣，提升学习效果。

技术特征：

1.一种基于混合现实技术的教学系统，其特征在于，包括混合现实眼镜、手部动作采集装置、上位机和用于拍摄教学用模型的鱼眼状摄像头，所述混合现实眼镜透镜采用自由曲面技术，视场角大于45°fov，所述混合现实眼镜配置视觉处理器gpu、6自由度系统、九轴陀螺仪、26自由度手势输入系统和按键输入设备，所述26自由度手势输入系统支持双手势并行控制，并支持这26自由度手势输入系统和按键输入设备的并存及动态启用和关闭。

2.根据权利要求3所述的一种基于混合现实技术的教学系统，其特征在于，所述鱼眼状摄像头对称布置于混合现实眼镜两侧前端。

3.根据权利要求3所述的一种基于混合现实技术的教学系统，其特征在于，所述鱼眼状摄像头用于重叠计算的教学用模型，包括两个100w、单个的视场角为150°fov的1300万高清rgb camera摄像头。

4.根据权利要求3所述的一种基于混合现实技术的教学系统，其特征在于，所述九轴陀螺仪包括3轴加速度计、3轴陀螺仪和3轴磁力计。

5.根据权利要求3所述的一种基于混合现实技术的教学系统，其特征在于，所述九轴陀螺仪的刷新率为1000hz。

6.根据权利要求3所述的一种基于混合现实技术的教学系统，其特征在于，系统配置wifi和蓝牙系统，用于实现混合现实眼镜、手部动作采集装置和上位机间的交互通讯与文件传输。

7.根据权利要求1所述的一种基于混合现实技术的教学系统，其特征在于，输入设备模型控制的uml图具体包括如下模块：

8.根据权利要求7所述的一种基于混合现实技术的教学系统，其特征在于，采用shadowsdk软件中的inputsystem输入子系统负责处理输入设备和输出执行动作，负责包括各种输入设备的数据收集，数据处理，目标的检测，事件的派发；inputsystem输入子系统同时支持6自由度系统数据、按键输入设备和自由度手势输入系统输入，支持26自由度手势输入系统和按键输入设备并存及动态启用和关闭；inputsystem输入子系统提取各种输入设备共性，进行统一管理。

9.一种基于混合现实技术的教学方法，其特征在于，包括以下步骤：

10.根据权利要求1所述的一种基于混合现实技术的教学方法，其特征在于，所述手部运动轨迹信息包括教学用模型的移动、拆卸、组装、细节展示。

技术总结本发明公开了一种混合现实虚拟教学系统及方法，采集搭建教学场景，拷贝并扫描采集教学用模型，采用双摄像头拍摄教学用模型重叠计算，合并融合教学用模型与教学场景形成教学空间，并调整模型与空间比例关系，然后计算混合现实设备移动在教学空间中产生的移动距离和角度，得到教学用模型在教学空间内的相对移动参数后，识别语音指令和捕捉手部运动轨迹信息，手部运动轨迹信息生成模型控制指令，控制指令控制虚拟教学场景中教学用模型的操作，教师佩戴混合现实设备在虚拟教学空间中模拟教学。本发明能够应用于危险高压或复杂部件的实训教学中，实现了高精度、高清晰度的零部件放大、选取、识别，具有很好的教学效果。技术研发人员：吴会波,马琳达,王晓华受保护的技术使用者：南京信息职业技术学院技术研发日：技术公布日：2024/5/29