基于混合现实交互的工程法规教学系统的制作方法

本发明涉及混合现实技术教学应用，具体涉及基于混合现实交互的工程法规教学系统。

背景技术：

1、混合现实中人机交互主要是实现用户自然高效地与虚实混合的内容进行交互，交互技术主要有手势识别技术、语音和声音交互技术、触觉反馈技术、眼动跟踪技术、生理计算技术等等。

2、随着网络教学模型的快速发展，通过将学科知识进行模块化分解，并将教学内容各个环节的与学生进行互动操作的学习方法，能够一定程度提高学生的学习主动性和互动性，并迎来了教学方法与教学手段的改革，包括问题性教学、探究式教学、案例切入法教学、模拟场景法教学等。

3、虽然现有的教学模型提高了学生与学科教学之间的互动性，但是混合现实交互的教学模式还仅仅停留在探索阶段，难以实现直观的感官视觉知识体验；特别是对于法规条理较为繁复的知识学习阶段而言，通过传统的教学模型很难将现实案例问题与具体的法规条例进行一一配对；导致现有的混合现实交互演示系统在工程法规教学方面的教学大多运用在针对传统演练模式，并且存在的模拟培训成本高、学习形式单一的问题，由于导致实际教学过程缺乏针对性和即时反馈性。

技术实现思路

1、本发明的目的在于提供基于混合现实交互的工程法规教学系统，解决以下技术问题：

2、(1)怎样将传统教学模型和混合现实交互技术相结合，实现工程法规教学的问题与教学案例的充分融合和视觉化展现；

3、(2)如何利用混合交互技术提高学生对工程法规条理的充分学习和直观理解。

4、本发明的目的可以通过以下技术方案实现：

5、基于混合现实交互的工程法规教学系统，包括：

6、图像信息采集模块，用于采集工程法规教学案例信息和采集用户端窗口信息，并对工程法规教学案例信息进行图像信息特征筛选；

7、所述图像信息采集模块还包括硬件设备：

8、全景摄影设备，用于实时获取教学场景图像和生成教学环境全景虚拟图像；

9、混合现实体感交互设备，用于进行教学主体动作识别、语音识别及教学主体目标跟踪；

10、案例问题提取模块，用于调取工程法规教学数据库中的工程法规问题案例；

11、案例问题匹配模块，用于将筛选后的图像信息特征与工程法规问题案例信息进行匹配；

12、虚拟现实融合模块，用于输入匹配后的工程法规问题案例信息并识别用户端窗口信息的指令生成工程法规问题案例人机交互数据；

13、教学模型生成模块，用于根据图像信息采集模块和工程法规问题案例人机交互数据生成工程法规教学模型；

14、可视化输出模块，用于进行教学环境可视化展示。

15、优选地，所述图像信息采集模块进行图像信息特征筛选的方法包括：

16、采集连续的工程法规教学案例图像；

17、采用中值滤波法对图像进行去噪处理；

18、获取图像特征，所述图像特征包括：颜色特征、纹理特征及形状特征。

19、优选地，所述案例问题提取模块进行工程法规问题案例提取的方式为：

20、对多个工程法规问题案例进行语音录入；

21、将语音识别后的工程法规问题案例进行分词，筛选问题关键词；

22、根据问题关键词出现的频率大小进行顺序编号。

23、优选地，所述案例问题匹配模块：

24、对所述图像特征进行相似特征图像拼接；

25、将按照顺序编号后的问题与特征图像进行智能识别和匹配；

26、对匹配后图像重叠部分进行剪切并拼接，得到二维全景图像；

27、通过虚拟现实软件将二维全景图像转换为三维空间全景图像。

28、优选地，所述用户端窗口信息包括：

29、根据用户选择问题关键词推送用户标签信息；

30、捕捉教学主体目标跟踪选择的图像场景并执行显示指令。

31、优选地，所述教学主体动作识别包括：教室定位识别、教师主体关键特征点识别、教师手势识别；所述教学主体目标跟踪包括：识别教师头部位置信息及利用人脸识别技术获取视线关键点定位，利用头部姿势和视线追踪和识别目标区域。

32、优选地，所述教学模型生成模块包括：

33、模型搭建单元，用于将工程法规教学案例信息和采集用户端窗口信息输入cipp模型搭建初级教学模型；

34、模型融合单元，用于将三维空间全景图像和工程法规问题案例人机交互数据输入教学模型进行融合构建工程法规教学模型。

35、优选地，还包括对工程法规教学模型进行验证，验证过程为：

36、收集历史工程法规教学案例信息和用户端窗口信息并作为输入数据集合；

37、将数据集合输入预设cipp模型进行参数拟合，输出参数集合；

38、通过神经网络模型对参数集合进行训练并对训练输出结果；

39、根据输出结果更新工程法规教学模型。

40、本发明的有益效果：

41、(1)本发明通过图像信息采集模块保证的工程法规教学案例信息的实时获取和选择，进而自由选择窗口进行学习，提高学生的学习兴趣，提高教学质量，并且学生在学习中能够根据教师提供案例所创设的问题情境进行可视化呈现，有针对性地理解法律条文并解决案例中出现的问题，通过混合交互式的教学在“建设工程法规”的教学中应用。

42、(2)本发明通过设置案例问题提取模块调取工程法规教学数据库中的工程法规问题案例，通过工程法规教学数据库中的典型问题类型进行筛选，并提取筛选的问题并识别，提高问题案例之间的联系程度；并且设置案例问题匹配模块，根据筛选后的图像信息特征匹配对应的工程法规问题案例信息，保证筛选的不同图像信息特征与工程法规问题案例进行对应，保证根据工程法规问题便于筛选特定的图像并进行展现案例教学部分，提高课程互动效率，同时加深了学生对法规知识系统性的认识，便于加深学生对工程问题类型的法规进行出图的直观对比，同时加深教学内容相关法规的全面认识。

43、(3)本发明通过设置虚拟现实融合模块通过输入用于输入匹配后的工程法规问题案例信息并识别用户端窗口信息的指令生成工程法规问题案例人机交互数据，本实施例中为了增强课程内容的系统性，通过将获取的图像信息进行虚拟显示模拟和融合，提高学生在工程法律课程学习过程中将虚拟现实结合，通过交互感知技术保证学生更好的沉浸式体验。

44、(4)本发明通过设置教学模型生成模块，保证根据图像信息采集模块获取的图像信息数据和工程法规问题案例人机交互数据进行结合并基于现有cipp模型教学模型进行训练生成工程法规教学模型；进而提高工程法规教学信息的自动化形成过程。

45、当然，实施本发明的任一产品并不一定需要同时达到以上所述的所有优点。

技术特征：

1.基于混合现实交互的工程法规教学系统，其特征在于，包括：

2.根据权利要求1所述的基于混合现实交互的工程法规教学系统，其特征在于，所述图像信息采集模块进行图像信息特征筛选的方法包括：

3.根据权利要求1所述的基于混合现实交互的工程法规教学系统，其特征在于，所述案例问题提取模块进行工程法规问题案例提取的方式为：

4.根据权利要求3所述的基于混合现实交互的工程法规教学系统，其特征在于，所述案例问题匹配模块：

5.根据权利要求1所述的基于混合现实交互的工程法规教学系统，其特征在于，所述用户端窗口信息包括：

6.根据权利要求1所述的基于混合现实交互的工程法规教学系统，其特征在于，所述教学主体动作识别包括：教室定位识别、教师主体关键特征点识别、教师手势识别；所述教学主体目标跟踪包括：识别教师头部位置信息及利用人脸识别技术获取视线关键点定位，利用头部姿势和视线追踪和识别目标区域。

7.根据权利要求1所述的基于混合现实交互的工程法规教学系统，其特征在于，所述教学模型生成模块包括：

8.根据权利要求1所述的基于混合现实交互的工程法规教学系统，其特征在于，还包括对工程法规教学模型进行验证，验证过程为：

技术总结本发明涉及混合现实技术教学应用技术领域，具体公开了基于混合现实交互的工程法规教学系统，包括：图像信息采集模块，用于采集工程法规教学案例图像信息和采集用户端窗口信息；案例问题提取模块，用于调取工程法规问题案例；案例问题匹配模块，用于将筛选后的图像信息特征与工程法规问题案例信息进行匹配；虚拟现实融合模块，用于输入工程法规问题案例信息并识别用户端窗口信息的指令生成工程法规问题案例人机交互数据；还包括教学模型生成模块及可视化输出模块，本发明将传统教学模型和混合现实交互技术相结合，实现工程法规教学的问题与教学案例的充分融合和视觉化展现并利用混合交互技术提高学生对工程法规条理的充分学习和直观理解。技术研发人员：任海波,王义国,赵巧明,李玉君受保护的技术使用者：江苏省无锡交通高等职业技术学校技术研发日：技术公布日：2024/5/16