基于虚拟现实的课堂实景再现交互式教学系统和方法与流程

本发明涉及智慧教学，特别涉及基于虚拟现实的课堂实景再现交互式教学系统和方法。

背景技术：

1、随着科技的进步，教育方式也在不断变革。传统的课堂教学方式主要以教师讲授、学生听讲为主，缺乏互动性和实景体验，导致学生学习效果不佳。现关于交互式教学系统，公开号为：cn112767757a的中国专利公开了一种计算机多媒体交互式教学管理系统及教学管理方法，计算机多媒体交互式教学管理系统包括：用户注册模块、用户登录模块、中央控制模块、信息汇总模块、远程传输模块、传输稳定模块、信号接收模块、网络教学模块、师生交互模块、远程辅导模块。该专利通过教学沟通实现教师与学生的交互，实现学生与教师的信息的沟通，帮助学生更好的实现学习，实现对学生不理解问题或是疑难问题的答复，对教学质量提升有帮助。

2、上述专利实现了教师与学生的交互，但仍存在以下问题：

3、现有技术中，仅通过教学沟通实现交互，学习的互动性和趣味性较低，无法为学生提供身临其境的学习环境，且无法获得足够的个性化辅导，无法根据学生的学习情况动态调整学习内容，提供个性化的学习路。

技术实现思路

1、本发明的目的在于提供基于虚拟现实的课堂实景再现交互式教学系统和方法，构建高度仿真的虚拟学习场景，并设置虚拟辅助教师与学生进行针对性互动和问答，进行一对一辅导，实时监控学生的学习进度和效果，以解决上述背景技术中提出的问题。

2、为实现上述目的，本发明提供如下技术方案：

3、基于虚拟现实的课堂实景再现交互式教学系统，包括：

4、三维构建单元，用于获取教学所需的各场景实景数据，基于三维建模工具将各场景实景数据创建对应的虚拟场景；

5、实景再现单元，用于基于各种虚拟现实设备将虚拟场景在现实世界进行投影，同时，构建虚拟教师，将教学内容和构建的虚拟教师叠加到虚拟学习场景中，生成教学虚拟交互场景；

6、虚拟交互单元，用于模拟真实教师的行为和语言，虚拟教师针对学生进行一对一的教学辅导，同时，根据学生的学习进度和反馈调整教学策略；

7、反馈分析单元，用于实时监测每个学生的学习进度和效果，分析学生的学习数据，并将学生的学习进度基于多形式呈现，将呈现结果向学生和教师进行反馈。

8、进一步的，三维构建单元，包括：

9、数据采集模块，用于获取各种场景的实景数据，并将获取到的实景数据进行数据处理；

10、三维建模模块，用于基于处理后的实景数据创建对应的虚拟场景，并基于虚拟场景的类别进行标签标记；

11、属性赋值模块，用于基于各类虚拟场景的标签标记获取对应的教学所需的元素数据，将教学所需的元素数据的属性以及行为规则信息，与对应的虚拟场景进行关联。

12、进一步的，实景再现单元，包括：

13、教学虚拟交互场景构建模块，用于根据虚拟教师确定、教学内容确定、虚拟场景选择和环境设置信息生成教学虚拟交互场景；

14、实景优化模块，用于在教学虚拟交互场景构建过程中对虚拟场景进行渲染优化，模拟各种物理现象，对虚拟场景中的音频进行优化处理。

15、进一步的，教学虚拟交互场景构建模块，具体包括：

16、根据虚拟教师的角色属性以及教学内容确定教学类别，并根据教学类别搭建第一虚拟界面，同时，基于虚拟教师的角色属性为虚拟教师设定行为模式，将教学内容与知识库进行关联，对教学内容进行结构化处理；

17、基于虚拟场景选择结果调取对应的虚拟场景，并根据虚拟场景的场景特征确定教学类别对应的环境参数，同时，将环境参数、虚拟场景以及学生位置特征在第一虚拟界面中进行加载，得到第二虚拟界面；

18、将第二虚拟界面进行三维模型构建，并基于构建结果生成教学虚拟交互场景。

19、进一步的，虚拟交互单元，包括：

20、教师授课模块，用于基于设定的行为模式进行真实教师的授课行为模拟，并根据教学内容和场景，生成符合该行为模式的虚拟教师话语和肢体语言；

21、教学策略模块，用于实时跟踪学生的学习进度和掌握情况，从反馈分析单元收集学生的学习反馈，调整该学生的教学策略和内容，并根据学生的学习状况，为其规划合适的学习路径；

22、人机交互模块，用于获取教学虚拟交互场景上传的信号数据，获取场景信息参数，判断是否出现交互数据，基于判断结果及交互类别控制教学虚拟交互场景和虚拟教师做出响应动作；

23、教学分析模块，用于收集和分析学生的学习数据，评估教学效果，并基于教学效果评估结果优化教学策略和内容。

24、进一步的，所述教师授课模块生成符合该行为模式的虚拟教师话语和肢体语言，具体包括：

25、建立虚拟教师模型虚拟关节节点和虚拟骨架，对所述虚拟关节节点和虚拟骨架进行编号；

26、捕获所述虚拟关节节点和虚拟骨架的活动角度，所述活动角度包括平移自由度和旋转自由度；其中，各个关节具有不同的自由度个数；

27、建立两个骨骼关节之间的映射关系，运动捕获活动后骨骼中的虚拟关节节点和虚拟骨架编号，判断关节运动是否失真；

28、建立声音数据库和表情数据库，基于各运动捕获结果建立与声音和表情的关联关系，基于教学内容生成虚拟教师的肢体动作，同时生成对应的声音和表情。

29、进一步的，教师授课模块，包括：

30、虚拟环境确定模块，用于确定虚拟环境，并设置虚拟关节节点和虚拟骨架；

31、初始位置和状态设定模块，用于设定所述虚拟关节节点的初始位置和状态，其中，所述初始位置和状态包括初始角度和位置；

32、捕捉参数设定模块，用于设定所述虚拟关节节点和虚拟骨架的捕获精度和捕获频率；其中，所述捕获频率通过如下公式获取：

33、；

34、其中，f表示捕获频率；t0表示数据采集的参考时间间隔；tc表示数据采集的初始时间间隔，并且，所述初始时间间隔的取值范围为0.01s-0.02s；n表示用于采集虚拟关节节点的初始位置和状态的传感器的个数，其中，所述传感器的类型包括加速度传感器、陀螺仪和压力传感器；ti表示第i个传感器的最小允许的数据采集时间间隔；tmin表示n个传感器中的最小允许的数据采集时间间隔中的最小值；t表示数据采集的时间间隔；

35、捕捉工具配置模块，用于在所述虚拟环境中安装并启用角度和位置捕捉工具，并配置所述捕捉工具跟踪虚拟关节节点和骨架的活动；

36、位移数据记录模块，用于实时监测虚拟关节节点在虚拟空间中的位置变化情况，并记录每个关节节点在x、y和z三个坐标轴上的位移数据；

37、平移自由度数值获取模块，用于利用每个关节节点在x、y和z三个坐标轴上的位移数据获取关节节点在x、y和z三个坐标轴上的累计位移；

38、旋转角度数据获取模块，用于监测虚拟关节节点的旋转变化，所述旋转变化包括所述虚拟关节节点绕在x、y和z三个坐标轴的旋转角度数据；

39、旋转数据转换模块，用于记录每个关节节点的旋转角度数据，并根据所述每个关节节点的旋转角度数据确定关节节点的旋转方向和旋转速度。

40、进一步的，捕捉参数设定模块，包括：

41、第一数据信息获取模块，用于获取用于捕获虚拟关节节点和虚拟骨架的加速度传感器的数据采集分辨率，作为第一数据信息；

42、第二数据信息获取模块，用于获取用于捕获虚拟关节节点和虚拟骨架的陀螺仪的数据采集分辨率，作为第二数据信息；

43、第三数据信息获取模块，用于获取用于捕获虚拟关节节点和虚拟骨架的压力传感器的数据采集分辨率，作为第三数据信息；

44、初始参考精度获取模块，用于利用所述第一数据信息、第二数据信息和第三数据信息获取捕捉精度的初始参考精度；其中，所述初始参考精度通过如下公式获取：

45、；

46、其中，jc表示捕捉精度的初始参考精度；λ表示调整系数；jmax表示n个传感器中的最大精度数值；jmin表示n个传感器中的最小精度数值；ji表示第i个传感器的精度数值；fmax表示n个传感器中的最大分辨率数值；fmin表示n个传感器中的最小分辨率数值；f0max表示最大精度数值的传感器所对应的分辨率数值；f0min表示最小精度数值的传感器所对应的分辨率数值；fi表示第i个传感器的分辨率数值；

47、误差补偿系数获取模块，用于利用所述加速度传感器、陀螺仪和压力传感器的误差参数，获取所述捕获精度对应的误差补偿系数；

48、捕获精度获取模块，用于利用所述初始参考精度和误差补偿系数获取捕获精度；其中，所述捕获精度通过如下公式获取：

49、；

50、其中，j表示捕获精度；e表示误差补偿系数。

51、进一步的，误差补偿系数获取模块，包括：

52、第一误差信息获取模块，用于获取用于捕获虚拟关节节点和虚拟骨架的加速度传感器的数据采集误差，作为第一误差信息；

53、第二误差信息获取模块，用于获取用于捕获虚拟关节节点和虚拟骨架的陀螺仪的数据采集误差，作为第二误差信息；

54、第三误差信息获取模块，用于获取用于捕获虚拟关节节点和虚拟骨架的压力传感器的数据采集误差，作为第三误差信息；

55、误差补偿系数计算模块，用于利用所述第一误差信息、第二误差信息和第三误差信息获取捕捉精度的误差补偿系数；其中，所述误差补偿系数通过如下公式获取：

56、；

57、其中，e表示误差补偿系数；α表示系数调整因子；emaxi表示第i个传感器的误差允许范围的上限值；emini表示第i个传感器的误差允许范围的下限值；emaxp表示n个传感器的误差允许范围的上限值的平均值。

58、进一步的，反馈分析单元，包括：

59、学习进度监测模块，用于实时跟踪学生的学习进度，监测学生的学习状态，记录学生的学习行为和活动；

60、学习数据分析模块，用于分析学生的学习数据，挖掘学生的学习特点和存在的问题，对学生的学习效果进行评估，并将学生的学习进度以多种形式进行呈现；

61、反馈模块，用于将呈现结果向学生端和教师端进行反馈；

62、可视化模块，用于提供可视化界面，进行多维度的动态数据展示。

63、本发明提供基于虚拟现实的课堂实景再现交互式教学方法，包括以下步骤：

64、步骤一：收集教学所需的各场景实景数据，使用三维建模工具根据实景数据创建对应的虚拟场景，同时，设定虚拟教师的行为和语言；

65、步骤二：用虚拟现实设备将创建的虚拟场景在现实世界进行投影，并将教学内容和构建的虚拟教师叠加到虚拟学习场景中，生成教学虚拟交互场景，在教学虚拟交互场景中实现学生与虚拟教师和其他学习资源的互动；

66、步骤三：实时监测学生的答题情况、学习时长和互动频率，生成个性化的进度条、成绩报告和建议，向学生和教师反馈学生的学习状况，教师和学生根据反馈结果调整教学策略；

67、步骤四：根据反馈分析的结果，对虚拟交互单元和实景再现单元进行调整和优化，改进虚拟场景的细节，调整虚拟教师的行为和语言，更新教学内容。

68、与现有技术相比，本发明的有益效果是：

69、利用3d建模和虚拟现实技术，构建高度仿真的虚拟学习场景，将教学内容叠加到虚拟学习场景中，并设置虚拟辅助教师与学生进行针对性互动和问答，进行一对一辅导，建立实时反馈系统，实时监控学生的学习进度和效果，使得用户能够更加深入地沉浸在虚拟环境中，增强学习的沉浸感和趣味性，虚拟场景可以直观地展示各种元素的属性和行为规则，降低实验和操作的风险，保障学生的安全，从而能够提供沉浸式学习体验。