一种AI自习室的学习状态干预方法及系统

本发明涉及图像处理，尤其涉及一种ai自习室的学习状态干预方法及系统。

背景技术：

1、在现代教育领域，尤其是智能教育的背景下，提高学生的自习效率成为了一个重要课题。然而，现有的学习状态干预方法主要依赖于传统的人工干预或利用简单行为识别的系统进行干预，但这些方法往往无法全面准确地监测到学生的学习状态，也缺乏反馈机制，导致无法干预学生调整学习状态，进而影响自习效果。

2、目前，现有研究者通过利用头部姿态来计算专注度，从而实时监测分析学生的自习状态。然而，一方面，传统的头部姿态通常是基于二维图像处理，缺乏深度信息，导致在复杂的学习环境中难以准确捕获学生的头部立体姿态；另一方面，传统的头部姿态的获取方式在处理光照变化、遮挡等问题时往往表现不佳，进一步限制了其应用范围和准确性；此外，现有研究只专注于研究学生的学习状态，却没有考虑到要对学生的学习状态进行干预，使学生可以自主的调整学习状态。

技术实现思路

1、本发明提供一种ai自习室的学习状态干预方法及系统，用以解决传统方法监测学习状态不准确、无法对学生的学习状态进行干预的问题，从而提高学生的自习效率和教育质量。

2、一方面，本发明提供了一种ai自习室的学习状态干预方法，所述方法包括：

3、利用复合相机实时采集学习资料区域数据和包括学生完整头部姿态的自习视频数据；其中，所述复合相机包括集成的红外相机和深度相机；所述自习视频数据包括红外视觉数据和深度空间数据；

4、对所述自习视频数据进行预处理，得到头部区域数据和学生人脸数据；

5、将所述头部区域数据输入到头部姿态提取器中，得到头部姿态角度数据；

6、根据所述学生人脸数据、所述学习资料区域数据以及所述头部姿态角度数据监测学生的学习状态，并基于所述学习状态实施对应干预。

7、进一步的，利用复合相机实时采集包括学生完整头部姿态的自习视频数据，包括：

8、将采集的当前帧图像输入到包括多个区块串联的特征提取网络中，对应得到多个不同分辨率的特征图；

9、对多个所述特征图进行融合，得到特征融合图；

10、基于所述特征融合图计算人脸损失函数；

11、调整所述复合相机的采集角度使所述人脸损失函数最小，并将当前采集角度作为下一帧的相机采集角度。

12、进一步的，基于所述特征融合图计算人脸损失函数包括：

13、基于所述特征融合图得到所述特征融合图上的人脸中心点坐标、中心点偏移量、以及人脸的高度和宽度；

14、分别计算人脸中心点分类损失、中心点偏移量损失以及人脸尺寸损失，得到所述人脸损失函数。

15、进一步的，所述预处理包括：

16、对所述红外视觉数据进行数据合成，得到第一视觉数据；

17、对所述深度空间数据进行阴影去除，得到第一空间数据；

18、将所述第一视觉数据和所述第一空间数据进行分辨率匹配，对应得到第二视觉数据和第二空间数据；

19、将所述第二空间数据的像素坐标转换为世界坐标系下的坐标，得到三维空间信息，并将所述三维空间信息映射到所述第二视觉数据中，得到初步融合数据；

20、基于所述初步融合数据进行人脸区域分割，得到所述头部区域数据和学生人脸数据。

21、进一步的，所述头部姿态提取器的构建包括：

22、构建token，根据所述头部区域数据创建区域token，通过concat将vit模型中的视觉token与所述区域token连接；

23、构建transformer编码器，通过堆叠多个相同的block构建transformer编码器；其中，一个block包括一个多头自注意力模块和一个多层感知模块，所述多头自注意力模块和所述多层感知模块之间通过层归一化和跳跃连接；

24、构建基于token的头部姿态提取器，将多个block对应输出的多组区域token转换为多个旋转矩阵进行训练和预测，得到所述头部姿态提取器。

25、进一步的，根据所述头部区域数据创建区域token包括：将所述头部区域数据划分为多个基本区域，构建相同数量的d维可学习向量来表示多个基本区域。

26、进一步的，根据所述学生人脸数据、所述学习资料区域数据以及所述头部姿态角度数据监测学生的学习状态，包括：

27、基于所述学生人脸数据和所述学习资料区域数据，获取学生人脸与学习资料之间的距离，并进行第一次分析；

28、基于所述头部姿态角度数据和所述学习资料区域数据，获取学生头部注意力在学习资料区域上的概率，并进行第二次分析；

29、根据第一次分析结果和第二次分析结果得到学生的学习状态。

30、进一步的，获取学生头部注意力在学习资料区域上的概率包括：

31、利用高斯概率确定学生头部注意力在学习资料区域上的概率：

32、

33、其中，(i,j)表示ai自习室的中心点在复合相机坐标系中的坐标；(x,y)表示学生注意力的焦点，为学生头部在复合相机平面上面向某一投影点的坐标；w、h分别表示以学生头部为中心投影在复合相机平面上的有效视场的宽度和高度；σw、σh分别表示w、h的相关系数，用于控制高斯概率的分布。

34、进一步的，基于所述学习状态实施对应干预包括：

35、在所述ai自习室内设置提示装置，根据所监测到学生的学习状态，发出不同的提示；其中，所述提示装置包括学习提醒单元、休息提醒单元和紧急识别单元。

36、另一方面，本发明还提供了一种ai自习室的学习状态干预系统，包括存储器、处理器及存储在存储器上的计算机程序，所述处理器执行计算机程序以实现上述任一项方法的步骤。

37、总体而言，本发明提供一种ai自习室的学习状态干预方法及系统，通过本发明所构思的技术方案，与现有技术相比能够取得下列有益效果：

38、(1)利用智能复合相机采集包括学生完整头部姿态的自习视频数据，其中，复合相机包括集成的红外相机和深度相机，通过深度相机来捕获深度空间数据，增加了深度信息，不仅可以获取三维数据，在复杂的学习环境中准确捕获学生的头部立体姿态；而且不受光照强度、物品遮挡等环境的影响，可以进一步保留在面部特征被遮挡情况下的更多头部细节信息，从而使监测的学习状态更准确。此外，基于学习状态实施对应干预，从而提高学生的自习效率和教育质量。

39、(2)通过人脸损失函数实时调整复合相机的采集角度，可以得到更有效、更高质量的红外视觉数据和深度空间数据，也在一定程度上提高了头部姿态角度数据的准确性，进而提高监测的学习状态的准确性。

40、(3)利用vit模型原有的视觉token，并根据头部区域数据创建区域token，并通过concat拼接视觉token和区域token从而得到更高维度的token向量，在很大程度上提高了头部姿态角度数据的准确度和输出效率。

41、(4)根据学生人脸数据、学习资料区域数据以及头部姿态角度数据监测学生的学习状态，同时进一步利用高斯概率确定学生头部注意力在学习资料区域上的概率，可以在很大程度上减少误报，提高监测学习状态的准确性，防止误测。

42、(5)通过增加与学习状态相关联的提示模块，不仅可以根据学生的学习状态进行适当提醒，而且可以综合考虑学生的学习时长、专注度得分以及头部姿态的变化频率，智能化地为每个学生定制个性化的休息计划。此外，还可以将学生的休息和学习时间进行记录保存，不断优化休息间隔算法，使其更加贴合学生的个人需求，帮助学生建立起科学的学习与休息习惯，实现长期的学习效果和健康状态的平衡。