一种基于眼光跟踪的在线学习注意力评估方法及系统与流程

本发明涉及注意力评估，尤其涉及一种基于眼光跟踪的在线学习注意力评估方法及系统。

背景技术：

1、随着计算机技术、网络通信技术和人工智能技术的发展，面向教育的网络化、智能化变革已经成为当前教育亟待考虑和解决的问题。引导教育系统性变革，比如通过智能感知、模式识别对教育的效果进行智能化的评价，通过智能化推荐系统完成个性化的学习推荐，借助人工智能技术在教育领域的应用场景，充分发挥人的主观能动性，真正做到教有所学、学有所得，是未来教育发展中非常重要的一环。

2、如何有效评估在线教育中学习者的学习注意力，进一步了解学习者的学习状态，从而提高学习者的学习效率是在线教育的重要内容。传统的在线教育过度依赖教师的教学经验以及教学内容的安排，往往忽视学习者的学习状态，造成教学质量不高，未能达到教学的预期效果。目前在线学习注意力的评估方式主要是：（1）依赖教师的感知，造成教师负担较大，不利于减轻教师的教学压力；（2）随着可穿戴设备的普及，一些在线学习的注意力评估依赖于可穿戴设备的信号采集与分析，学习者有可能在意所穿戴的设备而假装认真学习，无法真实记录学习者的学习状态。

技术实现思路

1、本发明通过提供一种基于眼光跟踪的在线学习注意力评估方法及系统，解决了现有技术中教师负担较大和无法真实记录学习者的学习状态的技术问题，实现了减轻教师的负担和提高在线教学质量的技术效果。

2、本发明提供了一种基于眼光跟踪的在线学习注意力评估方法，包括：

3、采集训练人脸图像和眼光数据，基于所述眼光数据得到模型训练俯仰角和偏航角；

4、将所述人脸图像和所述模型训练俯仰角和偏航角输入到眼光预测卷积神经网络模型进行训练，使得损失降到预设的收敛值，得到训练完成的眼光预测模型；

5、将预测人脸图像输入到所述眼光预测模型，得到实时俯仰角、偏航角和闭眼数据；

6、通过所述闭眼数据得到眨眼频率，通过公式计算得到眨眼频率对学习注意力评估的贡献度；其中，p为正常人眨眼睛的频率；

7、通过公式计算得到注视分析对学习注意力评估的贡献度；其中，为睁眼时间的眼光俯仰角的标准差，为睁眼时间的眼光偏航角的标准差；

8、通过公式计算得到坐姿分析对学习注意力评估的贡献度；其中，为实时坐姿与标准坐姿对应的眼光俯仰角之间的偏差扰动，为实时坐姿与标准坐姿对应的眼光偏航角之间的偏差扰动；

9、通过公式计算得到学习注意力打分；其中，a为眨眼频率的打分权重，b为注视分析的打分权重，c为坐姿分析的打分权重。

10、具体来说，所述基于所述眼光数据得到模型训练俯仰角和偏航角，包括：

11、通过公式计算得到所述模型训练俯仰角；其中，为反正切函数，为眼光在屏幕上的纵坐标，为屏幕中心点的纵坐标，为眼睛到屏幕的距离；

12、通过公式计算得到所述模型训练偏航角；其中，为眼光在屏幕上的横坐标，为屏幕中心点的横坐标。

13、具体来说，所述将预测人脸图像输入到所述眼光预测模型，得到实时俯仰角、偏航角和闭眼数据，包括：

14、将所述预测人脸图像输入到所述眼光预测模型，所述预测人脸图像通过卷积块得到人脸特征图；所述预测人脸图像还经过人脸标记点检测模块得到标记点图像，然后通过卷积块网络特征提取得到标记点特征图；

15、将所述人脸特征图与所述标记点特征图进行权重相乘计算得到新的特征图；

16、将所述新的特征图送入残差块网络中，再通过两路全连接层和softmax层分别输出所述实时俯仰角、偏航角；

17、将所述标记点特征图送入闭眼检测模块，得到所述闭眼数据。

18、具体来说，通过公式计算得到；其中，为睁眼时刻的眼光俯仰角，为睁眼时刻的眼光俯仰角均值，为在线学习期间的睁眼时刻的总次数；

19、通过公式计算得到；其中，为睁眼时刻的眼光偏航角，为睁眼时刻的眼光偏航角均值；

20、通过公式计算得到；

21、通过公式计算得到。

22、具体来说，在所述通过公式计算得到学习注意力打分之后，还包括：

23、获得数据集，并构建学习模型，学习不同行为的打分权重，使得最小，得到最优的拟合权重；

24、通过打分函数计算得到最终的学习注意力打分。

25、本发明还提供了一种基于眼光跟踪的在线学习注意力评估系统，包括：

26、训练数据采集模块，用于采集训练人脸图像和眼光数据，基于所述眼光数据得到模型训练俯仰角和偏航角；

27、模型训练模块，用于将所述人脸图像和所述模型训练俯仰角和偏航角输入到眼光预测卷积神经网络模型进行训练，使得损失降到预设的收敛值，得到训练完成的眼光预测模型；

28、眼光数据获得模块，用于将预测人脸图像输入到所述眼光预测模型，得到实时俯仰角、偏航角和闭眼数据；

29、眨眼贡献度计算模块，用于通过所述闭眼数据得到眨眼频率，通过公式计算得到眨眼频率对学习注意力评估的贡献度；其中，p为正常人眨眼睛的频率；

30、注视分析贡献度计算模块，用于通过公式计算得到注视分析对学习注意力评估的贡献度；其中，为睁眼时间的眼光俯仰角的标准差，为睁眼时间的眼光偏航角的标准差；

31、坐姿分析贡献度计算模块，用于通过公式计算得到坐姿分析对学习注意力评估的贡献度；其中，为实时坐姿与标准坐姿对应的眼光俯仰角之间的偏差扰动，为实时坐姿与标准坐姿对应的眼光偏航角之间的偏差扰动；

32、学习注意力打分模块，用于通过公式计算得到学习注意力打分；其中，a为眨眼频率的打分权重，b为注视分析的打分权重，c为坐姿分析的打分权重。

33、具体地，所述训练数据采集模块，包括：

34、数据采集单元，用于采集训练人脸图像和眼光数据；

35、俯仰角计算单元，用于通过公式计算得到所述模型训练俯仰角；其中，为反正切函数，为眼光在屏幕上的纵坐标，为屏幕中心点的纵坐标，为眼睛到屏幕的距离；

36、偏航角计算单元，用于通过公式计算得到所述模型训练偏航角；其中，为眼光在屏幕上的横坐标，为屏幕中心点的横坐标。

37、具体地，所述眼光数据获得模块，包括：

38、标记点特征图提取单元，用于将所述预测人脸图像输入到所述眼光预测模型，所述预测人脸图像通过卷积块得到人脸特征图；所述预测人脸图像还经过人脸标记点检测模块得到标记点图像，然后通过卷积块网络特征提取得到标记点特征图；

39、特征图生成单元，用于将所述人脸特征图与所述标记点特征图进行权重相乘计算得到新的特征图；

40、角度输出单元，用于将所述新的特征图送入残差块网络中，再通过两路全连接层和softmax层分别输出所述实时俯仰角、偏航角；

41、闭眼数据获得单元，用于将所述标记点特征图送入闭眼检测模块，得到所述闭眼数据。

42、具体地，还包括：

43、眼光俯仰角标准差计算模块，用于通过公式计算得到；其中，为睁眼时刻的眼光俯仰角，为睁眼时刻的眼光俯仰角均值，为在线学习期间的睁眼时刻的总次数；

44、眼光偏航角标准差计算模块，用于通过公式计算得到；其中，为睁眼时刻的眼光偏航角，为睁眼时刻的眼光偏航角均值；

45、眼光俯仰角偏差扰动计算模块，用于通过公式计算得到；

46、眼光偏航角偏差扰动计算模块，用于通过公式计算得到。

47、具体地，还包括：

48、最优拟合权重获得模块，用于获得数据集，并构建学习模型，学习不同行为的打分权重，使得最小，得到最优的拟合权重；

49、最终学习注意力打分模块，用于通过打分函数计算得到最终的学习注意力打分。

50、本发明中提供的一个或多个技术方案，至少具有如下技术效果或优点：

51、1、先采集训练人脸图像和眼光数据，基于眼光数据得到模型训练俯仰角和偏航角；将人脸图像和模型训练俯仰角和偏航角输入到眼光预测卷积神经网络模型进行训练，使得损失降到预设的收敛值，得到训练完成的眼光预测模型；将预测人脸图像输入到眼光预测模型，得到实时俯仰角、偏航角和闭眼数据；再基于俯仰角、偏航角和闭眼数据进行学生行为分析，实现在线学习注意力的评估。本发明自然融入在线学习网络教学的场景中，对教师和学习者的线上教学都不产生干扰，教师无需在教学的同时拿出额外的精力去观察摄像头前学生的学习状态，减轻了教师的教学压力，而且对于学习者也是无感状态下完成学习注意力的评估，避免分心，保证了在线教学的质量。

52、2、当没有学习者注意力评分的标注数据或者冷启动场景下，本发明通过预定义行为对在线学习注意力的贡献度组成最后的学习注意力打分。当存在一批学习者注意力评分的标准数据之后，可以构建学习模型，学习不同行为的打分权重，得到最优的拟合权重，进而得到打分函数。在线学习场景下，通过眼光预测模型得到计算预定义行为所需要的三个基本贡献度参数，然后基于注意力打分函数就完成了在线注意力的评估，进一步提高了在线教学质量。