一种融合信息熵的学习注意力识别方法、装置及存储介质

本发明属于教育技术和人工智能领域，具体涉及一种融合信息熵的学习注意力识别方法、装置及存储介质。

背景技术：

1、随着信息技术的迅速发展，人工智能在教育领域的应用日益广泛，尤其是学习者行为和注意力状态的监测与分析，对于提高教学效果和学习效率具有重要意义。传统的注意力识别方法主要依赖于单一数据源，如仅使用视频监控数据或者依靠学习者的自我报告，这些方法存在一定的局限性：视频数据分析可能受到环境光线、学习者位置等因素的影响，而自我报告法则依赖于学习者的主观感受，准确性不高。

2、此外，现有的学习注意力评估技术往往忽略了数据的多模态性质和时序对齐的重要性，导致在实际应用中难以精准地评估学习者的注意力状态。例如，学习者的生理数据（如心率、皮肤电活动等）能够提供关于其注意力水平的重要信息，但如何有效地将这些生理信号与行为数据（如头部运动、面部表情等）进行融合和分析，以实现更高准确性的注意力识别，仍是一个待解决的技术挑战。

3、因此，迫切需要一种能够综合利用多种数据源，通过先进的数据处理和分析技术，实现对学习者注意力状态准确评估和实时监控的新方法。

技术实现思路

1、本发明公开了一种融合信息熵的学习注意力识别方法、装置及存储介质，旨在解决现有教育技术领域中学习注意力识别的准确性和实时性不足的问题。具体而言，本发明通过结合视频监控数据与生理监测数据，采用深度学习技术和信息熵理论，进而准确识别和评估学习者注意力状态。不仅提高了学习注意力识别的准确度和效率，而且能够实时监测学习者的注意力变化，为教育者提供实时反馈，进而优化教学策略和提升教学质量。

2、为实现以上目的，本发明采用以下技术方案：

3、第一方面，本发明提供了一种融合信息熵的学习注意力识别方法，包括步骤：

4、同步采集学习者在特定学习活动中的视频和生理数据，以多维度捕获其行为动作和生理响应。这一数据采集过程依赖于高分辨率的视频摄取设备及集成多种生理传感器的智能手环，确保获取高质量的原始数据。随后，该方法通过中值滤波、低通滤波等预处理技术对数据进行优化，减少噪声和干扰，保障数据的纯净度和分析的准确性。

5、在特征提取阶段，方法使用结合了3d cnn和2d cnn的yowo模型来处理视频数据，以获得丰富的时空特征。对于生理数据，通过高级信号处理手段提取关键特征，如倒谱中的峰值振幅等，准确反映学习者的生理状态变化。为量化这些特征的不确定性，发明方法引入了信息熵的概念，借助深度森林模型来评估行为熵和运动熵，以此推断出学习者的注意力水平。

6、最后，方法通过加权投票系统综合各类数据和信息熵结果，决策出学习者的注意力水平。这一步骤依赖于专家设定的权重，以确保最终判定的科学性和可靠性。判定结果将帮助教育者获得实时反馈，以优化教学策略和提升教学质量。

7、另一方面，本发明提供了一种注意力识别装置，包含以下模块：

8、获取模块：负责同步收集学习者的行为与生理数据。

9、识别模块：对采集的数据进行预处理，执行特征提取，并计算信息熵，以形成初步的注意力评估。

10、处理模块：基于识别模块的输出，应用加权投票法确定学习者的注意力水平，并将评估结果进行可视化处理，供教育者参考。

11、另一方面，本发明还包括至少一个计算机可读存储介质，其上存储有计算机程序指令。这些指令在执行时，指导相关处理器完成数据的同步、分析、信息熵计算，以及最终注意力状态的评估与输出。

12、本发明的有益效果：

13、提升学习注意力识别的精确度：通过对多模态数据进行精确的时域同步与对齐，本发明有效解决了数据不同步导致的分析误差，提高了学习注意力状态识别的准确性。这使得教育者能够更准确地理解和评估学习者的注意力状态，从而作出更加有针对性的教学调整。

14、增强标注数据的可信度：采用多元数据标注方法的交叉验证，结合自我报告法和专家观察法，并通过kappa统计方法确保标注结果的一致性，显著提升了数据标注的信效度。这为后续的学习注意力状态分析提供了更加可靠和准确的数据基础。

15、实现动态和全面的学习注意力监测：本发明通过融合信息熵理论和深度学习技术，实现了对学习者注意力水平的动态和全面评估。利用深度森林模型对行为熵和运动熵的计算，以及加权投票机制的应用，不仅提升了识别效率，还能够综合多种数据源进行准确评估，为教育者提供实时、全面的学习者注意力反馈。

16、优化教学策略，提升教学质量：通过准确识别和实时监测学习者的注意力状态，本发明为教育者提供了有力的数据支持，使其能够根据学习者的实时注意力反馈，及时调整教学内容和方法，从而有效提升教学互动性和学习效果。

技术特征：

1.一种融合信息熵的学习注意力识别方法，该方法特征在于，包括以下步骤：

2. 根据权利要求 1 所述的方法，其中，所述步骤 a) 进一步包括利用基于平均采样频率的多传感器时间表征算法进行所述视频数据和生理数据间的时域同步与对齐，以保证多模态数据间的相互关联性和数据一致性。

3. 根据权利要求 1 或 2 所述的方法，其中，所述步骤 e) 进一步涉及对多元数据进行交叉验证，包括自我报告法和专家观察法，以及使用 kappa 一致性验证来确认标注结果的一致性和可靠性。

4.一种融合信息熵的学习注意力识别装置，包括：

5. 根据权利要求 4 所述的装置，其中，所述获取模块配置有自动光线补偿和图像稳定技术的高分辨率数字摄像头及集成有心率和皮肤电传感器的智能手环，用于高质量的视频和生理数据采集。

6. 一种计算机可读存储介质，其特征在于，存储有程序指令，当由处理器执行时，使处理器实施根据权利要求 1 所述的融合信息熵的学习注意力识别方法。

技术总结本发明涉及一种融合信息熵的学习注意力识别方法及其装置和存储介质，目的是通过分析学习者在特定活动中的视频与生理数据，以准确和实时评估注意力水平。通过同步采集视频和生理数据，经过中值滤波、低通滤波等预处理后，利用结合3D CNN和2D CNN的YOWO模型对视频数据提取时空特征，并通过信号处理技术从生理数据中提取关键特征；本发明计算视频数据的头部运动熵和手部运动熵以及生理数据的生理熵，采用深度森林模型对这些熵值进行评估，最后通过加权投票机制决策学习者的注意力水平；本发明为教育者提供及时反馈，有助于优化教学策略和提高教学质量。技术研发人员：武法提,赖松,李坦受保护的技术使用者：北京师范大学技术研发日：技术公布日：2024/7/29