一种实践课堂教学课件推荐方法及系统与流程

1.本发明涉及实践教育技术领域，具体涉及一种实践课堂教学课件推荐方法及系统。


背景技术：

2.目前的教育模式下，多媒体课件被广泛应用，与多媒体相关的附属教学资源也被相继开发，例如：录播课件、实验短视频，但是，由于相关的教学资源种类较多，来源甚广，如果学生无法有效的甄别教学实践课件质量，则会直接影响到学生的学习效率。
3.现有的对视频课件的推荐系统可以依据用户对课件的活跃度、兴趣度和知识度指标进行度量，服从正态分布进行拟合用户关联比和优度，以此完成推荐；或者是通过历史数据和可见的内容标签创建时序关联因子矩阵，根据教师评分数据，计算课件之间的相似度矩阵，通过相似度矩阵、教师评分数据以及时序关联因子矩阵获取推荐估计值。
4.但是根据课件本身的关联性和内容进行推荐的方法，忽略了用户群体的多样性和录播课件课堂的氛围特征，容易造成对教师本身的评分和课件内容的评价过度依赖，使得推荐结果过于单调，泛化能力不高。


技术实现要素：

5.为了解决上述技术问题，本发明的目的在于提供一种实践课堂教学课件推荐方法及系统，所采用的技术方案具体如下：
6.第一方面，本发明一个实施例提供了一种实践课堂教学课件推荐方法，该方法包括：
7.获取完整的教学视频，将所述教学视频分为多段子视频，获取所述子视频的多帧视频图像，每帧所述视频图像包括教师和学生；
8.将所述视频图像输入卷积神经网络，所述卷积神经网络的损失函数包括交叉熵损失函数和注意力损失函数，所述注意力损失函数根据所述注意力指标得到；所述卷积神经网络的输出为学生关注热度的显著性图，根据所述显著性图获取所述子视频中学生的关注热度；所述注意力指标是通过卷积神经网络的训练集中的样本视频图像获取教师的位置和学生的位置，获取由所述学生的位置指向所述教师的位置的教师方向向量、每个学生的脸部朝向的学生方向向量，根据所述教师方向向量与所述学生方向向量的相似度获取学生的所述注意力指标；
9.获取所述子视频对应时间段的音频信息的频谱图，对所述频谱图进行分割得到多个窗口，获取每个所述窗口内的音量指标；根据所述音量指标以及所述关注热度获取关联度指标；
10.根据每个所述子视频的关注热度以及关联度指标进行加权求和，得到完整的所述教学视频的质量评估结果，根据所述质量评估结果进行优质课件推荐。
11.优选的，所述获取每个学生的脸部朝向的步骤，包括：
12.利用gabor滤波对所述视频图像处理获取每个学生的边缘纹理信息，根据不同滤波方向的边缘纹理信息构成所述学生的多维特征向量，将所述多维特征向量输入人脸识别网络得到学生的脸部朝向。
13.优选的，所述注意力损失函数为：
14.l2＝-log(1-mi)
15.其中，l2表示注意力损失函数；mi表示注意力指标。
16.优选的，所述根据所述显著性图获取所述子视频中学生的关注热度的步骤，包括：
17.所述显著性图中所有学生头部区域像素点的灰度值均值之和为每帧所述视频图像的关注热度；
18.计算所述子视频中所有所述视频图像的关注热度之和为所述子视频中学生的关注热度。
19.优选的，所述每个所述窗口内的音量指标与所述频谱图的振幅呈正相关关系。
20.优选的，所述根据所述音量指标以及所述关注热度获取关联度指标的步骤，包括：
21.获取所述窗口所对应的子视频，将所述子视频中学生的关注热度与所述窗口所对应音量指标相乘得到关联度指标。
22.优选的，所述根据每个所述子视频的关注热度以及关联度指标进行加权求和，得到完整的所述教学视频的质量评估结果的步骤，包括：
23.将所述子视频分类为无声视频与有声视频；
24.获取所述无声视频的子视频对应的关注热度，以及所述有声视频的子视频的关联度指标，将所有子视频所对应的所述关注热度与所述关联度指标进行加权求和得到完整教学视频的质量评估结果。
25.第二方面，本发明另一个实施例提供了一种实践课堂教学课件推荐系统，该系统包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述方法的步骤。
26.本发明具有如下有益效果：本发明实施例通过获取学生的人脸朝向从而得到学生方向向量，根据学生和教师的位置得到教师方向向量，根据学生方向向量与教师方向向量之间的相似度得到学生的关注热度。获取每段视频中的音量指标，根据学生关注热度和视频音量指标得到关联度指标，进一步获取整段视频的质量评估结果。根据学生的注意力指标结合课堂氛围对课堂效果进行评估，使得最终的结果更加准确。
附图说明
27.为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
28.图1为本发明一个实施例所提供的一种实践课堂教学课件推荐的方法流程图。
具体实施方式
29.为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结
45.其中，l表示卷积神经网络的损失函数；l1表示交叉熵损失函数；l2表示注意力损失函数。
46.注意力损失函数具体为：
47.l2＝-log(1-mi)
48.其中，l2表示注意力损失函数；mi表示第i个学生的注意力指标。
49.本发明实施例中利用梯度下降法不断收敛该卷积神经网络的损失函数，完成对卷积神经网络的训练，最终得到视频图像对应的学生关注热度的显著性图。
50.需要说明的是，显著性图是与视频图像尺寸相同的灰度图像，将每帧视频图像中每个学生头部区域的灰度均值作为该学生的热度，因此每帧视频图像的学生关注热度为：
[0051][0052]
其中，rj表示第j帧视频图像的学生关注热度；gi表示第i个学生的灰度均值，即第i个学生的热度；k表示学生的数量。
[0053]
进一步的，每个子视频所对应的所有帧视频图像中学生关注热度之和为该子视频的学生关注热度，具体为：
[0054][0055]
其中，c
p
表示第p个子视频对应的学生的关注热度；rj表示第j帧视频图像的学生关注热度；n表示子视频中视频图像的数量。
[0056]
具体的，获取每个学生的注意力指标的方法为：
[0057]
将步骤s100中获取到的单帧视频图像输入目标检测网络，本发明实施例中目标检测网络利用openpose网络模型，具体训练过程如下：
[0058]
(1)目标检测网络的输入为单帧视频图像；
[0059]
(2)将学生头部区域图像的像素点置为1，其余区域图像的像素点置为0，得到学生头部区域目标包围框；
[0060]
(3)网络的输出为学生头部区域的掩膜图像。
[0061]
进一步的，将获取到的学生头部区域的掩膜图像与原视频图像相乘得到学生的头部区域图像。
[0062]
基于相同的原理，将单帧视频图像输入目标检测网络中，将教师头部区域图像像素点置为1，其他区域图像像素点置为0，得到教师头部区域的掩膜图像。将获取到的教师头部区域的掩膜图像与原视频图像相乘得到教师头部区域图像。
[0063]
以每个学生头部区域位置为起始点，教师头部区域位置为汇集点，默认每个学生注意力方向的初始状态都是指向教师，因此由起始点指向汇集点得到多条向量作为教师方向向量。
[0064]
由于学生头部正面图像的纹理方向和分布、头部侧面图像的纹理方向和分布以及头部背面的头发纹理方向和分布相互之间存在一定的差异，因此根据学生头部区域的图像中的纹理特征判断学生的人脸朝向，得到每个学生的注意力方向。
[0065]
具体的，获取学生人脸朝向的方法为：本发明实施例中利用gabor滤波对学生头部
图像进行边缘纹理线性变换，利用傅里叶变换将获取到的学生头部区域图像信息从时域转换到频域，利用时间局部化窗口函数对学生头部区域图像进行边缘纹理特征提取：
[0066][0067]
其中，g(x，y，λ，θ，ψ，σ，γ)表示时间局部化窗口函数；为调谐函数；为高斯滤波器；λ表示窗口内波长，θ表示滤波器方向，ψ表示相位偏移量，γ表示滤波器的形状，σ表示方差。
[0068]
本发明实施例中将滤波方向设置为根据不同的滤波方向提取到图像纹理信息，生成当前学生头部区域图像的多维特征向量。
[0069]
将获取到的学生头部区域图像的多维特征向量输入人脸朝向识别网络，人脸识别网络的结构为编码器-解码器结构，本发明实施例中人脸朝向识别网络采用lvq网络模型，具体训练过程为：
[0070]
(1)人脸朝向识别网络的输入为多维特征向量；
[0071]
(2)网络的全连接层输出学生人脸属于各个方向的概率，利用softmax函数得到当前学生头部图像的人脸朝向；
[0072]
(3)损失函数采用交叉熵损失函数；
[0073]
(4)人脸朝向识别网络的输出为每个学生的人脸朝向。
[0074]
以每个学生的人脸朝向作为学生的注意力方向，以学生头部区域中心点为起始点，生成学生注意力的学生方向向量。
[0075]
进一步的，根据学生方向向量与教师方向向量得到当前学生的注意力指标的方法为：以任意一个学生为例，获取该学生对应的学生方向向量以及该学生头部区域为起点指向教师头部区域的教师方向向量，计算该学生对应的学生方向向量和教师方向方向之间的余弦距离，将该余弦距离作为该学生的注意力指标。以此类推，计算所有学生的学生方向向量与对应的教师方向向量之间的余弦距离，以此得到所有学生的注意力指标。
[0076]
步骤s300，获取子视频对应时间段的音频信息的频谱图，对频谱图进行分割得到多个窗口，获取每个窗口内的音量指标；根据音量指标以及关注热度获取关联度指标。
[0077]
获取完整教学视频所对应的音频数据，根据每段子视频所处的时间段对音频数据进行分割处理，使得每段子视频与其音频信息一一对应。
[0078]
进一步的，对每个子视频所对应的音频数据进行傅里叶变换，对变换后的音频数据进行对数计算得到该子视频对应音频信息的频谱图。其中，频谱图的横坐标表示频率，纵坐标表示振幅，也即声音的分贝。
[0079]
对音频信息所对应的频谱图进行窗口分割，本发明实施例中将频谱图等分为多个窗口，当该窗口中某一频率下的振幅越大，则表示此时的声音越大；默认当声音越大时，说明学生听课的反馈效果较好；以音量指标作为衡量当前频率下的声音大小，因此每个子视频内的音量指标为：
[0080]
[0081]
其中，e
p
表示第p个子视频的音量指标；l表示频谱图中分割的每个窗口宽度，m表示每个窗口中对应的音频信息的位置点，x(m)表示m点处的振幅；q表示分割的窗口的数量。
[0082]
对于某一段子视频，若该子视频对应的学生关注热度较大且音量指标也比较大时，说明当前的课堂学生的关注度较高，精神较为集中并且课堂氛围较好，因此以关注热度和音量指标构成关联度指标为：
[0083][0084]
其中，表示第p个子视频的关联度指标；e
p
表示第p个子视频的音量指标；c
p
表示第p个子视频中学生的关注热度。
[0085]
步骤s400，根据每个子视频的关注热度以及关联度指标进行加权求和，得到完整的教学视频的质量评估结果，根据质量评估结果进行优质课件推荐。
[0086]
通过步骤s200和步骤s300获取到每段子视频的关注热度以及关联度指标，本发明实施例中根据实际音频中音量的大小将所有子视频分类为有声视频和无声视频，当子视频的音量指标小于0.2时，该子视频为无声视频。统计所有无声视频的子视频的数量以及有声视频的子视频的数量。
[0087]
将所有无声视频的关注热度与所有有声视频的关联度指标进行加权求和得到教学视频质量评估模型：
[0088][0089]
其中，p表示质量评估模型；cu表示第u个无声视频的关联热度；表示第v个有声视频的关联度指标；u表示所有无声视频的子视频数量；v表示所有有声视频的子视频数量；w1表示关联热度的权重系数；w2表示关联度指标的权重系数。
[0090]
需要说明的是，考虑到当子视频为无声视频时，虽然关联度指标较小，但学生有可能在认真观看教师的实验操作，因此视频中学生的关注热度较高，避免因为有声视频的关联度指标影响最终视频质量评估的准确性，本发明实施例中设置w1＝0.7，w2＝0.3。
[0091]
进一步的，获取到当前完整的教学视频课件的质量评估值之后，实施者可以结合该教学视频的点赞量、下载量以及收藏量等课件相关数据作为该教学视频推荐系统的数据信息，通过多维数据信息的拟合效果进行优质课件推荐。
[0092]
综上所述，本发明实施例中通过对教学视频分割后的子视频进行视频图像获取，根据视频图像得到教学和学生的位置，进一步得到教师方向向量和学生方向向量；将视频图像输入卷积神经网络中获取学生关注热度的显著性图，其中卷积神经网络的损失函数包括交叉熵损失函数和由每个学生的注意力指标获取的注意力损失函数，进而得到一段子视频中学生的关注热度。获取每段子视频对应的音频信息，获取每段子视频对应的音频指标，根据关注热度和音频指标得到该段子视频的关联度指标，进一步根据所有子视频的关注热度和关联度指标进行加权求和得到每段子视频的质量评估结果，从而得到完整教学视频的质量评估结果，在关注学生上课状态的同时，结合学生上课音频获取当前课堂氛围，进而更精准的对教学视频的质量进行评估。
[0093]
基于与上述方法实施例相同的发明构思，本发明实施例还提供了一种实践课堂教学课件推荐系统，该系统包括：处理器、存储器以及存储在所述存储器中并可在处理器上运
行的计算机程序。处理器执行所述计算机程序时实现上述一种实践课堂教学课件推荐方法实施例中的步骤，例如图1所示的步骤。该一种实践课堂教学课件推荐方法在上述实施例中已经详细说明，不再赘述。
[0094]
需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
[0095]
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。
[0096]
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。