专注度评估方法和装置、电子设备及存储介质与流程

本技术涉及人工智能，尤其涉及一种专注度评估方法和装置、电子设备及存储介质。

背景技术：

1、在远程视频面试或视频面审环节中，往往需要参与人专注地回答问题，不能左顾右盼或者东张西望，以免存在旁人提示或有作弊的嫌疑。因此，如何对参与人的专注度进行准确评估成为亟待解决的技术问题。

技术实现思路

1、本技术实施例的主要目的在于提出一种专注度评估方法和装置、电子设备及存储介质，能够对参与人的专注度进行准确评估，在远程视频面试或视频面审场景下，可以很好地评估视频中参与人不正视屏幕的情况，从而能够准确地评估出参与人的专注度，实现对参与人进行有效评估，降低作弊风险。当应用在金融科技领域，可以助力金融风控，提升金融业务的安全性。

2、为实现上述目的，本技术实施例的第一方面提出了一种专注度评估方法，所述方法包括：

3、获取目标对象的录制视频；

4、将所述录制视频切分为多个固定长度的视频片段；

5、根据预设抽帧采样率从所述视频片段提取多个目标对象视频帧；

6、对多个所述目标对象视频帧进行人脸检测，确定多个所述目标对象视频帧中连续的目标状态异常帧，所述目标状态异常帧包括人脸出镜帧、眼睛状态异常帧、视线异常帧和头部姿态异常帧，所述连续的目标状态异常帧的长度大于预设连续长度；

7、根据所述目标状态异常帧占比所述视频片段的长度比例，确定所述目标对象的专注度评估结果。

8、在一些实施例，所述对多个所述目标对象视频帧进行人脸检测，确定多个所述目标对象视频帧中连续的目标状态异常帧，包括：

9、对多个所述目标对象视频帧进行人脸检测，确定多个所述目标对象视频帧中连续的所述人脸出镜帧，其中，所述连续的所述人脸出镜帧的长度大于所述预设连续长度；

10、确定多个所述目标对象视频帧中大于人脸检测阈值的目标人脸；

11、基于所述目标人脸提取人脸检测区域；

12、根据所述人脸检测区域提取人脸关键点；

13、根据所述人脸关键点确定所述目标对象的眼睛状态检测结果；

14、根据所述眼睛状态检测结果确定多个所述目标对象视频帧中连续的所述眼睛状态异常帧，其中，所述连续的所述眼睛状态异常帧的长度大于所述预设连续长度；

15、根据所述人脸检测区域计算所述目标对象的视线估计结果；

16、根据所述视线估计结果确定多个所述目标对象视频帧中连续的所述视线异常帧，其中，所述连续的所述视线异常帧的长度大于所述预设连续长度；

17、根据人脸检测区域计算所述目标对象的头部姿态结果；

18、根据所述头部姿态结果确定多个所述目标对象视频帧中连续的所述头部姿态异常帧，其中，所述连续的所述头部姿态异常帧的长度大于所述预设连续长度。

19、在一些实施例，所述根据所述人脸关键点确定所述目标对象的眼睛状态检测结果，包括：

20、根据所述人脸关键点提取到所述目标对象的目标眼睛区域；

21、将所述目标眼睛区域输入至预先训练好的睁闭眼模型，得到所述目标对象的眼睛状态检测结果，所述眼睛状态检测结果包括睁眼状态和闭眼状态。

22、在一些实施例，所述根据所述人脸检测区域计算所述目标对象的视线估计结果，包括：

23、将所述人脸检测区域输入至预先训练好的视线估计模型，得到所述目标对象的注视俯仰角和注视偏航角；

24、根据所述注视俯仰角和所述注视偏航角，计算得到所述目标对象的所述视线长度和视线角度；

25、根据所述视线长度和所述视线角度确定所述目标对象的视线估计结果。

26、在一些实施例，所述根据所述视线估计结果确定多个所述目标对象视频帧中连续的所述视线异常帧，包括：

27、在所述目标对象的所述视线长度大于预设长度阈值，且所述视线角度在40°至140°范围之外的情况下，确定所述目标对象视线异常；

28、在所述目标对象视线异常所在目标对象视频帧的连续长度超过预设连续长度的情况下，确定连续的所述目标对象视频帧为所述视线异常帧。

29、在一些实施例，所述根据人脸检测区域计算所述目标对象的头部姿态结果，包括：

30、将所述人脸检测区域输入至预先训练好的头部姿态模型，得到所述目标对象的头部俯仰角、头部偏航角和头部滚动角；

31、根据所述头部俯仰角、所述头部偏航角和所述头部滚动角确定所述目标对象的头部姿态结果。

32、在一些实施例，所述根据所述头部姿态结果确定多个所述目标对象视频帧中连续的所述头部姿态异常帧，包括：

33、在所述目标对象的所述头部俯仰角或所述头部偏航角大于预设角度阈值的情况下，确定所述目标对象头部姿态异常；

34、在所述目标对象头部姿态异常所在目标对象视频帧的连续长度超过预设连续长度的情况下，确定连续的所述目标对象视频帧为所述头部姿态异常帧。

35、为实现上述目的，本技术实施例的第二方面提出了一种专注度评估装置，所述装置包括：

36、获取模块，用于获取目标对象的录制视频；

37、切分模块，用于将所述录制视频切分为多个固定长度的视频片段；

38、抽帧模块，用于根据预设抽帧采样率从所述视频片段提取多个目标对象视频帧；

39、检测模块，用于对多个所述目标对象视频帧进行人脸检测，确定多个所述目标对象视频帧中连续的目标状态异常帧，所述目标状态异常帧包括人脸出镜帧、眼睛状态异常帧、视线异常帧和头部姿态异常帧，所述连续的目标状态异常帧的长度大于预设连续长度；

40、评估模块，用于根据所述目标状态异常帧占比所述视频片段的长度比例，确定所述目标对象的专注度评估结果。

41、为实现上述目的，本技术实施例的第三方面提出了一种电子设备，所述电子设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述第一方面所述的方法。

42、为实现上述目的，本技术实施例的第四方面提出了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面所述的方法。

43、本技术提出的专注度评估方法和装置、电子设备及存储介质,获取目标对象的录制视频；将录制视频切分为多个固定长度的视频片段；根据预设抽帧采样率从视频片段提取多个目标对象视频帧；对多个目标对象视频帧进行人脸检测，确定多个目标对象视频帧中连续的目标状态异常帧，目标状态异常帧包括人脸出镜帧、眼睛状态异常帧、视线异常帧和头部姿态异常帧，连续的目标状态异常帧的长度大于预设连续长度；根据目标状态异常帧占比视频片段的长度比例，确定目标对象的专注度评估结果。通过将实时录制或者已录制的视频切分成视频片段，再对视频片段抽帧采样出多个目标对象视频帧，对多个目标对象视频帧进行人脸检测，以确定多个目标对象视频帧中连续的目标状态异常帧，目标状态异常帧包括的人脸出镜帧、眼睛状态异常帧、视线异常帧和头部姿态异常帧，通过合理计算视频中目标对象的状态，检测出目标对象的出镜状态、长时间闭眼、异常的视线和异常的头部姿态，能够很好地评估视频中目标对象不正视屏幕的情况，以确认目标对象的专注度情况。且将连续的目标状态异常帧的长度大于预设连续长度作为判断依据，即符合多帧异常才会被判断为最终的异常，从而有效地降低误检造成的状态误判，使得评估结果更加的稳定和准确。基于此，本技术实施例能够对参与人的专注度进行准确评估，在远程视频面试或视频面审场景下，可以很好地评估视频中参与人不正视屏幕的情况，从而能够准确地评估出参与人的专注度，实现对参与人进行有效评估，降低作弊风险。本技术的专注度评估方法还可以应用在金融科技领域，可以助力金融风控，提升金融业务的安全性。