一种直播卡顿的实时监控方法、装置及计算机存储介质与流程

本发明涉及直播，具体的涉及一种直播卡顿的实时监控方法、装置及计算机存储介质。

背景技术：

1、视频直播是指利用互联网及流媒体技术进行直播，视频因融合了图像、文字、声音等丰富元素，声形并茂，效果极佳，逐渐成为互联网的主流表达方式。视频通过真实、生动的传播，营造出强烈的现场感，吸引眼球，达成印象深刻、记忆持久的传播效果。

2、网课(online course)是用电子设备通过视频直播技术实现的线上课程教育。区别于线下课堂，网课具有方式多样，灵活便捷等优点，越来越多的学生群体和育儿父母的开始使用。

3、然而，用户在上网课的时候，经常遇到卡顿的问题。且有些卡顿已经严重影响用户的正常上课和与老师同学的互动。但是长久以来，对于直播卡顿的监控都不完善，无法了解卡顿的具体数量、占比、趋势，更无法了解卡顿的具体原因，从而影响研发工程师对卡顿的优化。

4、现在业界通用的卡顿监控方案仅停留在对系统view卡顿的监控，无法监控流媒体的卡顿。而直播是通过流媒体实现，所以，流媒体卡顿的影响远超系统view卡顿，因此对直播过程中流媒体的监控，判断卡顿以及分析卡顿归因变得非常重要。

5、有鉴于此，特提出本发明专利。

技术实现思路

1、针对以上阐述的问题，本发明提出了一种直播卡顿的实时监控方法、装置及计算机存储介质，通过对底层流媒体渲染直播的原理，对直播帧成像的关键路径进行拆分和监控，不仅能监控流媒体卡顿的发生，而且可以进行卡顿的原因进行智能区分，帮助研发指明卡顿优化的方向。。具体地，采用了如下技术方案：

2、一种直播卡顿的实时监控方法，包括：

3、由直播网络获取流媒体数据作为组成一帧的起点，到渲染完成作为组成一帧的终点，标记组成一帧过程中的时间戳；

4、调用直播时组帧过程时间戳，分析得到卡顿分析指标；

5、将卡顿分析指标与服务器端下发的卡顿指标阈值进行比对，判断直播过程是否存在卡顿。

6、作为本发明的可选实施方式，本发明的一种直播卡顿的实时监控方法中，所述由直播网络获取流媒体数据作为组成一帧的起点，到渲染完成作为组成一帧的终点，标记组成一帧过程中的时间戳包括：组帧对应的时间戳"structureframetime"，开始解码时间戳"startdecodetime"，结束解码时间戳"enddecodetime"，因为解码队列满了丢掉该帧的时间"decodedropframetime"，放入渲染队列时间戳"putrenderqueuetime"，将帧数据提交给gpu的时间戳"submitgpustarttime"，将帧数据提交给gpu成功的时间戳"submitgpuendtime"，以及提交gpu失败结果返回。

7、作为本发明的可选实施方式，本发明的一种直播卡顿的实时监控方法中，所述调用直播时组帧过程时间戳，分析得到卡顿分析指标包括帧率，所述的帧率包括：

8、解码帧率dps，数据获取时间周期内，解码的帧数；

9、实际渲染帧率fps，数据获取时间周期内，实际渲染帧数/数据获取间隔时间；

10、相对帧率rfps，数据获取时间周期内，(理论满帧-实际掉帧数)/数据获取间隔时间；

11、组帧帧率sps,数据获取时间周期内，直播客户端实际组帧帧数/直播主播端下发帧率。

12、作为本发明的可选实施方式，本发明的一种直播卡顿的实时监控方法中，当所述帧率与服务器端下发的卡顿指标阈值进行比对，比对结果为帧率过低时，则针对帧率过低的归因过程包括：

13、由采样周期内确定数据获取时间周期，计算得到实际渲染帧率fps；

14、当实际渲染帧率fps小于等于服务器端下发的渲染帧率阈值，则逐步进行渲染卡顿归因判断、解码卡顿归因判断和网络卡顿归因判断。

15、作为本发明的可选实施方式，本发明的一种直播卡顿的实时监控方法中，所述的渲染卡顿归因判断包括：

16、根据已经渲染的时间判断是否归因为渲染卡顿；

17、若判断结果为否，则进一步判断同步提供给渲染队列数据是否足够；

18、若判断结果为是，则帧率过低归因为渲染卡顿，若判断结果为否，则进一步进行解码卡顿归因判断。

19、作为本发明的可选实施方式，本发明的一种直播卡顿的实时监控方法中，所述的解码卡顿归因判断包括：

20、判断解码提供给同步队列数据是否少于解码所需的理论同步队列阈值；

21、若判断结果为否，则帧率过低归因为解码卡顿，若判断结果为是，则进一步进行网络卡顿归因判断。

22、作为本发明的可选实施方式，本发明的一种直播卡顿的实时监控方法中，所述的网络卡顿归因判断包括：

23、判断网络组帧给解码队列数据是否足够；

24、若判断结果为是，则解码耗时或者解码队列过长，进行丢帧处理，若判断结果为否，则帧率过低归因为网络卡顿。

25、作为本发明的可选实施方式，本发明的一种直播卡顿的实时监控方法中，所述调用直播时组帧过程时间戳，分析得到卡顿分析指标包括单帧渲染耗时，当所述单帧渲染耗时与服务器端下发的卡顿指标阈值进行比对，比对结果为单帧渲染耗时过高时，则针对单帧渲染耗时过高的归因过程包括：

26、当前帧渲染耗时大于服务器端下发的单帧渲染耗时阈值；

27、判断当前帧与前帧组帧时间差是否大于第一预设阈值；

28、若判断结果为是，则归因为网络原因卡顿，若判断结果为否，则执行下一步；

29、判断当前帧与前帧解码时间差是否大于第二预设阈值；

30、若判断结果为是，则归因为解码原因卡顿，若判断结果为否，则执行下一步；

31、判断当前帧与前帧的同步时间差是否大于第三预设阈值；

32、若判断结果为是，则归因为同步原因卡顿。，若判断结果为否，则归因为渲染原因卡顿。

33、本发明同时提供一种直播卡顿的实时监控装置，包括：

34、组帧标记模块，由直播网络获取流媒体数据作为组成一帧的起点，到渲染完成作为组成一帧的终点，标记组成一帧过程中的时间戳；

35、卡顿分析指标模块，调用直播时组帧过程时间戳，分析得到卡顿分析指标；

36、卡顿判断模块，将卡顿分析指标与服务器端下发的卡顿指标阈值进行比对，判断直播过程是否存在卡顿。

37、本发明同时还提供一种计算机可读存储介质，存储有计算机可执行程序，所述计算机可执行程序被执行时，实现所述的一种直播卡顿的实时监控方法。

38、与现有技术相比，本发明的有益效果：

39、本发明的一种直播卡顿的实时监控方法，通过底层流媒体渲染直播的原理，对直播组成一帧过程中标记时间戳，实现对直播帧成像的关键路径的拆分和监控，通过将卡顿分析指标与服务器端下发的卡顿指标阈值进行比对，不仅能监控流媒体卡顿的发生，而且可以进行卡顿的原因进行智能区分，帮助研发指明卡顿优化的方向。

40、本发明的一种直播卡顿的实时监控方法具有如下技术效果：

41、(1)不仅做到了对app系统卡顿的监控，还做到了对流媒体渲染卡顿的监控。

42、(2)不仅能监控卡顿，而且能对卡顿进行归因。

43、(3)可以做到实时监控。

44、(4)纬度上即可精确到单个用户，也支持整体大盘展示。