基于实时视频结构驱动的多路径数据包调度方法与流程

本发明涉及数据包调度，尤其涉及基于实时视频结构驱动的多路径数据包调度方法。

背景技术：

1、近年来，无线通信技术的快速发展推动了视频流媒体业务的蓬勃发展，远程线上会议应用使得视频流量数据井喷式增长。与此同时，用户对于视频观看体验质量的要求也在不断提高。然而传输视频数据需要占用较大的带宽，更高清晰度的视频也对网络的带宽提出了更高的要求。此外，网络的不稳定会导致视频数据包的延迟甚至丢包，从而造成视频的卡顿，显著地影响了视频的连续性和整体图像质量进而影响会议的质量。

2、中国专利申请公开号：cn116405741a公开了一种基于多条传输路径的视频传输的调度方法、设备及介质，包括：获取视频数据中的数据帧，数据帧的类型包括关键帧类型和普通帧类型，数据帧包括多个数据包；基于发送间隔、丢包率和单程时延估算多条传输路径的传输时间，基于多条传输路径的传输时间确定多条传输路径中每条传输路径的传输数据帧的数据包个数；基于多条传输路径对应的网络状态、数据帧的类型以及数据帧中数据包的传输次数确定传输方式，传输方式与传输路径的选择相关；基于预设时间段内的网络卡顿率和最大可容忍卡顿率确定冗余度指标，冗余度指标与冗余度相关；并且基于数据包个数、传输方式和冗余度指标发送数据帧。由此，能够基于较小的带宽降低视频的卡顿率，从而能够提高用户观看视频的体验质量。由此可见，现有技术存在对实时视频结构分析不够精准导致数据包的优先级划分不准确，因数据包的优先级划分不准确导致不能合理地将数据包分配在网络路径之间造成视频卡断以及重要视频内容丢失的问题。

技术实现思路

1、为此，本发明提供基于实时视频结构驱动的多路径数据包调度方法，用以克服现有技术中对实时视频结构分析不够精准导致数据包的优先级划分不准确，因数据包的优先级划分不准确导致不能合理地将数据包分配在网络路径之间造成视频卡断以及重要视频内容丢失的问题。

2、为实现上述目的，本发明提供基于实时视频结构驱动的多路径数据包调度方法，包括：

3、通过实时分析视频数据的结构，根据视频编码信息识别出关键帧和非关键帧的视频内容，并对所述关键帧和非关键帧的视频内容传输过程中的数据包划分优先级；

4、根据单个网络路径的性能评价值确定所述单个网络路径的等级，并根据数据包的优先级将所述数据包合理分配在若干网络路径之间；

5、实时监测各网络路径的网络状况，根据网络状况的实时变化，动态调整所述数据包在所述各网络路径上的分配；

6、根据视频的卡顿时间以及发生卡顿时第一等级的网络路径传输的数据包，与发生卡顿后预设时间内第一等级的网络路径传输的数据包的相似度大于预设相似度的数量，确定对数据包调度过程中数据包优先级的判定参数以及网络路径等级的判定参数的调整量。

7、进一步地，在对所述视频内容传输过程中的数据包划分优先级时，包括：

8、根据视频帧的类型确定所述数据包的优先级；

9、根据视频内容中的语速与预设语速的比对结果确定所述数据包的优先级；

10、所述关键帧包括i帧，所述非关键帧包括b帧和p帧。

11、进一步地，所述视频帧的类型包括i帧、p帧和b帧，所述预设语速根据会议主持人的平均语速确定，所述预设语速包括第一预设语速以及第二预设语速。

12、进一步地，在确定单个网络路径的等级时，根据单个网络路径的性能评价值与预设性能评价值的比对结果确定所述单个网络路径的等级，所述单个网络路径的等级包括第一等级、第二等级和第三等级。

13、进一步地，所述单个网络路径的性能评价值根据单个网络路径的带宽、延迟和丢包率确定，所述预设性能评价值包括第一性能评价值和第二性能评价值，所述预设性能评价值根据网络路径中的带宽、延迟和丢包率的平均值确定。

14、进一步地，根据数据包的优先级合理分配在多个网络路径之间的步骤包括：

15、获取数据包的优先级以及网络路径的等级；

16、将数据包的优先级以及网络路径的等级进行对应；

17、实时监测各网络路径在传输数据包时的网络状况。

18、进一步地，所述动态调整数据包在各路径上的分配的步骤包括：

19、获取实时监测到的网络路径的带宽、延迟和丢包率的变化；

20、确定单个网络路径的性能评价值的变化；

21、根据性能评价值的变化量与预设变化量的比对结果确定执行动态调整数据包在各路径上的分配。

22、进一步地，在确定对数据包调度过程中数据包优先级的判定参数以及网络路径等级的判定参数的调整量时，包括：

23、根据视频的卡顿时间与预设卡顿时间的比对结果确定对数据包调度过程中数据包优先级的判定参数以及网络路径等级的判定参数的调整量；

24、根据发生卡顿时第一等级网络路径传输的数据包与发生卡顿后预设时间内第一等级网络路径传输的数据包的相似度大于预设相似度的数量与预设数量的比对结果确定对数据包调度过程中数据包优先级的判定参数以及网络路径等级的判定参数的调整量，其中，所述数据包优先级的判定参数包括预设语速，所述网络路径等级的判定参数包括预设性能评价值。

25、进一步地，所述预设卡顿时间根据视频会议的时长确定，所述预设数量根据发生卡顿时第一等级的网络路径传输的数据包数量确定。

26、进一步地，所述数据包优先级的判定参数的调整量与补充会议时长呈负相关；

27、所述网络路径等级的判定参数的调整量与补充会议时长呈正相关。

28、与现有技术相比，本发明的有益效果在于，本发明根据视频编码信息中视频帧的类型为i帧确定所述数据包为第一优先级，i帧相比于b帧和p帧包括更完整的图像信息，故将所述数据包设置为第一优先级，通过上述方法可以提高对数据包优先级划分的准确率和效率。

29、进一步地，本发明根据视频内容中会议主持人的语速与预设语速的比对结果确定会议主持人接下来的发言的重要性，当语速小于第一预设语速时，说明会议主持人讲述的内容为重要内容而刻意放慢语速，故确定所述数据包的优先级为第一优先级，当语速大于等于第一预设语速且小于第二预设语速，说明会议主持人讲的内容为一般内容而使用平时语速，故确定所述数据包的优先级为第二优先级，当语速大于等于第二预设语速时，说明会议主持人讲述的内容为不重要内容而刻意加快语速，故确定所述数据包的优先级为第三优先级，通过上述方法提高了对数据包优先级划分的精准性进而合理调度数据包在相应的网络路径上传输以提高视频流的连续性和整体图像质量。

30、进一步地，本发明根据单个网络路径的带宽、延迟以及丢包率计算所述单个网络路径的性能评价值，并根据所述性能评价值与预设性能评价值的比对结果确定所述网络路径的等级，通过上述方法提高了对网络路径性能分析的精准性进而将不同优先级的数据包分配到相应等级的网络路径之间，在网络环境存在较大波动时将重要的数据包分配到性能好的网络路径中提高了视频流的连续性和整体图像质量。

31、进一步地，本发明通过数据包传输过程中网络路径的占用比例与预设占用比例的比对结果确定合理分配数据包到相应的网络路径之间，提高了网络路径的资源利用率以提高数据包的传输效率，通过上述方法可以在网络波动大时网络环境好的时刻快速传输数据包进而提高视频流的连续性和整体图像质量。

32、进一步地，本发明通过实时监测到的网络路径的带宽、延迟和丢包率的变化以确定单个网络路径的性能评价值的变化进而确定网络路径是否发生等级变化，当性能评价值的变化量大于等于预设变化量时，说明网络路径的性能发生较大变化，此时需要执行动态调整数据包在各路径上的分配，通过将数据包合理分配到变化后的网络路径之间实现动态调整，通过上述方法提高了对数据包调度过程控制的精准性进而提高了视频流的连续性和整体图像质量。

33、进一步地，本发明根据视频的卡顿时间与预设卡顿时间的比对结果确定对数据包调度过程中数据包优先级的判定参数以及网络路径等级的判定参数的调整，当卡顿时间大于等于预设卡顿时间时，说明视频卡顿时间长且卡顿次数多，视频质量低，此时需要对数据包调度过程中数据包优先级的判定参数以及网络路径等级的判定参数调整，当卡顿时间小于预设卡顿时间时，此时需要对视频卡顿内容分析确定视频卡顿后会议主持人是否进行重复话语进而避免因卡顿时间短时的卡顿视频内容重要导致不能获取到重要内容，通过上述方法提高了对数据包调度过程控制的精准性进而提高视频流的连续性和整体图像质量。

34、进一步地，本发明通过视频会议结束后发起的补充会议时长确定是否对所述数据包调度过程调整，当补充会议时长大于等于预设会议时长时，说明数据包调度过程中重要内容丢失过多，需要在补充会议再次说明，此时确定以第一调整系数提高预设性能评价值进而提高网络路径等级的判定参数以实现高等级的网络路径传输高优先级的数据包得到连续以及质量高的图像，当补充会议时长小于预设会议时长时，说明数据包调度过程中因第一优先级的数据包数量多导致网络路径资源不够造成卡顿时间长的现象，此时确定以第二调整系数减小预设语速进而提高数据包优先级的判定参数以提高数据包的传输速率以及网络路径的资源利用率，提高了视频流的连续性和整体图像质量。