一种推理调度方法、装置、电子设备及介质与流程

本公开涉及推理调度，特别是涉及一种推理调度方法、装置、电子设备及介质。

背景技术：

1、许多采购商和施工方基于成本与资金的考虑，越来越倾向于采用单个边缘服务器超负的解决方案，也就是说过多的接入端设备(通常超过单个边缘服务器算力能力)常常会接入到单个服务器进行推理分析。

2、相关技术中，提出的一种面向边缘服务器的分时推理的管理方法，能够基于非优先级与优先级的时间片轮流的方式调度分发视频流，但是对于紧急加入需要被马上处理的视频流无法实现实时推理，而是需要通过设置视频流优先级后，等待下一次时间片轮转。

技术实现思路

1、为克服相关技术中存在的问题，本技术提供一种推理调度方法、装置、电子设备及介质。本技术的技术方案如下：

2、根据本技术实施例的第一方面，提供一种推理调度方法，所述方法包括：

3、获取推理队列中各个视频流的优先级和等待队列中各个视频流的优先级；

4、将等待队列中的每个视频流的优先级与推理队列中的各个视频流的优先级分别进行比较；

5、将等待队列中，优先级高于推理队列中的所有视频流的优先级的视频流，确定为目标视频流；

6、将所述目标视频流添加到推理队列中，并作为所述推理队列中优先级最高的视频流；

7、按照优先级从高到低的顺序，将所述推理队列中包括所述目标视频流在内的多个视频流确定为多个待分发视频流；

8、将所述多个待分发视频流分发给视频流推理设备。

9、可选地，所述将所述多个待分发视频流分发给视频流推理设备，包括：

10、获取推理滑窗；

11、基于所述推理滑窗，通过时间片轮转的方式对所述推理队列中的视频流进行分发；所述时间片轮转表征：所述推理滑窗在每一时间片对所述视频流进行一次分发；根据所述推理队列中所述视频流的顺序，依次确定时间片对应的所述视频流；所述时间片对应的所述视频流小于或等于所述推理滑窗的容量；所述推理滑窗的容量基于服务器算力确定；

12、将所述时间片对应的所述视频流分发给所述视频流推理设备进行推理；推理周期由所述时间片确定。

13、可选地，所述确定为目标视频流之后，包括：

14、通知所述视频流推理设备暂停对所述时间片对应的所述视频流的推理，同时暂停所述时间片。

15、可选地，所述按照优先级从高到低的顺序，将所述推理队列中包括所述目标视频流在内的多个视频流确定为多个待分发视频流，包括：

16、将暂停所述时间片时所述推理滑窗在所述推理队列中的位置，确定为目标位置；将所述目标位置之后的所述视频流和所述目标视频流，按照所述优先级从高到低的顺序，对所述推理队列中所述视频流进行排序；

17、所述推理滑窗基于目标位置，重新确定所述时间片对应的所述视频流；

18、所述将所述多个待分发视频流分发给视频流推理设备，包括：

19、将所述时间片对应的所述视频流分发给所述视频流推理设备，重置所述时间片。可选地，所述方法还包括：

20、为所述等待队列中需要紧急推理的所述视频流添加紧急标签；

21、根据所述紧急标签确定所述视频流的所述优先级；

22、所述紧急标签对应的所述优先级高于所述等待队列中任意所述视频流对应的优先级。

23、可选地，所述方法还包括：

24、接收输入端传输的所述视频流；

25、将所述视频流添加到所述等待队列；

26、获取数据传输参数；

27、根据所述数据传输参数，将所述等待队列中的所述视频流添加到所述推理队列。可选地，所述方法还包括：

28、检测所述推理队列中各个所述视频流对应的优先级；

29、在所述等待队列为空的情况下，判断所述视频流对应的优先级是否一致；

30、在所述推理队列中各个所述视频流对应的优先级一致的情况下，根据所述视频流被添加到所述推理队列的时间，确定所述推理队列中所述视频流的顺序；

31、在所述推理队列中各个所述视频流对应的优先级不一致的情况下，根据检测得到的所述视频流的优先级，确定所述推理队列中所述视频流的顺序；

32、基于由所述时间确定的所述视频流的顺序，或，由所述优先级确定的所述视频流的顺序，依次确定所述时间片对应的所述视频流；

33、其中，在所述检测所述推理队列中各个所述视频流对应的优先级之后，判断各个所述视频流对应的优先级的变化；

34、在所述视频流的所述优先级由一致变为不一致，或，优先级由不一致变为一致的情况下，确定所述推理滑窗在当前所述时间片处于所述推理队列的目标位置；在下一所述时间片之前，对所述目标位置之后的所述视频流重新进行排序，更新所述推理队列中所述视频流的顺序；

35、根据重新排序得到的所述推理队列中所述视频流的顺序，确定下一时间片对应的所述视频流。

36、根据本技术实施例的第二方面，提供一种推理调度装置，所述装置包括：

37、优先级获取模块，用于获取推理队列中各个视频流的优先级和等待队列中各个视频流的优先级；

38、优先级比较模块，用于将等待队列中的每个视频流的优先级与推理队列中的各个视频流的优先级分别进行比较；

39、目标视频流确定模块，用于将等待队列中，优先级高于推理队列中的所有视频流的优先级的视频流，确定为目标视频流；

40、添加模块，用于将所述目标视频流添加到推理队列中，并作为所述推理队列中优先级最高的视频流；

41、分发确定模块，用于按照优先级从高到低的顺序，将所述推理队列中包括所述目标视频流在内的多个视频流确定为多个待分发视频流；

42、分发模块，用于将所述多个待分发视频流分发给视频流推理设备。

43、根据本技术实施例的第三方面，提供一种电子设备，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时，实现如第一方面中所述的推理调度方法的步骤。

44、根据本公开实施例的第四方面，提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时，实现如第一方面中所述的推理调度方法的步骤。

45、根据本公开实施例的第五方面，提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现第一方面所述的推理调度方法的步骤。

46、本技术实施例中，通过获取推理队列和等待队列中各个视频流的优先级，并进行比较，确保任何时刻都能根据视频流的紧急程度动态调整处理顺序，可以根据实际情况优化资源分配，提升整体系统的效率和响应速度。通过将优先级高的视频流即时加入推理队列，并重新排列推理队列的顺序，这种方法能更合理地利用边缘服务器的计算资源，按照重新确定的推理队列的顺序进行分发。从而，在紧急视频流需要立即处理时，通过优先级判断并重新调整推理队列，能够可以使得紧急视频流能够快速获得处理资源，极大提高了系统的实时响应能力。