基于AI处理器板卡任务调度的AI任务执行加速方法及装置

本发明涉及通信和计算机领域，具体涉及一种基于ai处理器板卡任务调度的ai任务执行加速方法及装置。

背景技术：

1、随着人工智能(artificial intelligence, ai)技术的发展，ai处理器发挥着越来越重要的作用。由于ai处理器价格昂贵，提高ai处理器的效率非常重要。ai处理器通常以板卡形式存在，一般一个机器上可以部署多个ai处理器板卡。在一个部署多个ai处理器板卡的机器上，当一个新的ai任务到来时，如何进行调度，即将该任务运行在哪一张板卡上，从而可以提高ai处理器效率，是一个亟待解决的问题。

2、在现有的解决方案中（比如面向ai处理器的数据流处理软件开发工具包cnstream），一般通过在配置中通过配置ai处理器板卡id 的方式来使ai任务运行在该id对应的ai处理器板卡上。这种静态配置的方式既不灵活也不高效，用户可能会把一个ai任务运行在一个内存占用率已经很高或者计算负载已经很高的ai处理器板卡上，从而影响了该ai任务的运行效率。

技术实现思路

1、本发明为了解决上述的静态配置ai处理器板卡id导致运行效率不高的问题，提出了一种面向人工智能处理器板卡的调度方法，通过在一个部署多张ai处理器板卡的机器上增加一种调度机制，从而可以达到更高效地利用ai处理器的效果；在该调度机制中，用户可以在配置文件中灵活地设置调度策略；调度策略包括内存占用最少优先、计算利用率最低优先和智能调度策略，但并不局限于这三种策略。

2、具体来说，针对现有技术的不足，如图2所示本发明提出一种基于ai处理器板卡任务调度的ai任务执行加速方法，其中包括：

3、调度植入步骤1，获取待执行的ai任务，并在该ai任务中增加调度策略配置参数；

4、调度执行步骤2，具有多个ai处理器板卡的ai计算平台根据该调度策略配置参数，确定执行该ai任务的ai处理器板卡id；

5、任务执行步骤3， 将该ai任务的运行在该ai处理器板卡id对应的ai 处理器板卡上，得到该ai任务的执行结果。

6、所述的基于ai处理器板卡任务调度的ai任务执行加速方法，其中该调度策略配置参数对应的调度策略为：使用内存占用最小的ai处理器板卡执行该ai任务，或使用计算利用率最低的ai处理器板卡执行该ai任务；

7、该调度执行步骤包括：通过ai处理器板卡提供的用户接口api，实时检测各ai处理器板卡的内存占用率和计算利用率。

8、所述的基于ai处理器板卡任务调度的ai任务执行加速方法，其中当该调度策略配置参数对应的调度策略为智能调度时，该调度执行步骤包括：

9、获取该ai 任务所需内存大小，当该内存大小大于预设阈值时，执行内存优先步骤，否则执行利用率优先步骤；

10、该内存优先步骤，遍历每张ai处理器板卡的应用程序编程接口，获取每个ai处理器板卡的内存使用信息，确定占用内存最小的ai处理器板卡的id作为执行该ai任务的ai处理器板卡id；

11、该利用率优先步骤，遍历每张ai处理器板卡的应用程序编程接口，获取每个ai处理器板卡的计算利用率，确定计算利用率最小的ai处理器板卡的id作为执行该ai任务的ai处理器板卡id。

12、所述的基于ai处理器板卡任务调度的ai任务执行加速方法，其中该ai任务为图像识别任务，该执行结果为该图像识别任务中待识别图像的语义分割结果，或图像分类结果。

13、如图3所示，本发明还提出了一种基于ai处理器板卡任务调度的ai任务执行加速装置b，其中包括：

14、调度植入模块m1，获取待执行的ai任务，并在该ai任务中增加调度策略配置参数；

15、调度执行模块m2，具有多个ai处理器板卡的ai计算平台根据该调度策略配置参数，确定执行该ai任务的ai处理器板卡id；

16、任务执行模块m3， 将该ai任务的运行在该ai处理器板卡id对应的ai 处理器板卡上，得到该ai任务的执行结果。

17、所述的基于ai处理器板卡任务调度的ai任务执行加速装置，其中该调度策略配置参数对应的调度策略为：使用内存占用最小的ai处理器板卡执行该ai任务，或使用计算利用率最低的ai处理器板卡执行该ai任务；

18、该调度执行步骤包括：通过ai处理器板卡提供的用户接口api，实时检测各ai处理器板卡的内存占用率和计算利用率。

19、所述的基于ai处理器板卡任务调度的ai任务执行加速装置，其中当该调度策略配置参数对应的调度策略为智能调度时，该调度执行模块用于：

20、获取该ai 任务所需内存大小，当该内存大小大于预设阈值时，调用内存优先模块，否则执行利用率优先模块；

21、该内存优先模块，遍历每张ai处理器板卡的应用程序编程接口，获取每个ai处理器板卡的内存使用信息，确定占用内存最小的ai处理器板卡的id作为执行该ai任务的ai处理器板卡id；

22、该利用率优先模块，遍历每张ai处理器板卡的应用程序编程接口，获取每个ai处理器板卡的计算利用率，确定计算利用率最小的ai处理器板卡的id作为执行该ai任务的ai处理器板卡id。

23、所述的基于ai处理器板卡任务调度的ai任务执行加速装置，其中该ai任务为图像识别任务，该执行结果为该图像识别任务中待识别图像的语义分割结果，或图像分类结果。

24、本发明还提出了一种电子设备，其中包括所述的一种ai任务执行加速装置。

25、本发明还提出了一种存储介质，用于存储一种所述ai任务执行加速方法的计算机程序。

26、由以上方案可知，本发明的优点在于：

27、本发明提出的一种基于ai处理器板卡任务调度的ai任务执行加速方法及装置，相比于现有的静态配置板卡id的方法，该发明中，用户可以灵活地设置调度策略，从而可以提高ai处理器的效率。

技术特征：

1.一种基于ai处理器板卡任务调度的ai任务执行加速方法，其特征在于，包括：

2.如权利要求1所述的基于ai处理器板卡任务调度的ai任务执行加速方法，其特征在于，该调度策略配置参数对应的调度策略为：使用内存占用最小的ai处理器板卡执行该ai任务，或使用计算利用率最低的ai处理器板卡执行该ai任务；

3.如权利要求1所述的基于ai处理器板卡任务调度的ai任务执行加速方法，其特征在于，当该调度策略配置参数对应的调度策略为智能调度时，该调度执行步骤包括：

4.如权利要求1所述的基于ai处理器板卡任务调度的ai任务执行加速方法，其特征在于，该ai任务为图像识别任务，该执行结果为该图像识别任务中待识别图像的语义分割结果，或图像分类结果。

5.一种基于ai处理器板卡任务调度的ai任务执行加速装置，其特征在于，包括：

6.如权利要求5所述的基于ai处理器板卡任务调度的ai任务执行加速装置，其特征在于，该调度策略配置参数对应的调度策略为：使用内存占用最小的ai处理器板卡执行该ai任务，或使用计算利用率最低的ai处理器板卡执行该ai任务；

7.如权利要求5所述的基于ai处理器板卡任务调度的ai任务执行加速装置，其特征在于，当该调度策略配置参数对应的调度策略为智能调度时，该调度执行模块用于：

8.如权利要求6所述的基于ai处理器板卡任务调度的ai任务执行加速装置，其特征在于，该ai任务为图像识别任务，该执行结果为该图像识别任务中待识别图像的语义分割结果，或图像分类结果。

9.一种电子设备，其特征在于，包括权利要求5-8所述的一种ai任务执行加速装置。

10.一种存储介质，用于存储一种执行权利要求1-4所述ai任务执行加速方法的计算机程序。

技术总结本发明提出一种基于AI处理器板卡任务调度的AI任务执行加速方法和装置，包括：获取待执行的AI任务，并在该AI任务中增加调度策略配置参数；具有多个AI处理器板卡的AI计算平台根据该调度策略配置参数，确定执行该AI任务的AI处理器板卡ID；将该AI任务的运行在该AI处理器板卡ID对应的AI处理器板卡上，得到该AI任务的执行结果。从而可以达到更高效地利用AI处理器的效果；在该调度机制中，用户可以在配置文件中灵活地设置调度策略；调度策略包括内存占用最少优先、计算利用率最低优先和智能调度策略。技术研发人员：丁保增,李威,郭崎,陈云霁受保护的技术使用者：中国科学院计算技术研究所技术研发日：技术公布日：2024/7/29