多媒体资源处理方法、文本处理方法、图像处理方法及多媒体资源处理装置与流程

本说明书实施例涉及计算机，特别涉及多媒体资源处理方法、文本处理方法、图像处理方法及多媒体资源处理装置。

背景技术：

1、在深度学习和机器学习等领域，对于大型语言模型的处理，经常采用混合专家(mixture of experts，moe)的框架。moe框架是基于各个专家模型的组合，使得每个专家能够处理其专长领域的问题，在降低推理成本的情况下，提高整体模型的表现。但是，如何选择合适的专家进行处理是一个关键的问题。

2、现有技术中，通常采用的方法是设定固定的专家模型数量进行专家模型的激活，即，选择概率最大的n个专家。但是固定专家模型的选择数量带来了较为明显的资源浪费和模型预测准确度低的问题，选择专家模型的灵活度低。因此，亟需一种较为有效的方法以解决上述问题。

技术实现思路

1、有鉴于此，本说明书实施例提供了一种多媒体资源处理方法。本说明书一个或者多个实施例同时涉及一种多媒体资源处理装置，一种计算设备，一种文本处理方法，一种文本处理装置，一种图像处理方法，一种图像处理装置，一种计算机可读存储介质以及一种计算机程序产品，以解决现有技术中存在的技术缺陷。

2、根据本说明书实施例的第一方面，提供了一种多媒体资源处理方法，包括：

3、获取资源处理任务对应的多媒体资源，并将所述多媒体资源输入至资源处理模型，其中，所述资源处理模型包含多个专家模型；

4、针对所述多个专家模型分别与所述多媒体资源之间的匹配度进行排序，获得匹配度序列；

5、通过针对所述匹配度序列中包含的匹配度进行累加，选择大于匹配度阈值的累加结果关联的专家模型，作为目标专家模型；

6、基于所述目标专家模型对所述多媒体资源进行处理，并通过所述资源处理模型中的信息处理模块将资源处理结果转换为资源处理信息并输出所述资源处理模型，其中，所述资源处理信息与所述资源处理任务的任务期望信息匹配。

7、可选地，所述通过针对所述匹配度序列中包含的匹配度进行累加，选择大于匹配度阈值的累加结果关联的专家模型，作为目标专家模型，包括：

8、在所述匹配度序列中按序选择第i匹配度，并对所述第i匹配度和第j-1累加匹配度进行累加，获得第j累加匹配度，其中，i和j从1开始取值，且为正整数；

9、判断所述第j累加匹配度是否大于所述匹配度阈值：

10、若否，i，j自增1，并执行所述在所述匹配度序列中选择第i匹配度的步骤；

11、若是，选择与所述累加匹配度关联的专家模型作为所述目标专家模型。

12、可选地，所述选择与所述累加匹配度关联的专家模型作为所述目标专家模型，包括：

13、在所述匹配度序列中确定所述累加匹配度关联的至少一个关联匹配度；

14、在所述多个专家模型中选择与所述至少一个关联匹配度分别对应的专家模型作为所述目标专家模型。

15、可选地，所述多个专家模型分别与所述多媒体资源之间的匹配度的计算，包括：

16、确定所述多个专家模型分别对应的专家模型权重，以及所述多媒体资源对应的第一多媒体资源向量；

17、利用所述资源处理模型的匹配度计算模块，基于所述多个专家模型分别对应的专家模型权重和所述多媒体资源向量进行矩阵乘法计算，获得所述多个专家模型分别对应的初始匹配度；

18、利用所述资源处理模型的归一化模块对所述多个专家模型分别对应的初始匹配度进行归一化处理，获得所述多个专家模型分别与所述多媒体资源之间的匹配度。

19、可选地，所述基于所述目标专家模型对所述多媒体资源进行处理，包括：

20、确定所述目标专家模型对应的目标专家模型权重和偏差向量；

21、将所述多媒体资源对应的第二多媒体资源向量，所述目标专家模型权重和所述偏差向量输入至所述目标专家模型进行处理。

22、可选地，在所述目标专家模型为至少两个的情况下，所述通过所述资源处理模型中的信息处理模块将资源处理结果转换为资源处理信息并输出所述资源处理模型，包括：

23、确定所述至少两个目标专家模型分别对应的信息整合权重；

24、通过所述资源处理模型中的信息处理模块，基于所述至少两个目标专家模型分别对应的信息整合权重将所述资源处理结果转换为所述资源处理信息并输出所述资源处理模型。

25、可选地，所述针对所述多个专家模型分别与所述多媒体资源之间的匹配度进行排序，获得匹配度序列，包括：

26、按照排序策略针对所述多个专家模型分别与所述多媒体资源之间的匹配度进行排序，获得匹配度序列。

27、根据本说明书实施例的第二方面，提供了一种多媒体资源处理装置，包括：

28、获取模块，被配置为获取资源处理任务对应的多媒体资源，并将所述多媒体资源输入至资源处理模型，其中，所述资源处理模型包含多个专家模型；

29、排序模块，被配置为针对所述多个专家模型分别与所述多媒体资源之间的匹配度进行排序，获得匹配度序列；

30、累加模块，被配置为通过针对所述匹配度序列中包含的匹配度进行累加，选择大于匹配度阈值的累加结果关联的专家模型，作为目标专家模型；

31、输出模块，被配置为基于所述目标专家模型对所述多媒体资源进行处理，并通过所述资源处理模型中的信息处理模块将资源处理结果转换为资源处理信息并输出所述资源处理模型，其中，所述资源处理信息与所述资源处理任务的任务期望信息匹配。

32、根据本说明书实施例的第三方面，提供了一种文本处理方法，包括：

33、获取文本处理任务对应的待处理文本，并将所述待处理文本输入至文本处理模型，其中，所述文本处理模型包含多个专家模型；

34、针对所述多个专家模型分别与所述待处理文本之间的匹配度进行排序，获得匹配度序列；

35、通过针对所述匹配度序列中包含的匹配度进行累加，选择大于匹配度阈值的累加结果关联的专家模型，作为目标专家模型；

36、基于所述目标专家模型对所述待处理文本进行处理，并通过所述文本处理模型中的文本处理模块将文本处理结果转换为文本处理信息并输出所述文本处理模型，其中，所述文本处理信息与所述文本处理任务的任务期望信息匹配。

37、根据本说明书实施例的第四方面，提供了一种文本处理装置，包括：

38、获取模块，被配置为获取文本处理任务对应的待处理文本，并将所述待处理文本输入至文本处理模型，其中，所述文本处理模型包含多个专家模型；

39、排序模块，被配置为针对所述多个专家模型分别与所述待处理文本之间的匹配度进行排序，获得匹配度序列；

40、累加模块，被配置为通过针对所述匹配度序列中包含的匹配度进行累加，选择大于匹配度阈值的累加结果关联的专家模型，作为目标专家模型；

41、输出模块，被配置为基于所述目标专家模型对所述待处理文本进行处理，并通过所述文本处理模型中的文本处理模块将文本处理结果转换为文本处理信息并输出所述文本处理模型，其中，所述文本处理信息与所述文本处理任务的任务期望信息匹配。

42、根据本说明书实施例的第五方面，提供了一种图像处理方法，包括：

43、获取图像处理任务对应的待处理图像，并将所述待处理图像输入至图像处理模型，其中，所述图像处理模型包含多个专家模型；

44、针对所述多个专家模型分别与所述待处理图像之间的匹配度进行排序，获得匹配度序列；

45、通过针对所述匹配度序列中包含的匹配度进行累加，选择大于匹配度阈值的累加结果关联的专家模型，作为目标专家模型；

46、基于所述目标专家模型对所述待处理图像进行处理，并通过所述图像处理模型中的图像处理模块将图像处理结果转换为图像处理信息并输出所述图像处理模型，其中，所述图像处理信息与所述图像处理任务的任务期望信息匹配。

47、根据本说明书实施例的第六方面，提供了一种图像处理装置，包括：

48、获取模块，被配置为获取图像处理任务对应的待处理图像，并将所述待处理图像输入至图像处理模型，其中，所述图像处理模型包含多个专家模型；

49、排序模块，被配置为针对所述多个专家模型分别与所述待处理图像之间的匹配度进行排序，获得匹配度序列；

50、累加模块，被配置为通过针对所述匹配度序列中包含的匹配度进行累加，选择大于匹配度阈值的累加结果关联的专家模型，作为目标专家模型；

51、输出模块，被配置为基于所述目标专家模型对所述待处理图像进行处理，并通过所述图像处理模型中的图像处理模块将图像处理结果转换为图像处理信息并输出所述图像处理模型，其中，所述图像处理信息与所述图像处理任务的任务期望信息匹配。

52、根据本说明书实施例的第七方面，提供了一种计算设备，包括：

53、存储器和处理器；

54、所述存储器用于存储计算机可执行指令，所述处理器用于执行所述计算机可执行指令，该计算机可执行指令被处理器执行时实现上述方法的步骤。

55、根据本说明书实施例的第八方面，提供了一种计算机可读存储介质，其存储有计算机可执行指令，该指令被处理器执行时实现上述方法的步骤。

56、根据本说明书实施例的第九方面，提供了一种计算机程序产品，包括计算机程序或指令，该计算机程序或指令被处理器执行时实现上述方法的步骤。

57、本说明书一个实施例实现了通过获取资源处理任务对应的多媒体资源，并将多媒体资源输入至包含多个专家模型的资源处理模型。针对多个专家模型分别与多媒体资源之间的匹配度进行排序，获得匹配度序列。通过针对匹配度序列中包含的匹配度进行累加，选择大于匹配度阈值的累加结果关联的专家模型，作为目标专家模型。激活目标专家模型，并基于目标专家模型对多媒体资源进行处理。通过资源处理模型中的信息处理模块将资源处理结果转换为资源处理信息并由资源处理模型输出。在选择目标专家模型时，不对目标专家模型的数量进行规定和限制，而是通过对匹配度序列中包含的匹配度进行累加确定目标专家模型，从而可以根据资源处理任务的专家模型需求，灵活的确定需要激活的目标专家模型，实现专家模型的动态激活。避免了目标专家模型选择过少导致的任务处理质量低，以及目标专家模型选择过多导致的资源浪费，提高任务处理效率和质量。资源处理模型能够更好地适应各种复杂度的任务需求，增加资源处理模型的通用性和灵活性。