用于大模型的任务执行方法、装置、电子设备和存储介质与流程

本公开涉及人工智能，尤其涉及深度学习和大模型。更具体地，本公开提供了一种用于大模型的任务执行方法、装置、电子设备和存储介质。

背景技术：

1、随着人工智能技术的发展，基于注意力机制，可以处理各种场景的数据。

技术实现思路

1、本公开提供了一种用于大模型的任务执行方法、装置、设备以及存储介质。

2、根据本公开的一方面，提供了一种用于大模型的任务执行方法，该方法包括：根据目标待处理特征，利用目标计算单元执行多个注意力任务中的目标注意力任务，得到目标注意力特征，其中，目标注意力任务包括至少一个目标注意力子任务，目标注意力任务的在后注意力任务包括至少一个在后注意力子任务，目标注意力子任务的数目大于在后注意力子任务的数目；根据目标注意力特征，利用目标计算单元执行多个前馈任务中的目标前馈任务的第一目标前馈子任务，得到第一目标前馈特征，其中，目标前馈任务的在后前馈任务包括第一在后前馈子任务，第一目标前馈特征的维度小于第一在后前馈特征的维度，第一在后前馈特征是目标计算单元执行第一在后前馈子任务得到的；根据第一目标前馈特征，利用目标计算单元执行目标前馈任务的第二目标前馈子任务，得到在后待处理特征。

3、根据本公开的另一方面，提供了一种用于大模型的任务执行装置，该装置包括：目标存储单元，存储有多个注意力任务的任务数据和多个前馈任务的任务数据；目标计算单元，配置为：根据目标待处理特征，执行多个注意力任务中的目标注意力任务，得到目标注意力特征，其中，目标注意力任务包括至少一个目标注意力子任务，目标注意力任务的在后注意力任务包括至少一个在后注意力子任务，目标注意力子任务的数目大于在后注意力子任务的数目；根据目标注意力特征，执行多个前馈任务中的目标前馈任务的第一目标前馈子任务，得到第一目标前馈特征，其中，目标前馈任务的在后前馈任务包括第一在后前馈子任务，第一目标前馈特征的维度小于第一在后前馈特征的维度，第一在后前馈特征是目标计算单元执行第一在后前馈子任务得到的；根据第一目标前馈特征，执行目标前馈任务的第二目标前馈子任务，得到在后待处理特征。

4、根据本公开的另一方面，提供了一种用于大模型的任务执行设备，该设备包括本公开提供的用于大模型的任务执行装置。

5、根据本公开的另一方面，提供了一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行根据本公开提供的方法。

6、根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，该计算机指令用于使计算机执行根据本公开提供的方法。

7、根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，计算机程序在被处理器执行时实现根据本公开提供的方法。

8、应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

技术特征：

1.一种用于大模型的任务执行方法，包括：

2.根据权利要求1所述的方法，其中，所述目标待处理特征是根据初始特征得到的或者由目标计算单元执行所述目标前馈任务的在前前馈任务得到的。

3.根据权利要求1所述的方法，还包括：

4.根据权利要求1所述的方法，其中，所述根据目标待处理特征，利用目标计算单元执行多个注意力任务中的目标注意力任务包括：

5.根据权利要求2所述的方法，其中，所述目标待处理特征为目标待处理文本特征，所述初始特征是根据初始文本得到的，所述目标计算单元执行多个所述注意力任务和多个所述前馈任务得到的执行结果为：与所述初始文本对应的输出文本。

6.一种用于大模型的任务执行装置，包括：

7.根据权利要求1所述的装置，其中，所述目标待处理特征是根据初始特征得到的或者由目标计算单元执行所述目标前馈任务的在前前馈任务得到的。

8.根据权利要求6所述的装置，其中，所述目标计算单元还配置为：

9.根据权利要求6所述的装置，其中，所述注意力任务的任务数据包括至少一个查询矩阵、至少一个键矩阵和至少一个值矩阵，

10.根据权利要求7所述的装置，其中，所述目标待处理特征为目标待处理文本特征，所述初始特征是根据初始文本得到的，所述目标计算单元执行多个所述注意力任务和多个所述前馈任务得到的执行结果为：与所述初始文本对应的输出文本。

11.一种用于大模型的任务执行设备，包括权利要求6至10任一项所述的装置。

12.一种电子设备，包括：

13.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1至5中任一项所述的方法。

14.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1至5中任一项所述的方法。

技术总结本公开提供了一种用于大模型的任务执行方法，涉及人工智能技术领域，尤其涉及深度学习技术领域和大模型技术领域。具体实现方案为：根据目标待处理特征，利用目标计算单元执行目标注意力任务，得到目标注意力特征，其中，目标注意力子任务的数目大于在后注意力子任务的数目；根据目标注意力特征，利用目标计算单元执行目标前馈任务的第一目标前馈子任务，得到第一目标前馈特征，其中，第一目标前馈特征的维度小于第一在后前馈特征的维度，第一在后前馈特征是执行第一在后前馈子任务得到的；根据第一目标前馈特征，执行目标前馈任务的第二目标前馈子任务，得到在后待处理特征。本公开还提供了一种用于大模型的任务执行装置、电子设备和存储介质。技术研发人员：张林昊,陈奕龙,尚骏远,杨茵淇,王硕寰,孙宇受保护的技术使用者：北京百度网讯科技有限公司技术研发日：技术公布日：2024/7/29