模型预训练方法、信息处理方法及装置与流程

本公开涉及人工智能，尤其涉及大语言模型、深度学习、计算机视觉等。具体涉及模型预训练方法、信息处理方法、装置、电子设备、存储介质和程序产品。

背景技术：

1、大语言模型(large language model)是一种基于深度学习技术的自然语言处理模型，其通过分析大量的文本数据来学习语言的语法、语义和上下文信息。大语言模型在自然语言处理领域中具有广泛的应用，如文本分类、情感分析、机器翻译等。

技术实现思路

1、本公开提供了一种模型预训练方法、信息处理方法、装置、电子设备、存储介质和程序产品。

2、根据本公开的一方面，提供了一种模型预训练方法，初始模型包括第一特征提取模块、第一注意力模块和图像生成模块，包括：利用第一特征提取模块，提取与样本图像对应的样本像素序列的样本像素特征，其中，样本图像为包含文本内容的图像，样本像素序列是按照预定像素尺寸对样本图像进行分割得到的；利用第一注意力模块，基于注意力机制，对样本像素特征进行处理，得到融合图像特征，其中，融合图像特征包括与文本内容对应的视觉特征信息；利用图像生成模块，基于样本像素序列和融合图像特征，生成第一目标像素序列；基于第一损失函数，根据样本像素序列和第一目标像素序列，生成第一损失值；以及基于第一损失值，调整初始模型的模型参数，得到经训练的第一模型。

3、根据本公开的另一方面，提供了一种信息处理方法，包括：获取待处理信息，其中，待处理信息为包括局部文本内容的信息；利用目标模型对待处理信息进行处理，生成目标信息，其中，目标信息包括完整文本内容的信息和与完整文本内容对应的视觉信息；以及响应于待处理信息为图像，目标信息的格式为图像；其中，目标模型为前文描述的经训练的第一模型。

4、根据本公开的另一方面，提供了一种模型预训练装置，包括：第一特征提取模块、第一注意力模块、图像生成模块、第一损失计算模块和第一调整模块。第一特征提取模块，用于提取与样本图像对应的样本像素序列的样本像素特征，其中，样本图像为包含文本内容的图像，样本像素序列是按照预定像素尺寸对样本图像进行分割得到的；第一注意力模块，用于基于注意力机制，对样本像素特征进行处理，得到融合图像特征，其中，融合图像特征包括与文本内容对应的视觉特征信息；图像生成模块，用于基于样本像素序列和融合图像特征，生成第一目标像素序列；第一损失计算模块，用于基于第一损失函数，根据样本像素序列和第一目标像素序列，生成第一损失值；以及第一调整模块，用于基于第一损失值，调整初始模型的模型参数，得到经训练的第一模型。

5、根据本公开的另一方面，提供了一种信息处理装置，包括：第二获取模块和处理模块。第二获取模块，用于获取待处理信息，其中，待处理信息为包括局部文本内容的信息。处理模块，用于利用目标模型对待处理信息进行处理，生成目标信息，其中，目标信息包括完整文本内容的信息和与完整文本内容对应的视觉信息。响应于待处理信息为图像，目标信息的格式为图像；其中，目标模型为前文描述的经训练的第一模型。

6、根据本公开的另一方面，提供了一种电子设备，包括：至少一个处理器；以及与上述至少一个处理器通信连接的存储器；其中，上述存储器存储有可被上述至少一个处理器执行的指令，上述指令被上述至少一个处理器执行，以使上述至少一个处理器能够执行如上描述的方法。

7、根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，上述计算机指令用于使上述计算机执行如上描述的方法。

8、根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，上述计算机程序在被处理器执行时实现如上描述的方法。

9、应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

技术特征：

1.一种模型预训练方法，初始模型包括第一特征提取模块、第一注意力模块和图像生成模块，所述方法包括：

2.根据权利要求1所述的方法，其中，所述融合图像特征的序列包括m个像素特征，m为大于1的整数；

3.根据权利要求1所述的方法，其中，所述提取与样本图像对应的样本像素序列的样本像素特征，包括：

4.根据权利要求1所述的方法，其中，所述基于第一损失函数，根据所述样本像素序列和所述第一目标像素序列，生成第一损失值，包括：

5.根据权利要求1-3任一项所述的方法，所述方法还包括：

6.根据权利要求4所述的方法，所述初始模型还包括第二特征提取模块、第二注意力模块和文本生成模块，所述方法还包括：

7.根据权利要求6所述的方法，其中，所述基于所述第二损失值和所述第三损失值，调整所述初始模型的模型参数，得到经训练的第二模型，包括：

8.一种信息处理方法，所述方法包括：

9.根据权利要求8所述的方法，所述方法还包括：

10.根据权利要求8或9所述的方法，所述方法还包括：

11.根据权利要求9所述的方法，所述方法还包括：

12.一种模型预训练装置，初始模型包括第一特征提取模块、第一注意力模块和图像生成模块，所述装置包括：

13.根据权利要求12所述的装置，其中，所述融合图像特征的序列包括m个像素特征，m为大于1的整数；所述图像生成模块包括：

14.根据权利要求12所述的装置，其中，所述第一特征提取模块包括：

15.根据权利要求12所述的装置，其中，所述第一计算子模块包括：

16.根据权利要求12-15任一项所述的装置，所述装置还包括：

17.根据权利要求16所述的装置，所述初始模型还包括：第二特征提取模块、第二注意力模块和文本生成模块，所述装置还包括：

18.根据权利要求17所述的装置，其中，所述第二调整模块包括：

19.一种信息处理装置，包括：

20.根据权利要求19所述的装置，其中，

21.根据权利要求19或20所述的装置，其中，所述装置还包括：

22.根据权利要求22所述的装置，其中，所述装置还包括：

23.一种电子设备，包括：

24.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-11中任一项所述的方法。

25.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1-11中任一项所述的方法。

技术总结本公开提供了模型预训练方法、信息处理方法及装置，涉及人工智能技术领域，尤其涉及大语言模型、深度学习、计算机视觉等技术领域。该模型预训练方法的具体实现方案为：利用第一特征提取模块，提取与样本图像对应的样本像素序列的样本像素特征；利用第一注意力模块，基于注意力机制，对样本像素特征进行处理，得到融合图像特征，其中，融合图像特征包括与文本内容对应的视觉特征信息；利用图像生成模块，基于样本像素序列和融合图像特征，生成第一目标像素序列；基于第一损失函数，根据样本像素序列和第一目标像素序列，生成第一损失值；以及基于第一损失值，调整初始模型的模型参数，得到经训练的第一模型。技术研发人员：柴业坤,王硕寰,孙宇受保护的技术使用者：北京百度网讯科技有限公司技术研发日：技术公布日：2024/7/29