文本处理的方法、电子设备、计算机可读介质与流程

本公开涉及文本处理，特别涉及一种文本处理的方法、电子设备、计算机可读介质。

背景技术：

1、语言模型(大语言模型)能针对输入的问题文本产生对应的回答文本。

2、但在一些相关技术中，为满足语言模型的输入的要求，会造成计算资源的浪费和效率的降低。

技术实现思路

1、本公开提供一种文本处理的方法、电子设备、计算机可读介质。

2、第一方面，本公开实施例提供一种文本处理的方法，其包括：

3、获取至少一个问题；每个所述问题包括多个依次排列的问题文本单元token；

4、将所述问题token依次填充到文本块batch的填充位中；每个所述batch包括多个排成矩阵的所述填充位，每个所述填充位能填充一个所述问题token；

5、将所述batch输入至预设的语言模型处理，得到所述问题的回答；所述语言模型基于查询-键-值qkv机制，每个所述回答包括多个依次排列的回答token。

6、在一些实施例中，所述将所述问题token依次填充到batch的填充位中，包括：

7、确定所述问题的排序；

8、按照所述排序，依次将每个所述问题的各所述问题token以填充位、逐行、逐batch的顺序进行填充。

9、在一些实施例中，在所述按照所述排序，依次将每个所述问题的各所述问题token以填充位、逐行、逐batch的顺序进行填充之后，还包括：

10、响应于最后一个所述batch中存在空闲的所述填充位，向空闲的填充位中填充补齐数据token。

11、在一些实施例中，所述将所述batch输入至预设的语言模型处理，得到所述问题的回答，包括：

12、将所述batch输入至所述语言模型；

13、获取所述语言模型输出的当前轮结果；所述当前轮结果包括与处理中的所述问题一一对应的回答token；

14、响应于仍存在处理中的所述问题，将所述当前轮结果的所述回答token依次填充到所述batch的可用填充位中；所述可用填充位为未填充有处理中的所述问题的所述回答token的填充位；

15、将填充所述回答token后的所述batch输入至所述语言模型处理，返回所述获取所述语言模型输出的当前轮结果的步骤。

16、在一些实施例中，在所述获取所述语言模型输出的当前轮结果之后，还包括：

17、响应于所述当前轮结果的任意所述回答token为对应的问题的最后一个回答token，将该问题对应的所有所述回答token组成该问题的回答，确定该问题为已完成的问题。

18、在一些实施例中，所述将填充所述回答token后的所述batch输入至所述语言模型处理，包括：

19、将所填充的所述回答token作为增量数据输入所述语言模型，进行增量计算。

20、在一些实施例中，所述将填充所述回答token后的所述batch输入至所述语言模型处理，包括：

21、确定每个所述batch在缓存中对应的映射地址；

22、将所述语言模型根据每个所述batch计算的得到的键k和值v，存储在所述缓存的所述映射地址中。

23、在一些实施例中，所述响应于仍存在处理中的所述问题，将所述当前轮结果的所述回答token依次填充到所述batch的可用填充位中，包括：

24、响应于获取到新增的问题，将所述新增的问题的所述问题token与所述当前轮结果的所述回答token，依次填充到所述batch的可用填充位中。

25、第二方面，本公开实施例提供一种电子设备，其包括存储器、处理器；所述存储器存储有能被所述处理器执行的计算机程序，所述计算机程序被所述处理器执行时实现本公开实施例的任意一种文本处理的方法。

26、第三方面，本公开实施例提供一种计算机可读介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现本公开实施例的任意一种文本处理的方法。

27、本公开实施例中，所有问题的问题token可依次且连续的填充到batch中，故其不要求问题个数与batch行数相同，从而也就不需要进行问题补齐(包括产生补齐问题或等待新的问题)，而是只要有一个问题就可随时开始处理；同时，根据本公开实施例，只可能在最后一个batch产生一些空闲的填充位，而不是除最长问题所在行外的其它行都有空闲的填充位，故其即使需进行数据补齐则所需的补齐数据token的个数也较少；由此，本公开实施例可减少计算资源的浪费，提高效率。

技术特征：

1.一种文本处理的方法，其包括：

2.根据权利要求1所述的方法，其中，所述将所述问题token依次填充到batch的填充位中，包括：

3.根据权利要求2所述的方法，其中，在所述按照所述排序，依次将每个所述问题的各所述问题token以填充位、逐行、逐batch的顺序进行填充之后，还包括：

4.根据权利要求1所述的方法，其中，所述将所述batch输入至预设的语言模型处理，得到所述问题的回答，包括：

5.根据权利要求4所述的方法，其中，在所述获取所述语言模型输出的当前轮结果之后，还包括：

6.根据权利要求4所述的方法，其中，所述将填充所述回答token后的所述batch输入至所述语言模型处理，包括：

7.根据权利要求6所述的方法，其中，所述将填充所述回答token后的所述batch输入至所述语言模型处理，包括：

8.根据权利要求4所述的方法，其中，所述响应于仍存在处理中的所述问题，将所述当前轮结果的所述回答token依次填充到所述batch的可用填充位中，包括：

9.一种电子设备，其包括存储器、处理器；所述存储器存储有能被所述处理器执行的计算机程序，所述计算机程序被所述处理器执行时实现权利要求1至8中任意一项所述文本处理的方法。

10.一种计算机可读介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1至8中任意一项所述文本处理的方法。

技术总结本公开提供了一种文本处理的方法，其包括：获取至少一个问题；每个所述问题包括多个依次排列的问题token；将所述问题token依次填充到batch的填充位中；每个所述batch包括多个排成矩阵的所述填充位，每个所述填充位能填充一个所述问题token；将所述batch输入至预设的语言模型处理，得到所述问题的回答；所述语言模型基于查询‑键‑值QKV机制，每个所述回答包括多个依次排列的回答token。本公开还提供了一种电子设备、计算机可读介质。技术研发人员：祝轲政,沈杨书受保护的技术使用者：北京灵汐科技有限公司技术研发日：技术公布日：2024/8/5