请求处理方法、装置、计算机设备及可读存储介质与流程

技术特征：
1.一种请求处理方法，其特征在于，所述方法包括：获取请求队列中待处理请求的实时请求数量；若所述实时请求数量大于或者等于预设请求数量，则将所述请求队列中的预设请求数量的待处理请求合并输入序列生成模型进行序列生成操作，所述序列生成模型的实际集束宽为预设集束宽；若所述实时请求数量小于预设请求数量，则根据所述实时请求数量确定临时集束宽，将全部待处理请求合并输入序列生成模型进行序列生成操作，所述序列生成模型的实际集束宽为所述临时集束宽；其中，所述预设集束宽小于所述临时集束宽。2.根据权利要求1所述的方法，其特征在于，所述根据所述实时请求数量确定临时集束宽，包括：根据所述实时请求数量和所述序列生成模型的最大集束宽确定所述临时集束宽。3.根据权利要求2所述的方法，其特征在于，所述根据所述实时请求数量和所述序列生成模型的最大集束宽确定所述临时集束宽，包括：根据公式m＝floor(k，n)计算所述临时集束宽；其中，m表示所述临时集束宽，k表示所述序列生成模型的最大集束宽，n表示所述序列生成模型的实际请求数量。4.根据权利要求1至3中任一项所述的方法，其特征在于，所述获取请求队列中待处理请求的实时请求数量之前，所述方法还包括：创建空的请求队列；若接收到参与序列生成操作的待处理请求，将所述待处理请求按照接收时间依次加入所述请求队列；所述将所述请求队列中的预设请求数量的待处理请求合并输入序列生成模型进行序列生成操作，包括：按照加入所述请求队列的顺序，将所述请求队列中的前预设请求数量的待处理请求合并输入序列生成模型进行序列生成操作。5.根据权利要求4所述的方法，其特征在于，所述将所述请求队列中的前预设请求数量的待处理请求合并输入序列生成模型进行序列生成操作，还包括：将新接收的待处理请求按照接收顺序继续添加到所述请求队列中；若监测到所述序列生成模型执行完序列生成操作后，继续跳转执行获取所述请求队列中待处理请求的实时请求数量。6.根据权利要求1所述的方法，其特征在于，所述获取请求队列中待处理请求的实时请求数量之后，所述方法还包括：若实时请求数量为零，则等待所述请求队列中待处理请求的实时请求数量至最小合并数量时执行序列生成操作；其中，1≤所述最小合并数量小于预设请求数量。7.根据权利要求1所述的方法，其特征在于，所述待处理请求合并，包括：将文本格式的各待处理请求分别进行文本分词得到多维词条，并将多维词条转换成独热编码格式；将全部待处理请求对应的多维词条组合成对应所述序列生成模型的输入格式的多维
张量，其中，所述多维张量的维度为[batch_size，max_sequence_length，dictionary_size]，batch_size表示所述实时请求数量，max_sequence_length表示所述序列生成模型的最大序列长度，dictionary_size表示词典中词条的总数。8.一种请求处理装置，其特征在于，所述装置包括：获取模块，用于获取请求队列中待处理请求的实时请求数量；处理模块，用于，若所述实时请求数量大于或者等于预设请求数量，则将所述请求队列中的预设请求数量的待处理请求合并输入序列生成模型进行序列生成操作，所述序列生成模型的实际集束宽为预设集束宽；若所述实时请求数量小于预设请求数量，则根据所述实时请求数量确定临时集束宽，将全部待处理请求合并输入序列生成模型进行序列生成操作，所述序列生成模型的实际集束宽为所述临时集束宽；其中，所述预设集束宽小于所述临时集束宽。9.一种计算机设备，其特征在于，包括存储器以及处理器，所述存储器存储有计算机程序，所述计算机程序在所述处理器运行时执行权利要求1至7中任一项所述的请求处理方法。10.一种计算机可读存储介质，其特征在于，其存储有计算机程序，所述计算机程序在处理器上运行时执行权利要求1至7中任一项所述的请求处理方法。

技术总结
本申请实施例提供的请求处理方法、装置、计算机设备及可读存储介质，考虑在服务器部署的序列生成模型的集束宽对序列生成操作的耗时和质量的较大影响，选择与请求数量适应的集束宽以达到较为优化的处理效果。针对实时请求数量大于或者等于预设请求数量的情况，将所述请求队列中的预设请求数量的待处理请求合并输入序列生成模型进行序列生成操作，而针对实时请求数量小于预设请求数量，则根据所述实时请求数量确定临时集束宽，将全部待处理请求合并输入序列生成模型进行序列生成操作。待处理请求的实时请求数量较少时的临时集束宽大于预设集束宽，保证输出质量和推理速度，实现服务器算力的弹性分配，提升服务器吞吐量。提升服务器吞吐量。提升服务器吞吐量。


技术研发人员：马力
受保护的技术使用者：深圳市优必选科技股份有限公司
技术研发日：2022.07.08
技术公布日：2022/10/25