消息中间件吞吐量调整方法、设备及存储介质与流程

本公开涉及数据处理领域，尤其涉及一种消息中间件吞吐量调整方法、设备及存储介质。

背景技术：

1、消息中间件通过创建生产者和消费者，对数据信息进行异步传递，并借助算法保证消息在一段时间内的生产量和消费量接近平衡。然而，在面对海量数据传输的情况下，传统的算法计算耗时过长，可能还没计算完新消息就来了，从而导致消息的积压，随着时间的推移积压越来越多。

技术实现思路

1、本公开的第一方面实施例提出了一种消息中间件吞吐量调整方法，该方法包括：获取消息中间件的消息总量阈值、单个生产或消费周期的时长；基于消息中间件的消息总量阈值、单个生产或消费周期的时长，将每个周期的生产速度和消费速度作为变量，将最小化系统的总体成本作为目标，构造数学模型；设定初始周期的生产速度、消费速度以及消息的传输时间作为数学模型的初始值；将数学模型与初始值输入深度确定性策略梯度ddpg算法进行求解，求得每个周期的最优生产速度和最优消费速度，以调整消息中间件每个周期的生产速度和消费速度。

2、在本公开的一些实施例中，基于消息中间件的消息总量阈值、单个生产或消费周期的时长，将每个周期的生产速度和消费速度作为变量，将最小化系统的总体成本作为目标，构造数学模型包括：根据每个周期的生产速度、消费速度以及消息的传输时延定义每个周期的成本；对所有周期的成本进行求和得到系统的总体成本；在满足约束条件的情况下，将最小化总体成本作为目标，构建数学模型，其中，约束条件包括每个周期的生产速度小于等于消息中间件所支持的生产速度的最大值、每个周期的消费速度小于等于消息中间件所支持的消费速度的最小值以及所有周期内生产的消息总量小于等于消息总量阈值。

3、在本公开的一些实施例中，将数学模型与初始值输入ddpg算法进行求解，求得每个周期的最优生产速度和最优消费速度，以调整消息中间件每个周期的生产速度和消费速度包括：将数学模型与初始值输入ddpg算法进行多轮的神经网络模型训练，直至总体成本最小，得到训练好的神经网络模型；利用训练好的神经网络模型计算消息中间件在每个周期的最优生产速度和最优消费速度；基于最优生产速度和最优消费速度调整消息中间件真实的生产速度和消费速度。

4、在本公开的一些实施例中，将数学模型与初始值输入ddpg算法进行多轮的神经网络模型训练，直至总体成本最小，得到训练好的神经网络模型包括：将系统的剩余可生产的消息量定义为系统状态，基于初始值和消息总量阈值确定初始周期对应的系统状态；在每轮神经网络模型训练中，输入初始周期对应的系统状态至ddpg算法的策略网络和价值网络中进行迭代处理，优化每个周期的生产速度和消费速度，并以系统的总体成本最小为目标更新策略网络和价值网络的参数，直至系统的剩余可生产的消息量为0，确定系统状态达到最终状态，结束迭代；重复进行多轮神经网络模型训练，得到训练好的神经网络模型。

5、在本公开的一些实施例中，输入初始周期对应的系统状态至ddpg算法的策略网络和价值网络中进行迭代处理，优化每个周期的生产速度和消费速度，并以系统的总体成本最小为目标更新策略网络和价值网络的参数，包括：在每次迭代处理中，将当前周期对应的系统状态输入至策略网络，利用策略网络根据当前周期对应的系统状态和当前的策略，选择周期的生产速度和消费速度的至少一个确定值生成对应的至少一个系统动作；对每个系统动作进行评估得到对应的系统奖励，并基于每个系统动作获取下一个周期对应的系统状态；将当前周期对应的系统状态、系统动作、系统奖励以及下一个周期对应的系统状态组成元组存入价值网络的存储集合中；从存储集合中随机选择一批元组作为训练样本，将训练样本送入策略网络和价值网络中进行训练，更新策略网络和价值网络的参数。

6、在本公开的一些实施例中，将训练样本送入策略网络和价值网络中进行训练，更新策略网络和价值网络的参数包括：根据训练样本和损失函数计算迭代处理的损失值，以最小化损失值为目标，采用梯度下降法更新价值网络的参数；以优化策略的性能为目标，采用梯度上升法更新策略网络的参数。

7、本公开的第二方面实施例提出了一种消息中间件吞吐量调整装置，该装置包括：获取模块，用于获取消息中间件的消息总量阈值、单个生产或消费周期的时长；构造模型，用于基于消息中间件的消息总量阈值、单个生产或消费周期的时长，将每个周期的生产速度和消费速度作为变量，将最小化系统的总体成本作为目标，构造数学模型；设定模块，用于设定初始周期的生产速度、消费速度以及消息的传输时间作为数学模型的初始值；求解模块，用于将数学模型与初始值输入深度确定性策略梯度ddpg算法进行求解，求得每个周期的最优生产速度和最优消费速度，以调整消息中间件每个周期的生产速度和消费速度。

8、本公开的第三方面实施例提出了一种通信设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行本公开第一方面实施例中描述的方法。

9、本公开的第四方面实施例提出了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，计算机指令用于使计算机执行本公开第一方面实施例中描述的方法。

10、本公开的第五方面实施例提出了一种计算机程序产品，包括计算机程序，计算机程序在被处理器执行时实现本公开第一方面实施例中描述的方法。

11、综上，本公开提出的消息中间件吞吐量调整方法，包括获取消息中间件的消息总量阈值、单个生产或消费周期的时长；基于消息中间件的消息总量阈值、单个生产或消费周期的时长，将每个周期的生产速度和消费速度作为变量，将最小化系统的总体成本作为目标，构造数学模型；设定初始周期的生产速度、消费速度以及消息的传输时间作为数学模型的初始值；将数学模型与初始值输入深度确定性策略梯度ddpg算法进行求解，求得每个周期的最优生产速度和最优消费速度，以调整消息中间件每个周期的生产速度和消费速度，本方案基于ddpg算法，将系统总体成本最小作为目标，将生产速度和消费速度作为变量，构建消息中间件自适应吞吐模型，并利用该模型动态调整每个周期生产者的生产速度以及消费者的消费速度，相比传统算法有更强的计算能力，在数据量大时能够在降低系统总体成本的同时得到最优的效率，最大化降低消息积压的可能性。

12、应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

技术特征：

1.一种消息中间件吞吐量调整方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述基于所述消息中间件的消息总量阈值、单个生产或消费周期的时长，将每个所述周期的生产速度和消费速度作为变量，将最小化系统的总体成本作为目标，构造数学模型包括：

3.根据权利要求1所述的方法，其特征在于，所述将所述数学模型与所述初始值输入ddpg算法进行求解，求得每个所述周期的最优生产速度和最优消费速度，以调整所述消息中间件每个所述周期的生产速度和消费速度包括：

4.根据权利要求3所述的方法，其特征在于，所述将所述数学模型与所述初始值输入所述ddpg算法进行多轮的神经网络模型训练，直至所述总体成本最小，得到训练好的神经网络模型包括：

5.根据权利要求4所述的方法，其特征在于，所述输入所述初始周期对应的系统状态至所述ddpg算法的策略网络和价值网络中进行迭代处理，优化每个所述周期的生产速度和消费速度，并以所述系统的总体成本最小为目标更新所述策略网络和价值网络的参数，包括：

6.根据权利要求5所述的方法，其特征在于，所述将所述训练样本送入所述策略网络和价值网络中进行训练，更新所述策略网络和价值网络的参数包括：

7.一种消息中间件吞吐量调整装置，其特征在于，所述装置包括：

8.一种通信设备，其特征在于，包括：

9.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使所述计算机执行根据权利要求1至6中任一项所述的方法。

10.一种计算机程序产品，其特征在于，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1至6中任一项所述的方法。

技术总结本公开提供一种消息中间件吞吐量调整方法、设备及存储介质，该方法包括获取消息中间件的消息总量阈值、单个生产或消费周期的时长；基于消息中间件的消息总量阈值、单个生产或消费周期的时长，将每个周期的生产速度和消费速度作为变量，将最小化系统的总体成本作为目标，构造数学模型；设定初始周期的生产速度、消费速度以及消息的传输时间作为数学模型的初始值；将数学模型与初始值输入深度确定性策略梯度DDPG算法进行求解，求得每个周期的最优生产速度和最优消费速度，以调整消息中间件每个周期的生产速度和消费速度，相比传统算法有更强的计算能力，在数据量大时能够在降低系统总体成本的同时得到最优的效率，最大化降低消息积压的可能性。技术研发人员：高坚受保护的技术使用者：中移（苏州）软件技术有限公司技术研发日：技术公布日：2024/11/18