动态响应优化方法、装置、计算机设备、存储介质和产品与流程

本申请涉及开关电源，特别是涉及一种动态响应优化方法、装置、计算机设备、存储介质和产品。

背景技术：

1、开关电源作为一种常用的功率变换电路，提供了不同于输入电压的输出电压以满足负载需求。评估开关电源性能的一项重要指标是开关电源的动态响应能力，而优化开关电源的控制方法可以改善开关电源的动态响应。

2、目前，现有的开关电源的控制方法为基于线性补偿器基于线性补偿器的控制方法和基于电压模式的滞环控制方法；然而，上述两种方法在设计上较为复杂，且控制系统的数学模型与开关电源的实际工作状态存在偏差，导致对开关电源的动态响应优化效果差。

技术实现思路

1、基于此，有必要针对上述技术问题，提供一种动态响应优化方法、装置、计算机设备、存储介质和产品，能够提高对开关电源的动态响应的优化效果，并降低优化方法的设计难度。

2、第一方面，本申请提供了一种动态响应优化方法，包括：

3、获取开关电源的当前运行状态值；

4、基于深度强化学习智能体，根据所述当前运行状态值，确定所述开关电源的目标比例积分微分pid控制参数值；其中，所述深度强化学习智能体是基于所述开关电源的马尔科夫决策过程模型构建的；所述马尔科夫决策过程模型是根据所述开关电源的控制过程构建的；

5、根据目标pid控制参数值，对所述开关电源在下一运行状态的动态响应进行优化。

6、在其中一个实施例中，马尔科夫决策过程模型通过如下方式构建：

7、根据所述开关电源的控制过程中的运行状态参数，构建所述马尔科夫决策过程模型的状态空间；其中，所述运行状态参数包括输出电压和输入电压；

8、根据所述开关电源的控制过程中的pid控制参数变量，构建所述马尔科夫决策过程模型的动作空间；

9、根据所述开关电源的控制过程中的电压平稳时间和电流最大偏差，构建所述马尔科夫决策过程模型的回报函数。

10、在其中一个实施例中，所述根据所述开关电源的控制过程中的电压平稳时间和电流最大偏差，构建所述马尔科夫决策过程模型的回报函数，包括：

11、分别对所述电压平稳时间和所述电流最大偏差进行归一化处理；

12、将归一化处理后的电压平稳时间和电流最大偏差的加权平方和，作为所述回报函数。

13、在其中一个实施例中，所述深度强化学习智能体通过以下方式构建：

14、根据所述马尔科夫决策过程模型，构建所述开关电源的动态响应控制系统；

15、对所述动态响应控制系统进行仿真，得到样本集；其中，所述样本集中每一样本包括历史运行状态值、历史pid控制参数值、下一历史运行状态值和历史回报值；

16、采用所述样本集，对初始智能体进行训练，得到深度强化学习智能体。

17、在其中一个实施例中，所述动态响应控制系统包括动作网络和评价网络；

18、相应的，所述对所述动态响应控制系统进行仿真，得到样本集，包括：

19、针对每一样本，获取所述样本中的历史运行状态值；

20、将所述历史运行状态输入至所述评价网络中，得到历史pid控制参数值；

21、将所述历史运行状态值和所述历史pid控制参数值输入至所述动作网络，得到下一历史运行状态值；

22、将所述下一历史运行状态值输入至所述评价网络，得到样本回报值。

23、在其中一个实施例中，所述开关电源为隔离型直流-直流dc-dc变换器。

24、第二方面，本申请还提供了一种动态响应优化装置，包括：

25、参数获取模块，用于获取开关电源的当前运行状态值；

26、参数确定模块，用于基于深度强化学习智能体，根据所述当前运行状态值，确定所述开关电源的目标比例积分微分pid控制参数值；其中，所述深度强化学习智能体是基于所述开关电源的马尔科夫决策过程模型构建的；所述马尔科夫决策过程模型是根据所述开关电源的控制过程构建的；

27、响应优化模块，用于根据目标pid控制参数值，对所述开关电源在下一运行状态的动态响应进行优化。

28、第三方面，本申请还提供了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

29、获取开关电源的当前运行状态值；

30、基于深度强化学习智能体，根据所述当前运行状态值，确定所述开关电源的目标比例积分微分pid控制参数值；其中，所述深度强化学习智能体是基于所述开关电源的马尔科夫决策过程模型构建的；所述马尔科夫决策过程模型是根据所述开关电源的控制过程构建的；

31、根据目标pid控制参数值，对所述开关电源在下一运行状态的动态响应进行优化。

32、第四方面，本申请还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：

33、获取开关电源的当前运行状态值；

34、基于深度强化学习智能体，根据所述当前运行状态值，确定所述开关电源的目标比例积分微分pid控制参数值；其中，所述深度强化学习智能体是基于所述开关电源的马尔科夫决策过程模型构建的；所述马尔科夫决策过程模型是根据所述开关电源的控制过程构建的；

35、根据目标pid控制参数值，对所述开关电源在下一运行状态的动态响应进行优化。

36、第五方面，本申请还提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：

37、获取开关电源的当前运行状态值；

38、基于深度强化学习智能体，根据所述当前运行状态值，确定所述开关电源的目标比例积分微分pid控制参数值；其中，所述深度强化学习智能体是基于所述开关电源的马尔科夫决策过程模型构建的；所述马尔科夫决策过程模型是根据所述开关电源的控制过程构建的；

39、根据目标pid控制参数值，对所述开关电源在下一运行状态的动态响应进行优化。

40、上述动态响应优化方法、装置、计算机设备、存储介质和计算机程序产品，通过根据开关电源的控制过程构建马尔科夫决策过程模型，并基于开关电源的马尔科夫决策过程模型构建深度强化学习智能体，将开关电源的控制过程转化为直观的决策过程，使得决策过程变得更加透明和可控；同时，基于深度强化学习智能体，根据获取的开关电源的当前运行状态值，确定开关电源的目标比例积分微分pid控制参数值，保证了确定的pid控制参数值的准确性；进一步的，根据目标pid控制参数值，对开关电源在下一运行状态的动态响应进行优化，保证了能够在开关电源的输出电压稳定的前提下实现最优的动态响应，提高了对开关电源的动态响应的优化效果。此外，本申请通过引入深度强化学习智能体，实现了pid控制参数值的自动调节，降低了对开关电源控制过程的设计难度。

技术特征：

1.一种动态响应优化方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述马尔科夫决策过程模型通过如下方式构建：

3.根据权利要求2所述的方法，其特征在于，所述根据所述开关电源的控制过程中的电压平稳时间和电流最大偏差，构建所述马尔科夫决策过程模型的回报函数，包括：

4.根据权利要求1所述的方法，其特征在于，所述深度强化学习智能体通过以下方式构建：

5.根据权利要求4所述的方法，其特征在于，所述动态响应控制系统包括动作网络和评价网络；

6.根据权利要求1-5中任意一项所述的方法，其特征在于，所述开关电源为隔离型直流-直流dc-dc变换器。

7.一种动态响应优化装置，其特征在于，所述装置包括：

8.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述的方法的步骤。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。

10.一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。

技术总结本申请涉及一种动态响应优化方法、装置、计算机设备、存储介质和产品。所述方法包括：获取开关电源的当前运行状态值；基于深度强化学习智能体，根据所述当前运行状态值，确定所述开关电源的目标比例积分微分PID控制参数值；其中，所述深度强化学习智能体是基于所述开关电源的马尔科夫决策过程模型构建的；所述马尔科夫决策过程模型是根据所述开关电源的控制过程构建的；根据目标PID控制参数值，对所述开关电源在下一运行状态的动态响应进行优化。采用本方法能够提高对开关电源的动态响应的优化效果，并降低优化方法的设计难度。技术研发人员：徐维爵,赵慧超,暴杰,姜涛,姜磊受保护的技术使用者：中国第一汽车股份有限公司技术研发日：技术公布日：2024/8/27