一种共享储能和配电网联合的低碳优化方法及系统与流程

本发明涉及电网优化，尤其涉及一种共享储能和配电网联合的低碳优化方法及系统。

背景技术：

1、如何提高电力系统能效和降低电力系统碳排放，是电力系统技术领域的重要研究方向。配电网作为电力系统的重要组成部分，其运行成本和环境影响是电网优化需要考虑的重要因素。传统的配电网优化策略侧重于提高能源利用效率和降低运营成本，而忽视了碳排放的控制和管理。

2、在可再生能源高比例接入的背景下，电力系统的运行模式发生了显著变化，风能和太阳能等可再生能源的间歇性和不确定性给电网的稳定运行带来了新的挑战。此外，随着阶梯式碳交易机制的引入，配电网运营商需要在满足电力供应的同时尽量降低碳排放成本，以实现低碳经济目标。

3、共享储能技术能够有效提升储能利用率，共享储能技术通过用户间的负荷互补来降低电力系统的整体能源成本。然而，如何在考虑碳排放限制和可再生能源供应不稳定性的情况下，优化共享储能系统的运行策略，以实现配电网的低碳运行，仍然是一个亟待解决的问题。

4、此外，电力系统的碳排放管理通常依赖于静态的碳排放因子，在面对动态变化的电力市场和碳交易机制时，这种碳排放管理方法缺乏灵活性，未能将动态碳因子整合到储能系统的运行策略中，无法实现精细化的碳排放控制。

技术实现思路

1、本发明提供一种共享储能和配电网联合的低碳优化方法及系统，结合共享储能经济性和碳交易成本动态性，实现在不确定性环境下的电力系统低碳优化。

2、为了解决上述技术问题，本发明提供了一种共享储能和配电网联合的低碳优化方法，包括：

3、基于电力节点、用户燃气轮机和共享储能的运行数据，构建第一目标函数和构建第一约束条件，获得低碳优化模型；

4、基于电力节点、用户燃气轮机和共享储能的运行数据，构建碳交易成本计算模型，并根据各个调度时段内的碳排放量和碳交易价格，使用碳交易成本计算模型计算阶梯式碳交易成本；

5、结合所述低碳优化模型和所述碳交易成本计算模型，构建低碳优化的马尔科夫决策过程；

6、在所述低碳优化的马尔科夫决策过程中，使用深度确定性策略梯度算法决策网络产生马尔科夫新动作，使用深度确定性策略梯度算法价值网络评估马尔科夫新动作的期望回报；

7、结合所述马尔科夫新动作和所述马尔科夫新动作的期望回报，获得共享储能和配电网联合的最优决策，并根据所述最优决策调整共享储能的出力和用户燃气轮机的出力。

8、本发明综合考虑共享储能经济性的低碳优化模型和考虑碳交易成本动态性的碳交易成本计算模型，以配电网运营成本最小化、碳排放最小化和碳交易价格最小化为调度目标，构建低碳优化的马尔科夫决策过程；使用深度确定性策略梯度算法对低碳优化的马尔科夫决策过程进行最优求解，获得共享储能和配电网联合的最优决策，并根据最优决策调整能源出力状态，实现精细化的碳排放控制，从而实现在不确定性环境下的电力系统低碳优化。

9、进一步的，所述构建第一目标函数，包括：

10、构建第一目标函数；其中，所述第一目标函数，具体如下：

11、

12、式中，f表示配电网运营成本和碳排放成本；ωadn表示电力系统所有电力节点集合，ωg表示电力系统内用户燃气轮机集合，ωbess表示共享储能集合，表示配电网用户向上级电网购买电力的成本，表示电力系统内微网用户燃气轮机运行成本，表示共享储能服务商的利润，表示电力系统分段碳价的碳交易成本；表示分时电价，表示节点用户负荷，表示发电机出力，αi、bi和ci表示成本系数，表示共享储能充电功率，表示共享储能放电功率，λbess表示考虑电池使用寿命的共享储能运行成本。

13、进一步的，所述构建第一约束条件，包括：

14、构建系统有功功率平衡约束；其中，所述系统有功功率平衡约束，具体如下：

15、

16、式中，ωadn表示电力系统所有电力节点集合，表示节点用户负荷；pij,t表示支路ij流过的功率，rij表示支路电阻，lij表示流过支路电流的平方；ωbess表示共享储能集合，表示共享储能充电功率，表示共享储能放电功率；表示上级电网流入功率；ωpv表示电力系统所有光伏节点集合，表示光伏逆变器输出的有功功率；ωg表示电力系统内用户燃气轮机集合，表示发电机出力；

17、构建系统无功功率平衡约束；其中，所述系统无功功率平衡约束，具体如下：

18、

19、式中，ωadn表示电力系统所有电力节点集合，表示节点上的无功功率负荷；qij,t表示支路ij流过的无功功率，xij表示支路电抗，lij表示流过支路电流的平方值；表示上级电网流入的无功功率；ωpv表示电力系统所有光伏节点集合，表示光伏逆变器输出的无功功率；ωg表示电力系统内用户燃气轮机集合，表示用户微型燃气轮机输出的无功功率；

20、构建线路容量约束；其中，所述线路容量约束，具体如下：

21、

22、式中，pij,t表示支路ij流过的功率，qij,t表示支路ij流过的无功功率，表示线路最大容量；

23、构建节点电压平衡约束；其中，所述节点电压平衡约束，具体如下：

24、

25、式中，vj,t表示节点j电压的平方值；vi,t表示节点i电压的平方值；rij表示支路电阻，xij表示支路电抗，lij,t表示支路ij电流的平方值；qij,t表示支路ij流过的无功功率；

26、构建节点电压大小约束；其中，所述节点电压大小约束，具体如下：

27、

28、式中，表示节点电压最小值，vi，t表示节点电压的平方值，表示节点电压最大值；

29、构建支路电流大小约束；其中，所述支路电流大小约束，具体如下：

30、

31、式中，表示支路电流最小值，lij，t表示支路ij电流的平方值，表示支路电流最大值；

32、构建储能充电约束；其中，所述储能充电约束，具体如下：

33、

34、式中，表示共享储能充电功率最小值，表示共享储能充电功率，表示共享储能充电功率最大值；

35、构建储能放电约束；其中，所述储能放电约束，具体如下：

36、

37、式中，表示共享储能放电功率最小值，表示共享储能放电功率，表示共享储能放电功率最大值；

38、构建用户微网燃气轮机出力约束；其中，所述用户微网燃气轮机出力约束，具体如下：

39、

40、式中，表示微网用户燃气轮机的出力最小值，表示发电机出力，表示微网用户燃气轮机的出力最大值；

41、构建储能充放电过程容量关系约束；其中，所述储能充放电过程容量关系约束，具体如下：

42、

43、式中，表示t+1时刻储能系统实时电量；表示t时刻储能系统实时电量；ηch表示储能充电效率，表示共享储能充电功率；ηdis表示储能放电效率，表示共享储能放电功率；

44、构建储能的容量约束；其中，所述储能的容量约束，具体如下：

45、

46、式中，表示储能最小容量，表示t时刻储能系统实时电量，表示储能最大容量。

47、本发明构建旨在最小化配电网运营成本和最小化碳排放的低碳优化模型，充分考虑了共享储能的经济性，为配电网的低碳优化提供经济优化目标。

48、进一步的，所述基于电力节点、用户燃气轮机和共享储能的运行数据，构建碳交易成本计算模型，并根据各个调度时段内的碳排放量和碳交易价格，使用碳交易成本计算模型计算阶梯式碳交易成本，包括：

49、基于电力节点、用户燃气轮机和共享储能的运行数据，构建碳交易成本计算模型；

50、根据各个调度时段内的碳排放量和碳交易价格，计算系统每日总碳排放量；

51、根据各个调度时段内的碳排放量和碳交易价格，确定碳交易成本增长区间和碳交易成本增长率；

52、结合所述系统每日总碳排放量、所述碳交易成本增长区间和所述碳交易成本增长率，使用碳交易成本计算模型计算电力系统分段碳价的碳交易成本。

53、进一步的，所述基于电力节点、用户燃气轮机和共享储能的运行数据，构建碳交易成本计算模型，包括：

54、基于电力节点、用户燃气轮机和共享储能的运行数据，构建碳交易成本计算模型；其中，所述碳交易成本计算模型的目标函数，具体如下：

55、

56、式中，ct表示系统碳强度；表示上级电网流入功率，表示上级电网的实时动态碳排放强度；ωg表示电力系统内用户燃气轮机集合，表示发电机出力，cg表示用户微网燃气轮机的碳排放强度；ωpv表示电力系统所有光伏节点集合，表示光伏逆变器输出的有功功率；ωbess表示共享储能集合，表示共享储能放电功率。

57、进一步的，所述根据各个调度时段内的碳排放量和碳交易价格，计算系统每日总碳排放量，包括：

58、根据各个调度时段内的碳排放量和碳交易价格，计算系统每日总碳排放量；其中，所述系统每日总碳排放量，具体如下：

59、

60、式中，δq表示系统每日总碳排放量；ct表示系统碳强度，ωadn表示电力系统所有电力节点集合，表示节点用户负荷；ωbess表示共享储能集合，表示共享储能充电功率。

61、进一步的，所述结合所述系统每日总碳排放量、所述碳交易成本增长区间和所述碳交易成本增长率，使用碳交易成本计算模型计算电力系统分段碳价的碳交易成本，包括：

62、结合所述系统每日总碳排放量、所述碳交易成本增长区间和所述碳交易成本增长率，使用碳交易成本计算模型计算电力系统分段碳价的碳交易成本；其中，所述电力系统分段碳价的碳交易成本，具体如下：

63、

64、式中，表示电力系统分段碳价的碳交易成本；表示实时碳价格，δq表示系统每日总碳排放量，d表示碳交易成本增长区间，λ表示碳交易成本增长率。

65、本发明基于日内所有调度时段的碳交易数据构建碳交易成本计算模型，充分考虑了碳交易成本的动态性，为配电网的低碳优化提供减碳优化目标。

66、进一步的，所述结合所述低碳优化模型和所述碳交易成本计算模型，构建低碳优化的马尔科夫决策过程，包括：

67、获取电力系统观测数据，并根据电力系统观测数据，构建马尔科夫状态空间；其中，所述电力系统观测数据包括各个调度时段的电力负荷数据、能源价格、碳排放交易量、碳价格和储能系统充电状态；

68、构建马尔科夫动作空间；

69、基于所述低碳优化模型确定经济目标函数，基于所述碳交易成本计算模型确定低碳目标函数，结合所述经济目标函数和所述低碳目标函数构建马尔科夫奖励函数；

70、结合所述马尔科夫状态空间、所述马尔科夫动作空间和所述马尔科夫奖励函数，构建低碳优化的马尔科夫决策过程。

71、进一步的，所述马尔科夫状态空间，包括：

72、所述马尔科夫状态空间，具体如下：

73、

74、式中，st表示马尔科夫状态空间；表示节点用户负荷，pij,t表示支路ij流过的功率，表示t时刻的碳价格，表示分时电价，表示t-1时刻储能的荷电状态，δq表示系统每日总碳排放量；ωk表示所有储能节点集合。

75、进一步的，所述马尔科夫动作空间，包括：

76、所述马尔科夫动作空间，具体如下：

77、

78、式中，at表示马尔科夫动作空间；表示各个微网用户燃气轮机的动作，表示共享储能的各个储能电池动作，ωg表示电力系统内用户燃气轮机集合，ωk表示所有储能节点集合。

79、进一步的，所述马尔科夫奖励函数，包括：

80、所述马尔科夫奖励函数，具体如下：

81、

82、式中，rt表示马尔科夫奖励函数；ωadn表示电力系统所有电力节点集合，表示分时电价，表示节点用户负荷；ωg表示电力系统内用户燃气轮机集合，表示发电机出力，αi、bi和ci表示成本系数；表示电力系统分段碳价的碳交易成本；ωbess表示共享储能集合，表示共享储能充电功率，表示共享储能放电功率，λbess表示考虑电池使用寿命的共享储能运行成本，表示t时刻储能系统实时电量，λ1表示储能的使用成本，λ2表示微网用户燃气轮机的使用成本。

83、进一步的，所述在所述低碳优化的马尔科夫决策过程中，使用深度确定性策略梯度算法决策网络产生马尔科夫新动作，使用深度确定性策略梯度算法价值网络评估马尔科夫新动作的期望回报，包括：

84、在所述低碳优化的马尔科夫决策过程中，使用梯度上升法更新深度确定性策略梯度算法决策网络，再基于马尔科夫状态空间，使用更新后的深度确定性策略梯度算法决策网络产生马尔科夫新动作；其中，所述马尔科夫新动作，具体如下：

85、

86、式中，表示马尔科夫新动作；μ(sj∣θμ)表示更新后的深度确定性策略梯度算法决策网络，sj表示马尔科夫状态空间；

87、在所述低碳优化的马尔科夫决策过程中，使用时间差分学习法更新深度确定性策略梯度算法价值网络，再使用更新后的深度确定性策略梯度算法价值网络评估马尔科夫新动作的期望回报。

88、本发明将低碳优化模型和碳交易成本计算模型转换为低碳优化的马尔科夫决策过程，以配电网运营成本最小化、碳排放最小化和碳交易价格最小化为调度目标，使用深度确定性策略梯度算法对低碳优化的马尔科夫决策过程进行最优求解，获得共享储能和配电网联合的最优决策，实现在不确定性环境下的低碳经济调度。

89、在上述方法项实施例的基础上，本发明对应提供了系统项实施例，提供了一种共享储能和配电网联合的低碳优化系统，包括：低碳优化模型模块、成本计算模型模块、马尔科夫决策模块、强化学习模块和最优决策模块；

90、所述低碳优化模型模块，用于基于电力节点、用户燃气轮机和共享储能的运行数据，构建第一目标函数和构建第一约束条件，获得低碳优化模型；

91、所述成本计算模型模块，用于基于电力节点、用户燃气轮机和共享储能的运行数据，构建碳交易成本计算模型，并根据各个调度时段内的碳排放量和碳交易价格，使用碳交易成本计算模型计算阶梯式碳交易成本；

92、所述马尔科夫决策模块，用于结合所述低碳优化模型和所述碳交易成本计算模型，构建低碳优化的马尔科夫决策过程；

93、所述强化学习模块，用于在所述低碳优化的马尔科夫决策过程中，使用深度确定性策略梯度算法决策网络产生马尔科夫新动作，使用深度确定性策略梯度算法价值网络评估马尔科夫新动作的期望回报；

94、所述最优决策模块，用于结合所述马尔科夫新动作和所述马尔科夫新动作的期望回报，获得共享储能和配电网联合的最优决策，并根据所述最优决策调整共享储能的出力和用户燃气轮机的出力。

95、进一步的，所述低碳优化模型模块，包括：目标函数单元；

96、所述目标函数单元，用于构建第一目标函数；其中，所述第一目标函数，具体如下：

97、

98、式中，f表示配电网运营成本和碳排放成本；ωadn表示电力系统所有电力节点集合，ωg表示电力系统内用户燃气轮机集合，ωbess表示共享储能集合，表示配电网用户向上级电网购买电力的成本，表示电力系统内微网用户燃气轮机运行成本，表示共享储能服务商的利润，表示电力系统分段碳价的碳交易成本；表示分时电价，表示节点用户负荷，表示发电机出力，αi、bi和ci表示成本系数，表示共享储能充电功率，表示共享储能放电功率，λbess表示考虑电池使用寿命的共享储能运行成本。

99、进一步的，所述低碳优化模型模块，包括：目标函数单元；

100、构建第一目标函数；其中，所述第一目标函数，具体如下：

101、

102、式中，f表示配电网运营成本和碳排放成本；ωadn表示电力系统所有电力节点集合，ωg表示电力系统内用户燃气轮机集合，ωbess表示共享储能集合，表示配电网用户向上级电网购买电力的成本，表示电力系统内微网用户燃气轮机运行成本，表示共享储能服务商的利润，表示电力系统分段碳价的碳交易成本；表示分时电价，表示节点用户负荷，表示发电机出力，αi、bi和ci表示成本系数，表示共享储能充电功率，表示共享储能放电功率，λbess表示考虑电池使用寿命的共享储能运行成本。

103、进一步的，所述低碳优化模型模块，包括约束条件单元；所述约束条件单元包括第一约束子单元、第二约束子单元、第三约束子单元、第四约束子单元、第五约束子单元、第六约束子单元、第七约束子单元、第八约束子单元、第九约束子单元、第十约束子单元和第十一约束子单元；

104、所述第一约束子单元，用于构建系统有功功率平衡约束；其中，所述系统有功功率平衡约束，具体如下：

105、

106、式中，ωadn表示电力系统所有电力节点集合，表示节点用户负荷；pij，t表示支路ij流过的功率，rij表示支路电阻，lij表示流过支路电流的平方；ωbess表示共享储能集合，表示共享储能充电功率，表示共享储能放电功率；表示上级电网流入功率；ωpv表示电力系统所有光伏节点集合，表示光伏逆变器输出的有功功率；ωg表示电力系统内用户燃气轮机集合，表示发电机出力；

107、所述第二约束子单元，用于构建系统无功功率平衡约束；其中，所述系统无功功率平衡约束，具体如下：

108、

109、式中，ωadn表示电力系统所有电力节点集合，表示节点上的无功功率负荷；qij，t表示支路ij流过的无功功率，xij表示支路电抗，lij表示流过支路电流的平方值；表示上级电网流入的无功功率；ωpv表示电力系统所有光伏节点集合，表示光伏逆变器输出的无功功率；ωg表示电力系统内用户燃气轮机集合，表示用户微型燃气轮机输出的无功功率；

110、所述第三约束子单元，用于构建线路容量约束；其中，所述线路容量约束，具体如下：

111、

112、式中，pij，t表示支路ij流过的功率，qij，t表示支路ij流过的无功功率，表示线路最大容量；

113、所述第四约束子单元，用于构建节点电压平衡约束；其中，所述节点电压平衡约束，具体如下：

114、

115、式中，vj,t表示节点j电压的平方值；vi,t表示节点i电压的平方值；rij表示支路电阻，xij表示支路电抗，lij,t表示支路ij电流的平方值；qij,t表示支路ij流过的无功功率；

116、所述第五约束子单元，用于构建节点电压大小约束；其中，所述节点电压大小约束，具体如下：

117、

118、式中，表示节点电压最小值，vi,t表示节点电压的平方值，表示节点电压最大值；

119、所述第六约束子单元，用于构建支路电流大小约束；其中，所述支路电流大小约束，具体如下：

120、

121、式中，表示支路电流最小值，lij,t表示支路ij电流的平方值，表示支路电流最大值；

122、所述第七约束子单元，用于构建储能充电约束；其中，所述储能充电约束，具体如下：

123、

124、式中，表示共享储能充电功率最小值，表示共享储能充电功率，表示共享储能充电功率最大值；

125、所述第八约束子单元，用于构建储能放电约束；其中，所述储能放电约束，具体如下：

126、

127、式中，表示共享储能放电功率最小值，表示共享储能放电功率，表示共享储能放电功率最大值；

128、所述第九约束子单元，用于构建用户微网燃气轮机出力约束；其中，所述用户微网燃气轮机出力约束，具体如下：

129、

130、式中，表示微网用户燃气轮机的出力最小值，表示发电机出力，表示微网用户燃气轮机的出力最大值；

131、所述第十约束子单元，用于构建储能充放电过程容量关系约束；其中，所述储能充放电过程容量关系约束，具体如下：

132、

133、式中，表示t+1时刻储能系统实时电量；表示t时刻储能系统实时电量；ηch表示储能充电效率，表示共享储能充电功率；ηdis表示储能放电效率，表示共享储能放电功率；

134、所述第十一约束子单元，用于构建储能的容量约束；其中，所述储能的容量约束，具体如下：

135、

136、式中，表示储能最小容量，表示t时刻储能系统实时电量，表示储能最大容量。

137、进一步的，所述成本计算模型模块，包括：模型构建单元、第一计算单元、第二计算单元和第三计算单元；

138、所述模型构建单元，用于基于电力节点、用户燃气轮机和共享储能的运行数据，构建碳交易成本计算模型；

139、所述第一计算单元，用于根据各个调度时段内的碳排放量和碳交易价格，计算系统每日总碳排放量；

140、所述第二计算单元，用于根据各个调度时段内的碳排放量和碳交易价格，确定碳交易成本增长区间和碳交易成本增长率；

141、所述第三计算单元，用于结合所述系统每日总碳排放量、所述碳交易成本增长区间和所述碳交易成本增长率，使用碳交易成本计算模型计算电力系统分段碳价的碳交易成本。

142、进一步的，所述模型构建单元，用于基于电力节点、用户燃气轮机和共享储能的运行数据，构建碳交易成本计算模型，包括：

143、所述模型构建单元，用于基于电力节点、用户燃气轮机和共享储能的运行数据，构建碳交易成本计算模型；其中，所述碳交易成本计算模型的目标函数，具体如下：

144、

145、式中，ct表示系统碳强度；表示上级电网流入功率，表示上级电网的实时动态碳排放强度；ωg表示电力系统内用户燃气轮机集合，表示发电机出力，cg表示用户微网燃气轮机的碳排放强度；ωpv表示电力系统所有光伏节点集合，表示光伏逆变器输出的有功功率；ωbess表示共享储能集合，表示共享储能放电功率。

146、进一步的，所述第一计算单元，用于根据各个调度时段内的碳排放量和碳交易价格，计算系统每日总碳排放量，包括：

147、所述第一计算单元，用于根据各个调度时段内的碳排放量和碳交易价格，计算系统每日总碳排放量；其中，所述系统每日总碳排放量，具体如下：

148、

149、式中，δq表示系统每日总碳排放量；ct表示系统碳强度，ωadn表示电力系统所有电力节点集合，表示节点用户负荷；ωbess表示共享储能集合，表示共享储能充电功率。

150、进一步的，所述第三计算单元，用于结合所述系统每日总碳排放量、所述碳交易成本增长区间和所述碳交易成本增长率，使用碳交易成本计算模型计算电力系统分段碳价的碳交易成本，包括：

151、所述第三计算单元，用于结合所述系统每日总碳排放量、所述碳交易成本增长区间和所述碳交易成本增长率，使用碳交易成本计算模型计算电力系统分段碳价的碳交易成本；其中，所述电力系统分段碳价的碳交易成本，具体如下：

152、

153、式中，表示电力系统分段碳价的碳交易成本；表示实时碳价格，δq表示系统每日总碳排放量，d表示碳交易成本增长区间，λ表示碳交易成本增长率。

154、进一步的，所述马尔科夫决策模块，包括：状态空间单元、动作空间单元、奖励函数单元和决策过程单元；

155、所述状态空间单元，用于获取电力系统观测数据，并根据电力系统观测数据，构建马尔科夫状态空间；其中，所述电力系统观测数据包括各个调度时段的电力负荷数据、能源价格、碳排放交易量、碳价格和储能系统充电状态；

156、所述动作空间单元，用于构建马尔科夫动作空间；

157、所述奖励函数单元，用于基于所述低碳优化模型确定经济目标函数，基于所述碳交易成本计算模型确定低碳目标函数，结合所述经济目标函数和所述低碳目标函数构建马尔科夫奖励函数；

158、所述决策过程单元，用于结合所述马尔科夫状态空间、所述马尔科夫动作空间和所述马尔科夫奖励函数，构建低碳优化的马尔科夫决策过程。

159、进一步的，所述马尔科夫状态空间，包括：

160、所述马尔科夫状态空间，具体如下：

161、

162、式中，st表示马尔科夫状态空间；表示节点用户负荷，pij,t表示支路ij流过的功率，表示t时刻的碳价格，表示分时电价，表示t-1时刻储能的荷电状态，δq表示系统每日总碳排放量；ωk表示所有储能节点集合。

163、进一步的，所述马尔科夫动作空间，包括：

164、所述马尔科夫动作空间，具体如下：

165、

166、式中，at表示马尔科夫动作空间；表示各个微网用户燃气轮机的动作，表示共享储能的各个储能电池动作，ωg表示电力系统内用户燃气轮机集合，ωk表示所有储能节点集合。

167、进一步的，所述马尔科夫奖励函数，包括：

168、所述马尔科夫奖励函数，具体如下：

169、

170、式中，rt表示马尔科夫奖励函数；ωadn表示电力系统所有电力节点集合，表示分时电价，表示节点用户负荷；ωg表示电力系统内用户燃气轮机集合，表示发电机出力，αi、bi和ci表示成本系数；表示电力系统分段碳价的碳交易成本；ωbess表示共享储能集合，表示共享储能充电功率，表示共享储能放电功率，λbess表示考虑电池使用寿命的共享储能运行成本，表示t时刻储能系统实时电量，λ1表示储能的使用成本，λ2表示微网用户燃气轮机的使用成本。

171、进一步的，所述强化学习模块，包括：动作生成单元和动作评估单元；

172、所述动作生成单元，用于在所述低碳优化的马尔科夫决策过程中，使用梯度上升法更新深度确定性策略梯度算法决策网络，再基于马尔科夫状态空间，使用更新后的深度确定性策略梯度算法决策网络产生马尔科夫新动作；其中，所述马尔科夫新动作，具体如下：

173、

174、式中，表示马尔科夫新动作；μ(sj∣θμ)表示更新后的深度确定性策略梯度算法决策网络，sj表示马尔科夫状态空间；

175、所述动作评估单元，用于在所述低碳优化的马尔科夫决策过程中，使用时间差分学习法更新深度确定性策略梯度算法价值网络，再使用更新后的深度确定性策略梯度算法价值网络评估马尔科夫新动作的期望回报。