一种基于码头初期雨水收集的处理设施调度方法及系统与流程

本发明涉及阀门调度领域，更具体地说，它涉及一种基于码头初期雨水收集的处理设施调度方法及系统。

背景技术：

1、在码头装卸及后方堆存过程中，会因冲洗或降雨产生冲洗水或初期雨水，码头初期雨水和冲洗水属于污水，如不处理会造成水环境污染，该污水类型与货物类型相关，例如初期雨水主要污染物为固体悬浮物，浓度较低，针对无包装货物，木头货物的初期雨水主要污染物为木屑，钢材或废钢铁的初期雨水主要污染物为固体悬浮物和铁屑等；

2、目前在货物码头设置由排水管和多个雨水池组成的排水管网，每个雨水池都对应有一个电动阀门，通过电动阀门控制含污的初期雨水流入雨水池中，而不含污的后期雨水直接排放，但是雨水池的容量有限需要控制雨水流入量，目前通过采用遍历的排放方式，当一个雨水池装满以后，再将污水排向另一个雨水池中，这样方式在降雨强度、污染物浓度变化，或是未来降雨预测不同的情况下，无法有效利用雨水池资源，容易导致某些池子过早满载，而其他池子未充分利用，使得含污雨水被直接排出，造成环境污染。

技术实现思路

1、本发明提供一种基于码头初期雨水收集的处理设施调度方法及系统，解决上述背景技术提出的技术问题。

2、本发明提供了一种基于码头初期雨水收集的处理设施调度方法，包括以下步骤：

3、步骤101，获取码头历史堆放的货物的数据、排水管网的数据和天气预报数据；

4、步骤102，基于码头历史堆放的货物的数据、排水管网的数据和天气预报数据构建阀门控制策略模型，阀门控制策略模型的输入是状态向量，输出是所有动作的预期q值；

5、步骤103，将训练好的阀门控制策略模型部署到实时阀门控制系统中，获取当前的状态，阀门控制系统通过执行阀门控制策略模型输出的动作，执行相应的电动阀门开关操作。

6、在一个优选的实施方式中，阀门控制策略模型包括：

7、状态空间的定义：

8、天气状况：包括实时降雨概率、降雨量、强度和未来几小时的降雨概率、降雨量、强度；

9、雨水池状态：每个雨水池的当前雨水流入量、污染物浓度；

10、货物堆放信息：各区域堆放的货物类型及其产生的污染预期；

11、电动阀门状态：当前各阀门的开启程度；

12、动作空间中的动作包括所有雨水池的流入雨水量的组合。

13、在一个优选的实施方式中，阀门控制策略模型的奖励函数的计算公式为：

14、；

15、其中，表示总奖励值，表示成功将含污雨水导入雨水池获得的奖励值，表示雨水池超负荷而溢出获得惩罚值，表示雨水池的含污雨水的污染物浓度降低时获得惩罚值，表示各雨水池之间水位和污染物浓度的均衡分布获得的奖励值，表示鼓励奖励值。

16、在一个优选的实施方式中，阀门控制策略模型的奖励函数包括：

17、若成功将含污雨水导入雨水池，给予正向奖励，以鼓励雨水的有效收集：

18、；

19、其中，表示成功将含污雨水导入雨水池获得的奖励值，表示当前时间步收集到的总雨水量，表示第一权重系数；

20、若雨水池因超负荷而溢出，扣除奖励值：

21、；

22、其中，表示雨水池超负荷而溢出获得惩罚值，表示当前时间步收集到的总雨水量，表示雨水池的安全存储容量上限，表示第二权重系数；

23、若进入雨水池的含污雨水的污染物浓度降低，扣除奖励值：

24、；

25、其中，表示雨水池的含污雨水的污染物浓度降低时获得惩罚值，表示进入雨水池的平均污染物浓度，表示第三权重系数；

26、若各雨水池之间水位和污染物浓度的均衡分布，给予正向奖励，以鼓励雨水池平衡管理；

27、；

28、其中，表示各雨水池之间水位和污染物浓度的均衡分布获得的奖励值，表示雨水池的数量，表示所有雨水池中最高水位或浓度与平均值之差的最大值，表示第i个雨水池的当前水位或污染物浓度，表示所有雨水池的平均水位或浓度，表示第四权重系数；

29、在学习早期，为鼓励探索，对尝试新动作给予正向奖励：

30、；

31、其中，表鼓励奖励值，表示未来一小时内降雨量的净变化，若为正值说明降雨将增强，为负值则说明降雨减弱或停止，表示第五权重系数。

32、在一个优选的实施方式中，阀门控制策略模型的网络结构包括：输入层、隐藏层和输出层，输入层输入状态向量，输出层输出所有动作的预期q值。

33、在一个优选的实施方式中，阀门控制策略模型使用深度神经网络来近似q函数，深度神经网络的参数通过梯度下降算法进行训练；

34、经验回放：

35、在阀门控制过程中，将每一轮的转移数据存储到一个回放缓冲区中；

36、其中，表示状态向量，表示在当前状态下所有雨水池的流入的含污雨水量，表示流入的含污雨水量对应获得的奖励值，表示下一时间步的状态向量；

37、在训练深度神经网络时，随机从回放缓冲区中抽取一批转移数据作为训练样本；

38、贪心探索：

39、在选择动作时，以的概率随机选择流入的含污雨水量，以1减的概率选择值最大的动作作为控制策略，执行相应的电动阀门开关操作；

40、1≥≥0，初始值为0.1；

41、按指数规律衰减，如每1000步衰减为原来的0.9倍。

42、在一个优选的实施方式中，阀门控制策略模型的训练过程包括：

43、初始化主深度神经网络和目标网络的参数和；

44、重复以下步骤，直到收敛或达到最大迭代次数；

45、根据贪心策略选择一个动作，获得即时奖励和下一状态；

46、将转移数据存储到回放缓冲区中；

47、从中随机抽取一批转移数据，计算目标值：

48、如果下一状态为终止状态，目标值为即时奖励；

49、否则，目标值为即时奖励与下一状态值的折扣和，值由目标网络给出；

50、通过最小化预测值和目标值的均方误差，更新主深度神经网络的参数；

51、每隔预设步数，将主网络的参数复制给目标网络的参数。

52、在一个优选的实施方式中，根据码头历史堆放的货物的数据、排水管网的数据和天气预报数据构建雨水污染风险预测模型，预测码头每个区域在即将来临的降雨期间产生的雨水污染风险。

53、一种基于码头初期雨水收集的处理设施调度系统，包括以下模块：

54、数据采集与预处理模块，用于收集并整合码头历史堆放的货物的数据、排水管网的数据和天气预报数据；

55、策略模型构建模块，用于预测在不同状态下的最优动作；

56、阀门控制系统模块，根据阀门控制策略模型输出的动作，执行相应的电动阀门开关操作。

57、一种存储介质，其存储了非暂时性计算机可读指令，当非暂时性计算机可读指令由计算机执行时，能够执行如上述的一种基于码头初期雨水收集的处理设施调度方法中的步骤。

58、本发明的有益效果在于：本发明的调度方法通过精准预测和动态调度，能更有效地收集和分配初期雨水，确保雨水池资源的充分利用，减少因溢流导致的资源浪费和环境污染，通过动态调整电动阀门的开关操作，确保雨水池的负荷均衡，避免个别池子过载，同时优化污染物处理效率，减少处理成本和能耗。