一种基于机器学习的排水管网水质预测方法

本发明涉及排水管网，具体为一种基于机器学习的排水管网水质预测方法。

背景技术：

1、排水管网是市政工程的重要基础设施。随着城市化进程的加快和人口数量的增长，城市排水管网水质问题日益突出，已经引起城市市政管理部门的高度重视。然而，由于城市排水管网埋在地下、分布较广且传统水质检测时效性较差等原因，导致排水管网水质出现问题难以被及时发现。随着技术的快速发展，研究表明构建城市排水管网水质预测模型可实现对排水管网水质的快速预测，避免传统水质检测方法在时间上的限制，有助于及时发现和解决排水管网水质问题，并有助于对排水管网进行智能化管理。

2、目前，已经开发出来的管网水质模型主要有活性污泥模型(asm)、污水管网中好氧/厌氧水质转化模型(wata)、sewex模型、生物膜驱动的污水管道水质转化模型(bism)、东部截留干管模型(ecis)、aerosept模型、美国环保署模型(epa)等。虽然这些模型都能在一定程度上对管网水质进行预测，但均存在一定的限制。首先，它们需要大量的时间和精力来进行水样采集和水质检测，增加了预测的成本和复杂性。其次，这些方法大部分都局限于单一管道的建模和预测，尚不能对具有复杂拓扑结构的管网任意管段的水质进行预测，无法反映水质的连续性和滞后性，从而应极大的影响了模型模拟的准确度和应用范围。

3、机器学习模型是近年来开发的一种新的建模方法，它具备强大的学习能力。可以通过分析往期数据，学习其中的模式和规律，建立多个变量、多个观测点数据与水质指标数据之间的映射关系，实现对具有复杂拓扑结构管网水质的预测，更好的捕捉水质变化过程中的滞后性和不同管段水质之间的关联性，并具有建模速度快、预测精度高等优点。此外，机器学习模型是一种基于数据驱动的建模方法，其在开发过程中通常需要大量的数据样本。然而，传统的现场采集方式往往无法提供足够多的数据样本，这在一定程度上限制了机器学习在排水管网水质模型预测方面的研究和应用的发展。

4、循环神经网络(lstm)是一种能够处理时序数据的经典模型，能够有效地捕捉参数值之间的时序信息，并学习输入参数值之间的上下文关系，从而实现准确预测输出信息的能力。因此，本发明提出了一种基于机器学习的lstm排水管网水质预测模型，旨在实现对具有复杂拓扑结构排水管网的水质预测。

技术实现思路

1、本发明的目的在于提供一种基于机器学习的排水管网水质预测方法，采用现场采集数据和历史数据作为主要数据源外，还引入了已有的物理模型生成的模拟数据作为机器学习模型的额外数据源。这些模拟数据基于已有的管网结构和水力特性，通过与实际数据的融合，可以增加数据样本的多样性和丰富性，从而提高机器学习模型的训练效果和预测准确性。

2、在lstm建模过程中，采用变分模态分解(vmd)，将原始数据分解为多元模态函数，以提高模型预测的准确性；同时，采用麻雀优化算法(ssa)来优化lstm模型的参数选择和训练过程，提高水质预测的准确性和稳定性。

3、通过结合lstm模型、变分模态分解和麻雀优化算法建立vmd-ssa-lstm模型，可以有效地提高排水管网水质预测的准确性和全面性。这种方法能够更好地理解和预测水质在整个管网中的传输和变化，为排水管网管理和水质调控提供了参考依据。

4、为实现上述目的，本发明提供如下技术方案：

5、本发明提供了一种基于机器学习的排水管网水质预测方法，包括以下步骤：

6、s1、选定排水管网区域和区域管段：选定排水管网区域，并在所选定的排水管网区域中选择代表性管段；

7、s2、数据收集：收集所选择的代表性管段的往年水质数据，以及管道参数、现场采集的管道参数和水质数据；

8、s3、数据预处理：将步骤s3所得到的数据进行数据清洗、数据集成以及特征选择，然后将数据划分为输入序列和目标序列，并进行归一化处理；

9、s4、模型搭建：搭建vmd-ssa-lstm模型，具体过程如下：

10、s41、vmd变分模态分解：

11、

12、

13、其中，uk为第k个模态分量，wk为第k个模态对应的频率中心，δ(t)为单位脉冲函数；

14、s42、麻雀(ssa)搜索算法：

15、s421、构建种群：

16、

17、其中，n表示麻雀种群数量，d表示待优化问题维度；

18、s422、计算适应度值：

19、

20、其中，f表示每个麻雀的适应度，适应度函数选取均方误差；

21、s423、更新发现者位置：

22、

23、其中，t为迭代次数，xi,j t为t次迭代第i只麻雀j维度值，可视为待优化问题不同参数，tm为预设最大迭代次数，q为标准正态分布随机数，l为全1的1×d矩阵，r2和t分别为安全阈值和警报阈值，当r2<t0时，发现者进入搜索模式，并更新位置，当r2>t0时表明种群中警戒者发现危险，发现者会停止觅食，飞往安全位置。

24、s424、更新追随者位置：

25、

26、其中，yp是当前时刻种群中最优位置，yworse是种群中最差位置，a+＝at(aat)-1，其中，a表示一个元素随机赋值为1或-1的1*d的矩阵，当i＞n/2时，这表明第i个加入者无法获取食物，它可会脱离种群，飞往其他地方觅食；

27、s425、反捕食行为，更新预警者位置：

28、

29、其中，zbestt是t时刻下最优解，z为x或y，fi为适应度值；当fi>fg，表明种群边缘的麻雀意识到风险，zbest代表种群中心位置，并且在其周围就是安全的，fi<fg表明处于种群中间的麻雀向同伴靠拢，k为常数，用于控制步长，ε为非零小数；

30、s426、当达到迭代次数阈值时，停止更新，输出麻雀种群最优位置，即最优超参数以及隐藏层神经元数，完成超参数以及隐藏层神经元数的优化；

31、s43：搭建lstm模型：

32、输入门it＝σ(wi*[ht-1,xt]+bi)，

33、遗忘门ft＝σ(wf*[ht-1,xt]+bf)，ct-＝tanh(wc*[ht-1,xt]+bc)，

34、输出门ot＝σ(wo*[ht-1,xt]+bo)，

35、长记忆ct＝ft*ct-1+it*ct-，

36、短记忆ht＝ot*tanh(ct)；

37、其中，σ表示sigmoid函数，w表示权重参数，ht-1表示上一个时刻的隐藏状态，xt表示当前时刻的输入向量，b表示偏置项，ht表示当前时刻的隐藏状态；

38、s5、模型训练：将预处理之后的数据集转化为lstm模型可用数据集，并划分为训练集、验证集和测试集；使用训练集对lstm模型进行训练，保存最优模型，使用验证集对训练好的模型进行验证，使用测试集对经过调优的lstm模型进行评估，在训练、预测以及评估过程中以相关系数和均方根误差作为评价指标；

39、s6、模型验证以及应用：搜集最新实时数据，将这些数据输入到已经训练好的lstm模型中，得到输入序列的预测值，将预测值与实际数值进行对比，以评估模型在区域内部的性能。

40、本发明进一步的设置为：在所述步骤s1中，所述选择代表性管段的数量至少为6个。

41、本发明进一步的设置为：在步骤s2中，还包括采用物理水质模型根据已有数据推算出往年水质数据的缺失数据，将所得推算数据作为补充数据，扩大数据源，同时，使用均方根误差rmse对推算数据进行误差度量，选择均方根误差rmse在1内的推算数据作为补充数据。

42、本发明进一步的设置为：在所述步骤s3中，所述归一化处理采用z-score归一化，即z＝(x-u)/σ，其中z为归一化处理之后的值，x为原数据，u为原始数据的均值，σ为原始数据的标准差。

43、本发明进一步的设置为：在所述步骤s5中，还包括在每个训练过程中，将输入序列和输出序列输入到lstm模型中，通过最小化损失函数来优化lstm模型参数。

44、本发明进一步的设置为：在所述步骤s5中，在对lstm模型进行训练时，采用adam优化算法进行lstm模型训练。

45、本发明进一步的设置为：在所述步骤s5中，所述相关系数的计算公式为：其中xi代表第i个样本点的一个变量的取值，yi代表第i个样本点的另一个变量的取值，代第一个变量的均值，表示所有样本点的取值的平均值，代第二个变量的均值，表示所有样本点的取值的平均值。

46、本发明进一步的设置为：在所述步骤s5中，所述均方根误差计算公式为：其中，rmse表示均方根误差，yi表示实际观测值，表示预测值，σ表示对所有样本点的差异的平方进行求和，n表示样本数量。

47、与现有技术相比，本发明的有益效果是：

48、(1)、本发明首先选择代表性管段，并确定数据收集点，通过收集代表性管段的历史水质数据，结合现场采集的水质数据以及物理模型补充的水质数据，对数据进行汇总，接下来，采用机器学习算法对汇总的数据进行处理和训练，构建基于机器学习的排水管网水质模型vmd-ssa-lstm，该模型不仅可以实现对局部管段的水质预测，还能通过少量关键的监测点就能够对区域内管网任意管段的水质数据进行预测和评估，解决了传统物理水质模型只能对局部单一管段进行预测的缺陷，提升了整个排水管网水质预测的准确性和全面性。

49、(2)、本发明通过选取排水管网部分代表管段，建立管网水质数据库，通过机器学习算法构建排水管网水质模型vmd-ssa-lstm，实现对整个管网水质的预测，具有极高的实用性和潜力。

50、(3)、本发明可以在需要时进行选择性的取样和测试，得到全面的水质信息，减少了频繁取样的成本和工作量。

51、(4)、相比于传统管网水质预测方法，本发明通过机器学习方法建立数据库并且对数据进行分析，可以发现水质变化的规律、趋势和影响因素，实现对排水管网进行长期的预测和分析。