一种排水管网溢流预警智能分析的方法与流程

1.本发明涉及城市排水管网技术领域，尤其是涉及一种排水管网溢流预警智能分析的方法。


背景技术：

2.城市排水管网系统是城市重要的基础设施，也是未来城市化进程中不可忽略的重要组成部分。其任务是收集和输送城市污水、城市降水产生的径流，具有保护环境和城市减灾双重功能，是污水收集和集中处理的关键以及保护水资源和改善环境的必要手段。在排水管网系统中，溢流问题无疑是用户十分关注的问题。现目前对于此问题都是基于相关工作人员来看管容易溢流的地方，即在得知未来可能会降雨的情况下，会事先安排人员驻留在某些窨井位置，然后根据实际情况对相关人员进行联系表述，再进行处理。在此过程中可以发现，虽然目前对气象的预报准确度较高，但是否下雨是不确定的，可能造成业务人员“白跑”一趟，而某些地方晴天也可能会出现溢流的情况，所以这种做法效率较为低下，不仅是浪费了工作人员的时间，同时也是对人力、物力、财力直观的浪费体现。
3.目前排水行业关于液位的预测的研究比较少，且都基于传统机器学习方法如决策树、随机森林等算法，但这些算法都需要比较多的特征，样本之间也并无考虑关联性。
4.现有的处理方式是预先派遣人员到某些窨井点进行现场监督，并将情况汇报于相关工作人员。这种方式存在较多弊端：
①
派遣人员时天气的不确定性，
②
现场人员长时间关注窨井位置产生疲劳，容易放松警惕，
③
当现场出现溢流情况时，再联系工作人员，导致时间发生延迟，事件得不到及时处理。


技术实现要素：

5.本发明是为了克服现有技术的管网流溢处理迟延、样本无关联性的问题，提供一种排水管网溢流预警智能分析的方法，首先根据获取得到的管网、窨井液位等数据信息，结合其上下游关系进行可视化分析，了解数据的基本情况和可能存在的问题。随后进行数据预处理，包括异常值检测、缺失值填充等，最后构建深度网络lstm时序预测模型，并进行模型训练和相关参数的优化，待对模型的评估指标达到事先预定的要求后，即可对各管网内的液位进行预测，再根据预测的液位值进行相关的溢流分析。
6.为了实现上述目的，本发明采用以下技术方案：包括以下步骤：s1、数据预处理；s2、样本制作；s3、模型训练及调优；s4、模型预测及溢流预警分析。
7.作为优选，所述s1包括以下内容：将收集到的管网、窨井液位等历史时序数据，先进行可视化分析以对数据有一定的认识，利用箱型图做检测，将上下q
1,3
±
1.25iqr外的数
据点视为异常值，并将其作为缺失值一并进行处理，其中q
1,3
为上下四分位值，iqr为上下四分位距；液位数据经过处理后仅含有缺失值和正常值，在填充时采用移动中值滤波处理，在处理时，仅在缺失值处根据前后是语句的关联，确定滑动窗口的大小进行中位数计算填补；液位数据处理完成，进行数据变换操作以适合模型的训练，包括box-cox变换，使得液位数据趋于正态分布。
8.作为优选，s2包括以下内容：s201、获取液位数据；s202、对液位数据进行条件转换，具体为使用前2小时的液位数据预测后1小时的液位数据，即前24个数据预测后12个数据，并且第一维为样本维，第二维为时间长度，第三维为特征；根据样本长度和相应的预测响应值，采用了滑动滤波器进行采集并通过数组切片的方式一次性完成；s203、再将液位数据转换成2维数组，在输入lstm模型前还需要进行样本无序化操作，同时设置训练集和测试集数据，训练集包含验证集。
9.作为优选，所述s3包括以下内容：使用lstm模型，lstm模型使用多层叠加，在第一层前使用了多个滤波器处理的一维卷积层，同时搭配了批归一化层、遗弃层和使用relu激活函数的全连接层；样本整理时使用的是前2小时的液位数据预测后1小时的液值，时间间隔是5分钟，所以输入模型的时间步长为24，输出长度为12的序列值，在模型进行编译时使用rmsprop优化算法，并用均值绝对误差mae作为评估指标，最后使用批量大小为128，epochs为50等初始参数值不断进行了模型的训练、评估和优化。
10.作为优选，所述s4包括以下内容：lstm模型训练及优化完成后，便可进行液位数据的预测，在预测前需要对液位数据再做同之前s1数据预处理的工作，即对要预测的数据进行：
①
数据插补，
②
数据变换，
③
维度转换，最后输入模型，得到未来1小时内的液位数据，进而可根据各管网上的报警、预警液位值进行比较，判断管网的溢流情况。
11.作为优选，所述lstm模型使用用于去除或者增加信息到细胞状态的门结构，包括遗忘门、更新门和输出门，用于保护和控制细胞状态。
12.作为优选，所述遗忘门用于确定细胞状态中丢弃哪些信息，利用上一时刻的隐藏信息h
t-1
和当前信息x
t
以及权重矩阵wf，并通过sigmoid层输出后与细胞状态c
t-1
作数组乘积其计算公式为：f
t
＝σ(wf·
[h
t-1
，x
t
] bf)其中，对于初始状态下的隐藏信息即h0，可用全0矩阵代替，权重矩阵wf和偏置bf是参数，可设为相应大小的随机数组，在反向传播时会对其进行梯度更新；σ为sigmoid激活函数，表达式为：使用了前2小时的液位数据预测后1小时的液位数据，即前24个液位数据预测后12个液位数据，对应的时间步长为24，所以当前信息x
t
的大小为[24，1]的矩阵，最后经
sigmoid层输出f
t
后，取值在[0，1]之间，可表示为上一层细胞状态被保留的概率，0表示完全舍弃，1表示完全保留。
[0013]
作为优选，所述更新门用于确定新信息以存放于细胞状态中，包括两个部分：
①
使用sigmoid激活函数输出i
t
，其值在[0，1]之间，用来确定哪些信息需要进行更新；
②
利用tanh层创建一个新的候选值向量然后两者相乘即为当前获得的最新信息；至此，根据遗忘门的输出f
t
控制上一状态c
t-1
的保留程度，再结合当前的最新信息即可得到lstm细胞最新状态c
t
，用公式表示为：i
t
＝σ(wi·
[h
t-1，
x
t
] bi))变量说明：wi，wc：相应神经网络层权重矩阵bi，bc：相应神经网络层偏置向量tanh：双曲正切激活函数，表达式为：i
t
：当前信息保留的程度当前信息的激活值当前神经网络层保留的新信息f
t
：遗忘门输出矩阵c
t-1
：上一时刻细胞状态信息。
[0014]
作为优选，所述输出门用于确定哪些信息作为输出，输出信息时将利用sigmoid层输出o
t
来确定哪些信息需要保留，再与更新后的细胞状态信息通过tanh层激活处理后，进行数组乘积，最终得到输出信息，即最后的12个液位的等效数据，用公式表示为：o
t
＝σ(wo·
[h
t-1
，x
t
] bo)h
t
＝o
t
*tanh(c
t
)变量说明：wo，bo：输出门神经网络层权重矩阵和偏置向量，在反向传播过程中会进行更新o
t
：输出信息保留程度c
t
：当前细胞态信息h
t
：当前隐藏态信息；若模型仅有一个网络层，则该信息最后一个值为模型的输出；若模型存在多个网络层，则最后一个网络层之前必须保存该信息，以作为后续lstm模型的初始隐藏信息。
[0015]
因此，本发明具有如下有益效果：本发明即从管网液位的角度出发，着力于管网液位影响因素的探究和其预测精度的提升。同时考虑到排水管网液位数据是基于时间的序列值，前后存在一定的关联性，而深度神经网络lstm非常适合用于处理与时间序列高度相关的问题，这是本发明基于lstm模型进行液位预测的原因，最后经过数据预处理、特征变换、维度转换、模型优化等步骤，预测模
型的精度得到了很大的提升，达到了0.88以上，这种数据驱动的模型完全是数据本身，从而避免了基于机理模型的诸多影响因素带来的不确定性。
附图说明
[0016]
图1是本实施例的流程图。
[0017]
图2是本实施例的箱型图。
[0018]
图3是本实施例过去一段时间的液位趋势。
[0019]
图4是本实施例未来一段时间的液位趋势。
[0020]
图5是本实施例lstm网络层结构图。
[0021]
图6是本实施例lstm细胞状态图。
[0022]
图7是本实施例遗忘门结构图。
[0023]
图8是本实施例更新门信息确定图。
[0024]
图9是lstm细胞状态信息更新图。
[0025]
图10是输出门结构图。
具体实施方式
[0026]
下面结合附图与具体实施方式对本发明做进一步的描述。
[0027]
实施例：本实施例提供了一种排水管网溢流预警智能分析的方法，流程如图1所示，包括以下步骤：s1、数据预处理；根据收集得到的管网、窨井液位等历史时序数据，先进行可视化分析以对数据有一定的认识，由于仪器等某些因素，可能导致液位数据存在类似“尖刺”的异常值，以及停止工作产生的缺失值，本发明利用了箱型图做检测，将上下q
1,3
±
1.25iqr外的数据点视为异常值，并将其作为缺失值一并进行处理，其中q
1,3
为上下四分位值，如图2所示，iqr为上下四分位距。
[0028]
液位数据经过处理后仅含有缺失值和正常值，本发明考虑到前几个液位数据会影响当前的液位值，且当前值还可能影响后面的液位值，故在填充时采用了移动中值滤波处理，使用中值滤波是因为对数据具有一定的抗敏感性，在处理时，仅在缺失值处根据前后是语句的关联，确定滑动窗口的大小进行中位数计算填补，这是与一般中值滤波处理数据时所不同之处，填补过程示例见表格1，表格1液位值处理前nan1.49nan1.651.47nannan1.441.42液位值处理后1.491.491.491.651.471.491.481.441.42至此，液位数据基本处理完成，但后续可能会进行数据变换操作以适合模型的训练，本发明在后续处理中使用了box-cox变换，一方面考虑到液位数据均为正，恰好可利用box-cox变换的条件，一方面使得液位数据趋于正态分布。
[0029]
s2、样本制作；样本的制作需要根据模型的输入进行匹配，由于本发明使用的是深层神经网络
lstm模型，而该模型的输入是三维数组，所以需要对液位数据进行维度变化。经过前期的实践后，我们采用了使用最近2小时(间隔5分钟)的液位数据来预测后1小时的液位，现将液位数据进行升维的操作表述如下：s201、获取液位数据；s202、对液位数据进行条件转换：使用前2小时的液位数据预测后1小时的液位数据，即前24个数据预测后12个数据，并且第一维为样本维，第二维为时间长度，第三维为特征。本发明根据样本长度和相应的预测响应值，采用了滑动滤波器进行采集并通过数组切片的方式一次性完成；s203、由于切片处理后预测响应值的维度是3维，而模型最终的输出必须是2维，所以需要再将其转换成2维数组。在输入模型前还需要进行样本无序化操作，同时设置训练集(包含验证集)和测试集数据，其比例为8:2。
[0030]
s3、模型训练及调优；本发明使用的是lstm模型，lstm网络层使用了多层叠加，如图5所示，在第一层前使用了多个滤波器处理的一维卷积层，同时搭配了批归一化层(bn)、遗弃层(dropout)和使用relu激活函数的全连接层。
[0031]
由于在样本整理时使用的是前2小时的液位数据预测后1小时的液值，时间间隔是5分钟，所以输入模型的时间步长为24，输出长度为12的序列值，在模型进行编译时使用rmsprop优化算法，并用均值绝对误差mae作为评估指标，最后使用批量大小为128，epochs为50等初始参数值不断进行了模型的训练、评估和优化。
[0032]
在评估模型时，本发明使用了多个预测组别进行了对比，其比较结果见表2，根据表分析可知，随着预测组别时间的增加，均值绝对误差mae在逐渐上升，由r2值可看到预测精度在逐渐降低，根据统计学按80％的保留原则，以及管网液位高精度的要求，本发明选择了60min预测级别的泛化能力。
[0033]
表格2预测组别rmsemaer230min0.00470.0460.93760min0.0090.0680.88090min0.0140.0830.822120min0.0170.0940.771lstm的设计中有一种称为门结构，可以去除或者增加信息到细胞状态的能力，且包含一个sigmoid神经网络层和一个pointwise乘法操作。sigmoid层输出0到1之间的数值，描述每个部分有多少量可以通过。lstm模型使用用于去除或者增加信息到细胞状态的门结构，包括遗忘门、更新门和输出门，用于保护和控制细胞状态。
[0034]
lstm网络层作为循环神经网络rnn的变体，lstm通过特殊的设计，有效解决了长期依赖引起的梯度爆炸和梯度消失的问题，功能上得到了很大的提升，并得到了广泛的使用，lstm的关键在于细胞的状态，即图6中水平线在图上方贯穿运行，细胞状态直接在整个链上运行，只有一些少量的线性交互。信息很容易在其上传递且保持不变。
[0035]
作为优选，如图7所示，所述遗忘门用于确定细胞状态中丢弃哪些信息，利用上一时刻的隐藏信息h
t-1
和当前信息x
t
以及权重矩阵wf，并通过sigmoid层输出后与细胞状态c
t-1
作数组乘积其计算公式为：f
t
＝σ(wf·
[h
t-1
，x
t
] bf)其中，对于初始状态下的隐藏信息即h0，可用全0矩阵代替，权重矩阵wf和偏置bf是参数，可设为相应大小的随机数组，在反向传播时会对其进行梯度更新；σ为sigmoid激活函数，表达式为：使用了前2小时的液位数据预测后1小时的液位数据，即前24个液位数据预测后12个液位数据，对应的时间步长为24，所以当前信息x
t
的大小为[24，1]的矩阵，最后经sigmoid层输出f
t
后，取值在[0，1]之间，可表示为上一层细胞状态被保留的概率，0表示完全舍弃，1表示完全保留。
[0036]
作为优选，如图8、图9所示，所述更新门用于确定新信息以存放于细胞状态中，包括两个部分：
①
使用sigmoid激活函数输出i
t
，其值在[0，1]之间，用来确定哪些信息需要进行更新；
②
利用tanh层创建一个新的候选值向量然后两者相乘即为当前获得的最新信息；至此，根据遗忘门的输出f
t
控制上一状态c
t-1
的保留程度，再结合当前的最新信息即可得到lstm细胞最新状态c
t
，用公式表示为：i
t
＝σ(wi·
[h
t-1
，x
t
] bi))变量说明：wi，wc：相应神经网络层权重矩阵bi，bc：相应神经网络层偏置向量tanh：双曲正切激活函数，表达式为：i
t
：当前信息保留的程度当前信息的激活值当前神经网络层保留的新信息f
t
：遗忘门输出矩阵c
t-1
：上一时刻细胞状态信息。
[0037]
作为优选，如图10所示，所述输出门用于确定哪些信息作为输出，输出信息时将利用sigmoid层输出o
t
来确定哪些信息需要保留，再与更新后的细胞状态信息通过tanh层激活处理后，进行数组乘积，最终得到输出信息，即最后的12个液位的等效数据，用公式表示为：o
t
＝σ(wo·
[h
t-1
，x
t
] bo)h
t
＝o
t
*tanh(c
t
)变量说明：
wo，bo：输出门神经网络层权重矩阵和偏置向量，在反向传播过程中会进行更新o
t
：输出信息保留程度c
t
：当前细胞态信息h
t
：当前隐藏态信息；若模型仅有一个网络层，则该信息最后一个值为模型的输出；若模型存在多个网络层，则最后一个网络层之前必须保存该信息，以作为后续lstm模型的初始隐藏信息。
[0038]
s4、模型预测及溢流预警分析。
[0039]
模型训练及优化完成后，便可进行液位数据的预测，但在预测前需要对液位数据再做同之前数据预处理的工作，即对要预测的数据进行：
①
数据插补，
②
数据变换，
③
维度转换，最后输入模型，得到未来1小时(时间间隔5分钟)内的液位数据，进而可根据各管网上的报警、预警液位值进行比较，判断管网的溢流情况。如图3、图4是根据某管线实际液位数据进行的溢流预警分析，可以看出，按照目前的运行状态，某管网监测点将在12∶12超过预警线，存在溢流风险，距现在时长约40分钟。
[0040]
上述实施例对本发明的具体描述，只用于对本发明进行进一步说明，不能理解为对本发明保护范围的限定，本领域的技术工程师根据上述发明的内容对本发明作出一些非本质的改进和调整均落入本发明的保护范围内。