一种覆土储罐多源数据的并行运维方法、设备及介质与流程

本申请涉及储罐运维，尤其涉及一种覆土储罐多源数据的并行运维方法、设备及介质。

背景技术：

1、随着物联网、大数据等技术的不断发展，覆土储罐的运维将越来越趋向于智能化和远程监控，通过安装传感器和监测设备，可以实时监测储罐的状态，及时发现并预警潜在问题，提高运维效率和安全性。

2、覆土储罐由于埋藏于地下，其运行环境相对复杂，需要监测的参数众多，例如能存在湿度、温度等环境因素对监测设备的干扰，影响监测结果的准确性，并且每个参数都可能产生大量的数据点，导致数据维度显著增加，多源数据之间的关联性和相互影响使得数据处理变得复杂，现场来不及反应。

3、通过上述的分析，现有技术存在的问题及缺陷为：

4、现有技术中的覆土储罐运维中环境复杂，数据种类多，导致得到运维结果慢，且有可能忽略不同数据种类的关联，针对异常或危险不能及时反应。

技术实现思路

1、本申请实施例提供了一种覆土储罐多源数据的并行运维方法、设备及介质，能够解决现有技术中覆土储罐运维中环境复杂，数据种类多，导致得到运维结果慢，且有可能忽略不同数据种类的关联，针对异常或危险不能及时反应的问题。

2、第一方面，本申请实施例提供了一种覆土储罐多源数据的并行运维方法，方法包括：实时采集覆土储罐的原始数据，原始数据包括储罐数据、土壤数据和空气数据；通过apache spark分别对储罐数据、土壤数据和空气数据进行单独并行计算，得到分布式数据，储罐数据包括覆土储罐的温度、压力和液位高度；根据预设时间窗口对分布式数据集进行交叉处理，得到微批次数据和相关系数；在原始数据、分布式数据和微批次数据中任一数据发现异常值的情况下，触发预警机制，并启动对应的运维机制。

3、在本申请的一种实现方式中，通过apache spark分别对储罐数据、土壤数据、空气数据和气象数据进行单独并行计算，得到分布式数据，具体包括：对储罐数据进行计算，并将储罐数据与时间戳对齐，得到储罐数据的最大值和最小值，以及得到储罐数据的变化趋势；对土壤数据进行计算，并将土壤数据与时间戳对齐，得到土壤数据的最大值和最小值，以及得到土壤数据的变化趋势，土壤数据包括土壤温度和土壤湿度；对空气数据进行计算，得到氮气、氧气、惰性气体和二氧化氮占比，并判断是否存在可燃气体。

4、在本申请的一种实现方式中，根据预设时间窗口对分布式数据集进行交叉处理，得到微批次数据和相关系数，具体包括：根据时间戳，将分布式数据对齐至预设时间窗口，并对传感器进行采集频率校准；对分布式数据进行关联统计，得到覆土储罐多源数据的总变化趋势；基于储罐压力包括罐顶压力、罐壁压力和罐底压力，储罐温度包括内部温度和外部温度，在储罐压力和储罐温度，以及土壤温度和土壤湿度中任意提取两个变量，计算两个变量的相关系数。

5、在本申请的一种实现方式中，方法还包括：对相关相关系数进行比较，判断相关系数是否低于预设阈值；在低于预设阈值的情况下，得到次成分变量；对次成分变量设置采集周期，以减少计算资源。

6、在本申请的一种实现方式中，在实时采集覆土储罐的原始数据之前，方法还包括：将压力传感器安装在覆土储罐的罐顶、罐壁和罐底，将温度传感器安装在罐壁；将水分传感器、温度传感器、ph传感器埋设在覆土储罐的预设距离内；将空气传感器安装在覆土储罐的土壤表面和预设高点。

7、在本申请的一种实现方式中，在原始数据、分布式数据和微批次数据的任一数据中发现异常值的情况下，触发预警机制，并启动对应的运维机制，具体包括：在发现可燃气体的情况下，开启阻火器，释放惰性气体，以及现场开启警报，并通知运维人员；在原始数据、分布式数据和微批次数据的任一数据中发现异常值的情况下，触发预警机制并通知运维人员。

8、在本申请的一种实现方式中，方法还包括：引入预设时间段内的气象数据，气象数据包括降水量和气温；根据气象数据、微批次数据和相关系数进行预测，得到下一预设窗口的储罐数据、土壤数据、空气数据。

9、在本申请的一种实现方式中，在对空气数据进行计算之后，方法还包括：对分布式数据进行分区存储，并对分布式数据加密；在加密完成的情况下，为分布式数据配置权限与id，以供相应的工作人员查看。

10、第二方面，本申请实施例还提供了一种覆土储罐多源数据的并行运维设备，设备包括至少一个处理器；以及，与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够：实时采集覆土储罐的原始数据，原始数据包括储罐数据、土壤数据和空气数据；通过apachespark分别对储罐数据、土壤数据和空气数据进行单独并行计算，得到分布式数据，储罐数据包括覆土储罐的温度、压力和液位高度；根据预设时间窗口对分布式数据集进行交叉处理，得到微批次数据和相关系数；在原始数据、分布式数据和微批次数据中任一数据发现异常值的情况下，触发预警机制，并启动对应的运维机制。

11、第三方面，本申请实施例还提供了一种覆土储罐多源数据的并行运维非易失性计算机存储介质，存储有计算机可执行指令，计算机可执行指令设置为：实时采集覆土储罐的原始数据，原始数据包括储罐数据、土壤数据和空气数据；通过apache spark分别对储罐数据、土壤数据和空气数据进行单独并行计算，得到分布式数据，储罐数据包括覆土储罐的温度、压力和液位高度；根据预设时间窗口对分布式数据集进行交叉处理，得到微批次数据和相关系数；在原始数据、分布式数据和微批次数据中任一数据发现异常值的情况下，触发预警机制，并启动对应的运维机制。

12、本申请实施例提供的一种覆土储罐多源数据的并行运维方法、设备及介质，通过apache spark对覆土储罐的多源数据进行并行计算，实时地监控和分析覆土储罐的各项参数，减少因数据量大而导致的处理延迟和误差；相关系数不仅量化了关系的强度，了解变量之间的线性关系可以增强对储罐性能的预测能力，快速定位问题源头，了解不同变量之间的线性关系可以优化储罐的结构和材料选择；在运维机制中即时应对可燃气体泄漏，在发现可燃气体时立即开启阻火器并释放惰性气体，可以有效抑制火源并降低爆炸风险，保护人员和财产安全，提高应急响应速度。

技术特征：

1.一种覆土储罐多源数据的并行运维方法，其特征在于，所述方法包括：

2. 根据权利要求1所述的一种覆土储罐多源数据的并行运维方法，其特征在于，通过apache spark分别对所述储罐数据、土壤数据、空气数据和气象数据进行单独并行计算，得到分布式数据，具体包括：

3.根据权利要求2所述的一种覆土储罐多源数据的并行运维方法，其特征在于，根据预设时间窗口对所述分布式数据集进行交叉处理，得到微批次数据和相关系数，具体包括：

4.根据权利要求3所述的一种覆土储罐多源数据的并行运维方法，其特征在于，所述方法还包括：

5.根据权利要求3所述的一种覆土储罐多源数据的并行运维方法，其特征在于，在实时采集覆土储罐的原始数据之前，所述方法还包括：

6.根据权利要求2所述的一种覆土储罐多源数据的并行运维方法，其特征在于，在所述原始数据、分布式数据和微批次数据的任一数据中发现异常值的情况下，触发预警机制，并启动对应的运维机制，具体包括：

7.根据权利要求1所述的一种覆土储罐多源数据的并行运维方法，其特征在于，所述方法还包括：

8.根据权利要求1所述的一种覆土储罐多源数据的并行运维方法，其特征在于，在对所述空气数据进行计算之后，所述方法还包括：

9.一种覆土储罐多源数据的并行运维设备，其特征在于，所述设备包括：

10.一种覆土储罐多源数据的并行运维的非易失性计算机存储介质，存储有计算机可执行指令，其特征在于，所述计算机可执行指令设置为：

技术总结本申请公开了一种覆土储罐多源数据的并行运维方法、设备及介质，涉及储罐运维技术领域。方法包括：实时采集覆土储罐的原始数据，原始数据包括储罐数据、土壤数据和空气数据；通过Apache Spark分别对储罐数据、土壤数据和空气数据进行单独并行计算，得到分布式数据；根据预设时间窗口对分布式数据集进行交叉处理，得到微批次数据和相关系数；在原始数据、分布式数据和微批次数据中任一数据发现异常值的情况下，触发预警机制，并启动对应的运维机制。本申请通过上述方法实现了对覆土储罐的多源数据进行并行计算，减少因数据量大而导致的处理延迟和误差，了解变量之间的线性关系可以增强对储罐性能的预测能力，快速定位问题源头。技术研发人员：马韵升,耿继强,邹雄,赵立秋,刘振学,张承贺,魏圣可,耿兴飞,杨恩思,姜天凯受保护的技术使用者：山东京博控股集团有限公司技术研发日：技术公布日：2024/9/17