一种基于大数据和云计算的数据处理方法、系统及介质与流程

技术特征：
1.一种基于大数据和云计算的数据处理方法，其特征在于，所述方法包括：基于预设mapreduce算法，将若干个地震观测设备生成的地震观测数据文件进行预处理，以确定所述地震观测数据文件对应的标准地震观测数据；通过预设hbase数据库上的数据导入接口，将所述标准地震观测数据导入到预设hbase数据库中；基于预设的曲线生成算法，将所述标准地震观测数据转换为第一地震观测波形图；通过预设的surf算法，提取第一地震观测波形图中的第一特征点序列，并将所述第一特征点序列与第二地震观测波形图中包含的第二特征点序列进行匹配，以确定所述第一特征点序列与所述第二特征点序列的匹配率；其中，所述第二地震观测波形图是基于震例库中的震例观测数据生成的波形图；在确定所述第一特征点序列与所述第二特征点序列的匹配率大于预设第一预设阈值的情况下，确定所述地震观测数据文件为异常数据文件。2.根据权利要求1所述的一种基于大数据和云计算的数据处理方法，其特征在于，基于预设mapreduce算法，将若干个地震观测设备生成的地震观测数据文件进行预处理，以确定所述地震观测数据文件对应的标准地震观测数据，具体包括：基于所述预设mapreduce算法，将所述地震观测数据文件中包含的文件头信息与观测数据内容进行分割处理，以得到分离的文件头信息与观测数据内容；其中，所述文件头信息包括所述地震观测设备的编号、经纬度，以及所述地震观测数据文件的生成时间；所述观测数据内容包括若干个观测数据，所述观测数据包括观测数值及相应的观测时间；基于所述预设mapreduce算法中预设的行键格式、分离的文件头信息与观测数据内容，确定所述地震观测数据文件对应的标准地震观测数据；其中，所述行键格式为所述预设hbase数据库对应的存储数据结构，所述文件头信息构成标准地震观测数据的行，所述观测数据内容构成标准地震观测数据的键。3.根据权利要求2所述的一种基于大数据和云计算的数据处理方法，其特征在于，基于所述预设mapreduce算法，将所述地震观测数据文件中包含的文件头信息与观测数据内容进行分割处理，以得到分离的文件头信息与观测数据内容，具体包括：基于所述预设mapreduce算法，对所述地震观测数据文件的进行自上向下的读取，并同时将读取内容与预设mapreduce算法中包含的文件头信息结束标识进行匹配；在确定读取得到地震观测数据文件中的文件头信息结束标识的情况下，将地震观测数据文件中文件头信息结束标识的前后内容进行分割处理，以得到分离的文件头信息与观测数据内容。4.根据权利要求3所述的一种基于大数据和云计算的数据处理方法，其特征在于，通过surf算法，提取地震观测波形图中的第一特征点序列，具体包括：确定所述第一地震观测波形图对应的图像金字塔；其中，所述图像金字塔用于描述不同分辨率下的所述第一地震观测波形图；将所述图像金字塔各层图像中的像素点均通过黑塞矩阵处理，以确定各像素点的黑塞值；在任一像素点的黑塞值均大于或小于邻近的第一预设数量个像素点以及相应上下图像层中邻近的第二预设数量个像素点的情况下，确定该像素点为一个特征点。
5.根据权利要求4所述的一种基于大数据和云计算的数据处理方法，其特征在于，确定所述第一特征点序列与所述第二特征点序列的匹配率，具体包括：将所述第一特征点序列中各特征点的黑塞值与所述第二特征点序列中相应序号特征点的黑塞值进行作差比较；其中，所述第一特征点序列中的特征点数量等于所述第二特征点序列中的特征点数量；在确定差的绝对值均小于第二预设阈值的情况下，确定所述第一特征点序列与所述第二特征点序列相似；在确定所述第一特征点序列与所述第二特征点序列相似的情况下，分别确定所述第一特征点序列与所述第二特征点序列中各相邻特征点间的趋势变化时间以及各相邻特征点在地震观测波形图中所构成线段的斜率，并基于所述趋势变化时间与所述斜率，确定所述第一特征点序列与所述第二特征点序列的匹配率。6.根据权利要求3所述的一种基于大数据和云计算的数据处理方法，其特征在于，基于预设的曲线生成算法，将所述标准地震观测数据转换为第一地震观测波形图，具体包括：将所述标准地震观测数据中的观测数据内容通过聚类分析处理，以得到相关数据集；对所述相关数据集通过最小二乘法拟合，生成所述第一地震观测波形图。7.根据权利要求6所述的一种基于大数据和云计算的数据处理方法，其特征在于，将所述标准地震观测数据中的观测数据内容通过聚类分析处理，以得到相关数据集，具体包括：在所述若干个观测数据中，确定相同观测数值出现次数最多的观测数据为相关数据，并将所述相关数据加入到相关数据集；根据预设的聚类规则，在所述若干个观测数据的剩余观测数据中，将与所述相关数据存在相关性的观测数据加入到所述相关数据集；基于所述预设的聚类规则与所述相关数据集中的相关数据，循环遍历所述剩余观测数据，直至所述剩余观测数据与所述相关数据集中的相关数据均无相关性。8.根据权利要求5所述的一种基于大数据和云计算的数据处理方法，其特征在于，确定所述地震观测数据文件为异常数据文件之后，所述方法还包括：基于所述第一特征点序列与所述第二特征点序列的匹配率确定告警等级，并基于所述标准地震观测数据对应的文件头信息以及所述告警等级，向监控中心发送告警信息。9.一种基于大数据和云计算的数据处理系统，其特征在于，所述系统包括：预处理模块、数据导入模块、序列匹配模块、异常数据文件确定模块；所述预处理模块，用于基于预设mapreduce算法，将若干个地震观测设备生成的地震观测数据文件进行预处理，以确定所述地震观测数据文件对应的标准地震观测数据；所述数据导入模块，用于通过预设hbase数据库上的数据导入接口，将所述标准地震观测数据导入到预设hbase数据库中；所述数据转换模块，用于基于预设的曲线生成算法，将所述标准地震观测数据转换为第一地震观测波形图；所述序列匹配模块，用于通过预设的surf算法，提取第一地震观测波形图中的第一特征点序列，并将所述第一特征点序列与第二地震观测波形图中包含的第二特征点序列进行匹配，以确定所述第一特征点序列与所述第二特征点序列的匹配率；其中，所述第二地震观测波形图是基于震例库中的震例观测数据生成的波形图；
所述异常数据文件确定模块，用于在确定所述第一特征点序列与所述第二特征点序列的匹配率大于预设第一预设阈值的情况下，确定所述地震观测数据文件为异常数据文件。10.一种基于大数据和云计算的数据处理的非易失性计算机存储介质，存储有计算机可执行指令，其特征在于，所述计算机可执行指令设置为：基于预设mapreduce算法，将若干个地震观测设备生成的地震观测数据文件进行预处理，以确定所述地震观测数据文件对应的标准地震观测数据；通过预设hbase数据库上的数据导入接口，将所述标准地震观测数据导入到预设hbase数据库中；基于预设的曲线生成算法，将所述标准地震观测数据转换为第一地震观测波形图；通过预设的surf算法，提取第一地震观测波形图中的第一特征点序列，并将所述第一特征点序列与第二地震观测波形图中包含的第二特征点序列进行匹配，以确定所述第一特征点序列与所述第二特征点序列的匹配率；其中，所述第二地震观测波形图是基于震例库中的震例观测数据生成的波形图；在确定所述第一特征点序列与所述第二特征点序列的匹配率大于预设第一预设阈值的情况下，确定所述地震观测数据文件为异常数据文件。

技术总结
本申请实施例提供的一种基于大数据和云计算的数据处理方法、系统及介质，解决了现有的地震观测数据处理方法不能有效的识别海量数据中的异常数据的技术问题。方法包括：基于预设MapReduce算法将地震观测数据文件处理为对应的标准地震观测数据，并导入到预设HBase数据库中；基于预设的曲线生成算法，将标准地震观测数据转换为第一地震观测波形图；通过预设的SURF算法，提取第一地震观测波形图中的第一特征点序列，并与第二地震观测波形图中包含的第二特征点序列进行匹配，以确定匹配率；在匹配率大于预设第一预设阈值的情况下，确定地震观测数据文件为异常数据文件。本申请通过上述方法可以有效的识别海量数据中的异常数据。述方法可以有效的识别海量数据中的异常数据。述方法可以有效的识别海量数据中的异常数据。


技术研发人员：ꢀ(74)专利代理机构
受保护的技术使用者：北京永利信达科技有限公司
技术研发日：2022.02.10
技术公布日：2022/5/6