一种油气田数据存储方法及系统与流程

本发明涉及油气田数据存储，具体涉及一种油气田数据存储方法及系统。

背景技术：

1、油气田数据包含地质数据、地球物理数据、工程数据、井筒数据等多种数据，数据种类众多，数据量大且数据类型多种多样，数据压缩可以显著减少数据的存储需求，提高数据传输和处理效率，降低运营成本，同时增强数据的安全性和保密性，为油气田勘探和开发提供更加高效、便捷的数据支持，有助于推动油气行业的可持续发展。

2、传统的油气田数据压缩方法是根据油气田数据种类进行分组压缩，分组方式多为根据数据类型或数据产生时间进行分组，若数据分组较大，查询数据时可能需要解压较多数据文件，查询速度较慢且系统内存占用率较高；若数据分组较小，由于不同分组内可能含有相同或相近的冗余数据，较小的分组可能会导致全局数据压缩时压缩率较大，压缩效果不理想，因为数据重复度越高，压缩算法能够更有效地识别和利用重复模式，因此压缩率会越小。

技术实现思路

1、本发明提供一种油气田数据存储方法及系统，以解决现有的问题：油气田数据压缩时分组不合理导致查询速度较慢或压缩效果不好。

2、本发明的一种油气田数据存储方法及系统采用如下技术方案：本发明第一方面，提供了一种油气田数据存储方法，该方法包括以下步骤：用传感器采集并存储油气田数据，根据油气田数据种类和采集数据时间序列获取油气田数据点并记录查询及调用数据点信息；根据油气田数据中每组数据点被查询及调用的次数，每组数据点每次被查询及调用时被查询及调用的数据点，获取每组数据点中每个数据点与组内其他每个数据点的关联参数；根据每组数据点中每个数据点与组内其他每个数据点的关联参数和数据点分组序列，获取每个数据点分组中序列相同数据点的关联系数；根据每个数据点分组中相同序列的数据点被查询或调用的次数，与对应分组被查询或调用的次数，获取每个数据点分组中相同序列数据点关联系数的稳定性参数；结合每个数据点分组中序列相同数据点的关联系数，每个数据点分组中相同序列数据点关联系数的稳定性参数和每个数据点分组中序列相同数据点的数据量大小，获取每个数据点分组中序列相同的数据点的关联优先级参数；设置关联优先级参数阈值，结合每组数据点中相同序列数据点的关联优先级参数获取关联模型并压缩。

3、进一步地，所述用传感器采集并存储油气田数据，根据油气田数据种类和采集数据时间序列获取油气田数据点并记录查询及调用数据点信息，包括的具体方法为：利用传感器按照预设的时间间隔和采集数据时长采集并存储油气田数据，给每种油气田数据增加不同内存大小的标签，将每次采集油气田数据中的每种油气田数据作为一个数据点，将每次采集的油气田数据中包含的所有数据点记为一组数据点，根据油气数据种类标签内存大小顺序从大到小依次遍历每组数据点中的数据点，记录每组数据点被查询及调用的次数，记录每组数据点每次被查询及调用时被查询及调用的数据点和数据点的数据量大小，单位为kb。

4、进一步地，所述根据油气田数据中每组数据点被查询及调用的次数，每组数据点每次被查询及调用时被查询及调用的数据点，获取每组数据点中每个数据点与组内其他每个数据点的关联参数，包括的具体方法为：根据每组数据点被查询及调用的次数，每组数据点每次被查询及调用时被查询及调用的数据点，得到每组数据点中每个数据点的历史查询及调用次数；根据每组数据点每次被查询及调用时被查询及调用的数据点, 每组数据点中每个数据点的历史查询及调用次数,获取每组数据点中每个数据点与组内其他每个数据点的关联参数，具体方法如下：式中， 表示第x组数据中第a个数据点，表示第x组数据中第a个数据点的关联参数，t表示数据采集时长，t表示数据采集时间间隔，表示第x组数据中第a个数据点的历史查询及调用次数，表示第x组数据点中第i个数据点的历史查询及调用次数；通过该方法获取每组数据点中每个数据点与组内其他每个数据点的关联参数。

5、进一步地，所述根据每组数据点中每个数据点与组内其他每个数据点的关联参数和数据点分组序列，获取每个数据点分组中序列相同数据点的关联系数，包括的具体方法为：式中，表示数据点分组中序列为a的数据点的关联系数，表示第j组数据点中第a个数据点的关联参数，t表示数据采集时长，t表示数据采集时间间隔，根据上述方法获得每个数据点分组中序列相同数据点的关联系数。

6、进一步地，所述根据每个数据点分组中相同序列的数据点被查询或调用的次数，与对应分组被查询或调用的次数，获取每个数据点分组中相同序列数据点关联系数的稳定性参数，包括的具体方法为：式中，表示数据点分组中序列为a的数据点关联系数的稳定性参数，表示第i组数据点中第a个数据点被查询或调用的次数，表示第i组数据点被查询或调用的次数，t表示数据采集时长，t表示数据采集时间间隔，表示每组数据点中的第a个数据点被查询或调用的次数与对应数据点分组被查询或调用次数的比值的均值，根据上述方法获得每个数据点分组中相同序列数据点关联系数的稳定性参数。

7、进一步地，所述结合每个数据点分组中序列相同数据点的关联系数，每个数据点分组中相同序列数据点关联系数的稳定性参数和每个数据点分组中序列相同数据点的数据量大小，获取每个数据点分组中序列相同的数据点的关联优先级参数，包括的具体方法为：式中，表示数据点分组中序列为a的数据点的关联优先级参数，表示数据点分组中序列为a的数据点关联系数的稳定性参数，表示数据点分组中序列为a的数据点的关联系数，表示第j个数据点分组中第a个数据点的数据量大小，表示第e个数据点分组中第e个数据点的数据量大小，n表示油气田数据种类，t表示数据采集时长，t表示数据采集时间间隔，根据上述方法获取每个数据点分组中序列相同的数据点的关联优先级参数。

8、进一步地，所述设置关联优先级参数阈值，结合每组数据点中相同序列数据点的关联优先级参数获取关联模型并压缩，包括的具体方法为：设置关联优先级参数，对比每组数据中相同序列的数据点的关联优先级参数和预设的关联优先级参数阈值，保留关联优先级参数大于预设关联优先级参数阈值的组内数据点序列，分别将每组数据点中保留的数据点序列对应的数据点分为一组待压缩分组，其它数据点以每个数据点为一组待压缩分组，以组为单位分别对每组待压缩分组进行压缩。

9、进一步地，所述设置异常参数阈值与每段单曲线的异常参数进行对比判断单曲线是否属于脊柱侧弯，包括的具体方法为：具体的，用设定的异常参数阈值与每段单曲线的异常参数进行对比，如果单曲线的异常参数大于异常参数阈值，则单曲线属于脊柱侧弯；若单曲线的异常参数小于异常参数阈值，则不属于脊柱侧弯。

10、本发明的第二方面，提供了一种油气田数据存储系统，该系统包括数据采集模块、数据分析模块以及数据存储模块，其中：数据采集模块，用于用传感器采集并存储油气田数据，根据油气田数据种类和采集数据时间序列获取油气田数据点并记录查询及调用数据点信息；数据分析模块，用于根据油气田数据中每组数据点被查询及调用的次数，每组数据点每次被查询及调用时被查询及调用的数据点，获取每组数据点中每个数据点与组内其他每个数据点的关联参数；根据每组数据点中每个数据点与组内其他每个数据点的关联参数和数据点分组序列，获取每个数据点分组中序列相同数据点的关联系数；根据每个数据点分组中相同序列的数据点被查询或调用的次数，与对应分组被查询或调用的次数，获取每个数据点分组中相同序列数据点关联系数的稳定性参数；结合每个数据点分组中序列相同数据点的关联系数，每个数据点分组中相同序列数据点关联系数的稳定性参数和每个数据点分组中序列相同数据点的数据量大小，获取每个数据点分组中序列相同的数据点的关联优先级参数；数据存储模块，用于设置关联优先级参数阈值，结合每组数据点中相同序列数据点的关联优先级参数获取关联模型并压缩。

11、本发明第三方面，一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现上述一种油气田数据存储方法的步骤。

12、本发明第四方面，一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述一种油气田数据存储方法的步骤。

13、本发明的技术方案的有益效果是：对油气田数据根据数据采集时间和数据种类将油气田数据分为较小的数据点，数据点具有一定的数据完整性和可读性，对数据点进行组合时可以保证数据在内存中的分布具有规律性，方便数据的读取；根据每组数据点每次被查询及调用时被查询及调用的数据点, 每组数据点中每个数据点的历史查询及调用次数,获取每组数据点中每个数据点与组内其他每个数据点的关联参数，可以从数据点被查询或调用的频率上判断每个数据点分组中数据点与其他数据点关联程度；根据每组数据点中每个数据点与组内其他每个数据点的关联参数和数据点分组序列，获取每个数据点分组中序列相同数据点的关联系数，考虑了数据采集的时序问题，较早采集的数据被操作的次数可能更多，所以越早采集的数据越具备参考意义，且结合了每个数据点分组中的数据点被操作的情况，使得获取的数据关联程度更准确；根据每个数据点分组中相同序列的数据点被查询或调用的次数，与对应分组被查询或调用的次数，获取每个数据点分组中相同序列数据点关联系数的稳定性参数，考虑了每个数据分组被操作的次数可能有较大的差异，导致不同分组中同种数据被查询或调用的次数差异较大，影响数据关联程度的计算，本步骤根据不同分组中同种数据被查询或调用的频率占比判断数据被查询或调用次数的稳定性，稳定性越高，获取的数据关联程度的可靠性越高；结合每个数据点分组中序列相同数据点的关联系数，每个数据点分组中相同序列数据点关联系数的稳定性参数和每个数据点分组中序列相同数据点的数据量大小，获取每个数据点分组中序列相同的数据点的关联优先级参数，结合所求的数据点关联优先级参数，稳定性参数和关联系数综合判断可以获取更准确的数据点关联程度，且考虑了不同种数据的数据量大小，数据越大的数据点参与组合分组的必要性越小，因为对于数据量较大的数据点来说数据冗余程度可能相对较高，与其他数据点进行组合对数据冗余度的提升效果可能并不多，压缩效果提升不够显著，且增加了数据查询或调用过程中操作大量无关数据的概率，影响系统性能；设置关联优先级参数阈值，结合每组数据点中相同序列数据点的关联优先级参数获取关联模型并压缩，选择合适的优先级参数阈值，尽可能使得数据点内存较小，关联性较强的数据点被分到一组进行压缩，增加了数据冗余程度，提高了压缩效果，且减少了数据被查询或调用时对无关数据进行解压的概率，缓解系统压力。