一种数据提取分析处理方法及系统与流程

本发明涉及数据处理，具体涉及一种数据提取分析处理方法及系统。

背景技术：

1、在国际投资领域，跨国公司需对潜在投资国家的投资环境数据进行系统评估，以确保选择理想的投资目的地。同时，为了吸引外国直接投资，东道国需要根据投资环境数据评价的关键要素来采取相应措施以改善其投资环境。然而，投资环境数据十分复杂，不仅包含硬环境和软环境方面的诸多因素，还涉及经济、自然、社会等多个维度的大量数据。这些数据纷繁复杂，使得分析处理变得相当困难。如何高效且精确地提取这些数据并进行深入的分析处理成为了一个亟待解决的问题。

2、尽管国际上已有众多机构对国家投资环境数据进行了深入研究，但目前仍然缺乏一种专门针对矿业投资环境数据进行有效提取的方法，以确保数据的全面性和准确性，并能对数据进行精确筛选和高效处理。因此，本申请提出了一种矿业投资环境数据评价方法，该方法在精准性、时效性和实践性方面均表现突出，对于指导跨国公司的矿业投资决策具有非常重要的意义。

技术实现思路

1、为解决上述问题，本发明公开了一种数据提取分析处理方法及系统。

2、在一方面，本申请提供了一种数据提取分析处理方法，包括以下步骤：

3、确定评价对象，获取该评价对象对应的多源数据；

4、对所述多源数据进行标准化预处理，生成待评价标准数据集；

5、将所述待评价标准数据集输入第一预设评价模型和第二预设评价模型，分别计算生成对应的第一评价结论和第二评价结论；

6、将第一评价结论和第二评价结论输入至第三模型生成最终评价结果在具体的方案中，所述标准化预处理的方法包括：

7、将所述多源数据归类至对应的原始数据集，确定数据集中的最小值和最大值；

8、对所述原始数据集中的各个数据点应用线性变换，将原始数据值映射到0-100的范围内，得到标准化后的值；

9、使用标准化后的值更新原始数据集或创建一个新的数据集，以得到待评价标准数据集；

10、建立待评价标准数据集与原始数据集的对应关系。

11、其中，所述第一预设评价模型与所述第二预设评价模型构成互补关系，其中，所述第一预设评价模型基于定性数据训练得到，所述第二预设评价模型基于定量数据训练得到。

12、进一步地，所述第一预设评价模型的输入数据为转化后的定量数据，所述转化后的定量数据进一步根据预设的权重指标生成。

13、上述标准化预处理的方法进一步包括：

14、对所述评价对象分别建立多源数据对应的更新数据集和验证数据集；

15、计算所述更新数据集和验证数据集的数据差异值；

16、判断所述数据差异值是否在预设采集数据误差范围内，若是，则对所述多源数据进行标准化预处理；否则，输出采集数据异常提醒，并执行人工确认步骤。

17、具体的，所述验证数据集包括历史数据集和第三方来源数据集，所述第三方来源数据集与所述更新数据集的地理区域不同。

18、其中，所述历史数据集中的数据以密文方式存储，加密所述历史数据集时包括以下步骤：

19、将待加密的历史数据分割成多个固定大小的分片；

20、通过随机数生成器生成一个随机排列序列；

21、根据所述随机排列序列为每个分片生成一个唯一的随机数标记；

22、为各分片生成对应的加密密钥，建立加密密钥与分片对应的随机数标记的映射关系；

23、使用生成的加密密钥加密对应的分片，以得到历史数据集密文。

24、在具体的方案中，标记所述分片时包括以下步骤：

25、按位依次从所述随机排列序列中选取对应长度的随机数片段；

26、对应分片顺序为依次为各分片分配对应的随机数片段，其中，所述各分片对应的随机数片段长度依次递增。

27、在另一方面，本申请还提供了一种数据提取分析处理系统，该系统具体包括：

28、数据获取模块，用于确定评价对象，并获取该评价对象对应的多源数据；

29、预处理模块，用于对所述多源数据进行标准化预处理，生成待评价标准数据；

30、初始评价模块，包括第一预设评价模型和第二预设评价模型，用于向第一预设评价模型和第二预设评价模型分别输入待评价标准数据集，计算生成对应的第一评价结论和第二评价结论；

31、结果处理模块，用于将第一评价结论和第二评价结论输入至第三模型生成最终评价结果；

32、此外，所述系统进一步包括：加密模块，用于将历史数据集中的数据以密文方式存储，并标记所述分片，为各分片生成对应的加密密钥，建立加密密钥与分片对应的随机数标记的映射关系，并使用生成的加密密钥加密对应的分片，以得到历史数据集密文。

33、本申请的方案，在数据处理时，首先，从多个来源获取与评价对象相关的数据，实现了多源数据的有效整合，进而提高了数据的全面性和丰富度；其次，通过对这些多源数据进行标准化预处理，以生成待评价标准数据集，有效消除了数据间的差异性和不规则性，从而提升了数据的可比性和准确性；此外，本方法采用了双重评价模型，即第一预设评价模型和第二预设评价模型，对待评价标准数据集进行并行处理，分别得出了第一评价结论和第二评价结论，这种双模型验证的方式显著增强了评价结论数据的可靠性。

技术特征：

1.一种数据提取分析处理方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的方法，其特征在于，所述标准化预处理的方法包括：

3.根据权利要求2所述的方法，其特征在于，所述第一预设评价模型与所述第二预设评价模型构成互补关系，其中，所述第一预设评价模型基于定性数据训练得到，所述第二预设评价模型基于定量数据训练得到。

4.根据权利要求3所述的方法，其特征在于，所述第一预设评价模型的输入数据为转化后的定量数据，所述转化后的定量数据进一步根据预设的权重指标生成。

5.根据权利要求4所述的方法，其特征在于，所述标准化预处理的方法进一步包括：

6.根据权利要求5所述的方法，其特征在于，所述验证数据集包括历史数据集和第三方来源数据集，所述第三方来源数据集与所述更新数据集的地理区域不同。

7.根据权利要求6所述的方法，其特征在于，所述历史数据集中的数据以密文方式存储，加密所述历史数据集时包括以下步骤：

8.根据权利要求7所述的方法，其特征在于，标记所述分片时包括以下步骤：

9.一种数据提取分析处理系统，其特征在于，包括：

10.根据权利要求9所述的系统，其特征在于，所述系统进一步包括：加密模块，用于将历史数据集中的数据以密文方式存储，并标记所述分片，为各分片生成对应的加密密钥，建立加密密钥与分片对应的随机数标记的映射关系，并使用生成的加密密钥加密对应的分片，以得到历史数据集密文。

技术总结本发明涉及数据处理技术领域，具体涉及一种数据提取分析处理方法及系统。本申请的方案，从多个来源获取与评价对象相关的数据，实现了多源数据的有效整合，提高了数据的全面性和丰富度；其次，通过对这些多源数据进行标准化预处理，以生成待评价标准数据集，有效消除了数据间的差异性和不规则性，从而提升了数据的可比性和准确性；此外，本方法采用了双重评价模型，即第一预设评价模型和第二预设评价模型，对待评价标准数据集进行并行处理，分别得出了第一评价结论和第二评价结论，这种双模型验证的方式显著增强了评价结论数据的可靠性。技术研发人员：张伟波,王靓靓,于瑞,何学洲,陈秀法,黄霞,张潮,赵东杰受保护的技术使用者：中国地质调查局发展研究中心技术研发日：技术公布日：2024/9/2