一种基于大数据平台的信息资源处理及更新方法

本发明涉及信息处理，尤其涉及一种基于大数据平台的信息资源处理及更新方法。

背景技术：

1、大数据平台为数据处理和分析提供了强大的计算和存储能力，使得对大规模数据进行捕获、挖掘和分析成为可能，随着信息量的增加和变化速度的加快，对数据资源的实时处理、挖掘和更新变得至关重要。目前的技术包括数据挖掘、模式识别、时间序列分析等领域的方法和工具，但是数据可能存在缺失、错误或不准确等问题，会影响分析结果的准确性和可靠性，某些模式可能被错误地识别或解释，导致分析结果产生偏差。

2、因此，本发明提供的一种基于大数据平台的信息资源处理及更新方法。

技术实现思路

1、本发明提供的一种基于大数据平台的信息资源处理及更新方法，通过实时采集信息资源的变化，进行时间序列分析以识别趋势和规律，然后利用数据挖掘和模式识别技术分析资源，检测异常，再基于这些分析结果建立自动化决策系统，以更新处理信息资源，有效识别数据中存在的缺失、错误或不准确等问题，进而提高分析结果的准确性和可靠性，减少分析结果偏差，实现对大规模数据的高效处理和分析。

2、本发明提供一种基于大数据平台的信息资源处理及更新方法，包括：

3、步骤1：设定数据捕获目标范围并配置数据捕获机制，并基于所述数据捕获机制实时采集各种信息资源的第一变化，通过对所述第一变化进行时间序列分析，得出每种信息资源的第一趋势与第一规律；

4、步骤2：利用数据挖掘技术且结合第一趋势与第一规律对相应种信息资源进行资源挖掘，并对挖掘资源进行模式识别；

5、步骤3：对模式识别结果进行异常检测分析，确定异常模式与异常数据点得出所述挖掘资源的第二变化；

6、步骤4：对所述第二变化进行时间序列分析，确定相应挖掘资源的第二趋势与第二规律；

7、步骤5：基于所有第二趋势与第二规律建立自动化决策系统，确定对应挖掘资源的第一更新处理步骤，进而确定对应种信息资源的第二更新处理步骤。

8、本发明提供一种基于大数据平台的信息资源处理及更新方法，其特征在于，设定数据捕获目标范围并配置数据捕获机制，包括：

9、根据数据采集需求，确定数据收集系统与每种信息资源之间的关系得出系统-资源对照表，并根据所述系统-资源对照表设定捕食者-猎物模型的相关参数与对应的初始条件；

10、基于设定好的捕食者-猎物模型建立描述数据收集系统的数据采集速度-规律的微分方程，并根据所述微分方程设定关于数据收集系统的数据捕获目标范围；

11、确定收集信息资源的种类内容；

12、将所述数据捕获目标范围与信息资源的种类内容设定为捕捉条件，根据所述微分方程结合所述捕捉条件，配置数据收集系统的数据捕获机制。

13、本发明提供一种基于大数据平台的信息资源处理及更新方法，其特征在于，基于设定好的捕食者-猎物模型建立描述数据收集系统的数据采集速度-规律的微分方程，包括：

14、

15、其中，x表示数据收集系统随时间变化涉及到的总数据量；y表示对应种信息资源随时间变化涉及到的数据量；表示数据收集系统随时间变化涉及到的总数据量变化速度；表示对应种信息资源随时间变化涉及到的数据量变化速度；α表示数据收集系统涉及到的总数据量变化增长率；β表示数据收集系统的信息捕获率；γ表示数据收集系统涉及到的总数据量的二次增长项；δ表示对应种信息资源中的信息再生率；e1表示变量，且c1、b1为常数；ε表示对应种信息资源随时间变化涉及到的数据量的二次增长项；ζ表示对应种信息资源随时间变化涉及到的数据量的消耗率；k表示数据收集系统的容量极限；m表示对应种信息资源随时间变化涉及到的数据量的再生容量。

16、本发明提供一种基于大数据平台的信息资源处理及更新方法，其特征在于，基于所述数据捕获机制实时采集各种信息资源的第一变化，通过对所述第一变化进行时间序列分析，得出每种信息资源的第一趋势与第一规律，包括：

17、根据所述数据捕获机制实时收集各种信息资源的第一变化，将所述第一变化按照时间顺序排列，使用时间序列方法对时间排列结果进行处理，并确定对应种信息资源第一变化的第一特征；

18、根据所述第一特征选择时间序列模型，识别对应种信息资源的第一趋势，并对所有第一趋势进行相关度分析，得出信息资源整体变化趋势以及每种信息资源的第一趋势之间的第一关联关系；

19、根据所述关联关系确定造成整体变化趋势的变化原因，对所述变化原因按照进行分类得到整体类和部分类，并分别根据所述整体类与部分类确定针对对应种信息资源的第一整体变化规律和第二整体变化规律；

20、对所述第一整体变化规律与第二整体变化规律进行比较，得出所述第一整体变化规律与第二整体变化规律的相对重要性和相互作用，并确定显著影响对应第一趋势的变化规律；

21、综合考虑所述第一整体变化规律与第二整体变化规律的变化方式，进而确定对应第一趋势的主要变化因素，结合所述变化规律与主要变化因素确定对应种信息资源的第一规律。

22、本发明提供一种基于大数据平台的信息资源处理及更新方法，其特征在于，对挖掘资源进行模式识别，包括：

23、基于所述第一趋势与第一规律对相应种信息资源进行数据资源挖掘，进而确定相应种信息资源下涉及到的所有子资源之间的潜在关系，其中，每种信息资源下的挖掘资源中包含若干子资源；

24、基于潜在关系对相应挖掘资源进行特征选择，并对特征选择结果进行模式识别和特征提取，得出数据模式与第二特征；

25、按照关联挖掘规则控制所述数据模式与第二特征对相应挖掘资源进行分类，得到所述数据模式和第二特征之间的第二关联关系，进而得出相应挖掘资源的模式识别结果。

26、本发明提供一种基于大数据平台的信息资源处理及更新方法，其特征在于，基于潜在关系对相应挖掘资源进行特征选择，包括：

27、对所述潜在关系进行分析确定特征选择标准，并得出相应挖掘资源中每个子资源的初始特征，并对所述初始特征进行评价；

28、根据评价结果对所述初始特征进行第一排序，并根据初始特征在潜在关系中的贡献度对第一排序进行调整得出第二排序得出特征选择结果。

29、本发明提供一种基于大数据平台的信息资源处理及更新方法，其特征在于，对模式识别结果进行异常检测分析，确定异常模式与异常数据点得出所述挖掘资源的第二变化，包括：

30、使用孤立森林算法构建异常检测模型，并基于所述异常检测模型对模式识别结果对应数据集进行异常检测；

31、通过孤立森林算法计算所述数据集中每个检测点到达每个数据点路径的第一长度，并对所有第一长度进行归一化，得出第二长度；

32、将所述第一长度与第二长度进行对比，根据对比结果判断对应数据点的异常程度，同时，根据第一长度的分布情况设定异常阈值，并将高于阈值的数据点判定为异常数据点；

33、根据所述异常数据点与异常程度确定异常模式；

34、根据异常模式与异常数据点确定对应挖掘资源的第二变化。

35、本发明提供一种基于大数据平台的信息资源处理及更新方法，其特征在于，对所述第二变化进行时间序列分析，确定相应挖掘资源的第二趋势与第二规律，包括：

36、根据时间序列对第二变化进行数据分解，分解结果为趋势项、季节性项、周期性项和残差项；

37、根据所述趋势项确定第二变化的整体趋势变化；

38、同时，基于季节性项中的季节性指数确定季节周期变化，且结合周期性项确定第二变化的变化周期；

39、对残差项进行分析，确定第二变化中不属于趋势项、季节性项与周期性项解释的剩余数据存在的特殊模式；

40、综合整体趋势变化、变化周期以及特殊模式，确定相应挖掘资源的第二趋势，进而确定第二规律。

41、本发明提供一种基于大数据平台的信息资源处理及更新方法，其特征在于，基于所有第二趋势与第二规律建立自动化决策系统，包括：

42、对模式识别结果、第二趋势与第二规律进行综合评估，得出综合评估结果，并根据所述综合评估结果制定自动化决策规则，且结合设定的处理-更新策略，建立自动化决策系统。

43、与现有技术相比，本技术的有益效果如下：通过实时采集信息资源的变化，进行时间序列分析以识别趋势和规律，然后利用数据挖掘和模式识别技术分析资源，检测异常，再基于这些分析结果建立自动化决策系统，以更新处理信息资源，有效识别数据中存在的缺失、错误或不准确等问题，进而提高分析结果的准确性和可靠性，减少分析结果偏差，实现对大规模数据的高效处理和分析。

44、本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书以及附图中所特别指出的结构来实现和获得。

45、下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。