基于万物互联的数据高效采集系统的制作方法

本发明涉及数据处理，具体涉及一种基于万物互联的数据高效采集系统。

背景技术：

1、在万物互联时代，各种设备、传感器和系统无时无刻不在产生大量的数据；这些数据中包含了丰富的信息，但同时也夹杂着大量的噪声和错误数据，导致在数据分析与决策时带来了极大的挑战。例如物联网设备通过传感器和数据采集系统进行数据采集时，往往会受到噪声干扰，使得回传至处理器的数据序列不准确；因此需要对产生的数据进行平滑去噪处理，突出数据的真实特征。

2、指数平滑法是对数据序列进行平滑去噪的传统方法，该算法通过设置固定的平滑系数对数据进行平滑处理，但由于数据序列中不同数据类型的多样性，导致固定的平滑系数不适用于所有数据点；并且指数平滑法依赖于近期数据，若近期数据为噪声数据，导致平滑后的数据偏离真实的特征，影响数据的真实性；使得平滑去噪后的数据序列的准确性不高。

技术实现思路

1、为了解决上述使用指数平滑法对采集的数据序列进行平滑去噪，导致平滑去噪后的数据序列的准确性不高的技术问题，本发明的目的在于提供一种基于万物互联的数据高效采集系统，所采用的技术方案具体如下：

2、数据获取模块，用于获取物联网中的监测数据序列；

3、数据分析模块，用于根据孤立森林算法获取监测数据序列中数据点的异常程度；根据所述监测数据序列中的极值点的间隔特征获得关联范围；根据所述关联范围和监测数据序列中数据点的异常程度获得数据点的关联数据段；

4、特征处理模块，用于根据所述关联数据段的数据波动特征获得数据点的平滑参数；根据所述关联数据段中极值点的数据分布特征获得第一变化特征值；根据数据点和关联数据段中近邻极值点的数据分布特征获得第二变化特征值；根据第一变化特征值和第二变化特征值的差异特征获得数据点的平滑参数可信度；

5、数据平滑模块，用于根据所述平滑参数、所述平滑参数可信度和预设平滑系数获得数据点的自适应平滑系数；根据所述数据点的异常程度、平滑参数可信度和自适应平滑系数获得修正平滑系数；根据数据点的修正平滑系数通过指数平滑法对监测数据序列进行平滑去噪，获得监测平滑去噪序列。

6、进一步地，所述根据所述监测数据序列中的极值点的间隔特征获得关联范围的步骤包括：

7、通过移动平均法对所述监测数据序列进行平滑，获得初始平滑序列；计算所述初始平滑序列中相邻极大值点之间的间隔长度的均值，获得第一极值间隔；计算所述初始平滑序列中相邻极小值点之间的间隔长度的均值，获得第二极值间隔；计算所述第一极值间隔和所述第二极值间隔的平均值并向下取整，获得所述关联范围。

8、进一步地，所述根据所述关联范围和监测数据序列中数据点的异常程度获得数据点的关联数据段的步骤包括：

9、计算所述数据点的异常程度与所述关联范围的乘积并向下取整，获得所述数据点的关联长度值；计算所述关联范围与预设系数的乘积，获得最小关联范围；当所述关联长度值小于所述最小关联范围时，将所述数据点与所述数据点相邻历史的最小关联范围数量个其他数据点组成的数据段作为所述关联数据段；当所述关联长度值不小于所述最小关联范围时，将所述数据点与所述数据点相邻历史的关联长度值数量个其他数据点组成的数据段作为所述关联数据段。

10、进一步地，所述根据所述关联数据段的数据波动特征获得数据点的平滑参数的步骤包括：

11、计算所述关联数据段内所有数值的方差并归一化，获得所述数据点的平滑参数。

12、进一步地，所述根据所述关联数据段中极值点的数据分布特征获得第一变化特征值的步骤包括：

13、构建关于所述关联数据段的直角坐标系，在所述直角坐标系中计算所述关联数据段中相邻极大值与极小值之间的均值点，通过最小二乘法对所述均值点进行直线拟合，获得数据变化函数，计算所述数据变化函数的斜率，获得所述数据点的第一变化特征值。

14、进一步地，所述根据数据点和关联数据段中近邻极值点的数据分布特征获得第二变化特征值的步骤包括：

15、在所述直角坐标系中计算所述数据点与距离最近的均值点的相连直线的斜率，获得所述数据点的第二变化特征值。

16、进一步地，所述根据第一变化特征值和第二变化特征值的差异特征获得数据点的平滑参数可信度的步骤包括：

17、计算所述第一变化特征值和所述第二变化特征值的差值绝对值并负相关映射，获得所述数据点的平滑参数可信度。

18、进一步地，所述根据所述平滑参数、所述平滑参数可信度和预设平滑系数获得数据点的自适应平滑系数的步骤包括：

19、计算所述平滑参数、所述平滑参数可信度获得和预设平滑系数三者的乘积，获得所述数据点的自适应平滑系数。

20、进一步地，所述根据所述数据点的异常程度、平滑参数可信度和自适应平滑系数获得修正平滑系数的步骤包括：

21、计算常数1与所述数据点的异常程度的差值，获得所述数据点的正常指数；计算所述正常指数与所述平滑参数可信度的乘积，获得所述数据点的修正权重；计算所述修正权重与所述自适应平滑系数的乘积，获得所述数据点的修正平滑系数。

22、本发明具有如下有益效果：

23、在本发明中，获取数据点的异常程度能够反映该数据点为非正常数据的可能性，为获取关联数据段和修正平滑系数提供基础；获取关联范围为获取数据点的关联数据段确定基础长度；根据关联范围确定数据点的关联数据段，根据关联数据段中的数据特征对数据点的平滑系数进行调整，提高平滑系数和平滑结果的准确性。获取平滑参数能够根据数据波动特征表征数据点的平滑系数的调整程度，根据第一变化特征值和第二变化特征值能够确定数据点为噪声数据的可能性和对应的平滑参数可信度，从而对平滑系数进行更准确地调整，提高平滑结果的准确性。获取自适应平滑系数能够根据数据点的关联数据段和噪声情况为每个数据点赋予不同的平滑系数，提高平滑结果的准确性；根据异常程度和平滑参数可信度获得修正平滑系数进一步修正，弱化平滑过程中的噪声数据，进一步提高指数平滑法的平滑去噪准确性；使得监测平滑去噪序列更能够表征监测对象的真实数据。

技术特征：

1.一种基于万物互联的数据高效采集系统，其特征在于，所述系统包括以下模块：

2.根据权利要求1所述的一种基于万物互联的数据高效采集系统，其特征在于，所述根据所述监测数据序列中的极值点的间隔特征获得关联范围的步骤包括：

3.根据权利要求1所述的一种基于万物互联的数据高效采集系统，其特征在于，所述根据所述关联范围和监测数据序列中数据点的异常程度获得数据点的关联数据段的步骤包括：

4.根据权利要求1所述的一种基于万物互联的数据高效采集系统，其特征在于，所述根据所述关联数据段的数据波动特征获得数据点的平滑参数的步骤包括：

5.根据权利要求1所述的一种基于万物互联的数据高效采集系统，其特征在于，所述根据所述关联数据段中极值点的数据分布特征获得第一变化特征值的步骤包括：

6.根据权利要求5所述的一种基于万物互联的数据高效采集系统，其特征在于，所述根据数据点和关联数据段中近邻极值点的数据分布特征获得第二变化特征值的步骤包括：

7.根据权利要求1所述的一种基于万物互联的数据高效采集系统，其特征在于，所述根据第一变化特征值和第二变化特征值的差异特征获得数据点的平滑参数可信度的步骤包括：

8.根据权利要求1所述的一种基于万物互联的数据高效采集系统，其特征在于，所述根据所述平滑参数、所述平滑参数可信度和预设平滑系数获得数据点的自适应平滑系数的步骤包括：

9.根据权利要求1所述的一种基于万物互联的数据高效采集系统，其特征在于，所述根据所述数据点的异常程度、平滑参数可信度和自适应平滑系数获得修正平滑系数的步骤包括：

技术总结本发明涉及数据处理技术领域，具体涉及一种基于万物互联的数据高效采集系统；根据监测数据序列中极值点的间隔特征获得关联范围，根据关联范围和数据点的异常程度获得数据点的关联数据段；根据关联数据段的波动特征获得数据点的平滑参数。根据关联数据段中极值点的分布特征获得数据点的平滑参数可信度。根据平滑参数、平滑参数可信度和预设平滑系数获得自适应平滑系数。本发明根据数据点的异常程度、平滑参数可信度和自适应平滑系数获得修正平滑系数，根据数据点的修正平滑系数通过指数平滑法对监测数据序列进行平滑去噪，在不改变数据变化趋势的同时，对噪声数据进行平滑，提高平滑去噪准确性。技术研发人员：任光海,郭雪景,杨成军,南松豪受保护的技术使用者：山东盛德智能科技股份有限公司技术研发日：技术公布日：2024/7/29