一种数据处理方法与流程

本发明涉及数据处理，尤其是涉及一种数据处理方法。

背景技术：

1、随着信息技术的发展，数据量呈指数级增长，数据已成为驱动决策、优化业务流程和推动科技创新的核心要素。然而，原始数据往往伴随着诸多挑战，如噪声干扰、缺失值、不一致性及高维度等，这些问题直接制约了数据分析的有效性和可靠性。因此，数据处理方法的研发与优化成为了提升数据价值的关键环节。现有技术在处理大规模数据时往往效率低下，难以实现高效、准确的处理。

技术实现思路

1、本发明的目的是提供一种数据处理方法，采用多重数据处理技术的组合，提高了数据处理的稳定性和可靠性，减少了数据处理过程中的误差和不确定性。

2、为实现上述目的，本发明提供了一种数据处理方法，步骤包括：

3、s1、采集数据，并对数据进行检测，当数据存在缺失问题，采用决策树法和线性回归法填补缺失值，然后采用分箱法或奇异值分解法对数据进行数据噪声处理，当数据不存在缺失问题，直接采用分箱法或奇异值分解法对数据进行数据噪声处理；

4、s2、对数据噪声处理后的数据采用滑动平均法和标准残差法进行数据跳点处理；

5、s3、对数据噪声处理后的数据采用拉伊达准则进行数据漂移处理。

6、优选的，所述步骤s1中，采用决策树法和线性回归法填补缺失值的方法为：构建决策树模型，根据已有数据的特征推断缺失数据的取值，采用线性回归法，利用线性关系拟合数据，填补缺失值；

7、线性回归法采用最小二乘法进行求解，线性关系式为：

8、y＝β0+β1x1+β2x2+…+βkxk+ε

9、式中，y表示预测值，β表示回归系数，ε表示随机变量，xk表示k个因素；

10、对y与x1,x2...,xk作n次独立观察得n组观测值xt1,xt2,...,xtk，y满足关系式：

11、y＝β0+β1xt1+β2xt2+…+βkxtk+εt

12、t＝1,2,...,n(n>k+1)

13、式中，ε1...εn互不相关,均是与ε同分布的随机变量，使用矩阵表示y，公式为：

14、y＝xβ+ε

15、使用最小二乘法得到β的解，公式为：

16、

17、式中，(x-1x)-1xt为x的伪逆。

18、优选的，所述步骤s1中，采用分箱法进行噪声处理的步骤包括：

19、(1)将原始数据分成若干个连续的区间；

20、(2)计算每个区间内数据值的代表性统计量，选择平均值或中值；

21、(3)将原始数据映射到对应的区间内，使用每个区间的代表值代替原始数据；

22、(4)使用步骤(3)中选择的数据建立模型，采用单纯均值或加权均值法对噪声集进行平滑处理，得到降噪数据。

23、优选的，所述步骤s1中，采用奇异值分解法进行噪声处理的步骤包括：

24、a、构建原始数据矩阵；

25、b、对原始数据矩阵进行中心化处理，减去每一列的均值；

26、c、对中心化后的数据矩阵进行奇异值分解，将原始数据矩阵分解为三个矩阵的乘积，其公式为：

27、a＝u∑vt

28、式中，a表示中心化后的矩阵，u是一个正交矩阵，包含了原始数据的左奇异向量，v是另一个正交矩阵，包含了原始数据的右奇异向量，σ表示对角矩阵；

29、d、降噪和特征选择，保留最大的奇异值而截断小的奇异值；

30、e、使用步骤d中保留的奇异值及相应的左右奇异向量重构数据矩阵；

31、f、将重构后的数据矩阵加上步骤b中减去的均值得到降噪数据。

32、优选的，所述步骤s2中采用滑动平均法平滑数据，采用标准残差法检测数据异常点，提高数据稳定性。

33、所述滑动平均法将前后时刻共2n+1个观测值做平均，得到当前时刻的滤波结果，过程包括：

34、确定窗口大小，依次计算窗口内观测值的平均值，并将窗口按照一定的步长向后滑动，直到覆盖整个时间序列，其公式为：

35、gt＝xt+∈t  (1)

36、其中，xt表示观测值，gt表示真实值，∈t表示噪声；

37、将相邻时刻的观测值相加后平均，其公式为：

38、

39、式中，pt表示t时刻的滤波结果，xt-1表示t-1时刻的观测值，n表示滑动窗口半径，将公式(1)代入公式(2)，得到公式：

40、

41、式中，gt-i表示t-i时刻的真实值，gt+i表示t+i时刻的真实值，∈t-i表示t-i时刻的噪声，∈t+i表示t+i时刻的噪声；

42、假设噪声均值为0，得到公式：

43、

44、当观测数据的真实值变化较小时，或者变化为线性时，得到公式：

45、

46、优选的，所述步骤s1中数据漂移处理包括：采用拉伊达准则，对服从正态分布的数据，取3σ(x)作为判别异常数据的界限，采用贝塞尔公式计算标准偏差估计值，误差值大于3σ(x)时，剔除数据。

47、因此，本发明采用上述一种数据处理方法，具有以下有益效果：

48、(1)具有良好的自适应性和适用性，可以适用于不同类型和不同环境下的数据处理需求；

49、(2)采用多重数据处理技术的组合，提高了数据处理的稳定性和可靠性，减少了数据处理过程中的误差和不确定性，确保了数据处理结果的准确性和可信度。

50、下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

技术特征：

1.一种数据处理方法，其特征在于，步骤包括：

2.根据权利要求1所述的一种数据处理方法，其特征在于：所述步骤s1中，采用决策树法和线性回归法填补缺失值的方法为：构建决策树模型，根据已有数据的特征推断缺失数据的取值，采用线性回归法，利用线性关系拟合数据，填补缺失值；

3.根据权利要求2所述的一种数据处理方法，其特征在于：所述步骤s1中，采用分箱法进行噪声处理的步骤包括：

4.根据权利要求3所述的一种数据处理方法，其特征在于：所述步骤s1中，采用奇异值分解法进行噪声处理的步骤包括：

5.根据权利要求4所述的一种数据处理方法，其特征在于：所述步骤s2中采用滑动平均法平滑数据，采用标准残差法检测数据异常点，提高数据稳定性。

6.根据权利要求5所述的一种数据处理方法，其特征在于：所述滑动平均法将前后时刻共2n+1个观测值做平均，得到当前时刻的滤波结果，过程包括：

7.根据权利要求6所述的一种数据处理方法，其特征在于：所述步骤s1中数据漂移处理包括：采用拉伊达准则，对服从正态分布的数据，取3σ(x)作为判别异常数据的界限，采用贝塞尔公式计算标准偏差估计值，误差值大于3σ(x)时，剔除数据。

技术总结本发明公开了一种数据处理方法，属于数据处理技术领域，包括采集数据，并对数据进行检测，若存在缺失数据，进行数据缺失处理，然后进行数据噪声处理，若不存在缺失数据，直接进行数据噪声处理；将数据噪声处理后的数据采用滑动平均法和标准残差法进行数据跳点处理；对数据噪声处理后的数据采用拉伊达准则进行数据漂移处理。本发明采用上述一种数据处理方法，采用多重数据处理技术的组合，提高了数据处理的稳定性和可靠性，减少了数据处理过程中的误差和不确定性。技术研发人员：王其明,施公佐,邢荣军,唐俊杰,朱代强,胡根生,赵伟受保护的技术使用者：浙江交投高速公路运营管理有限公司技术研发日：技术公布日：2024/9/9