一种基于切比雪夫法则和孤立森林机器学习方法的数据处理方法与流程

本申请涉及数据分析，具体地，涉及一种基于切比雪夫法则和孤立森林机器学习方法的数据处理方法。

背景技术：

1、某控制系统是整个航天飞行器的核心部件，对其产生的试验数据进行研究，可以提前找出控制系统本身的问题。如今面临两项困难，(1)试验有限，能得到正式产品的多条试验数据都实属不易，所以涉及数据的研究范围又属于小样本数据。(2)有效的试验数据包络分析在型号测试中是很重要的一环，它决定了试验是否有效，试验的正确结论是否能够给出，以及测试中是否出现问题等多个方面，但如今这方面在控制系统数据分析中比较薄弱。试验数据包络的分析，现在主要针对一二次电源电压数据，从飞行器点火起飞至试验断电。各型号控制系统现有的数据包络分析方法，本质上是以区间理论值判断的。例如试验得出一个数据簇，统计出最大最小值(作为上下包络值)。之后的每一条试验数据都和这个最大值最小值进行比较，得出数据在包络内还是包络外的结论。这种方法的三个缺陷为：1)几次试验得出的数据簇统计出的最大最小值中包括了问题数据，则这个区间不但无效反而有害。2)这种方法并不能有效区分很多的近边缘问题数据。3)这种方法对于多条试验数据的一致性并未给出有效判断，判断不出某套问题设备与其他正常设备数据的不一致性。

2、并且，传统方法对于单套数据无法有效监测出奇异点，以及对于不同发次数据无法得出数据一致性的好坏。

技术实现思路

1、本申请实施例中提供了一种基于切比雪夫法则和孤立森林机器学习方法的数据处理方法，以解决传统的数据包络分析方法存在的缺陷。

2、为了达到上述目的，本申请提供如下技术方案：

3、本申请实施例提供的一种基于切比雪夫法则和孤立森林机器学习方法的数据处理方法，该方法包括以下步骤：

4、对采用同一种控制系统的不同飞行器的数据进行anderson-darling正态性检验；

5、使用切比雪夫法则，对于单条数据进行数据包络分析，得出合格不包络点和不合格点；

6、使用孤立森林机器学习方法对所述的不同飞行器的所有数据的一致性进行分析，得出数据的一致性结论；

7、对不同发次数据的数据包络分析，得出数据一致性的好坏，映射该飞行器存在问题，找到问题设备和问题飞行器。

8、作为优选，所述的anderson-darling正态性检验包括：

9、对采样的数据通过minitab 17软件进行anderson-darling正态性检验，在软件显示中，正态分布p值小于0.005的数据为非正态分布数据。

10、作为优选，所述的对于单条数据进行数据包络分析使用的公式如下：

11、

12、

13、

14、

15、其中，xi为电压采样值，一般n可以取3和5，本处取3，取lcl和要求的取值下限中的大者为包络下限，取ucl和要求的取值上限中的小者为包络上限。

16、作为优选，所述的得出合格不包络点和不合格点，具体包括：

17、基于anaconda3.0平台用python语言编写算法实现软件，通过该软件对数据包络分析的结果进行展现；

18、基于预设的包络下限和包络上限以及该软件的显示，统计获取合格包络点的总数、合格不包络点的总数以及不合格点的总数。

19、作为优选，所述的使用孤立森林机器学习方法对所述的不同飞行器的所有数据的一致性进行分析，具体包括：

20、采用孤立森林机器学习方法寻找数据中的孤立点；

21、获取所有的孤立点在数据中的占比以及将孤立点定位到每一条试验数据，得出数据的一致性结论。

22、作为优选，所述的对不同发次数据的数据包络分析，具体包括：

23、计算数据中孤立点占总数的占比值；

24、预设比例阈值，剔除占比值小于该比例阈值的点后，对数据进行一致性的好坏的分析。

25、作为优选，该方法还包括：

26、在使用孤立森林机器学习方法之前，对孤立森林机器学习方法进行准确性验证。

27、作为优选，所述的准确性验证，具体包括：

28、以红酒数据集为测试对象采用原孤立森林算法进行测试；

29、以红酒数据集为测试对象采用88.9％概率的孤立森林打分方法进行测试。

30、作为优选，所述的准确性验证，还包括：

31、利用随机数据逼近实际数据进行准确性测试。

32、作为优选，该方法采用96％概率的孤立森林打分方法作为使用的孤立森林机器学习方法对所述的不同飞行器的所有数据的一致性进行分析。

33、采用本申请实施例中提供的一种基于切比雪夫法则和孤立森林机器学习方法的数据处理方法，相较于现有技术，具有以下技术效果：

34、可以达到原本数据包络分析的目的，对单条数据进行数据包络分析可以找出其中的奇异点，通过对奇异点发生时刻各设备的研究，可以得出设备可能或已经出现的故障。对不同发次数据的数据包络分析，可以得出数据一致性的好坏，哪发飞行器的数据问题严重，从而映射出哪发飞行器有问题，找到潜在的问题设备和问题飞行器。

技术特征：

1.一种基于切比雪夫法则和孤立森林机器学习方法的数据处理方法，其特征在于，该方法包括以下步骤：

2.根据权利要求1所述的基于切比雪夫法则和孤立森林机器学习方法的数据处理方法，其特征在于，所述的anderson-darling正态性检验包括：

3.根据权利要求1所述的基于切比雪夫法则和孤立森林机器学习方法的数据处理方法，其特征在于，所述的对于单条数据进行数据包络分析使用的公式如下：

4.根据权利要求3所述的基于切比雪夫法则和孤立森林机器学习方法的数据处理方法，其特征在于，所述的得出合格不包络点和不合格点，具体包括：

5.根据权利要求1所述的基于切比雪夫法则和孤立森林机器学习方法的数据处理方法，其特征在于，所述的使用孤立森林机器学习方法对所述的不同飞行器的所有数据的一致性进行分析，具体包括：

6.根据权利要求5所述的基于切比雪夫法则和孤立森林机器学习方法的数据处理方法，其特征在于，所述的对不同发次数据的数据包络分析，具体包括：

7.根据权利要求1所述的基于切比雪夫法则和孤立森林机器学习方法的数据处理方法，其特征在于，该方法还包括：

8.根据权利要求7所述的基于切比雪夫法则和孤立森林机器学习方法的数据处理方法，其特征在于，所述的准确性验证，具体包括：

9.根据权利要求8所述的基于切比雪夫法则和孤立森林机器学习方法的数据处理方法，其特征在于，所述的准确性验证，还包括：

10.根据权利要求8或9所述的基于切比雪夫法则和孤立森林机器学习方法的数据处理方法，其特征在于，该方法采用96％概率的孤立森林打分方法作为使用的孤立森林机器学习方法对所述的不同飞行器的所有数据的一致性进行分析。

技术总结本申请实施例中提供了一种基于切比雪夫法则和孤立森林机器学习方法的数据处理方法，涉及数据分析技术领域，该方法包括以下步骤：对采用同一种控制系统的不同飞行器的数据进行正态性检验；使用切比雪夫法则，对于单条数据进行数据包络分析，得出合格不包络点和不合格点；使用孤立森林机器学习方法对不同飞行器的所有数据的一致性进行分析，得出数据的一致性结论；对不同发次数据的数据包络分析，得出数据一致性的好坏，映射该飞行器存在问题，找到问题设备和问题飞行器。本申请，可以达到原本数据包络分析的目的，得出设备可能或已经出现的故障，和得出数据一致性的好坏，找到潜在问题设备和问题飞行器。技术研发人员：聂鹏,张锋镝,方焕辉,张勇,朱萍,张文宣,霍燃,朱佳玮,张志瑶,李翔宇,胡金鹏,田越受保护的技术使用者：北京航天自动控制研究所技术研发日：技术公布日：2024/7/29