异常数据检测的方法、装置、终端设备及存储介质与流程

本技术涉及数据处理，特别涉及一种异常数据检测的方法、装置、终端设备及存储介质。

背景技术：

1、利用风力发电系统的监视控制与数据采集(supervisory control and dataacquisition，scada)系统可以获得大量数据用于风电机组的分析，而scada系统在风电领域的典型应用就是对风电机组实际功率曲线的建模，以准确描述风电机组在实际运行过程中的真实性能。然而，由于各种内部或外部因素影响，scada系统采集的数据中存在多种干扰，无法直接进行风电机组实际功率曲线的建模。相关技术中采用多种基于离群值智能消除的方法对scada系统采集的数据进行数据异常检测，但是相关技术中的数据异常检测方法高度依赖于scada系统采集的数据本身忽略了数据之间的关系，因此，相关技术中对scada系统采集的数据进行异常数据处理的效果较差，严重影响了后续风电机组实际功率曲线建模的效果。

技术实现思路

1、本技术旨在至少解决现有技术中存在的技术问题之一。为此，本技术提出一种异常数据检测的方法、装置、终端设备及存储介质，能够准确剔除系统采集的数据中的异常数据，进而提高数据异常检测的效果。

2、第一方面，本技术实施例提供了一种异常数据检测的方法，所述方法包括：

3、获得风电机组对应的第一运行数据，并确定所述第一运行数据进行异常数据检测时所需的目标参数；

4、从所述第一运行数据获得所述目标参数对应的第二运行数据；

5、根据所述目标参数对所述第二运行数据进行数据聚类，获得所述第二运行数据对应的数据标签；

6、根据所述数据标签确定时间维度下所述目标参数对应的目标矩阵；

7、利用知识库和/或推理机制对所述目标矩阵进行异常检测，获得所述第二运行数据对应的检测结果；

8、根据所述检测结果对所述第二运行数据进行异常处理，获得所述风电机组对应的目标运行数据。

9、在一些可选的实施例中，所述根据所述目标参数对所述第二运行数据进行数据聚类，获得所述第二运行数据对应的数据标签，包括：

10、对所述目标参数进行组合获得多组组合参数，其中，每个所述组合参数包括第一参数和第二参数；

11、从所述第二运行数据中获得所述第一参数对应的第一数据和所述第二参数对应的第二数据；

12、根据所述时间维度将所述第一数据和所述第二数据进行组合获得所述组合参数对应的组合数据；

13、对所述组合数据进行数据聚类，获得所述组合参数对应的所述组合数据的聚类结果；

14、根据所述聚类结果确定所述组合参数对应的所述组合数据的所述数据标签。

15、在一些可选的实施例中，所述对所述组合数据进行数据聚类，获得所述组合参数对应的所述组合数据的聚类结果，包括：

16、确定所述组合参数中所述第一参数和所述第二参数之间对应的目标曲线；

17、从所述目标曲线中获得所述组合数据对应的关联数据，其中，所述关联数据为所述组合数据在所述目标曲线中距离最近的点；

18、计算所述组合数据中的第三数据和所述第三数据在所述关联数据中对应的第四数据之间的目标距离；

19、确定所述组合数据进行数据聚类时所需的初始个体数量和第一放大因子，并将所述初始个体数量和所述第一放大因子进行相乘，获得目标数量；

20、对全部所述目标距离进行排序获得排序结果，并从所述排序结果中获得所述目标数量对应的距离数值；

21、对所述目标数量对应的所述距离数值求取均值，获得平均距离；

22、确定第二放大因子，并根据所述第二放大因子和所述平均距离确定所述组合数据进行数据聚类时所需的最大半径；

23、根据所述最大半径对所述组合数据进行数据聚类，获得所述组合参数对应的所述组合数据的聚类结果。

24、在一些可选的实施例中，所述根据所述聚类结果确定所述组合参数对应的所述组合数据的所述数据标签，包括：

25、确定第三放大因子和获得所述第二运行数据对应的数据数量；

26、将所述第三放大因子、所述数据数量和所述目标距离三者进行相乘获得第一乘积结果；

27、对所述第一乘积结果进行取整处理，获得第二乘积结果；

28、根据所述初始个体数量和所述第二乘积结果进行相乘获得所述第三数据在进行数据聚类时所需的目标个体数量，其中，所述目标个体数量表示所述第三数据在聚类时邻域内包含的最少样本数量；

29、根据所述目标个体数量和所述聚类结果确定所述组合参数对应的所述组合数据的所述数据标签。

30、在一些可选的实施例中，所述根据所述数据标签确定时间维度下所述目标参数对应的目标矩阵，包括：

31、确定所述目标参数对应的参数数量，根据所述参数数量建立对应的初始矩阵；

32、确定目标时间，根据所述目标时间从所述数据标签中获得多组所述组合参数分别对应的目标标签；

33、将多个所述目标标签根据多组所述组合参数更新至所述初始矩阵中，获得所述目标矩阵。

34、在一些可选的实施例中，利用推理机制对所述目标矩阵进行异常检测，获得所述第二运行数据对应的检测结果，包括：

35、计算所述目标矩阵各行元素之和，获得目标行对应的第一总值；

36、若所述第一总值和第一预设数值相等的情况下，确定所述目标行对应的相应参数的所述第二运行数据的检测结果为正常值；

37、若所述第一总值和第二预设数值相等的情况下，确定所述目标行对应的所述相应参数的所述第二运行数据的检测结果为异常值；

38、若所述第一总值和所述第一预设数值不相等，且所述第一总值和所述第二预设数值也不相等的情况下，从所述目标矩阵中获得矩阵值等于第一目标值所处的目标列；

39、计算所述目标列中各列元素之和，获得所述目标列对应的第二总值；

40、若所述第二总值小于或者等于第三预设数值的情况下，确定所述目标列对应的所述相关参数的所述第二运行数据的检测结果为所述异常值；

41、将所述矩阵值更改为第二目标值，并重新计算所述目标矩阵各行元素之和，获得所述目标行对应的第三总值；

42、若所述第三总值大于所述第三预设数值的情况下，确定所述目标行对应的所述相关参数的所述第二运行数据的检测结果为所述正常值；

43、若所述第二总值大于所述第三预设数值的情况下，确定所述目标列对应的相关参数的所述第二运行数据的检测结果为所述正常值；

44、若所述第三总值小于或者等于所述第三预设数值的情况下，确定所述目标行对应的相关参数的所述第二运行数据的检测结果为所述异常值。

45、在一些可选的实施例中，利用知识库对所述目标矩阵进行异常检测，获得所述第二运行数据对应的检测结果，包括：

46、获得所述目标矩阵中的每行元素或每列元素；

47、若所述每行元素或所述每列元素均与第一目标值相同的情况下，则确定所述每行元素或所述每列元素对应的相关参数的所述第二运行数据的所述检测结果为异常值；

48、若所述每行元素或所述每列元素均与第二目标值相同的情况下，则确定所述每行元素或所述每列元素对应的所述相关参数的所述第二运行数据的所述检测结果为正常值；

49、若所述每行元素或所述每列元素与所述第一目标值存在不全部相等的情况下，获得所述每行元素或所述每列元素与所述第二目标值相等的元素数量；

50、若所述元素数量大于或者等于第四预设值的情况下，确定所述每行元素或所述每列元素对应的所述相关参数的所述第二运行数据的所述检测结果为所述正常值；

51、若所述元素数量小于或者等于第五预设值的情况下，确定所述每行元素或所述每列元素对应的所述相关参数的所述第二运行数据的所述检测结果为所述异常值。

52、第二方面，本技术实施例提供了一种异常数据检测的装置，包括：

53、数据获取模块，被配置为获得风电机组对应的第一运行数据，并确定所述第一运行数据进行异常数据检测时所需的目标参数；

54、数据处理模块，被配置为从所述第一运行数据获得所述目标参数对应的第二运行数据；

55、数据聚类模块，被配置为根据所述目标参数对所述第二运行数据进行数据聚类，获得所述第二运行数据对应的数据标签；

56、矩阵确定模块，被配置为根据所述数据标签确定时间维度下所述目标参数对应的目标矩阵；

57、异常检测模块，被配置为利用知识库和/或推理机制对所述目标矩阵进行异常检测，获得所述第二运行数据对应的检测结果；

58、异常处理模块，被配置为根据所述检测结果对所述第二运行数据进行异常处理，获得所述风电机组对应的目标运行数据。

59、在一些可选的实施例中，所述数据聚类模块进一步被配置为：

60、参数组合模块，被配置为对所述目标参数进行组合获得多组组合参数，其中，每个所述组合参数包括第一参数和第二参数；

61、数据对应模块，被配置为从所述第二运行数据中获得所述第一参数对应的第一数据和所述第二参数对应的第二数据；

62、数据组合模块，被配置为根据所述时间维度将所述第一数据和所述第二数据进行组合获得所述组合参数对应的组合数据；

63、组合聚类模块，被配置为对所述组合数据进行数据聚类，获得所述组合参数对应的所述组合数据的聚类结果；

64、标签确定模块，被配置为根据所述聚类结果确定所述组合参数对应的所述组合数据的所述数据标签。

65、在一些可选的实施例中，所述组合聚类模块进一步被配置为：

66、曲线确定模块，被配置为确定所述组合参数中所述第一参数和所述第二参数之间对应的目标曲线；

67、数据关联模块，被配置为从所述目标曲线中获得所述组合数据对应的关联数据，其中，所述关联数据为所述组合数据在所述目标曲线中距离最近的点；

68、距离计算模块，被配置为计算所述组合数据中的第三数据和所述第三数据在所述关联数据中对应的第四数据之间的目标距离；

69、数量确定模块，被配置为确定所述组合数据进行数据聚类时所需的初始个体数量和第一放大因子，并将所述初始个体数量和所述第一放大因子进行相乘，获得目标数量；

70、距离排序模块，被配置为对全部所述目标距离进行排序获得排序结果，并从所述排序结果中获得所述目标数量对应的距离数值；

71、距离平均模块，被配置为对所述目标数量对应的所述距离数值求取均值，获得平均距离；

72、半径确定模块，被配置为确定第二放大因子，并根据所述第二放大因子和所述平均距离确定所述组合数据进行数据聚类时所需的最大半径；

73、聚类处理模块，被配置为根据所述最大半径对所述组合数据进行数据聚类，获得所述组合参数对应的所述组合数据的聚类结果。

74、在一些可选的实施例中，所述标签确定模块进一步被配置为：

75、信息确定模块，被配置为确定第三放大因子和获得所述第二运行数据对应的数据数量；

76、数据相乘模块，被配置为将所述第三放大因子、所述数据数量和所述目标距离三者进行相乘获得第一乘积结果；

77、取整处理模块，被配置为对所述第一乘积结果进行取整处理，获得第二乘积结果；

78、目标确定模块，被配置为根据所述初始个体数量和所述第二乘积结果进行相乘获得所述第三数据在进行数据聚类时所需的目标个体数量，其中，所述目标个体数量表示所述第三数据在聚类时邻域内包含的最少样本数量；

79、标签分析模块，被配置为根据所述目标个体数量和所述聚类结果确定所述组合参数对应的所述组合数据的所述数据标签。

80、在一些可选的实施例中，所述矩阵确定模块进一步被配置为：

81、矩阵初始模块，被配置为确定所述目标参数对应的参数数量，根据所述参数数量建立对应的初始矩阵；

82、标签对应模块，被配置为确定目标时间，根据所述目标时间从所述数据标签中获得多组所述组合参数分别对应的目标标签；

83、矩阵生成模块，被配置为将多个所述目标标签根据多组所述组合参数更新至所述初始矩阵中，获得所述目标矩阵。

84、在一些可选的实施例中，所述异常检测模块进一步被配置为：

85、第一求和模块，被配置为计算所述目标矩阵各行元素之和，获得目标行对应的第一总值；

86、第一比较模块，被配置为若所述第一总值和第一预设数值相等的情况下，确定所述目标行对应的相应参数的所述第二运行数据的检测结果为正常值；

87、第二比较模块，被配置为若所述第一总值和第二预设数值相等的情况下，确定所述目标行对应的所述相应参数的所述第二运行数据的检测结果为异常值；

88、第三比较模块，被配置为若所述第一总值和所述第一预设数值不相等，且所述第一总值和所述第二预设数值也不相等的情况下，从所述目标矩阵中获得矩阵值等于第一目标值所处的目标列；

89、第二求和模块，被配置为计算所述目标列中各列元素之和，获得所述目标列对应的第二总值；

90、第四比较模块，被配置为若所述第二总值小于或者等于第三预设数值的情况下，确定所述目标列对应的所述相关参数的所述第二运行数据的检测结果为所述异常值；

91、数据更改模块，被配置为将所述矩阵值更改为第二目标值，并重新计算所述目标矩阵各行元素之和，获得所述目标行对应的第三总值；

92、第五比较模块，被配置为若所述第三总值大于所述第三预设数值的情况下，确定所述目标行对应的所述相关参数的所述第二运行数据的检测结果为所述正常值；

93、第六比较模块，被配置为若所述第二总值大于所述第三预设数值的情况下，确定所述目标列对应的相关参数的所述第二运行数据的检测结果为所述正常值；

94、第七比较模块，被配置为若所述第三总值小于或者等于所述第三预设数值的情况下，确定所述目标行对应的相关参数的所述第二运行数据的检测结果为所述异常值。

95、在一些可选的实施例中，所述异常检测模块还可进一步被配置为：

96、元素获取模块，被配置为获得所述目标矩阵中的每行元素或每列元素；

97、第一元素比较模块，被配置为若所述每行元素或所述每列元素均与第一目标值相同的情况下，则确定所述每行元素或所述每列元素对应的相关参数的所述第二运行数据的所述检测结果为异常值；

98、第二元素比较模块，被配置为若所述每行元素或所述每列元素均与第二目标值相同的情况下，则确定所述每行元素或所述每列元素对应的所述相关参数的所述第二运行数据的所述检测结果为正常值；

99、第一数量比较模块，被配置为若所述每行元素或所述每列元素与所述第一目标值存在不全部相等的情况下，获得所述每行元素或所述每列元素与所述第二目标值相等的元素数量；

100、第二数量比较模块，被配置为若所述元素数量大于或者等于第四预设值的情况下，确定所述每行元素或所述每列元素对应的所述相关参数的所述第二运行数据的所述检测结果为所述正常值；

101、第三数量比较模块，被配置为若所述元素数量小于或者等于第五预设值的情况下，确定所述每行元素或所述每列元素对应的所述相关参数的所述第二运行数据的所述检测结果为所述异常值。

102、第三方面，本技术实施例提供了一种终端设备，包括至少一个控制处理器和用于与所述至少一个控制处理器通信连接的存储器；所述存储器存储有可被所述至少一个控制处理器执行的指令，所述指令被所述至少一个控制处理器执行，以使所述至少一个控制处理器能够执行如上述第一方面所述的异常数据检测的方法。

103、第四方面，本技术实施例提供了一种计算机可读存储介质，存储有计算机可执行指令，所述计算机可执行指令用于执行如上述第一方面所述的异常数据检测的方法。

104、根据本技术实施例的异常数据检测的方法，至少具有如下有益效果：该方法包括获得风电机组对应的第一运行数据，并确定第一运行数据进行异常数据检测时所需的目标参数；从第一运行数据获得目标参数对应的第二运行数据；根据目标参数对第二运行数据进行数据聚类，获得第二运行数据对应的数据标签；根据数据标签确定时间维度下目标参数对应的目标矩阵；利用知识库和/或推理机制对目标矩阵进行异常检测，获得第二运行数据对应的检测结果；根据检测结果对第二运行数据进行异常处理，获得风电机组对应的目标运行数据。本技术通过目标参数对第二运行数据进行数据聚类，获得第二运行数据对应的数据标签，从而根据数据标签确定目标参数对应的目标矩阵，使用了多个目标参数进行交叉验证，可以有效地对第二运行数据进行归类和筛选，从而得到差异明显的离群点检测结果，也即获得的数据标签更为准确，进而利用知识库和/或推理机制对目标矩阵进行异常检测，可以增强对异常数据的检测灵敏度，减少误报和漏报情况，提高异常检测的准确性。最后根据检测结果对第二运行数据进行异常处理，可以实现自动化的异常处理过程，减少人工干预。从而提高了风力发电系统监测数据的利用效率，也为后续风电机组功率曲线建模的准确性提供良好的支撑。