不平衡光谱数据检测方法、装置、电子设备及存储介质与流程

本技术涉及检测光谱数据的，具体而言，涉及一种不平衡光谱数据检测方法、装置、电子设备及存储介质。

背景技术：

1、在光谱检测中，对不平衡光谱数据进行检测是一个常见且具有挑战性的问题。不平衡光谱数据指的是某一类别的光谱数据点数量远多于其他类别的光谱数据，或者某些类别的光谱数据点在特征空间中的分布极为稀疏的光谱数据。

2、为了处理不平衡光谱数据，将采样技术应用于机器学习算法领域，通过机器学习算法从多数类光谱数据点样本中采样一部分有代表性的光谱数据点来实现不平衡光谱数据的平衡，能够有效地改善模型对少数类光谱数据点样本的识别能力，提高分类准确率。但是，现有的基于机器学习算法进行光谱检测的方法，难以准确分析不平衡光谱数据，无法有效地选择出最具代表性的光谱数据点，从而无法准确刻画不平衡光谱数据的内在规律。

3、因此，为了解决现有的光谱数据检测方法无法有效地从不平衡光谱数据选择出最具代表性的光谱数据点而难以准确分析不平衡光谱数据的技术问题，亟需一种不平衡光谱数据检测方法、装置、电子设备及存储介质。

技术实现思路

1、本技术的目的在于提供一种不平衡光谱数据检测方法、装置、电子设备及存储介质，通过将基于k均值聚类算法和变分em算法得到的光谱采样数据输入到预设的光谱检测模型中，计算得到不平衡光谱数据的类别结果，解决现有的光谱数据检测方法无法有效地从不平衡光谱数据选择出最具代表性的光谱数据点而难以准确分析不平衡光谱数据的问题，能够准确并快速地对不平衡光谱数据进行分类鉴别，提高了不平衡光谱数据的检测效率。

2、第一方面，本技术提供了一种不平衡光谱数据检测方法，包括：

3、获取不平衡光谱数据；

4、对所述不平衡光谱数据进行降维后，使用k均值聚类算法，对降维后的不平衡光谱数据进行聚类，得到降维光谱数据；

5、通过变分em算法，对所述降维光谱数据进行采样，得到光谱采样数据；

6、将所述光谱采样数据输入至预设的光谱检测模型，计算得到所述不平衡光谱数据的类别结果。

7、本技术提供的不平衡光谱数据检测方法可以实现对不平衡光谱数据进行检测，通过将基于k均值聚类算法和变分em算法得到的光谱采样数据输入到预设的光谱检测模型中，计算得到不平衡光谱数据的类别结果，解决现有的光谱数据检测方法无法有效地从不平衡光谱数据选择出最具代表性的光谱数据点而难以准确分析不平衡光谱数据的问题，能够准确并快速地对不平衡光谱数据进行分类鉴别，提高了不平衡光谱数据的检测效率。

8、可选地，所述不平衡光谱数据包括光谱数据点；对所述不平衡光谱数据进行降维后，使用k均值聚类算法，对降维后的不平衡光谱数据进行聚类，得到降维光谱数据，包括:

9、对所述不平衡光谱数据进行降维，得到降维后的不平衡光谱数据；

10、从所述降维后的不平衡光谱数据中选择多个所述光谱数据点作为多个初始聚类中心；

11、基于所述初始聚类中心，通过所述k均值聚类算法，将所有所述光谱数据点划分为多个光谱数据点分组，得到降维光谱数据。

12、本技术提供的不平衡光谱数据检测方法可以实现对不平衡光谱数据进行检测，通过k均值聚类算法，将不平衡光谱数据中的光谱数据点划分为多个光谱数据点分组，得到降维光谱数据，通过对降维光谱数据进行采样，有利于提高不平衡光谱数据的检测效率。

13、可选地，基于所述初始聚类中心，通过所述k均值聚类算法，将所有所述光谱数据点划分为多个光谱数据点分组，得到降维光谱数据，包括：

14、步骤a1，计算所述光谱数据点中除所述初始聚类中心以外的其他光谱数据点与多个所述初始聚类中心的距离；

15、步骤a2，把所述其他光谱数据点分配到距离最近的所述初始聚类中心，形成光谱数据点分组；

16、步骤a3，重新计算所述光谱数据点分组中的聚类中心，并根据所述聚类中心与所述聚类中心以外的所有所述其他光谱数据点的距离，把所述聚类中心以外的所有所述其他光谱数据点进行重新分配；

17、步骤a4，重复执行步骤a3，直到所述聚类中心不再变化时，将划分得到的多个光谱数据点分组确定为降维光谱数据。

18、可选地，通过变分em算法，对所述降维光谱数据进行采样，得到光谱采样数据，包括：

19、基于预设的能量泛函函数，在剔除所述降维光谱数据中的异常数据的同时，构建对应的条件概率分布，用以通过采样法计算得到所述降维光谱数据的变分概率分布；

20、采用梯度下降法，对所述降维光谱数据进行迭代更新，并对迭代更新后的降维光谱数据对应的条件概率分布进行迭代，得到与所述变分概率分布的kl散度最小的目标条件概率分布；

21、将所述目标条件概率分布对应的迭代后的降维光谱数据确定为所述光谱采样数据。

22、本技术提供的不平衡光谱数据检测方法可以实现对不平衡光谱数据进行检测，通过变分em算法，在剔除异常数据后，计算得到与变分概率分布的kl散度最小的目标条件概率分布，并获取目标条件概率分布对应的降维光谱数据作为光谱采样数据，通过光谱检测模型检测光谱采样数据，能够获取不平衡光谱数据的类别，提高了不平衡光谱数据的检测效率。

23、可选地，基于预设的能量泛函函数，在剔除所述降维光谱数据中的异常数据的同时，构建对应的条件概率分布，用以通过采样法计算得到所述降维光谱数据的变分概率分布，包括：

24、将所述降维光谱数据的条件概率分布设置为设有所述预设的能量泛函函数的正态分布；

25、计算所述预设的能量泛函函数的包络，并剔除所述降维光谱数据中的位于所述包络外的光谱数据点；

26、以每个光谱数据点分组的光谱数据点的采样数量相等为约束，以最大化所述正态分布为目标，在所述降维光谱数据中进行采样，计算得到所述降维光谱数据的变分概率分布。

27、可选地，采用梯度下降法，对所述降维光谱数据进行迭代更新，并对迭代更新后的降维光谱数据对应的条件概率分布进行迭代，得到与所述变分概率分布的kl散度最小的目标条件概率分布，包括：

28、采用梯度下降法，对所述降维光谱数据进行迭代更新，记录每次迭代后的降维光谱数据，得到多个迭代后的降维光谱数据；

29、计算得到各所述迭代后的降维光谱数据对应的多个条件概率分布，并计算多个所述条件概率分布与所述变分概率分布之间的kl散度，得到多个kl散度；

30、比较多个所述kl散度之间的大小关系，以提取多个所述kl散度中的最小值；

31、将所述最小值对应的条件概率分布确定为与所述变分概率分布的kl散度最小的目标条件概率分布。

32、可选地，所述预设的光谱检测模型为随机森林模型。

33、第二方面，本技术提供了一种不平衡光谱数据检测装置，包括：

34、获取模块，用于获取不平衡光谱数据；

35、降维模块，用于对所述不平衡光谱数据进行降维后，使用k均值聚类算法，对降维后的不平衡光谱数据进行聚类，得到降维光谱数据；

36、采样模块，用于通过变分em算法，对所述降维光谱数据进行采样，得到光谱采样数据；

37、计算模块，用于将所述光谱采样数据输入至预设的光谱检测模型，计算得到所述不平衡光谱数据的类别结果。

38、该不平衡光谱数据检测装置，通过将基于k均值聚类算法和变分em算法得到的光谱采样数据输入到预设的光谱检测模型中，计算得到不平衡光谱数据的类别结果，解决现有的光谱数据检测方法无法有效地从不平衡光谱数据选择出最具代表性的光谱数据点而难以准确分析不平衡光谱数据的问题，能够准确并快速地对不平衡光谱数据进行分类鉴别，提高了不平衡光谱数据的检测效率。

39、第三方面，本技术提供了一种电子设备，包括处理器和存储器，所述存储器存储有所述处理器可执行的计算机程序，所述处理器执行所述计算机程序时，运行如前文所述不平衡光谱数据检测方法中的步骤。

40、第四方面，本技术提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时运行如前文所述不平衡光谱数据检测方法中的步骤。

41、有益效果：本技术提供的不平衡光谱数据检测方法、装置、电子设备及存储介质，通过将基于k均值聚类算法和变分em算法得到的光谱采样数据输入到预设的光谱检测模型中，计算得到不平衡光谱数据的类别结果，解决现有的光谱数据检测方法无法有效地从不平衡光谱数据选择出最具代表性的光谱数据点而难以准确分析不平衡光谱数据的问题，能够准确并快速地对不平衡光谱数据进行分类鉴别，提高了不平衡光谱数据的检测效率。