集成建模的光谱数据处理方法、系统、介质、产品及设备

本发明涉及数据处理，具体涉及一种集成建模的光谱数据处理方法、系统、介质、产品及设备。

背景技术：

1、本部分的陈述仅仅是提供了与本发明相关的背景技术，并不必然构成现有技术。

2、近红外光谱（near infrared spectrum instrument，nir）技术基于分子振动谱，通过光波在近红外区域内与物质的相互作用进行分析。这一技术自20世纪70年代以来已经迅速发展，成为现代分析化学中一个极为重要的分析工具，因其非破坏性、无需复杂样品前处理、快速以及可以进行在线测量等优点，在许多领域得到广泛应用。在实际建模过程中，偏最小二乘回归（partial least squares regression，pls）是最常用于光谱数据分析的技术之一。

3、尽管pls在许多情况下表现出色，但其在处理高维、复杂光谱数据时仍面临一些关键限制，行业专家们已经开发了多种解决方案来提高模型的准确性和鲁棒性。首先，数据预处理是关键步骤之一，涉及到去噪声、基线校正、归一化和导数等，这些方法帮助减少数据中的非系统变异，提高后续建模的质量和效果。波长选择也是建模的重要环节，主要类别包括过滤式（filter）、封装式（wrapper）、嵌入式（embedded）三大类，从高维数据中提取最优信息的波长，不仅可以优化模型精度和稳定性，还可以显著减少计算复杂度。

4、然而，在实际pls建模过程中，预处理方法多种多样，波长选择算法种类繁多，经常需要耗费大量时间和资源进行实验试错以确定最优的数据处理策略；而且，传统的pls建模通常依赖单一的数据处理策略，这限制了模型适应不同样本类型和复杂数据结构的能力，当训练集改变或测量条件改变时，原有模型往往表现出较低的鲁棒性，无法实现高效和精准的光谱数据处理。

技术实现思路

1、为了解决现有技术的不足，本发明提供了一种集成建模的光谱数据处理方法、系统、介质、产品及设备，不仅可以优化模型的构建和验证过程，还可以显著提高模型的鲁棒性和精确度，确保了模型在多变环境中的稳定性和高性能，提高了光谱数据处理的效率和精度。

2、为了实现上述目的，本发明采用如下技术方案：

3、第一方面，本发明提供了一种集成建模的光谱数据处理方法。

4、一种集成建模的光谱数据处理方法，包括以下过程：

5、将 k种预处理算法和 m种波长选择算法进行组合，形成 k× m种不同的数据处理策略，分别进行pls建模，使用设定的评价指标使用留一法交叉验证评估各个pls模型的性能，选取前 i个性能最佳的pls模型作为一级学习器，其中， k和 m均为大于或等于2的正整数；

6、通过分折交叉预测的方法生成一级学习器的预测结果，每个一级学习器的预测结果将作为一个特征，共有 i个特征，将 i个特征组合作为二级学习器的训练集，其中， i为大于或等于2的正整数；

7、采用 i个一级学习器对测试集进行预测，生成 i个预测结果，将 i个预测结果求取平均值，作为二级学习器的测试集；

8、选择多种不同的回归算法作为二级学习器，在二级学习器的训练集上利用交叉验证的方法训练二级学习器，并采用二级学习器的测试集进行测试，对不同二级学习器的回归算法进行最优参数寻优后，选择处理效果最好的二级学习器作为最终的处理模型；

9、对获取的近红外光谱数据采用最终的处理模型进行光谱数据分析，得到光谱数据分析结果。

10、作为本发明第一方面进一步的限定，所述预处理算法，包括：平滑滤波算法、基线校正算法、散射校正算法和标准化算法。

11、作为本发明第一方面进一步的限定，所述波长选择算法，包括：过滤式算法、封装式算法和嵌入式算法。

12、作为本发明第一方面进一步的限定，所述设定的评价指标，包括：均方根误差和决定系数。

13、作为本发明第一方面进一步的限定，所述回归算法，包括：线性回归算法、贝叶斯回归算法、岭回归算法和基于bagging的回归算法。

14、作为本发明第一方面进一步的限定，对不同二级学习器的回归算法进行最优参数寻优，包括：

15、在二级学习器的训练集上利用交叉验证的方法训练二级学习器，根据交叉验证的效果进行参数调优，以均方根误差和决定系数作为评价指标，对各个二级学习器寻找最优参数。

16、第二方面，本发明提供了一种集成建模的光谱数据处理系统。

17、一种集成建模的光谱数据处理系统，包括：

18、一级学习器生成单元，被配置为：将 k种预处理算法和 m种波长选择算法进行组合，形成 k× m种不同的数据处理策略，分别进行pls建模，使用设定的评价指标使用留一法交叉验证评估各个pls模型的性能，选取前 i个性能最佳的pls模型作为一级学习器，其中， k和 m均为大于或等于2的正整数；

19、二级学习器训练集生成单元，被配置为：通过分折交叉预测的方法生成一级学习器的预测结果，每个一级学习器的预测结果将作为一个特征，共有 i个特征，将 i个特征组合作为二级学习器的训练集，其中， i为大于或等于2的正整数；

20、二级学习器测试集生成单元，被配置为：采用 i个一级学习器对测试集进行预测，生成 i个预测结果，将 i个预测结果求取平均值，作为二级学习器的测试集；

21、最终处理模型生成单元，被配置为：选择多种不同的回归算法作为二级学习器，在二级学习器的训练集上利用交叉验证的方法训练二级学习器，并采用二级学习器的测试集进行测试，对不同二级学习器的回归算法进行最优参数寻优后，选择处理效果最好的二级学习器作为最终的处理模型；

22、光谱数据分析单元，被配置为：对获取的近红外光谱数据采用最终的处理模型进行光谱数据分析，得到光谱数据分析结果。

23、第三方面，本发明提供了一种计算机设备，包括：处理器和计算机可读存储介质；

24、处理器，适于执行计算机程序；

25、计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，所述计算机程序被所述处理器执行时，实现如本发明第一方面所述的集成建模的光谱数据处理方法。

26、第四方面，本发明提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序适于被处理器加载并执行如本发明第一方面所述的集成建模的光谱数据处理方法。

27、第五方面，本发明提供了一种计算机程序产品，所述计算机程序产品包括计算机程序，所述计算机程序被处理器执行时，实现如本发明第一方面所述的集成建模的光谱数据处理方法。

28、与现有技术相比，本发明的有益效果是：

29、1、本发明创新性的提出了一种集成建模的光谱数据处理方法，不仅可以优化模型的构建和验证过程，还可以显著提高模型的鲁棒性和精确度，确保了模型在多变环境中的稳定性和高性能，提高了光谱数据处理的效率和精度。

30、2、本发明通过多样化的数据处理策略和集成建模方法，显著提高了模型的精度、鲁棒性和适应性，同时简化了建模流程和优化过程，为近红外光谱分析领域提供了一种高效且可靠的解决方案。

31、3、本发明提高了模型精度和鲁棒性，通过组合多种预处理和波长选择方法，不同角度最大化数据利用，提高了模型预测精度和鲁棒性。

32、4、本发明通过多个一级pls模型和不同数据处理策略，提升了模型多样性和综合性，增强了稳定性和适应性。

33、5、本发明优化了模型构建和验证过程，通过自动化预处理和波长选择，显著简化了建模流程，减少了实验试错时间，提升了数据处理的质量和容错率。

34、本发明附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。