一种基于知识蒸馏的炼焦生产过程智能优化方法与流程

本发明涉及工业生产过程智能优化，具体来说是一种基于知识蒸馏的炼焦生产过程智能优化方法。

背景技术：

1、焦炭是一个市场规模极大的工业领域，根据2022年数据显示全球年产焦炭8.04亿吨。近年来炼焦企业面临原料炼焦生产效益下跌、环保要求趋严等生产挑战，因此催生了炼焦生产过程优化的工程需求。

2、当前许多工作基于数据驱动建模，建立了炼焦生产预测模型。如，利用回归方法建立适合焦化厂自身特点的焦炭灰分、硫分、冷态强度和热性质的预测模型。结果表明,预测模型准确度较高,可稳定焦炭质量和降低配煤成本。陶文华在处理炼焦生产过程问题时，针对炼焦生产过程中炼焦生产过程数学模型难以建立、统计量大等问题,建立由de算法改进优化ref神经网络的预测模型。经仿真结果表明，预测模型具有较高的精度、稳定性和训练速度,对降低炼焦生产过程、提高企业经济效益具有一定意义。

3、wang等分析了cdq（干息焦）系统的经济效益指标，提出了一种基于sae深度学习的数据驱动建模方法，用于焦炭cdq运行预测，并利用该预测模型对cdq控制系统进行监督。该方法可以显著优化运行性能，提高经济效益。cheng等提出一种基于支持向量机回归（svr）的预测控制策略，采用基于结构风险最小化的svr模型进行预测模型，采用自适应权重粒子群优化（apso）算法对svr参数进行优化，然后利用在线滚动优化和反馈校正来预测和补偿未来的误差。仿真结果表明，该控制策略具有较强的抗干扰性和鲁棒性，保证了预冷装置压力在过程中的快速有效稳定性。

4、而焦炉炼焦是个复杂的工业生产过程，原料组成及配比、焦炉环境配置、工艺与人工操作等多方向都存在非常多的输入变量，都会影响着炼焦生产过程输出结果。现有技术采用的传统机器学习算法随着模型的复杂度增加，模型参数越来越多，模型规模和需要的计算浮点数也越来越大，这对硬件资源(如内存、cpu)产生了更高的要求，不利于模型在存储空间、续航受限的设备上部署使用。

5、zhao等提出一种基于长短期记忆网络（lstm）的冶金工业焦炉煤气生成焦炉数字孪生模型。使用基于神经网络的焦炉煤气预测模型，通过确定参数的关联特征，训练足够的历史数据进行模型，最终取得了不错的预测结果。zhu等在处理焦炭价格波动的预测问题上提出一种采用密集gru算法（dgru）和基于对立的学习算法（olssa）的新型焦炭价格预测方法。通过构建具有两层堆叠dgru的模型和利用olssa对dgru的关键参数进行调整以期获得准确的预测结果。实验结果表明，相比其他竞争方法有更好的预测结果。

6、实际生产中，原料类、能源类、焦炉操作类的影响变量非常多，而在搭建预测模型的过程中，存在因特征过多从而影响模型性能的问题，拟采用深度学习的方法，解决因传统机器学习算法规模不匹配。

7、目前，在炼焦产业多特征参数和机器学习算法的基础上，新的炼焦生产过程预测算法模型、压缩模型复杂度以及优化过程控制装置的设计等问题亟需深入研究，同时，炼焦生产过程复杂、机理原理不明，行业内亟待构建基于数据驱动的生产过程智能优化方法，并指导技改优化工作。

技术实现思路

1、本发明的目的是为了解决现有技术中焦炭质量及焦炭产量在线检测困难、时效性上有很大的滞后以及炼焦生产过程很难实时优化控制的缺陷，提供一种基于知识蒸馏的炼焦生产过程智能优化方法来解决上述问题。

2、为了实现上述目的，本发明的技术方案如下：

3、一种基于知识蒸馏技术的炼焦生产过程智能优化方法，包括以下步骤：

4、11）获取影响焦炭产量、质量的数据：获取影响焦炭产量、质量的输入变量15项，其包括：配合煤的水分、挥发分、硫分、灰分、粘结性指数g、焦炉煤气使用量、焦炉煤气预热前温度、焦炉煤气预热后温度、集气管输入端压力西、集气管输出端压力东、烟道机侧吸力、烟道焦侧吸力、烟道机侧温度、烟道焦侧温度_2、结焦时间l；

5、12）对数据进行主成分分析预处理：对影响焦炭产量、质量数据进行主成分分析处理；

6、13）炼焦生产预测模型的构建：构建炼焦生产预测模型包括教师网络和学生网络，基于lstm网络模型构建教师网络和学生网络；

7、14）炼焦生产预测模型的训练：利用主成分分析处理后的炼焦生产影响数据，基于模型蒸馏技术训练教师网络和学生网络；使用训练好的模型执行推理工作，输入训练集数据，输出模型预测的焦炭产量、焦炭质量结果；

8、15）利用炼焦生产过程双目标优化炼焦生产预测模型：采用多目标遗传算法求解需要优化的目标函数，即在双目标优化模型中求取pareto最优解集，之后在其中寻求出满足焦炭质量达到企业要求的 pareto 最优解；

9、16）优化控制处理：在获取到优化目标之后，通过将优化目标作为各子过程控制系统的设定值与调度系统的决策变量，动态调节各子过程的过程操作参数，指导实际生产的过程优化控制，从而实现生产过程焦炭产量、质量最优解。

10、所述对数据进行主成分分析预处理包括以下步骤：

11、21）将模型训练特征，即配合煤的水分、挥发分、硫分、灰分、粘结性指数g、焦炉煤气预热前温度、焦炉煤气预热后温度、烟道机侧吸力、烟道焦侧吸力进行标准化处理，

12、)/，

13、其中，为模型训练特征在k时刻的采样值，为标准化处理的模型训练特征在k时刻的值，、为模型训练特征的基于n的平均值、标准差且=,，i=1、2、3、…、9为炼焦生产预测的影响因素的9个指标，n为样本个数；

14、22）求标准化处理后配合煤和焦炉数据的协方差与相关系数矩阵r，

15、，

16、r=(=[]，

17、其中，、为模型训练特征、基于n的平均值且/n,/n,为采集数据的系数,j=1、2、3、…、9为炼焦生产预测的影响因素的9个指标，n为样本个数；

18、23）计算相关系数矩阵的特征值和各主元的方差贡献率=、累计方差贡献率=,其中，v=1、2、3、…、9为主元变量；

19、24）计算特征值对应的正交单位化特征向量和主元元素，选择累计方差贡献率超过85%的c个高贡献率主元元素，将c个主元元素和余下6个采集数据组合在一起成为预处理后的数据。

20、所述炼焦生产预测模型的构建包括以下步骤：

21、31）设计炼焦生产预测模型，炼焦生产预测模型为基于知识蒸馏技术的改进lstm网络模型，其包含以lstm网络为基础的教师网络lstm-att+loss和以浅层lstm网络为基础的学生网络；

22、311）设定教师网络：

23、设定教师网络包括lstm层、注意力机制层att、dropout层、全连接层和损失函数层loss；

24、312）设定学生网络：

25、设定学生网络包括浅层lstm层、注意力机制层att、dropout层、全连接层以及损失函数层loss；

26、313）lstm层通过门控机制实现对时序信息的遗忘或保留, 注意力机制层att实现对序列特征的权重分配，dropout层按百分之五十的概率将神经元从lstm网络中移除，全连接层更新记忆信息对所有数据序列无差别更新，损失函数层loss用于在模型训练过程中惩罚模型预测出不切合实际的输出结果；

27、32）利用知识蒸馏方法设定目标标签，知识蒸馏方法包括概率分布权重注意力机制知识蒸馏att kd和损失函数知识蒸馏loss kd，

28、321）设定概率分布权重注意力机制知识蒸馏att kd：将教师网络中注意力机制层att知识迁移到学生网络中注意力机制层att，从而提高学生网络中lstm网络层的炼焦生产预测能力；

29、其中，注意力机制层att计算公式如下：

30、β=softmax（,v= ，

31、softmax为归一化函数，β为对特征m注意力的加权系数所组成的向量，为注意力层的权重向量，v为注意力层的输出向量，y是特征本身；

32、把预处理后的数据送入教师网络、学生网络中，定义att kd损失为：

33、，

34、式中：>0为正则化参数，、表示数据在教师网络、学生网络中经att层加权后得到的特征，表示l1范式，用来进行特征选择；

35、322）设定mse损失函数和损失函数知识蒸馏loss kd ：

36、将教师网络中损失函数层迁移到学生网络中，改善学生网络的泛化能力，实现与教师网络相近的结构分布；

37、其中，loss函数设定如下：

38、,

39、其中，和分别为预测值和实际值，n为样本数量；

40、把预处理后的数据送入教师网络、学生网络中，定义loss kd损失为：

41、=，

42、其中，kd（*）旨在使教师网络与学生网络筛选的具有相同的位置分布，分别表示k时刻输出经教师网络与学生网络的特征筛选得到的相同特征。

43、所述炼焦生产预测模型的训练包括以下步骤：

44、41）将预处理后的数据切分成训练数据和测试数据；设定网络超参数包括神经网络层数、神经元数量、学习率、训练的批次大小和样本训练次数；

45、炼焦生产过程预测模型的输出为：焦炭质量与产量；

46、42）训练教师网络lstm-att+loss，其步骤如下：

47、421）输入训练数据至lstm网络层，计算出细胞状态和隐藏层状态，再输入至注意力机制层att输出权重，再经dropout层、全连接层进入损失函数层计算性能指标；

48、422）通过训练教师网络得到预测标签向量；用计算损失，优化器通过反向传播更新教师网络参数；更新教师网络学习率保存软标签att kd和loss kd，以供学生模型学习训练特征；

49、43）利用教师模型输出的软标签来指导学生模型的训练，使其模仿并提升模型的预测能力；运用训练好的学生模型对焦炭生产数据进行精确的预测；基于预测结果进一步调整炼焦过程的参数，旨在模型泛化能力，同时确保精准的预测结果；

50、431）送入教师网络，得到带有att的特征，作为教师网络软标签；

51、432）和教师网络软标签同时送入学生网络，得到带有att的特征显著特征根据得到的学生网络软标签计算损失；

52、433）根据损失，优化器通过反向传播更新学生网络参数；

53、434）更新学生网络学习率；得到最优炼焦生产预测模型后，输出结果并进行保存；

54、44）测试模型：对测试数据，将输入学生网络，得到生产预测结果，根据模型输出焦炭产量焦炭质量。

55、所述利用炼焦生产过程双目标优化炼焦生产预测模型包括以下步骤：

56、51）建立炼焦生产过程双目标优化模型：

57、基于炼焦生产预测模型，对于处理后的特征，i=1、2、3、…、9采用固定值，将集气管输入端压力西、集气管输出端压力东、烟道机侧温度、烟道焦侧温度_2、结焦时间l作为双目标优化的决策变量；

58、双目标优化形式如下：

59、minimize 

60、x ={、、、_2、l、}，

61、s.t.

62、80、130,1150<<1300,

63、1200<_2<1350,18<l<22，，

64、其中，m，n为自定义正数，保证、非负，优化目标是以满足焦炉煤气使用量为基本要求的前提下，解出使得焦炭产量最大的同时焦炭质量品质高的优化目标{、、、_2、l}；

65、52）nsga-ii算法求pareto最优解：

66、炼焦生产过程优化目标函数的求解问题属于双目标优化问题,其求解过程实际上是求取pareto最优解；采用多目标遗传算法，即nsga-ii算法求解双目标优化问题；

67、521）设定个体编码

68、采用二进制编码，即用一个二进制向量作为一个染色体表示每个x，向量的长度依赖于区间长度和要求的精度，、、、_2、l的区间长度分别为50，50，150，150，4，则它们分别需要13位，13位，14位，14位，9位，一个染色体共需要长度为64的二进制位串；

69、522）设定群体初始化：采用随机方法产生进化初始化；

70、523）设定适应度函数：采用权重和法去评价演化个体优劣，则，

71、+；

72、采用随机权重方法决定；

73、524）设定选择策略：采用轮盘赌选择方法；

74、525）设定交叉、变异方式：交叉操作采用常用的两点交叉,变异操作采用均匀变异；

75、526）通过多目标遗传算法获取优化目标的pareto 最优解，即通过双目标优化模型获得焦炭产量大、焦炭质量高时的各项参数，包括、、、_2、l，同时通过这些参数指导实际生产的过程优化控制。

76、所述优化控制处理包括以下步骤：

77、61）设定炼焦生产过程智能优化控制装置包括焦炉温度传感器、集气管压力传感器、焦炉煤气流量计、烟道吸力传感器、烟道温度传感器、plc控制器、执行器和数据采集系统；

78、62）通过设计的优化控制装置收集炼焦过程中的各种数据，包括炼焦原料配合煤的水分、挥发分、硫分、灰分和粘结性指数，以及炼焦过程的温度、压力、吸力和结焦时间；

79、63）根据已建立的炼焦生产预测模型，将炼焦采集实际数据作为输入；输入数据经预处理后送入炼焦生产预测模型中，以焦炭质量、产量作为输出；输出的数据利用炼焦生产过程双目标优化炼焦生产预测模型，通过以集气管输入端压力、烟道机侧温度、烟道焦侧温度、结焦时间作为优化目标，将煤气使用量作为优化目标的检验条件，去求解优化目标的pareto最优解；求得结果指导实际生产的过程优化控制，从而实现对炼焦生产过程进行智能优化控制。

80、有益效果

81、本发明的一种基于知识蒸馏的炼焦生产过程智能优化方法，与现有技术相比构建基于数据驱动的生产过程智能优化控制装置，利用采集的实时数据和设计的深度学习网络预测模型，对生产过程进行实时监测和优化。通过调整参数、预测故障、优化资源分配等方式，显著提高企业的生产效率，减少各类资源浪费。

82、本发明采用深度学习网络进行建模，比传统神经网络有着更好的性能和预测结果，具有较强的可扩展性，处理复杂数据出色。

83、lstm网络在处理时间序列预测、信号处理等任务中具有极好的优势，本发明采用lstm网络的同时在网络中加入注意力机制与损失函数，提高了模型的预测效果，增强了模型的泛化性、鲁棒性。

84、深度学习神经网络通常具有复杂的结构，需要大量的计算资源和存储空间，且梯度消失和梯度爆炸是训练网络模型常见问题，影响模型的收敛速度和稳定性。本发明采用知识蒸馏的方法通过构建一个轻量化的小模型（称为学生网络），利用性能更好的大模型（称为教师网络）的监督信息来训练学生模型，以期提升模型精度，降低模型时延，压缩网络参数。

85、炼焦生产过程目标参数的求解问题属于多目标优化问题, 其求解过程实际上是求取pareto最优解集。常用的智能优化算法有模拟退火算法、多目标粒子群算法、多目标遗传算法等。相较于其他算法，本发明所涉及的多目标遗传算法具备种群的多样性和全局搜索等特性, 可以有效保证群体的多样性, 以及求解出的优化解为全局最优解。