一种监测并控制反应溶液颗粒浓度的方法与流程

本发明属于半导体工艺中的颗粒浓度监测与控制，尤其涉及一种监测并控制反应溶液颗粒浓度的方法。

背景技术：

1、近年来，随着半导体器件制造工艺不断提高，对pcb或者ic基板面上微小颗粒或碎屑的控制要求也越来越严格。这些微小颗粒和残留物会导致芯片缺陷率上升，影响产品质量和良率。具体来说例如干/湿膜显影、阻焊显影或者干/湿膜剥膜这些需要处理光刻胶的制程环节，在以前的产品生产中这些颗粒（碎屑）对产品影响尚可接受，但是在新一代的技术中这些碎屑所带来的负面问题就是需要考虑的。在新一代的技术当中这些颗粒物（碎屑）的控制对于制程本身、整体良率以及化学处理腔体的寿命所带来的负面影响越来越重要。

2、当前阶段在生产诸如ic基板这种高端产品的过程中对上述颗粒（碎屑）的管控方式上，更多的是通过尽量多注入全新的化学药剂的方式，对冲不断增加的颗粒（碎屑）的方式来使整体的颗粒物（碎屑）量保持在阈值以下这种方式来进行控制的，在检测到碎屑浓度超出合理范围时，通过向体系中补充适量的水稀释碎屑浓度；进一步在实时检测到溶液中化学药剂浓度低于合理范围时，向体系中添加适量的化学药剂，满足生产要求。

3、现有技术中，通常采用电导率测量的方式来测量颗粒浓度，这项测量的方式覆盖了市场上大部分的工艺设备，除了导电率测量之外，对于相对高端的产品，还有采用光度测量的方式进行测量，但是这两种测量方式，随着控制要求的提高，其采样精度和采样率越来越无法满足工艺监测需求，并且缺乏一种基于所监测浓度的高精度高效率的控制策略。

技术实现思路

1、针对上述问题，本发明提供了一种监测并控制反应溶液颗粒浓度的方法，包括以下过程：

2、将温度传感器和超声波传感器同时布设于基于管道流入系统或者喷淋系统的内循环管道壁相邻位置处，并固定化学试剂的流速不变，监测反应溶液温度数据和溶液颗粒浓度数据的同时，控制纯水流速；以温度和溶液颗粒浓度作为优化控制目标，通过温度补偿保证超声波传感器的检测精度；

3、根据满足最佳控制目标的控制策略，即水阀开度和温度补偿量的最优设定值，建立基于强化学习的控制器模型；

4、将控制器模型部署到整体系统的控制器中，并对控制器模型进行训练与应用，实现高效闭环的颗粒浓度监测与纯水流速控制。

5、优选的，还包括以下过程：

6、采集内循环管道内壁的实时颗粒浓度数据、超声波传感器处的溶液温度数据、入水口处的温度数据和入水口中纯水的流速数据，并对已采集数据进行预处理；

7、构建反应室中的颗粒浓度模型和温度模型，观察反应过程中的动态变化；

8、基于颗粒浓度模型和温度模型构建仿真环境，得到最佳满足控制目标的控制策略，即水阀开度和温度补偿量的最优设定值；

9、基于强化学习的控制器模型，在仿真环境中训练该控制器模型得到一个初始化模型；

10、将初始化模型部署到系统的控制器中，在真实环境中进行进一步训练与应用，实现高效闭环的颗粒浓度监测与纯水流速控制。

11、优选的，采集数据具体包括：

12、颗粒浓度数据采集：超声波传感器通过与溶液接触并发射超声波，根据超声波的反射情况来计算颗粒浓度，这些浓度数据被记录下来，并随时间变化而更新，记为；

13、温度数据采集：在反应过程中，会出现一定温度变化，从而影响超声波传感器的测量精度，因此需要进行温度补偿，第一温度传感器安装在内循环管道内壁，测量超声波传感器处的温度变化，这些温度数据随着时间的推移而实时更新，记为；同时，使用第二温度传感器采集入水口温度数据，记为；

14、纯水流速数据采集：第一电磁流量计用于测量入水口中纯水的流速；通过电磁感应原理，测量流经入水口的纯水流速数据，记为，同时，通过第二电磁流量计采集时间时刻流场的速度，即整个反应室中溶液的流动速度，记为。

15、优选的，对已采集数据进行预处理的具体过程为：

16、超声波采集的颗粒浓度数据预处理：采用小波变换对颗粒浓度数据进行去噪处理，以消除由于测量设备或环境引入的高频噪声干扰；小波变换将信号分解成不同频率的成分，进而通过选择性地去除高频噪声，保留有用的信号信息，公式为：

17、（1）

18、其中，表示小波变换去噪算法，为滤波后的浓度数据；

19、温度数据预处理：采用卡尔曼滤波对温度数据进行融合处理，以抑制由于测量误差或系统漂移引入的随机噪声和漂移，公式为：

20、（2）

21、其中，表示卡尔曼滤波算法，为滤波后的反应室温度数据，为滤波后的入水口温度。

22、优选的，所述构建反应室中的颗粒浓度模型和温度模型，其中，颗粒浓度模型建立具体为：

23、经过预处理后的实时的浓度数据，代表在时间时刻溶液中小颗粒的浓度分布；采用基于数据的无限元建模方法，将整个溶液流场离散为有限个小单元，在每个小单元中，小颗粒的浓度演化满足偏微分方程:

24、（3）

25、其中，为梯度运算符，为时间时刻单元中小颗粒的浓度分布，为时间时刻单元中的颗粒通量；

26、颗粒通量包含扩散效应和对流效应两部分，因此，颗粒通量可表示为这两部分效应的叠加：

27、（4）

28、其中，为扩散系数，描述了在溶液中小颗粒的扩散速率，为流场速度；

29、将时刻所有小单元的通量求和，即可获得时刻整个流场中浓度的总体变化率：

30、（5）

31、通过将实时浓度数据代入上述方程，并结合流场速度，通过数值方法求解，就可以获得系统在任意时刻的浓度分布场。

32、优选的，所述构建反应室中的颗粒浓度模型和温度模型，其中，温度模型建立具体为：

33、经过预处理后的实时的浓度数据，代表在时间时刻溶液的温度分布；溶液温度受到两种热效应的影响，包括纯水体积流量带来的对流热传递和溶液内部产生一定化学反应的热传导；根据这两种热效应的影响建立能量守恒方程描述温度场的动态变化：

34、（6）

35、其中，为溶液密度，为溶液比热容，为溶液热传导率，为时刻的外部热源项；

36、外部热源项来自两部分：时刻溶液内部的化学反应热传导以及时刻纯水体积流量带来的对流热传递：

37、（7）

38、其中，为反应室内体积流量，为入水口的进口温度；将上述两部分相加，可得时刻总的外部热源项：

39、（8）

40、将反应室内的温度数据以及、代入上述方程，并结合流场速度，通过数值方法求解，即可获得系统在任意时刻的温度分布场。

41、优选的，基于颗粒浓度模型和温度模型构建仿真环境，得到最佳满足控制目标的控制策略，具体为：

42、采用建立的颗粒浓度模型和温度模型作为基础，将其数字化为偏微分方程组作为仿真模型：

43、（9）

44、其中，为温度补偿量，和分别为浓度场和温度场相应的扩散系数，和分别为控制变量和对浓度和温度的影响函数；此偏微分方程通过数值方法在计算机上求解；

45、确定控制变量和优化目标：针对控制要求，控制变量自然选择为影响溶液浓度和温度的两个主要参数: 纯水流速和温度补偿量；同时，设定约束条件：

46、设定最大浓度阈值：设置允许的最大浓度阈值；当前浓度场大于最大浓度阈值时，通过控制纯水流速向反应室内加入适量的纯水稀释颗粒浓度，使得温度场保持在最大浓度阈值之下，确保反应室内化学溶液的稳定性；

47、设定温度控制范围：根据超声波传感器的工作温度范围，设置温度控制范围，通过温度补偿，以避免温度对超声波传感器测量的影响；

48、在上述基础上，在仿真环境中搜索最优控制策略。

49、优选的，所述此偏微分方程通过数值方法在计算机上求解，具体流程为：

50、离散化：将偏微分方程中的连续变量离散化为网格点上的离散点，这包括在时间和空间上离散化浓度和温度场；

51、数值逼近：根据离散化后的方程，采用数值逼近方法，将偏微分方程转化为代数方程组；

52、求解代数方程组：利用求解代数方程组的数值方法，求解离散化后得到的代数方程组，获得在不同时间和空间位置上的溶液浓度和温度的数值解；

53、基于数值模拟的结果，确定控制变量和优化目标，并利用优化算法搜索最优的纯水流速和温度补偿量组合，使得反应过程中的溶液浓度和温度能够满足要求并达到最佳反应效果。

54、优选的，所述在仿真环境中搜索最优控制策略，具体为：

55、初始化纯水流速和温度补偿量的值；

56、将初始化的纯水流速和温度补偿量代入仿真模型（9）中，通过数值方法求解得到溶液浓度场和温度场；

57、根据得到溶液浓度场和温度场检查是否满足约束条件；

58、如果不满足约束条件，则根据优化算法更新纯水流速和温度补偿量；

59、重复上述步骤，直至约束条件满足且优化目标达到可接受的最小值；

60、输出最优控制策略：纯水流速和温度补偿量。

61、优选的，所述建立基于强化学习的控制器模型，具体为：

62、为了得到最优结果，建立一个状态空间和动作空间，并确定环境的状态转移过程；用表示时间步时的状态，表示时间步时的动作，表示在状态执行动作后获得的即时奖励；状态空间由反应室内的浓度场和温度场构成，表示为一个向量：

63、（10）

64、动作空间表示控制器采取的动作集合，通常表示为连续空间或者离散空间；动作表示为控制纯水流量的阀门的开度和控制温度补偿量的温度控制器的功率；控制纯水流量的阀门的开度和温度控制器的功率用一个连续的值来表示，该值范围从0到1，其中，0表示阀门完全关闭或者温度控制器完全不工作，而1表示阀门完全打开或者温度控制器以最大功率运行；

65、根据设定的状态空间和动作空间，则控制器环境建模为：

66、（11）

67、其中，为环境的状态转移函数，为环境中的随机扰动。

68、优选的，控制器模型的训练过程包括：

69、设计奖励函数以引导强化学习控制器的行为；奖励函数与优化目标相一致；优化目标为维持最优纯水流速和温度补偿量，因此，奖励函数定义为：

70、（12）

71、其中，为权衡纯水流速和最优纯水流速的参数，为权衡反应室中的温度补偿量和最优温度补偿量的参数；

72、构建一个q值函数来学习动作值函数，以此来指导动作的选择；q值函数表示在状态下执行动作的预期累积奖励，即q值函数是根据累积奖励函数而更新的；基于q值函数对控制器环境模型进行训练，定义损失函数是通过每个经验元组的样本的期望来计算的，为下一个状态；损失函数定义为：

73、（13）

74、其中，表示期望操作符，为折扣因子，为目标网络的参数，用于计算目标q值，即未来预期的累积奖励，为主网络的参数，用于评估在给定状态下采取不同动作的q值。

75、优选的，基于损失函数对控制器模型进行训练，具体步骤为：

76、s1，初始化经验元组、主网络的参数和目标网络参数以及状态空间；

77、s2，根据当前q网络选择动作；

78、s3，在环境中执行动作,观测下一个状态,获得即时奖励;

79、s4，将存入经验元组；

80、s5，从经验元组中采样批量数据，并根据式（13）计算该批量数据的损失；

81、s6，使用随机梯度下降更新q值网络参数，并进行状态的更新；

82、s7，重复步骤s2-s7，当模型的总奖励没有明显提高，证明模型已经趋于收敛，训练结束；

83、经过训练后，得到控制器模型：

84、（14）

85、其中，为当前状态，包括反应室内的浓度场和温度场；为在当前状态下选择的动作，即阀门开度和温度控制器的功率；为训练得到的控制器模型参数，即经过训练的深度q网络参数。

86、与现有技术相比，本发明具有如下有益效果：

87、1.通过数据驱动建模和强化学习技术，克服了传统方法的局限，实现了在多种光刻胶制程和生产线平台上自动化高效溶液颗粒浓度的监测与控制。通过优化控制纯水流速和温度补偿量，最大限度去除残余颗粒，同时避免机械损伤和化学污染。

88、2.反应质量稳定可控。通过实时监测颗粒浓度数据和温度数据，快速调整控制参数，确保在各种制程和平台上，反应温度控制在合理范围内，彻底去除颗粒，从而提高芯片良品率。

89、3.灵活适应不同工艺条件。本发明构建的数学模型能够描述反应过程中颗粒浓度和温度的动态变化，不受特定工艺参数的限制。通过在仿真环境中训练强化学习控制器，可自主学习适应不同初始浓度、温度、流速等工况下的最优控制策略，具有较强的通用性和鲁棒性，能够广泛应用于各个制程环节和机器平台，制程环节包括干膜显影、液态光刻胶显影、阻焊显影、干膜剥膜、液态光刻胶剥膜，机器平台包括垂直连续线、水平连续线、单板多制程处理。