天车的运行控制方法及装置与流程

本发明涉及半导体搬运设备，尤其涉及一种天车的运行控制方法及装置。

背景技术：

1、oht（overhead hoist transport，空中运输车）系统是一种用于晶圆生产厂（fab）内的自动化运输系统，主要用于在自动化制造车间内装载和运输晶圆片的晶圆盒（wafercassettes）。典型应用包括晶圆的光刻、蚀刻、沉积和抛光等工艺之间的运输，从储存区域到生产设备之间的运输，以及不同生产线之间的物料转移。

2、oht系统的轨道悬挂在车间的天花板或高处，通过轨道连接各个工艺设备和储存区域，实现运输路线的设定和覆盖。空中运输车即天车在轨道上运行，负责将晶圆盒从一个工位运输到另一个工位。运输车通常配备有机械手或夹具，用于抓取和放置晶圆盒。控制系统负责管理和协调运输车的运行，确保晶圆盒能够按照预定的路径和时间表进行运输。控制系统通常与制造执行系统（mes）集成，以实现生产过程的自动化管理。通信系统用于运输车与控制系统之间的通信，确保实时的状态监控和指令传递。通信系统可以是有线或无线的，根据具体应用和环境要求选择。

3、由于oht系统可以灵活地设定运输路径和调度运输车，能够适应不同生产需求和工艺流程的变化，具有很高的灵活性。当厂内存在额外的搬运任务时，需要以较快的速度执行该搬运任务。一般情况下，其他的天车在执行搬运任务时的路径都是通过路径规划模型提前规划好的，这些搬运任务在规划路径时可以考虑到多个天车同时执行任务时轨道上的负载情况，因此这些天车只需要按照规划好的路径运行就行。但是对于这些计划之外的额外搬运任务，再去采用路径规划模型去规划路径时，重新考虑到这些天车同时执行任务的情况，需要重新对天车的路径进行统一规划，比较耗费时间。因此，在采用其他方式规划这些执行额外任务的天车的路径时，这些执行额外任务的天车容易与其他按照规划路径行驶的天车产生路径冲突，特别是在轨道交汇处。因此，如何有效规划这些执行额外任务的天车的路径来适应轨道交汇处等位置的路径冲突以实现路径规划是一个亟需解决的问题。

技术实现思路

1、本发明提供一种天车的运行控制方法及装置，用以解决现有技术中难以对执行额外搬运任务天车进行路径规划的缺陷，实现提高路径规划的精度和准确性的效果。

2、本发明提供一种天车的运行控制方法，包括：

3、将目标天车的起始节点、终止节点以及天车轨道网络中轨道交汇处对应的交汇节点的状态信息输入至目标路径规划模型，利用所述目标路径规划模型得到对各交汇节点的节点决策动作信息以及各节点决策动作信息对应的目标交汇节点，以得到所述目标天车的目标路径；所述状态信息包括当前节点连接的各轨道段上的交汇节点、各轨道段上的天车运行信息、各轨道段的类型以及各轨道段的最大允许速度；起始节点、终止节点分别为所述目标天车在所述天车轨道网络中运行的起点和终点对应的节点；

4、控制所述目标天车按照所述目标路径进行运行；

5、其中，所述目标路径规划模型是以目标路径规划样本集中的历史状态信息为样本，以与所述历史状态信息对应的历史节点决策动作信息为标签，强化训练过渡路径规划模型得到的；所述过渡路径规划模型是基于初始路径规划样本集对初始路径规划模型训练得到的；所述初始路径规划样本集包括初始路径规划模型在轨道网络中所确定的运行路径对应的交汇节点的状态信息和状态信息对应的节点决策动作信息。

6、根据本发明提供的一种天车的运行控制方法，所述过渡路径规划模型通过以下方式训练得到：

7、基于为所述初始路径规划模型进行动作决策所配置的奖励函数，计算所述初始路径规划模型决策出的动作信息对应的奖励信息；

8、基于天车执行动作信息后确定的交汇节点的状态信息以及所述奖励信息，更新所述初始路径规划模型的参数，得到过渡路径规划模型。

9、根据本发明提供的一种天车的运行控制方法，所述奖励函数包括多个子函数，所述奖励函数由以下公式确定：

10、；

11、其中，表示奖励函数，表示允许运行速度子函数，表示当前总时间代价子函数，表示轨道段类型子函数，表示等待时间损失子函数；w1、w2、w3以及w4均为权重系数；允许运行速度子函数的值的大小与各轨道段的最大允许速度成正比，当前总时间代价子函数的值的大小与天车运行至当前节点所耗费的时间成反比，轨道段类型子函数的值的大与天车运行过的环形轨道的数量成反比；等待时间损失子函数的值的大小与轨道段上的天车运行信息关联。

12、根据本发明提供的一种天车的运行控制方法，所述等待时间损失子函数表示为：

13、；

14、其中，r4为等待时间损失子函数，k 是与轨道段相关的常数，表示每增加一个天车对等待时间的影响；n 是轨道段上运行的天车总数量，nn是轨道段上与所述目标天车行驶方向相反的天车数量，np是轨道段上与所述目标天车行驶方向相同的天车数量， dn 是表示与所述目标天车行驶方向相反的天车对等待时间影响的系数，dp 是表示与所述目标天车行驶方向相同的天车对等待时间影响的系数，且dn＜dp。

15、根据本发明提供的一种天车的运行控制方法，所述目标路径规划样本集包括第一历史状态信息和与所述第一历史状态信息对应的第一历史节点决策动作信息，所述第一历史节点决策动作信息是基于对应的奖励函数值从所述初始路径规划模型在所述天车轨道网络中自主进行路径规划得到的历史节点决策动作信息中筛选得到的。

16、根据本发明提供的一种天车的运行控制方法，所述目标路径规划样本集还包括第二历史状态信息和与所述第二历史状态信息对应的第二历史节点决策动作信息，所述第二历史节点决策动作信息是所述初始路径规划模型在所述天车轨道网络中进行路径规划时人工选择的历史节点决策动作信息。

17、根据本发明提供的一种天车的运行控制方法，天车运行信息通过以下方式确定：

18、基于所述天车轨道网络中对各天车进行路径规划得到的结果以及各天车运行的时间窗，得到天车运行时间表；所述天车运行时间表包括每个天车在每个轨道段上运行的时段；

19、基于所述运行时间表，确定不同时段各轨道段上的天车运行信息；所述天车运行信息包括各轨道段上的天车数量以及运行方向。

20、本发明还提供一种天车的运行控制装置，包括：

21、预测模块，用于将目标天车的起始节点、终止节点以及天车轨道网络中轨道交汇处对应的交汇节点的状态信息输入至目标路径规划模型，利用所述目标路径规划模型得到对各交汇节点的节点决策动作信息以及各节点决策动作信息对应的目标交汇节点，以得到所述目标天车的目标路径；所述状态信息包括当前节点连接的各轨道段上的交汇节点、各轨道段上的天车运行信息、各轨道段的类型以及各轨道段的最大允许速度；起始节点、终止节点分别为所述目标天车在所述天车轨道网络中运行的起点和终点对应的节点；

22、控制模块，用于控制所述目标天车按照所述目标路径进行运行；

23、其中，所述目标路径规划模型是以目标路径规划样本集中的历史状态信息为样本，以与所述历史状态信息对应的历史节点决策动作信息为标签，强化训练过渡路径规划模型得到的；所述过渡路径规划模型是基于初始路径规划样本集对初始路径规划模型训练得到的；所述初始路径规划样本集包括初始路径规划模型在轨道网络中所确定的运行路径对应的交汇节点的状态信息和状态信息对应的节点决策动作信息。

24、本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述天车的运行控制方法。

25、本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述天车的运行控制方法。

26、本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述天车的运行控制方法。

27、本发明提供的天车的运行控制方法及装置，通过输入起始节点、终止节点和轨道交汇处对应的状态信息，利用目标路径规划模型得到对各交汇节点的节点决策动作信息以及目标交汇节点，考虑到了执行额外任务的天车可能与按照规划路径行驶的天车在交汇处产生路径冲突的问题，实现对目标天车路径的精确规划，考虑到了轨道网络中各种条件的影响，提高了路径规划的精度和准确性，通过以历史状态信息为样本、历史节点决策动作信息为标签进行强化训练，得到过渡路径规划模型，可以更好地利用过去的经验，提升路径规划模型的智能化和适应性，在面对额外任务时，天车可以快速、高效地执行任务来应对天车轨道网络中的真实情况，不会因为路径冲突而产生延误或安全问题，提高了生产效率和任务执行的可靠性。