基于DDPG算法的塑料管道自动化生产控制系统及控制方法

本发明属于塑料管道生产过程控制，具体涉及基于ddpg算法的塑料管道自动化生产控制系统及控制方法。

背景技术：

1、目前，塑料管道生产普遍还依赖专业师傅的调机经验，需要人在现场进行实地操作来保证管道的生产质量。管道生产质量主要包括管道圆截面壁厚和管道重量。现场调机对人的经验依赖性较高，而且现有生产过程采用事后抽检的方式，会出现不合格管道被批量生产出来而导致浪费的现象。这主要原因是现有塑料管道生产系统未考虑由材料、环境温度、电流波动等环境因素的对生产质量的干扰，即使有经验的工人也很难根据环境因素及时调整生产工艺参数。此外，现有生产过程采用了较为保守的生产策略。例如，为防止管道壁厚不达标，通过调节生产工艺参数使得管道壁厚比国家标准的允许值偏厚。这显然会引起大批量生产中塑料管道的原材料浪费。

技术实现思路

1、针对现有技术中存在的上述问题，本发明的目的在于提供一种基于深度确定策略梯度算法(deep deterministic policy gradient,ddpg)的塑料管道自动化生产控制系统及控制方法，让塑料管道自动过程中，在线检测管道壁厚、重量等参数，利用泛化性程度高，支持多维连续动作空间与多维连续状态空间的ddpg算法，实时调控塑料管道挤出生产线的工艺参数，如挤出速度、挤出温度等，让生产既符合各项标准要求又不过于保守，提高材料利用率，进而降低对工人的技能要求，又基于ddpg控制算法的受环境影响低的强鲁棒性特点保证管道生产合格率。

2、本发明提供如下技术方案：

3、基于ddpg算法的塑料管道自动化生产控制系统，包括云端服务器、本地控制单元、本地感知单元和本地执行单元，本地控制单元与云端服务器通讯连接；

4、云端服务器用于接收、发送和储存本地感知单元采集的管道生产参数，并接收端口控制命令，通过云端控制单元将控制数据发送给本地执行单元；云端服务器包括云端控制单元、ddpg模型训练单元、数据储存单元和通讯单元；

5、本地感知单元采集管道生产参数，并将采集的数据发送至云端控制运算单元进行运算，将运算结果通过通讯单元发送至本地执行单元，实现管道生产全自动化控制；

6、本地控制单元用于发送控制指令至云端服务器，并接收管道生产参数，本地控制单元设有自动控制调节模式单元。

7、本地执行单元用于接收本地控制单元的控制数据，并根据控制数据调节生产参数，其包括挤出机、调心系统、冷却槽、牵引机和切割机。

8、进一步的，所述本地感知单元包括测厚仪、米重机、挤出机电机转速传感器、模具温度传感器、管道温度传感器、冷却槽水泵转速传感器、冷却槽温度传感器、牵引机电机转速传感器和牵引速度传感器。

9、进一步的，所述测厚仪测量冷却槽与牵引机之间的管道的尺寸，米重机测量单根管道的总质量，挤出机电机转速传感器和模具温度传感器采集挤出机的生产参数，管道温度传感器采集管道进入冷却槽前的表面温度，冷却槽水泵转速传感器和冷却槽温度传感器采集冷却槽的生产参数，牵引机电机转速传感器和牵引速度传感器采集牵引机的生产参数。

10、进一步的，所述自动控制调节模式单元包括手动控制模块、自动控制模块和传感器调整模块。

11、进一步的，所述手动控制模块包括手动控制挤出机、调心系统、冷却槽、牵引机和切割机的操作按钮；自动控制模块中设有用于控制管道变粗、变细、管壁加厚、减薄、对心的管道外形尺寸调节模块；传感器调整模块包括绑定传感器模块及管道检测数据设定上下限值设定模块。

12、进一步的，所述绑定传感器模块包括测厚仪和米重机绑定模块，传感器检测数据设定上下限值设定模块包括管道尺寸上下值设定模块和管道重量上下值设定模块。

13、进一步的，所述本地控制单元与云端服务器的通讯连接采用有线以太网、lora、nb-iot、4g及5g中的一种或多种通讯连接模式，以提高通讯连接灵活便捷可靠有效性。

14、基于ddpg算法的塑料管道自动化生产控制方法，ddpg算法包括actor网络，actor目标网络，critic网络和critic目标网络；设由本地感知单元测量得到的管道生产状态为s；对本地执行单元实施控制的命令为a，具体的过程如下：

15、(1)本地控制单元从本地感知单元读取当前生产线状态si，将其输入actor网络，由其计算得到当前时刻的控制命令ai，随后本地控制单元将其传递给本地执行单元执行；

16、(2)执行控制命令ai后，产线状态更新为si+1，同时，利用由本地感知单元得到的状态si+1和奖励函数r，计算得到当前时刻的奖励ri；将{si,ai,si+1,ri}存入存储单元；

17、(3)在存储单元中随机采集n个历史数据样本{si,ai,si+1,ri}，将si+1输入actor目标网络，计算得到ai+1；随后，将si+1和ai+1输入critic目标网络，计算得到critic目标网络的输出值q'；

18、(4)将si和ai输入critic网络，计算得到critic网络的输出值q，随后结合奖励ri计算得到损失

19、(5)通过最小化损失，更新critic网络的参数；随后利用梯度更新策略更新actor网络的参数；

20、(6)对更新后的actor网络参数旧的actor目标网络参数做加权计算，更新actor目标网络的参数；同样，对更新后的critic网络参数旧的critic目标网络参数做加权计算，更新critic目标网络的参数；

21、其中下标i，si,ai,ri分别表示控制系统某时刻i的状态，动作和奖励；si+1表示下一时刻的状态。

22、进一步的，奖励函数r为：

23、r＝-(w1(m-[m])2+(1-w1)(s-[s])2)

24、其中，w1表示0～1的权重系数；m表示米重机检测到的管子重量；[m]表示系统设定的管子允许质量；s表示管壁测厚仪检测到的管子形状参数；[s]表示系统设定的管子形状要求。

25、通过采用上述技术，与现有技术相比，本发明的有益效果如下：

26、本发明能够改善塑料管道生产品质，提高管道批量良率，防止因人员操作不当或不及时导致的生产损失；其通过检测更多生产参数，根据多参数监测情况自动执行对管道生产自动控制，提高管道生产自动控制的实际环境变化情况需求，提高自动控制的控制效率，更大程度上的优化提高管道生产质量，降低人工成本。

技术特征：

1.基于ddpg算法的塑料管道自动化生产控制系统，其特征在于：包括云端服务器、本地控制单元、本地感知单元和本地执行单元，本地控制单元与云端服务器通讯连接；

2.根据权利要求1所述的基于ddpg算法的塑料管道自动化生产控制系统，其特征在于所述本地感知单元包括测厚仪、米重机、挤出机电机转速传感器、模具温度传感器、管道温度传感器、冷却槽水泵转速传感器、冷却槽温度传感器、牵引机电机转速传感器和牵引速度传感器。

3.根据权利要求2所述的基于自动测量管道尺寸和自动管道称重的管道生产自动控制系统，其特征在于所述测厚仪测量冷却槽与牵引机之间的管道的尺寸，米重机测量单根管道的总质量，挤出机电机转速传感器和模具温度传感器采集挤出机的生产参数，管道温度传感器采集管道进入冷却槽前的表面温度，冷却槽水泵转速传感器和冷却槽温度传感器采集冷却槽的生产参数，牵引机电机转速传感器和牵引速度传感器采集牵引机的生产参数。

4.根据权利要求2所述的基于自动测量管道尺寸和自动管道称重的管道生产自动控制系统，其特征在于所述自动控制调节模式单元包括手动控制模块、自动控制模块和传感器调整模块。

5.根据权利要求4所述的基于自动测量管道尺寸和自动管道称重的管道生产自动控制系统，其特征在于所述手动控制模块包括手动控制挤出机、调心系统、冷却槽、牵引机和切割机的操作按钮；自动控制模块中设有用于控制管道变粗、变细、管壁加厚、减薄、对心的管道外形尺寸调节模块；传感器调整模块包括绑定传感器模块及管道检测数据设定上下限值设定模块。

6.根据权利要求5所述的基于自动测量管道尺寸和自动管道称重的管道生产自动控制系统，其特征在于所述绑定传感器模块包括测厚仪和米重机绑定模块，传感器检测数据设定上下限值设定模块包括管道尺寸上下值设定模块和管道重量上下值设定模块。

7.根据权利要求1所述的基于自动测量管道尺寸和自动管道称重的管道生产自动控制系统，其特征在于所述本地控制单元与云端服务器的通讯连接采用有线以太网、lora、nb-iot、4g及5g中的一种或多种通讯连接模式，以提高通讯连接灵活便捷可靠有效性。

8.基于ddpg算法的塑料管道自动化生产控制方法，ddpg算法包括actor网络，actor目标网络，critic网络和critic目标网络；其特征在于，设由本地感知单元测量得到的管道生产状态为s；对本地执行单元实施控制的命令为a，具体的过程如下：

9.根据权利要求8所述的基于ddpg算法的塑料管道自动化生产控制方法，其特征在于：奖励函数r为：

技术总结基于DDPG算法的塑料管道自动化生产控制系统及控制方法，属于塑料管道生产控制技术领域。控制系统包括云端服务器、本地控制单元、本地感知单元和本地执行单元，本地控制单元与云端服务器通讯连接，本地感知单元采集管道生产过程中的主要参数，并将采集的数据发送至云端服务器中的数据存储单元，由云端服务器中的DDPG模型训练单元进行训练，将训练完成的DDPG模型下发至本地执行单元，最后本地执行单元实现管道生产全自动化控制。本发明通过检测更多生产过程中的参数，如管子壁厚，重量，摸具温度等，根据多参数监测情况，利用DDPG算法自动控制管道生产，提高管道生产线受环境变化的抗干扰度，提高控制效率，降低人工管理成本，保证产品质量。技术研发人员：谢少军,冯俊敏,刘旭晟受保护的技术使用者：浙江工业大学技术研发日：技术公布日：2024/7/15