基于强化学习的液压系统的过滤控制方法及系统与流程

本发明属于液压过滤控制领域，尤其涉及基于强化学习的液压系统的过滤控制方法及系统。

背景技术：

1、液压系统的液压过滤自适应控制方法，作为工业控制领域的重要研究方向，其目的在于实现液压系统的高效、稳定、可靠运行。然而，现有的液压过滤控制技术在面对复杂多变的工业环境和工况时，往往显得力不从心。首先，传统的液压过滤控制方法主要依赖于预设的固定参数和固定的控制逻辑，这种控制方式在面临液压系统内部参数和外部工作环境的动态变化时，难以进行自适应调整。例如，油温的变化会直接影响液压油的粘度和流动性，进而影响过滤效果；油位的波动则可能导致过滤器的工作状态不稳定。其次，传统的控制方法往往无法实时感知这些变化，并据此做出相应的调整，从而导致过滤效果不理想，甚至可能引发系统故障。第三，现有技术对于液压油的污染程度和过滤器的运行状态缺乏实时、准确的监测控制手段。液压油的污染程度直接决定了过滤器的负荷和工作效率，而过滤器的运行状态则直接影响液压系统的整体性能。最后，现有技术还缺乏对系统故障的预测和诊断能力。液压系统在运行过程中，由于各种原因可能会出现各种故障，如过滤器堵塞、泵失效等。

2、如授权公告号为cn116661294b的中国专利公开了一种基于强化学习的阀控液压缸分数阶控制方法及控制系统，根据阀控液压缸控制原理，建立阀控液压缸的数学模型；设计分数阶pid控制器对阀控液压缸系统进行控制；通过强化学习对分数阶pid控制器的参数进行优化调整；通过强化学习优化后的分数阶pid控制器对阀控液压缸进行控制。

3、如公开号为cn117348403a的中国专利公开了一种基于强化学习自适应鲁棒控制的双阀液压系统的控制方法，以强化学习ddpg算法作为上层控制器，以arc控制方法作为下层控制器，在上层控制器中，第一个智能体用于调节自适应鲁棒控制算法的相关参数。第二个智能体用于调节流量分配策略，智能地调节伺服阀与比例阀分配的流量。

4、以上现有技术均存在以下问题：1）传统的液压过滤控制方法主要依赖于预设的固定参数和固定的控制逻辑，这种控制方式在面临液压系统内部参数和外部工作环境的动态变化时，难以进行自适应调整，2）现有技术对于液压油的污染程度和过滤器的运行状态缺乏实时、准确的监测控制手段，3）现有技术还缺乏对系统故障的预测和诊断能力；为解决上述问题，本发明提供了基于强化学习的液压系统的过滤控制方法及系统。

技术实现思路

1、针对现有技术的不足，本发明提出了基于强化学习的液压系统的过滤控制方法及系统，该方法首先设计并配置液压过滤系统，并利用机器学习算法自动初始化过滤系统初始化参数；其次，运行初始化后的系统，实时采集运行参数，并利用构建的伺服控制模型，智能调整过滤器工作状态；同时，利用构建滤芯寿命故障预测模型，精准预测滤芯寿命及系统故障概率，并将预测结果实时反馈至伺服控制模型进行优化；最后设定滤芯使用寿命阈值，当预测寿命达到或低于该阈值时，系统通过反馈机制自动发出预警，并准确给出滤芯更换时间点；本发明控制方法通过智能化管理与优化运行和精准预测与预警机制，提高了过滤效果和过滤控制系统整体的智能程度和适应性。

2、为实现上述目的，本发明提供如下技术方案：

3、基于强化学习的液压系统的过滤控制方法，包括：

4、步骤s1：设计并配置液压过滤系统，同时利用机器学习算法和过滤系统历史初始化数据自动初始化过滤系统中的过滤等级、旁通阀动作阈值参数，并将初始化后的参数写入过滤系统的控制器中，运行经过初始化的过滤系统，并利用高精度传感器实时采集过滤系统运行过程具体参数；

5、步骤s2：构建并训练基于强化学习的伺服控制模型，将训练好的伺服控制模型部署到过滤系统的控制器中，同时将智能传感器实时收集的运行过程具体参数输入到控制器中的伺服控制模型中，智能调整过滤器的工作模式、旁通阀的开闭状态、过滤精度及滤芯更换时间点；

6、步骤s3：构建滤芯寿命故障预测模型，利用历史运行数据和实时监测数据对构建的滤芯寿命故障预测模型进行训练，输出滤芯寿命预测值以及对应滤芯故障的概率预测值，并将预测的滤芯寿命预测值以及对应滤芯故障的概率预测值实时反馈到伺服控制模型进行更新优化；

7、步骤s4：根据过滤器工作环境设置滤芯使用寿命阈值，并将滤芯寿命预测值与滤芯使用寿命阈值进行比较，当预测寿命小于等于预测值时，通过反馈机制将比较结果反馈给伺服控制模型，控制过滤系统发出预警信号，同时给出滤芯具体的更换时间点。

8、具体的，步骤s1中利用机器学习算法和过滤系统历史初始化数据自动初始化过滤系统中的过滤等级、旁通阀动作阈值参数具体步骤包括：

9、s101、从过滤系统的历史运行数据中收集流量、压力、温度、过滤前后介质的质量以及对应的历史过滤等级和旁通阀动作阈值参数，对收集的参数进行清洗和预处理，获取处理后的初始化参数值；

10、s102、设置参数相关性阈值，同时利用相关性分析算法对获取的处理后初始化参数值进行分析，并保留与过滤等级和旁通阀动作阈值参数相关性超过相关性阈值的参数变量，并标记为强相关参数变量；

11、s103、基于随机森林算法构建初始化预测模型，并利用获取的强相关参数变量对构建的初始化预测模型进行训练，并将训练好的初始化预测模型部署在过滤系统的控制器中；

12、s104、当过滤系统启动时，控制器调用训练好的初始化预测模型，根据实时采集的强相关参数变量自动计算出过滤等级和旁通阀动作阈值参数初始化值，并将计算得到的初始化值写入过滤系统的控制器中，控制过滤器的过滤精度和旁通阀的开关状态。

13、具体地，步骤s1中过滤系统运行过程具体参数包括：过滤器前后的压差值、油流量变化值、油温值、油位值、油液粘度值、过滤器压力值、滤芯堵塞度、过滤系统中泵的转速、过滤器使用寿命值、系统故障次数、电机电流。

14、具体地，步骤s2中构建并训练基于强化学习的伺服控制模型具体步骤包括：

15、s201、收集过滤系统运行过程历史参数数据，并利用参数数据构建伺服控制模型中强化学习子模型的输入状态，过滤系统控制器联合执行动作和组合奖励函数

16、

17、其中，表示当前t时刻过滤器前后的压差值，表示当前t时刻过滤器中流量变化值，表示当前t时刻液压油油温，表示当前t时刻液压油油位，表示当前t时刻液压油过滤前后油液污染度差值，表示当前t时刻液压油油液粘度，表示当前t时刻过滤器压力值，表示当前t时刻滤芯堵塞度，表示当前t时刻过滤器使用寿命值，表示当前t时刻液压系统中泵的转速，表示当前t时刻液压系统中过滤器故障的概率，表示当前t时刻液压系统中电机输出电流，表示当前时刻执行调整过滤器工作模式的动作，表示当前时刻执行调整旁通阀的开闭状态的动作，表示当前时刻执行调整过滤精度的动作，表示当前时刻执行发出预警的动作，且，当时发出预警信号，时正常工作不发出预警信号；表示过滤器前后的压差奖励，表示当前t时刻过滤器前后的压差值与过滤器滤芯标准压差值的误差，当表示当前压差值超过标准误差，需要开启旁通阀降低压差，此时给予一个负奖励，当表示当前压差值未超过标准误差，无需开启旁通阀降低压差，此时给与一个正奖励；表示过滤器中流量变化奖励，表示当前时刻流量变化与前一时刻流量变化值的变化率，表示变化率阈值，该阈值根据具体使用的过滤器滤芯参数确定；表示过滤器滤芯实际使用寿命与预测寿命的误差值奖励，表示过滤器滤芯实际使用寿命与预测寿命的误差值，误差值越小，对于更换滤芯的时间点的预测越准确，可以更好的确保过滤系统的正常运行；表示过滤器滤芯当前预测寿命时刻发生故障的奖励；表示液压系统中泵的转速误差的奖励，表示当前t时刻转速与标准转速的差值；表示过滤前后油液污染度差值奖励，表示过滤等级阈值，该阈值根据设置的具体过滤等级确定；当油液污染度差值小于过滤等级阈值时无需调换过滤器滤芯等级，此时给予一个正值奖励，否则给与一个负值奖励；表示对应奖励的增益系数，表示对应奖励的加权系数；

18、s202、基于sac算法构建改进优先级强化学习子模型，将上述构建的输入状态、过滤系统控制器联合执行动作和组合奖励函数输入到构建的改进优先级强化学习子模型进行训练，获取训练完成的改进优先级强化学习子模型；

19、s203、基于pid控制算法构建伺服控制模型中的控制子模型，并将过滤器前后的压差值与过滤器滤芯标准压差值的误差和液压油过滤前后油液污染度差值输入到pid控制算法构建的控制器中进行参数初始化，获取初始化参数，其中表示初始化比例系数，表示初始化积分时间系数，表示初始化微分时间系数；

20、s204、将获取的改进优先级强化学习子模型和控制子模型部署到过滤系统的控制器中，将高精度传感实时采集的过滤系统运行过程历史参数数据输入到改进优先级强化学习子模型中，获取当前时刻对应的联合执行动作值，及其对应的评估价值，其中为获取对应的评估价值，为获取对应的评估价值，为获取对应的评估价值；

21、s205、将获取联合执行动作值及其对应的评估价值输入到控制子模型中，计算得到具体的控制信号输出值，具体公式为：

22、，

23、其中，t表示过滤系统执行依次过滤任务的周期长度，表示微分运算。

24、具体地，步骤s3中输出滤芯寿命预测值以及对应滤芯故障的概率预测值的具体计算过程为：

25、s301、收集标准环境、高温环境、高湿环境、高尘土环境下过滤器滤芯2000个小时的使用历史数据，并将2000个小时历史使用数据每隔50个小时划分为一个使用周期，统计每个周期内过滤器滤芯使用寿命对应损耗数据及该周期内发生故障的次数，并利用统计的数据构建过滤器滤芯参损耗数据融合输入序列和对应周期内发生故障的次数输入序列；其中，表示在标准环境下第一个使用周期内过滤器滤芯使用寿命对应损耗数据序列，表示在高温环境下第一个使用周期内过滤器滤芯使用寿命对应损耗数据序列，表示在高湿环境下第一个使用周期内过滤器滤芯使用寿命对应损耗数据序列，表示在高尘土环境下第一个使用周期内过滤器滤芯使用寿命对应损耗数据，表示在标准环境下第一个使用周期内过滤器滤芯发生故障的次数，表示在高温环境下第一个使用周期内过滤器滤芯发生故障的次数，表示在高湿环境下第一个使用周期内过滤器滤芯发生故障的次数，表示在高尘土环境下第一个使用周期内过滤器滤芯发生故障的次数；

26、s302、基于支持向量机回归svr构建预测模型，并将构建的输入序列输入到构建的支持向量机回归svr进行训练，获取寿命与故障预测模型；

27、s303、利用高精度传感器实时收集过滤器滤芯的损耗程度，并将损耗程度输入到训练的寿命与故障预测模型中，获取滤芯使用寿命对应的周期及该周期对应发生故障的次数；

28、s304、利用计算得到的各周期内对应的故障次数和使用寿命对应的周期，计算得到对应周期内发生故障的概率和滤芯使用寿命，并将概率作为对应周期内每个时间点过滤器滤芯发生故障的概率；同时获取的滤芯使用寿命和发生故障的概率通过传感器反馈到控制器中的改进优先级强化学习模型中，对模型进行实时优化。

29、具体地，步骤s4中根据过滤器工作环境设置滤芯使用寿命阈值具体步骤：

30、s401、根据使用的过滤器滤芯的类型获取标准环境下滤芯寿命阈值，根据s301收集的标准环境和高温环境过滤器滤芯2000个小时使用历史损耗数据，利用收集的数据计算得到过滤器滤芯在高温环境下使用寿命加速折损率，利用精算得到的加速折损率乘以标准环境下滤芯寿命阈值，获取高温环境滤芯寿命阈值；

31、s402、重复s401过程计算得到高湿环境、高尘土环境下滤芯寿命阈值。

32、具体地，s202中改进优先级强化学习模型中经验样本池内的经验数据通过td-error的绝对值进行样本优先级加权标记。

33、基于强化学习的液压系统的过滤控制系统，包括：数据处理与初始化模块、伺服控制模块、滤芯寿命预测与管理模块和系统监控与反馈模块；

34、数据处理与初始化模块，用于根据历史数据和机器学习算法，自动计算并初始化过滤系统的关键参数，为系统的智能化运行提供基础；

35、伺服控制模块，用于通过强化学习算法，使过滤系统能够根据实时运行数据智能调整自身的工作状态；

36、滤芯寿命预测与管理模块，用于对滤芯寿命的精准预测，并根据预测结果及时发出预警和更换建议，同时对系统发送故障的可能性进行实时监测；

37、系统监控与反馈模块，用于实时监控过滤系统的运行状态，并根据监控结果和预测模型的输出，通过反馈机制调整系统的运行参数和策略，确保系统的稳定运行和性能优化。

38、具体地，数据处理与初始化模块包括数据收集与预处理单元、参数相关性分析单元和初始化参数计算单元；伺服控制模块包括强化学习模型构建与训练单元和控制参数调整单元；滤芯寿命预测与管理模块包括寿命预测与故障概率计算单元和预警与更换建议单元；系统监控与反馈模块包括实时数据监控单元和反馈机制单元；

39、数据收集与预处理单元，用于从过滤系统的历史运行数据中收集关键参数，并进行清洗和预处理，以获取可用于初始化和系统控制的数据；参数相关性分析单元，用于利用相关性分析算法，分析处理后的参数与过滤等级、旁通阀动作阈值的相关性，筛选出强相关参数；初始化参数计算单元，用于根据机器学习算法和强相关参数，自动配置过滤等级和旁通阀动作阈值参数；强化学习模型构建与训练单元，用于构建并训练基于强化学习的伺服控制模型，使其能够根据实时数据智能调整过滤系统的工作状态；控制参数调整单元，用于接收智能传感器实时收集的数据，并利用训练好的伺服控制模型，调整过滤器的工作模式、旁通阀状态、过滤精度及滤芯更换时间点；寿命预测与故障概率计算单元，用于构建和训练滤芯寿命与故障预测模型，并基于训练好的模型，输出滤芯寿命预测值及对应系统故障的概率；预警与更换建议单元，用于将预测结果与预设的滤芯使用寿命阈值进行比较，当达到预警条件时，发出预警信号并给出滤芯更换具体时间点；实时数据监控单元，用于利用高精度传感器实时采集过滤系统的运行数据，并进行监控和分析；反馈机制单元，用于根据监控结果和预测模型的输出，通过反馈机制调整伺服控制模型和数据处理与初始化模块、滤芯寿命预测与管理模块和系统监控与反馈模块的工作状态。

40、一种计算机可读存储介质，其上存储有计算机指令，当计算机指令运行时执行基于强化学习的液压系统的过滤控制方法。

41、与现有技术相比，本发明的有益效果是：

42、1.本发明针对现有技术的不足，通过引入机器学习算法和伺服控制模型，实现了对液压过滤系统的自适应调整和优化，能实时感知并应对过滤器前后的压差值，油温、油位，过滤精度等参数的变化，显著提升过滤效果，降低系统故障风险；同时，高精度传感器的应用使得对液压油污染程度和过滤器运行状态的监测更加实时、准确，为精准控制提供了数据支持。此外，本发明构建的滤芯寿命故障预测模型，能预测滤芯寿命及系统故障概率，提前预警并给出更换滤芯的最佳时间点，有效预防系统故障的发生。

43、2.本发明针对现有技术适应性差的问题，通过计算不同使用环境下过滤器滤芯使用寿命阈值，能够更加精确地获取在不同环境下更换滤芯的时间点，进一步降低过滤系统的整体风险，提高该控制系统的适用范围。