用于起重船吊物系统主动抑摆的强化学习实时参数优化方法及应用与设备

本发明属于摆振控制相关，更具体地，涉及一种用于起重船吊物系统主动抑摆的强化学习实时参数优化方法及应用与设备。

背景技术：

1、大型起重船作为海上工程的重要一环，越来越受到重视。然而其在作业时往往会遇到由于波浪和风载作用而导致船体摇晃从而使吊物系统发生大幅度摆动的情况，此时不仅会影响正常的吊装工作，还会威胁到船上作业人员的安全。

2、已有研究者提出了一种起重船吊物系统空间摆振的主动控制方法及系统来解决这一问题，在小尺寸数值模拟以及现场实验中这种方法表现出令人满意的控制效果。然而在进行关于足尺模型(真实尺寸起重船模型)的数值分析时发现，当主动控制机构性能被限制在一个较低范围内时，通过数值分析得出的最优控制参数与理论推导的最优控制参数存在较大偏差，如果此时仍然采用理论分析得到的参数，无疑大大消减了主动控制方法的控制效果。

技术实现思路

1、针对现有技术的以上缺陷或改进需求，本发明提供了一种用于起重船吊物系统主动抑摆的强化学习实时参数优化方法及应用与设备，其解决了基于线性方程得到的最优控制参数在实际工程中达不到理想控制效果的问题。

2、为实现上述目的，按照本发明的一个方面，提供了一种用于起重船吊物系统主动抑摆的强化学习实时参数优化方法，该方法包括以下步骤：

3、该方法采用强化学习网络对起重船吊物系统的控制参数进行实时优化；所述强化学习网络的获取步骤为：

4、s1，计算出起重船吊物系统在理想状态下的最优控制参数pl,op＝[kl,opτl,op]，kl,op、τl,op分别为计得到的起重船吊物系统在理想状态下的最控制增益及最优控制时滞；

5、s2，通过数值模拟确定控制参数的失稳边界，并结合最优控制参数pl,op构造一个以pl,op为核心的参数稳定区间ω，将参数稳定区间ω作为强化学习参数调整的范围；

6、s3，以吊物系统摆动减小时奖励函数为正值、摆动增大时奖励函数为负值作为基本准则构建奖励函数，并构建吊物系统的lyapunov函数，把lyapunov函数加入强化学习的奖励函数中；同时，采用部分扫频简谐荷载加部分自由摆动，同时全过程添加白噪声激励的方式构造训练激励；

7、s4，基于参数稳定区间ω、奖励函数、训练激励及采用的强化学习算法构建强化学习网络。

8、进一步地，lyapunov函数的形式如下：

9、

10、式中，θ代表吊物系统摆角，l代表吊索长度，m代表吊物的质量，代表吊索吊点位置的移动速度，g为重力加速度。

11、进一步地，强化学习算法为ddpg或ppo，或者td3。

12、进一步地，最优控制参数pl,op是采用方程进行计算得到的，该方程为：

13、

14、式中，k是控制增益，τ是控制时滞，这两个参数也是控制系统最关键的参数，引入强化学习算法就是为了实时调整这两个参数；σ是系统的广义阻尼，μ是空气动力阻尼，l是吊索长度，g是重力加速度，ω是摆振频率。

15、本发明还提供了一种起重船吊物系统主动抑摆的主动控制方法，所述主动控制方法采用如上所述的用于起重船吊物系统主动抑摆的强化学习实时参数优化方法对起重船吊物系统的控制参数进行实时优化，并把优化得到的控制参数传输给主动控制器，所述主动控制器基于收到的控制参数对起重船吊物系统进行主动控制。

16、本发明还提供了一种用于起重船吊物系统主动抑摆的强化学习实时参数优化系统，所述系统包括存储器及处理器，所述存储器储存有计算机程序，所述处理器执行所述计算机程序时执行如上所述的用于起重船吊物系统主动抑摆的强化学习实时参数优化方法。

17、本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有机器可执行指令，所述机器可执行指令在被处理器调用和执行时，所述机器可执行指令促使所述处理器实现如上所述的用于起重船吊物系统主动抑摆的强化学习实时参数优化方法。

18、总体而言，通过本发明所构思的以上技术方案与现有技术相比，本发明提供的用于起重船吊物系统主动抑摆的强化学习实时参数优化方法及应用与设备主要具有以下有益效果：

19、1.基于参数稳定区间ω、奖励函数、训练激励及采用的强化学习算法构建强化学习网络，采用强化学习网络对起重船吊物系统的控制参数进行实时优化，提高了参数的准确性，进而扩大了原本控制参数不变的主动控制方法的有效控制范围，大大提升了主动控制系统在复杂海况下的控制性能。

20、2.本方法中所使用的机器学习算法并不直接输出控制力，而是通过在稳定边界范围内修改控制参数从而间接影响主动控制系统的性能，具有更好的稳定性，能有效防止控制系统出现失稳等问题，有较强的工程实用性。

21、3.只调整控制系统的控制参数，而不直接对吊物系统进行控制，再结合稳定区间ω和lyapunov函数，这样确保了不会由于机器学习算法本身的‘黑箱’属性导致的控制系统失稳现象。

技术特征：

1.一种用于起重船吊物系统主动抑摆的强化学习实时参数优化方法，其特征在于，该方法包括以下步骤：

2.如权利要求1所述的用于起重船吊物系统主动抑摆的强化学习实时参数优化方法，其特征在于：lyapunov函数的形式如下：

3.如权利要求1所述的用于起重船吊物系统主动抑摆的强化学习实时参数优化方法，其特征在于：强化学习算法为ddpg或ppo，或者td3。

4.如权利要求1所述的用于起重船吊物系统主动抑摆的强化学习实时参数优化方法，其特征在于：最优控制参数pl,op是采用方程进行计算得到的，该方程为：

5.一种起重船吊物系统主动抑摆的主动控制方法，其特征在于：所述主动控制方法采用权利要求1-4任一项所述的用于起重船吊物系统主动抑摆的强化学习实时参数优化方法对起重船吊物系统的控制参数进行实时优化，并把优化得到的控制参数传输给主动控制器，所述主动控制器基于收到的控制参数对起重船吊物系统进行主动控制。

6.一种用于起重船吊物系统主动抑摆的强化学习实时参数优化系统，其特征在于：所述系统包括存储器及处理器，所述存储器储存有计算机程序，所述处理器执行所述计算机程序时执行权利要求1-4任一项所述的用于起重船吊物系统主动抑摆的强化学习实时参数优化方法。

7.一种计算机可读存储介质，其特征在于：所述计算机可读存储介质存储有机器可执行指令，所述机器可执行指令在被处理器调用和执行时，所述机器可执行指令促使所述处理器实现权利要求1-4任一项所述的用于起重船吊物系统主动抑摆的强化学习实时参数优化方法。

技术总结本发明属于摆振控制相关技术领域，其公开了一种用于起重船吊物系统主动抑摆的强化学习实时参数优化方法及应用与设备，该方法采用强化学习网络对起重船吊物系统的控制参数进行实时优化；强化学习网络的获取步骤为：S1，计算出起重船吊物系统在理想状态下的最优控制参数；S2，通过数值模拟确定控制参数的失稳边界，并结合最优控制参数构造参数稳定区间；S3，构建奖励函数，并构建吊物系统的Lyapunov函数，把Lyapunov函数加入强化学习的奖励函数中；采用部分扫频简谐荷载加部分自由摆动，同时全过程添加白噪声激励的方式构造训练激励；S4，基于参数稳定区间Ω、奖励函数、训练激励及采用的强化学习算法构建强化学习网络。本发明提高了控制效果。技术研发人员：沈文爱,龙振滔,朱宏平受保护的技术使用者：华中科技大学技术研发日：技术公布日：2024/9/12