一种基于分层控制策略的自动化料线饲料流量控制方法与流程

本发明属于自动化畜牧，尤其涉及一种基于分层控制策略的自动化料线饲料流量控制方法。

背景技术：

1、在畜牧业生产中，自动化料线系统扮演着至关重要的角色。它们通过有效地管理和控制饲料的投放，确保动物获得适量的饲料供应，从而提高生产效率，并且保证动物健康。然而，传统的自动化料线系统通常采用基于固定规则或经验的物料流量控制方法，存在一定的局限性：

2、1.基于固定规则或经验指导的控制方法缺乏智能化和自适应性。这导致了难以适应不同的生产环境和需求的变化。因为这些方法无法根据实时变化的条件做出灵活的调整，使得系统无法应对不断变化的需求和环境因素。

3、2.传统方法需要深入了解系统的固有动态，这增加了系统设计和维护的复杂性。由于固定规则往往难以准确地捕捉到系统的动态特性，因此需要更多的人工干预和调整。而且，在动态环境下，这种方法更难以实现精确的饲料投放，可能导致投放量的不稳定和浪费。

4、3.传统方法无法灵活地调整饲料投放策略以适应不同的生产需求和动物的实际需求。这会导致生产效率无法最大化，并且可能影响到动物的健康状况，因为无法根据动物的实际需求进行精准的饲料供给。

技术实现思路

1、针对上述问题，本发明提供了一种基于分层控制策略的自动化料线饲料流量控制方法，包括以下过程：

2、确定分层控制策略，构建全局控制器模型和本地控制器模型；所述全局控制器模型模拟排料箱中最小化饲料饱和度，即排料箱的最佳存储量；所述本地控制器模型根据最小化饲料饱和度的结果来控制阀门，以实现料线的自动化操作；

3、其中，全局控制器模型基于排料箱的线性状态方程建立，基于全局控制器模型，确定自动化料线中的饲料流量，以实现饲料的最优分配，即通过控制饲料流量来实现每个排料箱中最小化的饲料饱和度，以提供给本地控制器参考；

4、其中，本地控制器模型，基于深度强化学习对其进行训练；基于训练后的本地控制器模型，操作闸门来控制自动化料线中饲料的流量，完成自动化料线喂养。

5、优选的，所述分层控制策略具体为，每个排料箱的期望最小饱和度，作为本地控制器的参考目标，本地控制器需要将各个排料箱的实时状态作为反馈，所述实时状态包括饲料体积、内部流和饲料饱和度，并获取阀门的实际开度，通过深度强化学习判断控制效果，并做出相应的调整。

6、优选的，各排料箱的实时饲料体积，通过安装频率调制连续波雷达传感器获取；各排料箱之间的内部流，即实际内部流量，通过电磁流量计获取；各排料箱的饲料饱和度，根据饲料体积、排料箱容量以及内部流计算获得。

7、优选的，所述全局控制器模型，具体为：

8、测量饲料体积x，从第i个排料箱到第j个排料箱的流量fi,j被视为内部流，外部流入由f0,i表示，而外部流出则由fi,0表示，存储在排料箱中的饲料体积x和内部流fi,j之间的关系是线性的，因此，排料箱系统由三元组(g,d,ωo)表示，其中，g＝(v,e,ω)为限定条件：i∈v为排料箱的个数，(i,j)∈e表示内部流fi,j的边界，ωij∈ω表示各部分权重；为包含时间τ时的扰动或外部流入；ωi,0∈ωo为外部流出的权重，使得fi,0(τ)＝ωi,0xi(τ)；全局控制器模型由系统中每个排料箱的线性状态方程组成，如式(1)所示：

9、

10、

11、其中,ui和ti分别是第i个排料箱的上游和下游排料箱的集合。

12、优选的，所述实现每个排料箱中最小化的饲料饱和度，具体为：

13、在全局控制器模型的基础上,对于每个时间步τ,确定第i个排料箱到第j个排料箱的最优的内部流qi,j(τ),从而最小化每个排料箱中的饲料饱和度，构建用于量化在时刻τ时整个自动化料线系统的饲料饱和度h()，如式(2)所示：

14、

15、其中,xi(τ)是时刻τ时第i个排料箱中的饲料体积,pi(τ)是时刻τ时第i个排料箱的容量；通过求解公式(3)：

16、z＝min h(x(τ),qi,j(τ))    (3)

17、得到整个自动化料线系统的饲料最小饱和度z,继而得到最优内部流qi,j(τ)。

18、优选的，所述本地控制器模型，具体为：

19、得到整个自动化料线系统的饲料最小饱和度z，基于深度强化学习建立本地饲料流量控制器，在深度强化学习中，为了得到最优结果，建立一个状态空间和动作空间，并确定环境的状态转移过程，用sτ表示时间步τ时的状态，ατ表示时间步τ时的动作，r(sτ,aτ)表示在状态sτ执行动作ατ后获得的即时奖励，状态空间sτ由排料箱中的饲料体积x(τ)、排料箱的内部流fi,j(τ)、饲料饱和度h(τ)构成，状态空间sτ表示为一个向量，如式(4)所示：

20、sτ＝[x(τ),fi,j(τ),h(τ)]   (4)

21、动作空间表示控制器可采取的动作集合，动作ατ表示为阀门的开度，用0到1之间的值表示，其中，0表示完全关闭，1表示完全打开；

22、根据设定的状态空间和动作空间，本地饲料流量控制器环境建模如式(5)所示：

23、s＝g(sτ,aτ)+∈   (5)

24、其中，g()为环境的状态转移函数，∈为环境中的随机扰动；

25、根据本地饲料流量控制器环境模型，设计奖励函数以引导强化学习本地饲料流量控制器的行为，奖励函数r(sτ,aτ)应该与优化目标相一致，优化目标为维持最优内部流qi,j(τ)，奖励函数如式(6)所示：

26、r(st,at)＝-h(τ)-λ|fi,j(τ)-qi,j(τ)|     (3)

27、其中，λ为权衡排料箱的内部流fi,j(τ)和最优内部流qi,j(τ)的参数。

28、优选的，构建一个q值函数来学习动作值函数，以此来指导动作的选择；q值函数表示在状态sτ下执行动作ατ的预期累积奖励，即q值函数是根据累积奖励函数r(sτ,aτ)而更新的；基于q值函数对本地；控制器模型s进行训练，定义损失函数是通过每个经验元组[sτ,aτ,r(sτ,aτ),s′τ]的样本的期望来计算的，s′τ为下一个状态；损失函数如式(7)所示：

29、

30、其中，表示期望操作符，γ为折扣因子，θ-为目标网络的参数，用于计算目标q值，即未来预期的累积奖励，θ为主网络的参数，用于评估在给定状态下采取不同动作的q值；

31、基于该损失函数对本地饲料流量控制器模型进行训练，具体步骤为：

32、s1，初始化经验元组[sτ,aτ,r(sτ,aτ),s′τ]、主网络的参数θ和目标网络参数θ-以及状态空间sτ；

33、s2，根据当前q网络选择动作ατ；

34、s3,在环境中执行动作ατ,观测下一个状态s′τ,获得即时奖励r(sτ,aτ)；

35、s4，将[sτ,aτ,r(sτ,aτ),s′τ]存入经验元组；

36、s5，从经验元组中采样批量数据，并根据式(7)计算该批量数据的损失；

37、s6，使用随机梯度下降更新q值网络参数，并进行状态sτ的更新；

38、s7，重复步骤s2-s6，当模型的总奖励没有明显提高,证明模型已经趋于收敛，训练结束；

39、经过训练后，得到本地饲料流量控制器模型s′，如式(8)所示：

40、s′＝f(s,a,θ′)     (4)

41、其中，s为当前状态,包括排料箱中的饲料体积、内部流、饲料饱和度；a为在当前状态s下选择的动作,即阀门开度；θ′为训练得到的本地控制器模型参数,即经过训练的深度q网络参数。

42、与现有技术相比，本发明具有如下有益效果：

43、本发明通过引入智能化的控制策略，能够根据实时变化的环境和需求条件，灵活地调整饲料投放量，从而实现生产效率和质量的提升。通过分层控制策略，系统可以根据不同层次的控制需求进行调整，实现对饲料投放的精准控制，最大程度地满足动物的需求，并且提高系统的适应性和稳定性。这将为畜牧业生产带来更高效、更智能的料线管理和饲料投放方案。

44、在分层控制策略中，全局控制器被设计用于精确确定自动化料线中的饲料流量，以实现最佳的饲料分配。通过精准地控制饲料流量，在保证牲畜饲料充足的前提下最小化每个排料箱中的饲料饱和度，从而避免饲料的浪费，提高养殖效率。本地控制器作为全局控制器的补充，负责根据全局控制器提供的参考值，实时调整各个排料箱的饲料流量，以确保系统的稳定运行。与全局控制器相比，本地控制器更专注于局部细节，可以更加灵活地应对系统内部的变化和动态特性。尽管本地控制器可能没有全面了解系统的所有动态特性，但它通过实时监测和调整，能够更好地适应系统的复杂性和非线性特性，从而提高了系统的稳定性和效率。