基于无模型强化学习的内燃机起动控制策略、控制系统及汽车

技术特征：
1.一种基于无模型强化学习的内燃机起动控制策略，其特征在于，包括以下步骤：步骤1、建立内燃机起动系统框图，确认被控系统的输入输出量及其对应关系；步骤2、应用基于嵌入辅助轨迹的算法更新代价函数与控制策略；所述的嵌入辅助轨迹的算法如下：所述的嵌入辅助轨迹的算法如下：其中t1与t2为大于0的时间常数，且：步骤3、应用带有自适应控制器的内燃机起动系统结构分析被控系统中各个物理量之间的相互关系及控制量与被控系统各个物理量之间的联系；步骤4、应用基于辅助轨迹的嵌入式神经网络算法通过迭代权重系数取代直接迭代控制策略与代价函数；所述的基于辅助轨迹的神经网络算法如下：辅助轨迹的神经网络算法如下：其中其中步骤5、设计速度模块的方框图。2.如权利要求1所述的一种基于无模型强化学习的内燃机起动控制策略，其特征在于，步骤1所述的内燃机起动系统框图建立过程如下：
将节气门开度k、喷油量f和通过节气门的混合气体流率设为内燃机起动系统，其中k和f为控制量，为上一时刻的混合气体流率；由可得到节气门前混合气体流率若已知上一时刻的进入气缸的混合气体流率由可得到歧管内压强p，若已知上一时刻发动机转速ω，则由可知当前气缸流率继而可得到节气门后流率由可得到当前发动机转速ω。3.如权利要求1所述的一种基于无模型强化学习的内燃机起动控制策略，其特征在于，步骤2所述的基于嵌入辅助轨迹的算法设计过程如下：将系统输入设定为发动机转速ω与歧管内压强p，定义误差状态量将系统输入设定为发动机转速ω与歧管内压强p，定义误差状态量其中，ω
d
与p
d
为发动机转速与压强的设定值；内燃机起动过程是典型的连续仿射非线性控制过程，系统满足：其中f(x)是系统内部动力学方程，g(x)是输入量到状态量的动力学方程，u为系统输入，令x＝[x1,x2]
t
；设计辅助系统如下所示：其中x
a
是辅助系统状态量，状态矩阵a是赫尔维茨矩阵，y是辅助系统输出，也是系统的辅助轨迹，该辅助轨迹将状态轨迹x(t)分成了两个不同的轨迹；令增广系统的状态量x＝[x
a1
,x
a2
,x
1-y1,x
2-y2]，输出量y＝[y1,y2,x
1-y1,x
2-y2]；则增广系统也可以表示为：其中，
引入外部输入u
a
(t)，即输入通道的输入值更新为：其中为可迭代的控制策略，由此，增广矩阵可更新为：联系增广系统得到更新后的基于嵌入辅助轨迹的算法：及其中t1与t2为大于0的时间常数，且：4.如权利要求1所述的一种基于无模型强化学习的内燃机起动控制策略，其特征在于，步骤3所述的带有自适应控制器的内燃机起动系统结构设计过程如下：首先确定被控系统的输入为节气门开度k与喷油量f，输出量为发动机转速ω与歧管内压强p的误差状态量x1与x2；其次确定基于嵌入辅助轨迹的算法的输入，该输入为其嵌入的辅助轨迹y1、y2与x
1-y1、x
2-y2，最后确定反馈控制规律输入量为x1、x2，输出为更新后的控制策略μ1、μ2。5.如权利要求1所述的一种基于无模型强化学习的内燃机起动控制策略，其特征在于，步骤4所述的基于辅助轨迹的嵌入式神经网络算法设计过程如下：将控制策略与代价函数用多项式来近似表示，即用多项式来近似表示，即其中ω
i
与v
i
分别是神经网络评价环节与表演环节的权重系数，n
c
与n
a
是多项式的项数；得到控制策略与代价函数的近似误差分别为：得到控制策略与代价函数的近似误差分别为：其中，
由此可推得：由此可推得：其中其中ω
i
与v
i
的表达式即为基于辅助轨迹的神经网络算法，通过迭代ω
i
与v
i
进而更新控制策略与代价函数。6.如权利要求1所述的一种基于无模型强化学习的内燃机起动控制策略，其特征在于，步骤5所述的速度模块的方框图设计过程如下：建立map函数，输入量设置为歧管内压强的设定值p
d
、节气门前流率的设定值气缸流率的设定值输出量设置为发动机转速的设定值ω
d
、节气门开度的设定值k
d
、喷油量的设定f
d
，控制算法的输入为x1、x2输出为更新后的控制策略μ1、μ2。7.一种内燃机起动控制系统，其特征在于：包括内燃机起动系统框图建立模块，用于确认被控系统的输入输出量及其对应关系；
基于嵌入辅助轨迹的算法模块，用于更新代价函数与控制策略；所述的嵌入辅助轨迹的算法如下：及其中t1与t2为大于0的时间常数，且：带有自适应控制器的内燃机起动系统模块，用于分析各个物理量之间的相互关系及控制量与被控系统之间的联系；基于辅助轨迹的嵌入式神经网络算法模块，用于通过迭代权重系数取代直接迭代控制策略与代价函数；所述的基于辅助轨迹的神经网络算法如下：函数；所述的基于辅助轨迹的神经网络算法如下：其中其中速度模块的方框图建立模块。8.一种汽车，其特征在于：所述的汽车包含如权利要求7所述的控制系统。

技术总结
本发明涉及基于无模型强化学习的内燃机起动控制策略、控制系统及汽车，首先建立了内燃机起动系统框图，然后设计基于嵌入辅助轨迹的算法并应用，基于此设计了带有自适应控制器的内燃机起动系统结构，进一步更新设计了基于辅助轨迹的嵌入式神经网络算法并应用，最后给出了速度模块的方框图。本发明开发出一种不引入探测噪声的完全无模型算法，并且在内燃机起动系统的框架内保证了收敛性和稳定性，大大提高了系统的性能，改进了传统的无模型算法，并将其与强化学习算法结合起来，利用现代控制理论设计了一种具有最优自适应控制的系统，其更好地解决了内燃机起动问题。好地解决了内燃机起动问题。好地解决了内燃机起动问题。


技术研发人员：高金武 李昕放 胡云峰 陈虹
受保护的技术使用者：吉林大学
技术研发日：2022.08.31
技术公布日：2022/12/16