AMT车辆的离合器位置控制方法、装置以及电子设备与流程

本发明涉及车辆离合器控制，尤其涉及一种amt车辆的离合器位置控制方法、装置以及电子设备。

背景技术：

1、电控机械式自动变速器（amt，automated mechanical transmission）作为商用车传动系统的关键组成部分，凭借其成本低、效率高及易于制造等优势，在行业内得到了广泛应用。amt在传统齿轮式变速器的基础上，通过加装自动操纵换挡机构，实现了变速的自动化。其中，离合器控制是amt系统的核心技术，对离合器位置的精确控制不仅关乎离合器的使用寿命，还直接影响到amt换挡的舒适性。

2、目前，离合器位置控制主要采用常规的pid（比例-积分-微分）算法。尽管该算法简单实用，但由于其对被控对象参数变化较为敏感，且缺乏预测控制效果的能力，因此，在实际应用中，该算法的鲁棒性、控制精度有待提高。

3、因此，如何有效提高amt系统的离合器位置控制精度，是亟待解决的技术问题。

技术实现思路

1、针对现有技术中存在的上述问题，本发明提供一种amt车辆的离合器位置控制方法、装置以及电子设备，用于有效提高amt系统的离合器位置控制精度。

2、本发明提供一种amt车辆的离合器位置控制方法，包括如下步骤。

3、获取目标车辆的离合器的目标位置；其中，所述离合器的目标位置是通过学习所述目标车辆的请求扭矩得到的；获取所述目标车辆的离合器的当前实际位置；根据所述目标车辆的离合器的所述目标位置和所述当前实际位置之间的离合器误差值，利用离合器位置控制模型，得到控制信号；其中，所述离合器位置控制模型是基于比例-积分-微分控制模型构建的，所述离合器位置控制模型的比例参数、积分参数和微分参数是通过actor-critic深度强化学习算法网络得到的；根据所述控制信号，对所述目标车辆的离合器的位置进行调整，并获取调整后的离合器的实际位置；根据调整后的所述离合器的实际位置和所述当前实际位置，更新所述actor-critic深度强化学习算法网络的参数；将所述调整后的离合器的实际位置作为所述离合器的新的当前实际位置，重复执行所述根据所述目标车辆的离合器的目标位置和所述当前实际位置之间的离合器误差值，利用离合器位置控制模型，得到当前时刻的位置控制信号及后续步骤，直至所述目标车辆的离合器的目标位置和所述离合器的当前实际位置之间的离合器误差值小于预设阈值。

4、根据本发明提供的一种amt车辆的离合器位置控制方法，所述离合器位置控制模型至少包括所述比例参数与所述离合器误差值的一阶向后差分之积构成的项、所述微分参数与所述离合器误差值之积构成的项，以及所述积分参数与所述离合器误差值的二阶向后差分之积构成的项；所述根据所述目标车辆的离合器的所述目标位置和所述当前实际位置之间的离合器误差值，利用离合器位置控制模型，得到控制信号，包括：根据所述离合器误差值、所述离合器误差值的一阶向后差分以及所述离合器误差值的二阶向后差分，利用所述actor-critic深度强化学习算法网络，得到所述离合器位置控制模型的当前时刻的比例参数、积分参数以及微分参数；将所述比例参数、积分参数以及微分参数，与所述离合器误差值、所述离合器误差值的一阶向后差分，和所述离合器误差值的二阶向后差分，代入所述离合器位置控制模型，得到所述控制信号。

5、根据本发明提供的一种amt车辆的离合器位置控制方法，所述actor-critic深度强化学习算法网络的演员网络和评论家网络共享同一个径向基函数网络；所述根据所述目标车辆的离合器的目标位置和所述当前实际位置之间的离合器误差值、所述离合器误差值的一阶向后差分以及所述离合器误差值的二阶向后差分，利用所述actor-critic深度强化学习算法网络，得到所述离合器位置控制模型的当前时刻的比例参数、积分参数以及微分参数，包括：将包含所述离合器误差值、所述离合器误差值的一阶向后差分以及所述离合器误差值的二阶向后差分的向量，作为当前时刻的状态，将所述向量的各个元素分别输入到所述actor-critic深度强化学习算法网络的输入层的对应神经元中，得到所述actor-critic深度强化学习算法网络输出的当前时刻的比例参数、积分参数以及微分参数，以及当前时刻的值函数。

6、根据本发明提供的一种amt车辆的离合器位置控制方法，所述径向基函数网络的输出层包括4个神经单元：第一神经单元、第二神经单元、第三神经单元以及第四神经单元；所述将所述向量的各个元素分别输入到所述actor-critic深度强化学习算法网络的输入层的对应神经元中，得到所述actor-critic深度强化学习算法网络输出的当前时刻的比例参数、积分参数以及微分参数，以及当前时刻的值函数，包括：将所述向量的各个元素分别输入到所述actor-critic深度强化学习算法网络的输入层的对应神经元中，所述第一神经单元输出所述比例参数，所述第二神经单元输出所述积分参数，所述第三神经单元输出所述微分参数，所述第四神经单元输出所述当前时刻的值函数；所述根据所述当前时刻的比例参数、积分参数以及微分参数，以及所述当前时刻的值函数，更新所述演员网络的参数，包括：根据所述当前时刻的比例参数、积分参数以及微分参数，以及所述当前时刻的值函数，更新所述第一神经单元关联的权重值、所述第二神经单元关联的权重值以及所述第三神经单元关联的权重值；所述根据所述当前时刻的td误差，以及所述当前时刻的值函数，更新所述评论家网络的参数，包括：根据所述当前时刻的td误差，以及所述当前时刻的值函数，更新所述第四神经单元关联的权重值。

7、根据本发明提供的一种amt车辆的离合器位置控制方法，所述根据调整后的所述离合器的实际位置和所述当前实际位置，更新所述actor-critic深度强化学习算法网络的参数，包括：根据当前时刻的所述离合器误差值和上一时刻的所述离合器误差值，以及离合器位置控制的超调量和收敛时间，确定所述actor-critic深度强化学习算法网络在当前时刻的奖励函数；根据调整后的离合器的实际位置，得到所述actor-critic深度强化学习算法网络的下一时刻的状态，利用所述actor-critic深度强化学习算法网络，得到所述下一时刻的比例参数、积分参数以及微分参数，以及下一时刻的值函数；根据所述下一时刻的值函数和所述当前时刻的值函数，以及所述当前时刻的奖励函数，得到当前时刻的td误差；根据所述当前时刻的td误差，以及所述当前时刻的值函数，更新所述评论家网络的参数；根据所述当前时刻的比例参数、积分参数以及微分参数，以及所述当前时刻的值函数，更新所述演员网络的参数。

8、本发明还提供一种amt车辆的离合器位置控制装置，包括如下模块：

9、第一获取模块，用于获取目标车辆的离合器的目标位置；其中，所述离合器的目标位置是通过学习所述目标车辆的请求扭矩得到的；第二获取模块，用于获取所述目标车辆的离合器的当前实际位置；第三获取模块，用于根据所述目标车辆的离合器的所述目标位置和所述当前实际位置之间的离合器误差值，利用离合器位置控制模型，得到控制信号；其中，所述离合器位置控制模型是基于比例-积分-微分控制模型构建的，所述离合器位置控制模型的比例参数、积分参数和微分参数是通过actor-critic深度强化学习算法网络得到的；调整模块，用于根据所述控制信号，对所述目标车辆的离合器的位置进行调整，并获取调整后的离合器的实际位置；更新模块，用于根据调整后的所述离合器的实际位置和所述当前实际位置，更新所述actor-critic深度强化学习算法网络的参数；迭代模块，用于将所述调整后的离合器的实际位置作为所述离合器的新的当前实际位置，重复执行所述根据所述目标车辆的离合器的目标位置和所述当前实际位置之间的离合器误差值，利用离合器位置控制模型，得到当前时刻的位置控制信号及后续步骤，直至所述目标车辆的离合器的目标位置和所述离合器的当前实际位置之间的离合器误差值小于预设阈值。

10、本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述任一种所述amt车辆的离合器位置控制方法。

11、本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述amt车辆的离合器位置控制方法。

12、本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述amt车辆的离合器位置控制方法。

13、本发明还提供一种车辆，存储有一组指令集，所述指令集被所述车辆执行，以实现如上述任一种所述amt车辆的离合器位置控制方法。

14、本发明提供的amt车辆的离合器位置控制方法、装置以及电子设备，利用actor-critic深度强化学习算法网络，根据离合器实际位置与目标位置的偏差，动态调整基于比例-积分-微分控制模型构建的离合器位置控制模型的参数，使得离合器位置控制模型具有更强的自适应性和鲁棒性，实现对离合器位置的精细调整，提高控制精度。通过不断迭代更新actor-critic网络的参数，基于实际控制效果进行反馈学习，使得actor-critic深度强化学习算法网络能够持续优化其控制策略，有效应对不同工况和外界干扰。从而可以有效提高amt系统的离合器位置控制精度。