掘进机采运协同控制方法、装置、存储介质、程序产品

本公开涉及矿业工程，尤其涉及一种掘进机采运协同控制方法、装置、存储介质、程序产品。

背景技术：

1、在掘进机器人的掘进作业中，装载机构的装载能力是提升工作效率的重要指标，作为掘进机器人的重要组成部分，装载机构通过铲板、星轮等装置能够迅速地将落煤收集并输送到第一运输机上，之后由第一运输机传递到车尾。装载机构不仅承担装载任务，而且具备支撑和稳定掘进机的作用，通过两个销轴铰接及伸缩油缸的设计，可以确保在不同工况下对整机的支撑与稳定。

2、为了确保装载机构能在实际作业中胜任各种任务，一般将装载能力设置为截割能力的1.2到1.3倍之间，但是所以面对不同工况时，大概率会出现装载能力大于截割能力的情况，造成采运不协同，以致能源浪费。

技术实现思路

1、有鉴于此，本公开实施例提供了一种掘进机采运协同控制方法、装置、存储介质、程序产品，能够结合深度强化学习的神经网络算法，实现对掘进机的采运协同自主控制，使得采运效率最大化。

2、第一方面，本公开实施例提供了一种掘进机采运协同控制方法，采用如下技术方案：

3、实时获取所述掘进机的工作状态数据；

4、构建价值网络、目标网络和奖励函数；

5、设置所述掘进机的动作参数，基于所述动作参数、所述工作状态数据、所述价值网络和所述奖励函数，获得经验数据；

6、基于所述经验数据对所述价值网络和所述目标网络进行优化；

7、基于优化后的价值网络和目标网络获得控制数据，基于所述控制数据对所述掘进机进行采运协同控制。

8、可选地，所述基于所述动作参数、所述工作状态数据、所述价值网络和所述奖励函数，获得经验数据，包括：

9、将第一工作状态数据输入到所述价值网络，基于所述动作参数，得到所述价值网络输出的第一工作状态数据下的所有可能动作的q值，其中q为动作值函数；

10、基于所述所有可能动作的q值选择出第一动作，基于所述奖励函数和所述第一动作，获得第一奖励值；

11、获取所述掘进机的第二工作状态数据，所述第一工作状态数据、所述第一动作、所述第一奖励值、所述第二工作状态数据构成一组经验数据；

12、其中，所述价值网络为卷积神经网络模型。

13、可选地，所述基于所述所有可能动作的q值选择出第一动作，包括：

14、基于所述所有可能动作的q值，采用ε-贪婪算法选择出所述第一动作；

15、其中，ε-贪婪算法的表达式如下：

16、

17、式中，a表示所述第一动作；argmaxq(a)表示当前具有最高q值的动作；p表示选择的概率；ε是一个介于0和1之间的正数。

18、可选地，所述基于所述经验数据对所述价值网络和所述目标网络进行优化，包括：

19、基于所述经验数据获取当前q值和目标q值，基于所述当前q值和所述目标q值获取损失函数；

20、使用梯度下降法最小化所述损失函数，更新所述价值网络和所述目标网络的权值参数；

21、其中，所述目标网络为卷积神经网络模型。

22、可选地，所述损失函数为：

23、l(θ)＝e[(target q-q(s，a，θ))2]；

24、式中，l(θ)表示所述损失函数；e[﹒]表示期望；target q表示所述目标q值；q(s，a，θ)表示所述当前q值；θ表示权值参数。

25、可选地，所述工作状态数据包括掘进机的截割落煤率、单齿每转装载煤岩的面积、单齿每转装载煤岩的体积、星轮的装载效率、装载煤岩的质量、甩煤率、甩煤的质量中的至少一项或者多项。

26、可选地，所述动作参数包括星轮转速和第一运输机速度。

27、第二方面，本公开实施例还提供了一种掘进机采运协同控制系统，采用如下技术方案：

28、数据获取模块，用于实时获取所述掘进机的工作状态数据；

29、网络构建模块，用于构建价值网络、目标网络和奖励函数；

30、参数设置模块，用于设置所述掘进机的动作参数，基于所述动作参数、所述工作状态数据、所述价值网络和所述奖励函数，获得经验数据；

31、网络优化模块，用于基于所述经验数据对所述价值网络和所述目标网络进行优化；

32、采运控制模块，用于基于优化后的价值网络和目标网络获得控制数据，基于所述控制数据对所述掘进机进行采运协同控制。

33、第三方面，本公开实施例还提供了一种计算机装置，采用如下技术方案：

34、所述计算机装置包括：

35、至少一个处理器；以及，

36、与所述至少一个处理器通信连接的存储器；其中，

37、所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行以上任一所述的掘进机采运协同控制方法。

38、第四方面，本公开实施例还提供了一种计算机可读存储介质，该计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行以上任一所述的掘进机采运协同控制方法。

39、第五方面，本公开实施例还提供了一种计算机程序产品，包括计算机程序/指令，该计算机程序/指令被处理器执行时实现以上任一项所述方法的步骤。

40、本公开实施例提供的掘进机采运协同控制方法，通过实时获取掘进机的工作状态数据，并结合构建的价值网络、目标网络和奖励函数，实现对掘进机状态的实时监测和评估，从而能够快速响应工作状态的变化，并提供及时的控制决策，不断累积经验数据，基于经验数据实现对价值网络和目标网络的不断改进和优化，通过基于优化后的网络获得控制数据，进而实现对掘进机的采运协同自主控制，使掘进机在采矿和运输过程中实现更加协调一致的操作，减少资源浪费和能源消耗，提升整体生产效率和运营成本效益。

41、上述说明仅是本公开技术方案的概述，为了能更清楚了解本公开的技术手段，而可依照说明书的内容予以实施，并且为让本公开的上述和其他目的、特征和优点能够更明显易懂，以下特举较佳实施例，并配合附图，详细说明如下。

技术特征：

1.一种掘进机采运协同控制方法，其特征在于，包括：

2.根据权利要求1所述的掘进机采运协同控制方法，其特征在于，所述基于所述动作参数、所述工作状态数据、所述价值网络和所述奖励函数，获得经验数据，包括：

3.根据权利要求2所述的掘进机采运协同控制方法，其特征在于，所述基于所述所有可能动作的q值选择出第一动作，包括：

4.根据权利要求2所述的掘进机采运协同控制方法，其特征在于，所述基于所述经验数据对所述价值网络和所述目标网络进行优化，包括：

5.根据权利要求4所述的掘进机采运协同控制方法，其特征在于，所述损失函数为：

6.根据权利要求1所述的掘进机采运协同控制方法，其特征在于，所述工作状态数据包括掘进机的截割落煤率、单齿每转装载煤岩的面积、单齿每转装载煤岩的体积、星轮的装载效率、装载煤岩的质量、甩煤率、甩煤的质量中的至少一项或者多项。

7.根据权利要求1所述的掘进机采运协同控制方法，其特征在于，所述动作参数包括星轮转速和第一运输机速度。

8.一种计算机装置，其特征在于，所述计算机装置包括：

9.一种计算机可读存储介质，其特征在于，该计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行权利要求1-7任一所述的掘进机采运协同控制方法。

10.一种计算机程序产品，包括计算机指令，其特征在于，该计算机指令被处理器执行时实现权利要求1～7任一项所述方法的步骤。

技术总结本公开实施例公开了一种掘进机采运协同控制方法、装置、存储介质、程序产品。其中，方法包括：实时获取所述掘进机的工作状态数据；构建价值网络、目标网络和奖励函数；设置所述掘进机的动作参数，基于所述动作参数、所述工作状态数据、所述价值网络和所述奖励函数，获得经验数据；基于所述经验数据对所述价值网络和所述目标网络进行优化；基于优化后的价值网络和目标网络获得控制数据，基于所述控制数据对所述掘进机进行采运协同控制。该方法能够结合深度强化学习的神经网络算法，实现对掘进机的采运协同自主控制，使得采运效率最大化。技术研发人员：杨健健,董轩,王凯帆,刘晋腾,黄乾坤受保护的技术使用者：中国矿业大学（北京）技术研发日：技术公布日：2024/7/15