智能化采煤设备协同控制系统与方法与流程

本发明涉及采煤控制，特别涉及智能化采煤设备协同控制系统与方法。

背景技术：

1、随着工业化和城市化进程的不断推进，煤炭作为重要的能源资源，在全球能源结构中扮演着举足轻重的角色。为了满足能源需求，煤矿开采作为煤炭资源获取的重要环节，其效率和安全性成为了矿业企业关注的焦点。传统的煤矿采煤设备存在一系列问题，包括低效率、高风险、资源浪费等，因此迫切需要一种智能化采煤设备协同控制方法来解决这些问题。

2、在传统的煤矿采煤作业中，通常采用人工操作或简单的自动化设备来完成采煤任务。这种方式存在以下几个问题：低效率问题：传统的采煤设备在操作过程中受制于人工经验和操作技能，无法充分利用现代化技术手段进行智能化管理和优化控制，导致采煤效率较低。安全风险问题：由于采煤作业环境复杂，传统的操作方式容易受到煤层崩塌、设备故障等意外因素的影响，存在一定的安全隐患和风险。资源浪费问题：传统的采煤作业往往存在资源浪费现象，包括能源、人力、时间等方面的浪费，导致了生产成本的提高和资源的低效利用。

3、为了解决以上问题，研究人员提出了一种智能化采煤设备协同控制方法，通过将每个采煤设备视为一个强化学习智能体，实现了对采煤作业的智能化管理和优化控制。下面将结合现有技术对该方法进行详细阐述。已有的现有技术中，智能化采煤设备的研究和应用日益增多。其中，一些技术主要集中在自动化控制、传感器监测、数据分析等方面。例如，传感器技术可以实时监测采煤设备的工作状态、煤层情况等信息，从而为智能化控制提供数据支持。自动化控制技术则通过预先设定的控制策略来实现对采煤设备的自动化操作，提高了采煤效率和安全性。然而，这些现有技术在实际应用中仍然存在以下问题：单一智能体控制：传统的自动化控制方法往往只考虑单个采煤设备的控制，缺乏对多个设备之间协同作业的考虑，导致了作业效率的低下和资源的浪费。固定控制策略：现有的自动化控制方法通常采用固定的控制策略，无法根据实际场景和条件进行动态调整，导致了适应性和灵活性的不足。缺乏智能决策：现有技术中智能化程度有限，往往只是简单地实现了自动化控制，缺乏对采煤作业过程中复杂决策的智能化处理，无法充分利用现代化技术手段进行优化管理和智能决策。

技术实现思路

1、本发明的目的是提供智能化采煤设备协同控制系统与方法，具有提高采煤效率、降低生产成本、提高安全性、优化资源利用和提升生产线整体效益等显著优势。

2、为解决上述技术问题，本发明提供智能化采煤设备协同控制系统，所述系统包括：环境模型构建部分，用于将每个采煤设备视为一个强化学习智能体，分别构建每个强化学习智能体的状态空间、策略空间、策略空间概率分布和奖励函数；状态空间中每个元素为该强化学习智能体对应在某一时刻的运行状态向量；策略空间中每个元素为该强化学习智能体可以采取的动作集合；奖励函数表示在某个状态下采取某个动作后的预期回报；策略空间概率分布表示在某个状态下，可以选择的所有动作集合的概率分布；协同控制部分，用于分别构建每个强化学习智能体的效用函数，该效用函数表示了强化学习智能体在自己的策略空间概率分布下，其他强化学习智能体采取最优的策略空间概率分布后，获得的效用，通过最大化效用，求解得到强化学习智能体的最优策略空间概率分布；当获得每个强化学习智能体的最优策略空间概率分布后，以此构建所有采煤设备的系统协同控制策略，根据系统协同控制策略，控制每个强化学习智能体对应的采煤设备的运行。

3、进一步的，所述采煤设备包括：采煤机、装载机和输送机。

4、进一步的，定义强化学习智能体的状态空间为，表示在时刻下，强化学习智能体的运行状态向量；定义强化学习智能体的动作空间为，表示在时刻下，强化学习智能体可以采取的动作集合；当强化学习智能体对应的采煤设备为采煤机时，状态空间中的每个元素包括：当前位置、煤层厚度和采煤效率，动作空间中的每个元素包括：移动方向、速度、刀盘转速和刀盘切割深度；当强化学习智能体对应的采煤设备为装载机时，状态空间中的每个元素包括：当前位置、煤矿车辆位置、装载筒容量和装载效率，动作空间中的每个元素包括：移动方向、速度、装载筒倾斜角度和装载筒旋转角度；当强化学习智能体对应的采煤设备为输送机时，状态空间中的每个元素包括：当前位置、输送带负载情况和输送速度，动作空间中的每个元素包括：启动/停止、速度和输送带的倾斜角度。

5、进一步的，奖励函数使用如下公式进行表示：

6、；

7、其中，是奖励函数，表示在状态下采取动作的预期回报；是即时奖励，表示执行动作后获得的回报；是探索率，表示进行随机探索的概率，为设定值；是折扣因子，为设定值；是遗忘率，为设定值；是渗透率，为设定值；是下一个状态；是下一个动作；表示在下一个状态下选择动作的奖励函数的最大值，它表示在下一个状态中，强化学习智能体选择能够获得最大预期回报的动作。

8、进一步的，强化学习智能体的策略空间概率分布使用如下公式进行计算：

9、；

10、其中，是强化学习智能体的策略空间概率分布，表示在状态下选择动作的概率；是第个强化学习智能体在状态下执行动作的预期回报；是softmax的温度参数，控制了策略的探索性，当趋向于零时，趋向于一个独热向量，而当趋向于无穷大时，趋向于均匀分布。

11、进一步的，强化学习智能体的效用函数使用如下公式进行表示：

12、；

13、其中，是强化学习智能体在状态下选择动作的预期回报；是强化学习智能体在状态下选择动作的概率；是其他强化学习智能体的最优策略，表示在状态下强化学习智能体选择动作的概率；是一个调节参数，为设定值，表示强化学习智能体在考虑其他强化学习智能体最优策略时的重要程度。

14、进一步的，使用如下公式，通过最大化效用，求解得到强化学习智能体的最优策略空间概率分布：

15、；

16、其中，表示强化学习智能体i的最优策略空间概率分布。

17、进一步的，系统协同控制策略，使用如下公式进行表示：

18、；

19、其中，为采煤设备的数量，等于强化学习智能体的数量。

20、一种智能化采煤设备协同控制方法，所述方法包括：

21、步骤1:将每个采煤设备视为一个强化学习智能体，分别构建每个强化学习智能体的状态空间、策略空间、策略空间概率分布和奖励函数；状态空间中每个元素为该强化学习智能体对应在某一时刻的运行状态向量；策略空间中每个元素为该强化学习智能体可以采取的动作集合；奖励函数表示在某个状态下采取某个动作后的预期回报；策略空间概率分布表示在某个状态下，可以选择的所有动作集合的概率分布；

22、步骤2：分别构建每个强化学习智能体的效用函数，该效用函数表示了强化学习智能体在自己的策略空间概率分布下，其他强化学习智能体采取最优的策略空间概率分布后，获得的效用，通过最大化效用，求解得到强化学习智能体的最优策略空间概率分布；当获得每个强化学习智能体的最优策略空间概率分布后，以此构建所有采煤设备的系统协同控制策略，根据系统协同控制策略，控制每个强化学习智能体对应的采煤设备的运行。

23、本发明的智能化采煤设备协同控制系统与方法，具有以下有益效果：本发明采用了智能化管理和优化控制的方法，能够实时监测采煤设备的工作状态和煤层情况，根据实际情况动态调整每个智能体的工作策略，实现了对采煤作业的精细化管理。智能化控制方法能够充分利用现代化技术手段进行优化决策，提高了采煤作业的效率和生产能力。通过最大化采煤效率，可以实现更快速、更高效的煤炭生产，满足了不断增长的能源需求。