控制系统、控制方法、设备、存储介质和程序产品与流程

本公开涉及智能工程机械，特别涉及一种控制系统、控制方法、设备、存储介质和程序产品。

背景技术：

1、目前，工程机械的智能化越来越受到重视，并取得了一定发展。目前的智能工程机械基本上都使用感知-规划-控制的序列架构。

2、但是，工程机械智能化的焦点是智能作业，而工程机械作业的任务、对象和环境相比于自动驾驶汽车的驾驶任务和道路环境而言更加复杂多变，序列化的感知-规划-控制的架构在一些情况下可能不再能满足作业要求。例如，装载机作业时行走机构和铲斗同时运动完成组合动作，如果策划不周全，铲斗会遮挡指向行驶方向的传感器视野；挖掘机作业时回转机构、动臂、斗杆、铲斗同时运动完成复杂的作业动作，车载传感器无论安装在何处，都会随机器运动，在一些情况下传感器不再指向行驶方向或作业方向，等等。因此，在相关技术中的工程机械的感知-规划-控制的序列架构可能会导致该工程机械在执行作业过程中的协调性比较差。

技术实现思路

1、本公开解决的一个技术问题是：在相关技术中的工程机械的感知-规划-控制的序列架构可能会导致该工程机械在执行作业过程中的协调性比较差。

2、鉴于此，本公开的实施例提供一种用于工程机械设备的控制系统或控制方法，以提高工程机械在执行作业过程中的协调性。

3、根据本公开的一个方面，提供了一种用于工程机械设备的控制系统，包括：环境感知模块，用于接收环境信息和/或控制结果信息，并基于所述环境信息和/或所述控制结果信息输出感知结果信息，以及接收系统调整指令，并基于所述系统调整指令调整自身的状态；决策规划模块，用于接收作业任务和所述感知结果信息，基于所述作业任务和所述感知结果信息生成运动轨迹，输出所述运动轨迹，对所述运动轨迹进行预判以获得预判结果信息，接收与所述运动轨迹对应的反馈结果信息，并基于所述预判结果信息和所述反馈结果信息向所述环境感知模块输出所述系统调整指令；和控制执行模块，用于接收所述运动轨迹，基于所述运动轨迹执行所述作业任务，并获得在执行所述作业任务过程中的所述反馈结果信息和所述控制结果信息，将所述反馈结果信息输出至所述决策规划模块，并将所述控制结果信息输出至所述环境感知模块。

4、在一些实施例中，所述环境感知模块还用于将所述感知结果信息直接输出至所述控制执行模块；所述控制执行模块还用于接收所述感知结果信息，并基于所述感知结果信息执行相应的操作。

5、在一些实施例中，所述决策规划模块用于基于所述预判结果信息和所述反馈结果信息计算获得调整参数，并基于所述调整参数输出所述系统调整指令，其中，所述系统调整指令包括所述调整参数，所述调整参数用于调整所述环境感知模块的状态；所述环境感知模块用于从所述系统调整指令中提取所述调整参数，并基于所述调整参数调整自身的状态。

6、在一些实施例中，所述反馈结果信息包括所述工程机械设备的作业对象的反作用结果。

7、在一些实施例中，所述感知结果信息包括：所述环境信息；或者所述感知结果信息包括：基于所述环境信息和/或所述控制结果信息生成的逻辑判断结果。

8、在一些实施例中，所述环境感知模块包括：环境感知元件和多自由度平台，其中，所述环境感知元件安装在所述多自由度平台上；所述调整参数包括：所述环境感知元件的内参值和/或所述多自由度平台的参数。

9、在一些实施例中，所述环境感知模块还用于将所述环境信息传输到所述决策规划模块，其中，所述环境信息为以所述环境感知模块自身的元件坐标系为坐标系的第一数据信息；所述决策规划模块还用于基于所述元件坐标系与所述工程机械设备的基准坐标系之间的变换矩阵，将所述第一数据信息转换为以所述基准坐标系为坐标系的第二数据信息，并基于所述作业任务和所述第二数据信息生成运动轨迹。

10、在一些实施例中，所述决策规划模块还用于基于所述环境感知模块的所述感知结果信息调整所述运动轨迹，并将调整后的运动轨迹输出到所述控制执行模块；所述控制执行模块还用于基于调整后的运动轨迹控制所述工程机械设备的运动。

11、在一些实施例中，所述决策规划模块还用于基于所述控制执行模块的所述反馈结果信息调整所述运动轨迹，并将调整后的运动轨迹输出到所述控制执行模块；所述控制执行模块还用于基于调整后的运动轨迹控制所述工程机械设备的运动。

12、在一些实施例中，所述决策规划模块还用于向所述控制执行模块发送控制指令，以控制所述控制执行模块的运行状态或运行速度，使得所述控制执行模块的运行状态或运行速度与所述环境感知模块调整后的状态相匹配。

13、根据本公开的另一个方面，提供了一种用于工程机械设备的控制方法，包括：利用环境感知模块接收环境信息和/或控制结果信息，并基于所述环境信息和/或所述控制结果信息输出感知结果信息；利用决策规划模块接收作业任务和所述感知结果信息，基于所述作业任务和所述感知结果信息生成运动轨迹，输出所述运动轨迹，并对所述运动轨迹进行预判以获得预判结果信息；利用控制执行模块接收所述运动轨迹，基于所述运动轨迹执行所述作业任务，并获得在执行所述作业任务过程中的所述反馈结果信息和所述控制结果信息，将所述反馈结果信息输出至所述决策规划模块，并将所述控制结果信息输出至所述环境感知模块；利用所述决策规划模块接收与所述运动轨迹对应的反馈结果信息，并基于所述预判结果信息和所述反馈结果信息向所述环境感知模块输出系统调整指令；和利用所述环境感知模块接收所述系统调整指令，并基于所述系统调整指令调整环境感知模块自身的状态。

14、在一些实施例中，所述控制方法还包括：利用所述环境感知模块将所述感知结果信息直接输出至所述控制执行模块；和利用所述控制执行模块接收所述感知结果信息，并基于所述感知结果信息执行相应的操作。

15、在一些实施例中，利用所述决策规划模块基于所述预判结果信息和所述反馈结果信息向所述环境感知模块输出系统调整指令，包括：利用所述决策规划模块基于所述预判结果信息和所述反馈结果信息计算获得调整参数，其中，所述调整参数用于调整所述环境感知模块的状态；和利用所述决策规划模块基于所述调整参数输出所述系统调整指令，其中，所述系统调整指令包括所述调整参数；利用所述环境感知模块基于所述系统调整指令调整自身的状态，包括：利用所述环境感知模块从所述系统调整指令中提取所述调整参数；和利用所述环境感知模块基于所述调整参数调整自身的状态。

16、在一些实施例中，所述反馈结果信息包括所述工程机械设备的作业对象的反作用结果。

17、在一些实施例中，所述感知结果信息包括：所述环境信息；或者所述感知结果信息包括：基于所述环境信息和/或所述控制结果信息生成的逻辑判断结果。

18、在一些实施例中，所述控制方法还包括：利用所述环境感知模块将所述环境信息传输到所述决策规划模块，其中，所述环境信息为以所述环境感知模块自身的元件坐标系为坐标系的第一数据信息；和利用所述决策规划模块基于所述元件坐标系与所述工程机械设备的基准坐标系之间的变换矩阵，将所述第一数据信息转换为以所述基准坐标系为坐标系的第二数据信息，并基于所述作业任务和所述第二数据信息生成运动轨迹。

19、在一些实施例中，所述控制方法还包括：利用所述决策规划模块基于所述环境感知模块的所述感知结果信息调整所述运动轨迹，并将调整后的运动轨迹输出到所述控制执行模块；和利用所述控制执行模块基于调整后的运动轨迹控制所述工程机械设备的运动。

20、在一些实施例中，所述控制方法还包括：利用所述决策规划模块基于所述控制执行模块的所述反馈结果信息调整所述运动轨迹，并将调整后的运动轨迹输出到所述控制执行模块；和利用所述控制执行模块基于调整后的运动轨迹控制所述工程机械设备的运动。

21、在一些实施例中，所述控制方法还包括：利用所述决策规划模块向所述控制执行模块发送控制指令，以控制所述控制执行模块的运行状态或运行速度，使得所述控制执行模块的运行状态或运行速度与所述环境感知模块调整后的状态相匹配。

22、根据本公开的另一个方面，提供了一种用于工程机械设备的控制系统，包括：存储器；以及耦接至所述存储器的处理器，所述处理器被配置为基于存储在所述存储器的指令执行如前所述的控制方法。

23、根据本公开的另一个方面，提供了一种工程机械设备，包括：如前所述的控制系统。

24、根据本公开的另一个方面，提供了一种计算机可读存储介质，其上存储有计算机程序指令，该计算机程序指令被处理器执行时实现如前所述的控制方法。

25、根据本公开的另一个方面，提供了一种计算机程序产品，包括指令，所述指令当由处理器执行时使所述处理器执行如前所述的控制方法。

26、在上述控制系统中，环境感知模块用于接收环境信息和/或控制结果信息，并基于环境信息和/或控制结果信息输出感知结果信息，以及接收系统调整指令，并基于系统调整指令调整自身的状态；决策规划模块用于接收作业任务和感知结果信息，基于作业任务和感知结果信息生成运动轨迹，输出运动轨迹，对运动轨迹进行预判以获得预判结果信息，接收与运动轨迹对应的反馈结果信息，并基于预判结果信息和反馈结果信息向环境感知模块输出系统调整指令；和控制执行模块用于接收运动轨迹，基于运动轨迹执行作业任务，并获得在执行作业任务过程中的反馈结果信息和控制结果信息，将反馈结果信息输出至决策规划模块，并将控制结果信息输出至环境感知模块。上述控制系统可以提高工程机械设备在执行作业过程中的协调性。

27、通过以下参照附图对本公开的示例性实施例的详细描述，本公开的其它特征及其优点将会变得清楚。