基于双通道自学习的电铲作业安全警戒方法及系统与流程

本发明涉及挖掘机，尤其涉及一种基于双通道自学习的电铲作业安全警戒方法及系统。

背景技术：

1、电铲是一种利用齿轮、链条、钢索滑轮组等传动件传递动力的机械式电动挖掘机。电铲在使用时，由操作人员通过人工手动操作方式进行挖掘控制，因此，目前对于电铲周边人员、车辆等的安全警戒，主要依靠对讲设备和电铲操作人员的操作经验来进行综合判断，存在较大的安全隐患。为了解决上述问题，目前有技术提出通过在电铲的回转平台安装超声波检测装置，利用超声波检测装置来进行障碍物检测以实现电铲周边的安全警戒监控。

2、然而，由于电铲的作业区域地表通常是坑洼不平的，并且随着挖掘动作，电铲会来回运行，仅利用超声波进行电铲周边的入侵障碍物的检测，容易因周围环境相对电铲运动频繁而产生错误检测，严重影响电铲的安全生产。

技术实现思路

1、为解决上述现有技术中存在的部分或全部技术问题，本发明提供一种基于双通道自学习的电铲作业安全警戒方法及系统。

2、本发明的技术方案如下：

3、第一方面，提供了一种基于双通道自学习的电铲作业安全警戒方法，所述方法包括：

4、获取电铲除工作面外的三个侧面外设定范围的毫米波雷达信号和区域图像；

5、根据预先构建的障碍物对应的全覆盖特征反射面及其对应的有效反射波序列，对获取的毫米波雷达信号进行截面反射波特征提取识别，判断是否有障碍物进入，若有，则生成二级雷达识别报警信号，所述障碍物包括作业人员、作业车辆；

6、将获取的区域图像输入预先训练的障碍物检测模型进行障碍物的检测识别，得到所述区域图像对应的障碍物检测识别结果，若所述区域图像中存在障碍物，则生成二级图像识别报警信号；

7、当有二级雷达识别报警信号和/或二级图像识别报警信号生成时，生成一级报警信号并控制电铲停止动作。

8、在一些可能的实现方式中，作业人员对应的全覆盖特征反射面及其对应的有效反射波序列利用以下方式构建：

9、提取作业人员的外形尺寸特征和体态特征；

10、基于作业人员的外形尺寸特征和体态特征，以5°为间隔，构建作业人员对应的覆盖360°全视角的多个特征反射面；

11、针对每个特征反射面，提取对应的有效反射波序列。

12、在一些可能的实现方式中，作业车辆对应的全覆盖特征反射面及其对应的有效反射波序列利用以下方式构建：

13、提取作业车辆的长宽高尺寸特征和车辆外形特征；

14、基于作业车辆的长宽高尺寸特征和车辆外形特征，以5°为间隔，构建作业车辆对应的覆盖360°全视角的多个特征反射面；

15、针对每个特征反射面，提取对应的有效反射波序列。

16、在一些可能的实现方式中，利用以下方式对获取的毫米波雷达信号进行截面反射波特征提取识别，判断是否有障碍物进入：

17、根据获取的毫米波雷达信号，提取对应的特征反射面，并判断特征反射面是否形成实时反射波序列；

18、若形成实时反射波序列，则将实时反射波序列与所有的有效反射波序列进行对比，若存在有效反射波序列与实时反射波序列匹配，则确定匹配的有效反射波序列对应的障碍物，并进一步根据获取的下一批毫米波雷达信号，提取对应的特征反射面，判断特征反射面是否形成实时反射波序列；

19、若形成实时反射波序列，则将实时反射波序列与所有的有效反射波序列进行对比，若存在上一步确定的障碍物对应的有效反射波序列能够与实时反射波序列匹配，则判定有障碍物进入设定范围区域，且进入的障碍物为上一步确定的障碍物；

20、其中，若有效反射波序列与实时反射波序列的重合度大于85%，则有效反射波序列与实时反射波序列匹配。

21、在一些可能的实现方式中，所述障碍物检测模型采用yolo系列算法或fasterrcnn算法。

22、在一些可能的实现方式中，所述障碍物检测模型通过如下方式训练：

23、获取图像训练样本集合，图像训练样本包括：包含障碍物的样本图像、与样本图像对应的障碍物类型和位置；

24、将所述图像训练样本中的样本图像作为输入，将与样本图像对应的障碍物类型和位置作为输出，训练障碍物检测模型。

25、在一些可能的实现方式中，将所述图像训练样本中的样本图像作为输入，将与样本图像对应的障碍物类型和位置作为输出，训练障碍物检测模型，包括：

26、步骤s321，将图像训练样本集合中的每个图像训练样本中的样本图像依次输入障碍物检测模型，得到障碍物检测模型输出的预测障碍物类型和位置；

27、步骤s322，根据每个图像训练样本中的与样本图像对应的障碍物类型和位置、以及样本图像对应的由障碍物检测模型输出的预测障碍物类型和位置，计算预设目标检测损失函数；

28、步骤s323，判断是否达到预设训练停止条件，若是，则将当前的障碍物检测模型作为完成训练的障碍物检测模型，若否，则利用预设目标检测损失函数更新障碍物检测模型的参数，并返回步骤s321。

29、在一些可能的实现方式中，所述方法还包括：

30、将获取的存在障碍物的区域图像进行保存；

31、当保存的区域图像达到设定数量时，利用保存的区域图像对障碍物检测模型进行更新学习。

32、第二方面，还提供了一种基于双通道自学习的电铲作业安全警戒系统，所述系统包括：

33、信息获取单元，被配置为获取电铲除工作面外的三个侧面外设定范围的毫米波雷达信号和区域图像；

34、反射波特征提取识别单元，被配置为根据预先构建的障碍物对应的全覆盖特征反射面及其对应的有效反射波序列，对获取的毫米波雷达信号进行截面反射波特征提取识别，判断是否有障碍物进入，若有，则生成二级雷达识别报警信号并发送至控制单元；

35、障碍物检测识别单元，被配置为将获取的区域图像输入预先训练的障碍物检测模型进行障碍物的检测识别，得到所述区域图像对应的障碍物检测识别结果，若所述区域图像中存在障碍物，则生成二级图像识别报警信号并发送至所述控制单元；

36、所述控制单元，与电铲的控制系统连接，被配置为当接收到二级雷达识别报警信号和/或二级图像识别报警信号时，生成一级报警信号并控制电铲停止动作。

37、在一些可能的实现方式中，所述信息获取单元包括：

38、毫米波雷达，包括六个，所述电铲的三个侧面中每个侧面分别安装有两个所述毫米波雷达，每个侧面中的两个所述毫米波雷达分别位于侧面的两侧，六个所述毫米波雷达处于同一高度上；

39、工业相机，包括三个，所述电铲的三个侧面中每个侧面的中部分别安装有一个所述工业相机。

40、本发明技术方案的主要优点如下：

41、本发明的基于双通道自学习的电铲作业安全警戒方法及系统通过在电铲的作业过程中获取电铲除工作面外的三个侧面外设定范围的毫米波雷达信号和区域图像，对毫米波雷达信号进行截面反射波特征提取识别以判断是否有障碍物进入，对区域图像进行障碍物的检测识别以判断是否有障碍物进入，并在判定有障碍物进入时进行报警并控制电铲停止动作，能够实现电铲周边区域的安全警戒监控，有效地识别到车辆及人员入侵作业区域，避免车辆及人员与电铲发生碰撞，保证电铲的作业安全性，并且能够显著减少误报和错报的情况。