基于多传感器融合的散料自动装车方法和系统

本发明涉及散料装车作业，特别涉及基于多传感器融合的散料自动装车方法和系统。

背景技术：

1、随着物流行业智能化趋势日益明显，自动装车技术作为物流行业的重要一环，具有研究价值和应用前景，在国内外，这一领域的研究仍处于初级阶段，传统的作业方式是由操作员观察车厢内料堆的高度，并通过语音来指挥驾驶员挪动车辆，这种人工装车控制方法直接受到操作员及驾驶员经验的影响；另一方面，操作员重复劳动强度大，当运输车辆较多时，容易产生疲劳而引发生产事故，存在一定安全隐患。

2、散料装车前通常需要获得车辆外廓尺寸作为定量装车的依据，图像处理技术在尺寸测量领域应用较为广泛，但对环境条件有一定的依赖性，光照条件、背景干扰和物体表面特征等因素可能对图像处理结果产生影响，激光雷达具有较强的环境适应能力和较高的精度，因此在尺寸测量时更具有优势。

3、车厢内部布料检测作为散料装车过程的核心步骤，布料检测方法可能受到环境因素的影响，如光线、噪声和震动等，这些因素可能导致检测结果的误差，选择合适的传感器并进行校准和配置是布料检测的关键，同时，布料检测方法需要在实时性和自动化方面进行优化，以满足快速装车和实时控制的需求。

4、当前，基于多传感器融合技术的发展，能够提高作业效率、准确性、安全性、实时监控能力以及优化生产过程，在现代化的生产和管理中，传感器已经成为重要的一部分，帮助企业实现自动化、智能化、高效化的生产和管理。

5、专利cn 111487918 b设计了一种基于多线激光雷达的散料无人装车控制方法、系统和装置，利用多线激光雷达采集车厢三维点云数据，识别车厢尺寸、车厢实时移动位置，动态调节装车过程，实现无人化自动装车控制该发明虽然解决了装车过程中往复装料或装料偏载的问题，但在布料过程中采用单一传感器会导致感知精度降低，并不能精确获取料堆高度及轮廓信息，且单一传感器可靠性较低。

6、且现有的散料装车作业存在如下问题：

7、(1)散料装车作业现场设备多、装车过程复杂，现有的人工或单一传感器感知能力有限，并且可靠性较差，不能精确地实现对现场环境的感知和所需信息的采集；

8、(2)车厢内部布料检测作为散料装车过程的核心步骤，对检测精度要求较高，目前的技术无法对料堆高度进行高精度的检测，容易造成过载或欠载；

9、(3)对于下料口处是否正常下料缺乏相应的检测装置，当下料口堵塞时系统可能无法感知，整体可靠性不高，因此，本技术提供了基于多传感器融合的散料自动装车方法和系统来满足需求。

技术实现思路

1、本发明要解决的技术问题是提供基于多传感器融合的散料自动装车方法和系统以解决现有的问题。

2、为解决上述技术问题，本发明提供如下技术方案：

3、基于多传感器融合的散料自动装车方法包括包括以下步骤：

4、步骤一，车辆行驶至红外光电传感器1处时，立即发出警报，并通过led屏幕发出“停车”指令；

5、步骤二，司机停车后，启动激光雷达开始对车辆进行三维扫描，将扫描所得点云数据进行重构、滤波并计算车辆长、宽、高度信息；

6、步骤三，通过车辆尺寸设置定料仓内待装物料重量和车厢内物料堆积高度，完成设置后打开下料阀门开始装车；

7、步骤四，启动雷达和摄像头分别对车厢内料堆轮廓进行三维重构，将所得雷达点云和图像点云融合，提取关键信息,同时对车厢边缘处料堆高度进行检测，防止溢料，当料堆高度达到目标高度时关闭下料阀门；

8、步骤五，完成一次定点装车后，通过led屏幕发出“移动至下一装车点”的指令，当车辆触发红外光电传感器2时，继续进行第二次定点装车，直至完成所有装车任务。

9、基于多传感器融合的散料自动装车系统，包括车辆尺寸测量模块、车厢内散料高度检测模块、车辆定位模块和下料口状态检测模块，所述车辆尺寸测量模块用于对待装车辆的长、宽、高尺寸进行测量，所述车厢内散料高度测量模块用于在布料过程中，为防止发生过载或欠载，采用激光雷达与视觉传感器相结合的方式对料堆轮廓进行采集，并读取顶点高度和车厢边缘处高度，当高度达到设定值时需停止装车以免造成撒料，所述车辆定位模块用于对车辆位置进行定位，所述下料口状态监测模块用于防止撒料和事故发生。

10、在一些可能的实现方式中，所述车辆尺寸测量模块包括激光雷达数据获取，激光雷达采用tof(time of flight)方案，能够对周围360°环境进行二维扫描探测，具体来说，激光器会发射出短脉冲激光束照射到目标物体上，然后接收反射回来的激光信号，通过测量激光脉冲从发射到接收的时间差，可以计算出目标物体的距离；

11、激光雷达采用1.25mm 4pin连接器与外部连接，实现供电和数据接收，并采用标准异步串口(uart)单向发送，稳定工作后，即开始发送测量数据包，不需要发送任何指令。

12、在一些可能的实现方式中，所述车辆尺寸测量模块还包括点云数据三维重构，选用57式步进电机作为旋转机构，通过控制脉冲使电机每次旋转一定的角度。

13、在一些可能的实现方式中，所述车厢内散料高度检测模块包括基于激光雷达的料堆点云采集、基于双目视觉的料堆点云采集、雷达点云与图像点云融合以及料堆点云边界提取；

14、在进行基于激光雷达的料堆点云采集时需要进行云平滑处理，在现有数据的基础上，利用移动最小二乘法(moving least squares，mls)来完成点云的平滑处理；

15、在基于双目视觉的料堆点云采集中，需要对图像进行三维重构，本发明采用了基于双目视觉的图像三维重构方法，动作流程主要有相机标定、特征提取、立体匹配、三维重构等步骤；

16、在雷达点云与图像点云融合中需要将图像点云和雷达点云投影在平面上；为了获取更加准确、可靠的料堆点云轮廓，还需将两幅点云进行配准；

17、在料堆点云边界提取中需要将配准后的点云数据利用alpha shape算法计算平面点云的轮廓线，alpha shape算法就是在散点上设置一个半径为alpha的球在上面滚动，最后滚出的线就是轮廓线，因此这个算法的滚球半径不能太小，否则不能将散点全部包围起来。

18、在一些可能的实现方式中，所述车辆定位模块中完整的装车过程需分四次完成，因定量仓固定，故需要在装车过程中移动车辆，为保证车辆行驶至指定装料点时能够及时停下，本发明采用四组红外光电开关对车辆定点位置进行检测，红外光电开关是一种红外调制型无损检测光电传感器，采用红外发光二极管和光敏三极管作为光电转换元件，根据发光二极管发出的红外线遇到障碍物后反射回来的红外线强度来判断障碍物是否存在。

19、在一些可能的实现方式中，所述下料口检测模块中为检测料仓下料口处是否正常下料，本发明采用一对激光测距传感器对其进行检测。

20、本发明与现有技术相比，至少具有如下有益效果：

21、上述方案中

22、一、运用多传感器融合技术通过实时监测、智能控制和数据分析，可以提高装车效率、精度和安全性，减少人为错误，对于散料装车领域具有重要的优势；

23、二、采用单线激光雷达与步进电机相结合实现三维扫描更节约成本，设备简单易于维护；

24、三、基于雷视融合的料堆检测方案对环境的适应能力更强，检测精度更高；

25、四、在料仓下方加入下料检测装置，可以对装车过程中发生的下料阀门误动作进行反馈，提高安全性，还可以作为下料口堵塞检测装置。