基于地磁传感器和摄像机传感器的数据融合系统和方法

本发明属于智能交通领域，具体涉及一种基于地磁传感器和摄像机传感器的数据融合系统和方法。

背景技术：

1、交通是城市发展的主要动力。为了促进智能交通系统(intelligent trafficsystem，简称its)以及智慧城市的发展，物联网在智能交通系统中发挥着越来越重要的作用，用于实时感应和通信。为了提高交通系统的运行效率和安全性，各种交通传感器在智慧城市中扮演着越来越重要的角色，例如激光雷达、毫米波雷达、摄像机、地磁传感器，目前已经用于车辆跟踪等应用。

2、比如专利文献“一种多摄像头融合的实时车辆跟踪方法及装置”(申请号：202310617390.6)中提出一种基于多摄像头的车辆轨迹跟踪方法。该方法首先获取监控设备的图像初始数据，基于图像清晰度定义图像基准数据；对每个监控设备的图像初始数据中的车辆进行识别，获取车辆图片数据；输入车辆结构化算法模型获得车辆结构化信息；以图像基准数据为标准修正车牌信息；最后通过路径拟合补缺，实现车辆路径轨迹的还原，实现实时跟踪效果。该方法存在的不足之处是，多个摄像头视频检测传感器价格较高，并且视频传感器对视频数据的采集效果受天气等因素的影响严重，并且该方法使用的算法比较复杂，会给边缘计算设备带来计算压力。

3、又比如，jiazeng wang等人在其发表的论文“from model to algorithms:distributed magnetic sensor system for vehicle t racking”(ieee transactionson industrial informatics,vol.19,no.3,pp.2963-2972,march 2023)中提出了一种基于分布式地磁传感器的车辆跟踪的方法。该方法的实现步骤是：将地磁传感器组成节点网络部署在环境中，提出了一种不受旋转振动影响的全场匹配方法来进行目标定位，进而采用线性卡尔曼滤波实现车辆轨迹跟踪。虽然地磁传感器不易受环境影响，具有更低的安装和维护成本，且自身成本较低，适合在道路中广泛部署，但该方法也存在不足之处，其无法有效获取车辆的车牌、颜色等信息，而且随着分布式节点的增加，节点间的通信量也会相应增加，导致网络带宽的压力增大，可能影响系统的响应时间和性能，并且计算量会随之增加，给边缘处理单元带来计算压力。

技术实现思路

1、为了解决现有技术中存在的上述问题，本发明提供了一种基于地磁传感器和摄像机传感器的数据融合系统和方法。本发明要解决的技术问题通过以下技术方案实现：

2、第一方面，本发明实施例提供了一种基于地磁传感器和摄像机传感器的数据融合系统，包括：多个地磁传感器、一个摄像机传感器和一个边缘设备；其中，

3、所述多个地磁传感器设置于被测道路一侧的车道线上，用于获得车辆经过时的时间信息作为地磁时间戳；其中，所述多个地磁传感器沿所在车道线等间隔对齐设置；

4、所述摄像机传感器设置于所述被测道路上方的龙门架上，用于在车辆抵达所述龙门架下方的预设道路检测线时采集车辆图像，并从所述车辆图像中提取车辆信息；其中，所述龙门架在所述被测道路上靠近首个地磁传感器的方向；所述车辆信息包括：表示所述车辆图像采集时间的摄像机时间戳，以及车牌、车型和车颜色；

5、所述边缘设备用于实时接收各个地磁传感器发送的地磁时间戳和所述摄像机传感器发送的车辆信息；在每个检测时间段内，所述边缘设备利用获得的地磁时间戳，基于卡尔曼滤波器处理，确定该检测时间段内各车辆的轨迹信息；利用各车辆的轨迹信息在车辆信息中确定对应的匹配车辆；将该检测时间段内各匹配车辆的轨迹信息和车辆信息进行数据融合，并将融合后数据上传至智能交通云平台。

6、第二方面，本发明实施例提供了一种基于地磁传感器和摄像机传感器的数据融合方法，应用于边缘设备，所述方法包括：

7、实时接收被测道路上设置的各个地磁传感器发送的地磁时间戳和摄像机传感器发送的车辆信息；其中，所述被测道路一侧的车道线上等间隔对齐设置有多个地磁传感器，各个地磁传感器用于获得车辆经过时的时间信息作为地磁时间戳；所述龙门架在所述被测道路上靠近首个地磁传感器的方向；所述被测道路上方的龙门架上设置有一个摄像机传感器，用于在车辆抵达所述龙门架下方的预设道路检测线时采集车辆图像，并从所述车辆图像中提取车辆信息；所述车辆信息包括：表示所述车辆图像采集时间的摄像机时间戳，以及车牌、车型和车颜色；

8、在每个检测时间段内，利用获得的地磁时间戳，基于卡尔曼滤波器处理，确定该检测时间段内各车辆的轨迹信息；

9、利用各车辆的轨迹信息在车辆信息中确定对应的匹配车辆；

10、将该检测时间段内各匹配车辆的轨迹信息和车辆信息进行数据融合，并将融合后数据上传至智能交通云平台。

11、本发明的有益效果：

12、第一，降低部署成本，本发明通过融合地磁传感器和摄像机传感器，实现了基于一台摄像机的数据融合方法，相较于部署多台摄像机传感器极大降低了系统的部署成本。这是通过选择成本较低的地磁传感器和摄像机传感器的组合，有效利用两者的优势，提供了一种更经济高效的解决方案；

13、第二，提高信息采集准确性，本发明综合利用了地磁传感器和摄像机传感器，地磁传感器主要获取车辆的运行轨迹，而摄像机传感器则主要获取车辆的颜色、车牌、车型等详细信息。通过将这两方面的信息进行融合，实现了对道路车辆的更全面、准确的信息采集，提高了系统在实际场景中的适用性；

14、第三，解决信息不完备问题，通过摄像机传感器的引入，本发明解决了传统地磁传感器部署难以获取车辆详细信息的问题。摄像机传感器能够提供车辆的颜色、车牌、车型等关键信息，从而弥补了传感器信息不完备的缺陷，使得系统在感知车辆信息方面更加全面；

15、第四，促进智慧城市发展，本发明的数据融合方法不仅有利于交通监控系统的升级，还对智慧城市的智能交通系统车辆信息的完备性发展起到了推动作用。通过提高信息的完整性，可以更好地支持城市交通管理，提升交通运行效率，为智慧城市的建设贡献了新的技术方案。

16、第五，本发明在计算方面具有显著的优势。采用卡尔曼滤波进行处理，在计算下一传感器位置处的车辆状态时，仅需要了解当前传感器下的车辆状态，无需涉及多节点传感器和复杂的图像视频处理。相较于传统方法，成功减轻了计算量，提高了系统的计算效率。这不仅有助于实现更实时的车辆状态更新，还使得本发明在处理大规模数据时更为高效，为智能交通系统的实际应用提供了可靠的支持。

技术特征：

1.一种基于地磁传感器和摄像机传感器的数据融合系统，其特征在于，包括：多个地磁传感器、一个摄像机传感器和一个边缘设备；其中，

2.根据权利要求1所述的基于地磁传感器和摄像机传感器的数据融合系统，其特征在于，所述地磁传感器，包括rm3100系列三轴地磁传感器；所述摄像机传感器包括ids-tcm400-a-n/0415卡口摄像机。

3.根据权利要求1所述的基于地磁传感器和摄像机传感器的数据融合系统，其特征在于，针对首个检测时间段，所述边缘设备利用获得的地磁时间戳，基于卡尔曼滤波器处理，确定该检测时间段内各车辆的轨迹信息，包括：

4.根据权利要求3所述的基于地磁传感器和摄像机传感器的数据融合系统，其特征在于，步骤a2，基于当前地磁传感器处得到的各车辆的状态向量、地磁时间戳、当前地磁传感器的实际位置、当前地磁传感器的下一个地磁传感器的实际位置，以及所述下一个地磁传感器发送的所有地磁时间戳，确定所述当前地磁传感器检测出的各车辆在所述下一个地磁传感器检测出的各车辆中分别对应的目标匹配车辆，并得到所述当前地磁传感器检测出的各车辆从所述当前地磁传感器行驶到所述下一个地磁传感器时的时间差值，包括：

5.根据权利要求4所述的基于地磁传感器和摄像机传感器的数据融合系统，其特征在于，步骤a3，针对所述当前地磁传感器检测出的每个车辆，基于所述当前地磁传感器得到的该车辆的状态向量和协方差矩阵，以及对应的时间差值，预测该车辆在所述下一个地磁传感器处的状态向量和协方差矩阵，包括：

6.根据权利要求5所述的基于地磁传感器和摄像机传感器的数据融合系统，其特征在于，步骤a4中，对预测得到的该车辆在所述下一个地磁传感器处的协方差矩阵计算卡尔曼增益，利用所述卡尔曼增益对预测得到的该车辆在所述下一个地磁传感器处的状态向量和协方差矩阵进行修正，估计出该车辆在所述下一个地磁传感器处的状态向量和协方差矩阵，包括：

7.根据权利要求4所述的基于地磁传感器和摄像机传感器的数据融合系统，其特征在于，所述边缘设备利用各车辆的轨迹信息在车辆信息中确定对应的匹配车辆，包括：

8.根据权利要求7所述的基于地磁传感器和摄像机传感器的数据融合系统，其特征在于，所述根据该目标车辆在该检测时间段内各个状态向量中的车辆位置、车辆速度以及各车辆位置分别对应的地磁传感器的实际位置，确定该目标车辆的时间窗口参数，利用该目标车辆的摄像机时间戳估计值和该目标车辆的时间窗口参数，在该检测时间段内的车辆信息中确定出该目标车辆的匹配车辆，包括：

9.根据权利要求4所述的基于地磁传感器和摄像机传感器的数据融合系统，其特征在于，针对除首个检测时间段之外的任一检测时间段，所述边缘设备利用获得的地磁时间戳，基于卡尔曼滤波器处理，确定该检测时间段内各车辆的轨迹信息，包括：

10.一种基于地磁传感器和摄像机传感器的数据融合方法，其特征在于，应用于边缘设备，所述方法包括：

技术总结本发明公开了一种基于地磁传感器和摄像机传感器的数据融合系统和方法，由边缘设备实时接收被测道路上设置的各个地磁传感器发送的地磁时间戳和摄像机传感器发送的车辆信息；车辆信息包括：表示车辆图像采集时间的摄像机时间戳以及车牌、车型和车颜色；边缘设备在每个检测时间段内，利用获得的地磁时间戳，基于卡尔曼滤波器处理，确定该检测时间段内各车辆的轨迹信息；利用各车辆的轨迹信息在车辆信息中确定对应的匹配车辆；将该检测时间段内各匹配车辆的轨迹信息和车辆信息进行数据融合，并将融合后数据上传至智能交通云平台。本发明利用地磁传感器和摄像机传感器能提高信息采集准确性，获取更全面的车辆行驶信息，融合算法复杂度较低，成本较低。技术研发人员：任效江,朱梦军,王岩,李长乐,毛国强受保护的技术使用者：西安电子科技大学技术研发日：技术公布日：2024/6/18