基于边缘计算的智能交通多模态信息融合系统的制作方法

本发明涉及智能交通信息融合系统，更具体地说，涉及基于边缘计算的智能交通多模态信息融合系统。

背景技术：

1、随着城市化进程的不断推进,城市道路交通压力日益增大。为缓解这些问题,智能交通系统(intelligent transportation system, its)应运而生。its利用先进的信息和通信技术,实现交通数据的采集、处理、融合和应用,从而提高交通管理和出行服务的效率。然而,传统its仍面临诸多技术挑战,难以满足日益复杂的智慧交通场景需求。

2、首先,海量多源异构交通数据给its的存储和计算架构带来巨大压力。随着感知设备的密集部署和精度的不断提升,每天产生的视频、雷达、轨迹等数据呈爆炸式增长。以视频为例,一个城市动辄数万路监控摄像头,24小时不间断工作,产生的视频数据量可达pb级。传统的中心化数据处理模式难以应对如此规模的数据,存在处理时延长、带宽占用高、扩展性差等问题。如何在靠近数据源头的位置完成计算,减少数据传输的开销,是亟需解决的问题。

3、其次,多视角车辆重识别(re-id)技术还不够成熟,制约了车辆跨摄像头匹配和轨迹追踪的性能。受拍摄角度、光照变化、遮挡等因素影响,同一辆车在不同摄像头下的外观差异很大,给匹配带来了极大挑战。现有的re-id算法大多基于手工设计的特征,如颜色、纹理等,泛化能力有限。一些研究尝试引入深度学习提取判别特征,但在处理角度变化较大的跨视角匹配时,其性能还有待提高。如何建模不同视角下车辆的语义关联,学习鲁棒的深层特征表示,是re-id领域函待突破的关键。

4、再次,车辆匹配中的阈值选择问题长期没有得到有效解决。阈值的高低直接决定了匹配的准确率和召回率,选择不当极易引入漏检或误检。传统方法主要依靠人工经验设定固定阈值,或采用启发式规则动态调整,难以适应复杂场景的变化。一些研究尝试引入决策树、聚类等机器学习方法自动选择阈值,但它们往往将阈值学习视为一个独立的后处理过程,没有与匹配任务本身形成端到端的闭环优化。如何将阈值函数集成到深度学习管线中,通过匹配损失的反向传播实现阈值的自适应学习,是值得深入研究的问题。

5、最后,现有its的全局路况分析和交通策略优化还比较粗放,难以精细化地指导车辆导航和信号灯配时。受制于路网规模和数据粒度,全局决策往往采用较为简单的统计模型,如历史平均法、时间序列法等,预测未来的交通流量。调度策略的制定也多采用固定的优先级规则,如公交优先、行人优先等。这类方法难以准确捕捉路网的动态变化,无法对个体车辆的路径进行针对性优化。如何利用深度强化学习等智能优化技术,根据道路实时状态和车流预测结果,制定精细化的全局调度策略,是下一代its需要攻克的难题。

6、综上所述,传统its在数据处理、车辆识别、路况分析等关键技术上还存在诸多不足,远不能满足智慧交通的发展需求。本发明正是针对这些问题,提出了基于边缘计算的智能交通多模态信息融合系统及方法。

技术实现思路

1、本发明正是针对上述技术问题,提出基于边缘计算的智能交通多模态信息融合系统，该系统创新性地引入了边-云协同计算、跨视角语义建模、自适应阈值学习等技术,在提升系统智能化水平的同时,显著改善了车辆匹配、轨迹追踪、交通预测的性能。

2、本发明提供基于边缘计算的智能交通多模态信息融合系统,所述系统包括:数据采集模块、车辆检测模块、特征提取模块、跨视角语义关联建模模块、自适应阈值匹配模块、车辆匹配模块、轨迹追踪模块和全局决策模块;其中,

3、所述数据采集模块,用于采集道路两侧的rsu节点实时传输的交通视频流;

4、所述车辆检测模块,用于检测所述交通视频流中的车辆目标,提取车辆图像块;

5、所述特征提取模块,用于提取所述车辆图像块的深度特征矢量;

6、所述跨视角语义关联建模模块,用于构建车辆特征图并建模节点间关系,输出优化后的节点特征表示;

7、所述自适应阈值匹配模块,用于自适应地学习匹配阈值函数;

8、所述车辆匹配模块,用于根据学习到的所述阈值函数对车辆相似度矩阵进行过滤,得到跨视角车辆匹配结果;

9、所述轨迹追踪模块,用于根据所述跨视角车辆匹配结果构建车辆运动轨迹;

10、所述全局决策模块,用于接收所述车辆运动轨迹数据,结合先验交通规则和车流预测动态调整交通策略。

11、具体地，所述跨视角语义关联建模模块包括:

12、图构建单元，用于根据车辆特征矢量构建无向图,其中节点表示第辆车，边表示车辆和之间的相似度；

13、图transformer层，用于建模图中节点间的关系，并引入深度特征约束机制，更新节点表示；

14、时序lstm层,用于建模节点特征在时间维度上的演化,输出最终的节点特征表示。

15、具体地，所述图transformer层包括:

16、计算注意力分数矩阵,其中分别为查询、键、值矩阵，为输入的节点特征矩阵，为可学习的投影矩阵，为节点数量，为隐藏层维度； 对e的元素进行约束，得到 ， 其中为节点i的id标签；对进行softmax归一化，得到注意力权重矩阵 聚合特征,并通过残差连接和层归一化得到输出特征矩阵 。

17、具体地，在所述图transformer层中引入深度特征约束损失,其中为正样本对集合，为节点的id标签， 为节点的特征矢量，表示集合的基数，用于促使同类样本的特征趋于一致。

18、具体地，所述自适应阈值匹配模块包括:

19、阈值函数生成单元，用门控注意力网络建模匹配阈值函数,其中 为节点特征矩阵，为图的邻接矩阵，为的参数；

20、匹配损失计算单元，采用加权交叉熵损失,其中为匹配标签集合，为标签的损失权重为在相似度和阈值下预测标签为的概率；

21、f1损失计算单元，采用 ，其中为预测的匹配矩阵，为实标签矩阵；

22、阈值优化单元，联合匹配损失和f1损失，总损失为，其中为平衡因子。

23、具体地，在所述阈值优化单元中，将匹配矩阵作为监督信息参与阈值函数的训练，与形成约束回环，实现端到端优化，

24、具体地，所述车辆匹配模块包括：

25、相似度计算单元，用于计算跨视角车辆特征的余弦相似度矩阵,其中分别表示第辆车的特征矢量，表示范数：

26、匹配矩阵生成单元，用学习到的阈值函数对进行过滤，得到二值匹配矩阵

27、图更新单元，将作为边权重更新图的邻接矩阵,用于后续轨迹追踪。

28、具体地，所述车辆检测模块采用改进的yolov5算法,backbone网络替换为ghostnet,加入空间金字塔池化和挤压激励模块增强特征表示;非极大值抑制阈值设为0.6,置信度阈值设为0.4。

29、具体地，所述特征提取模块采用eficientnet-b3作为骨干网络并在损失函数中引入triplet loss ,其中和分别表示正负样本对的特征距离，为间隔阈值，以提升特征的判别性。

30、基于边缘计算的智能交通多模态信息融合方法,包括以下步骤:

31、步骤1.数据采集:采集道路两侧的rsu节点实时传输的交通视频流;

32、步骤2.车辆检测:使用改进的yolov5算法检测视频帧中的车辆目标,提取车辆图像块;

33、步骤3.特征提取:采用efficientnet-b3提取车辆图像块的深度特征矢量

34、步骤4.跨视角语义关联建模:构建车辆特征图,其中节点表示第辆车，边表示车辆和的相似度；

35、通过transtormer层建模节点间关系，计算注意力矩阵;其中，引入深度特征约束损失

36、通过时序lstm层建模节点特征演化，得到最终优化的节点表示，其中；

37、步骤5.自适应阈值匹配:用门控注意力网络建模匹配阈值函数 计算加权交叉熵匹配损失和f1损失 将匹配矩阵反馈，通过约束回环机制联合优化总损失,端到端训练阈值函数

38、步骤6.车辆匹配：计算跨视角车辆特征的余弦相似度矩阵 ,用学习到的阈值函数对过滤，得到匹配矩阵用更新图的邻接矩阵;

39、步骤7.轨迹追踪：根据匹配结果p构建车辆运动轨迹;

40、步骤8.全局决策：接收车辆轨迹数据,结合先验交通规则动态调整交通策略。

41、本发明具有如下有益效果：

42、首先,在系统层面,边缘节点与云中心的协同计算模式,产生了显著的性能增益。一方面,边缘节点负责前端的数据处理和特征提取,在靠近数据源头的位置完成计算,避免了原始数据的大规模回传,降低了网络传输的时延和带宽占用。另一方面,云中心接收边缘节点上传的车辆特征和轨迹数据,进行全局路况分析和交通策略优化。这种分工不仅能够及时响应本地的实时事件,同时又兼顾了全局的调度决策。二者分工明确、优势互补,真正做到了协同增效。

43、其次,在算法创新上,跨视角语义关联建模、深度特征约束、自适应阈值学习等机制的引入,从多个维度提升了系统性能。语义关联建模通过图神经网络,挖掘不同视角下车辆特征的内在联系,突破了以往单视角匹配的局限。深度特征约束进一步强化了跨视角车辆特征的一致性,使得匹配更加鲁棒。自适应阈值学习利用匹配结果的反馈,实现阈值的自动调优,克服了传统固定阈值的不足。这些创新点相互配合,在局部特征优化和全局阈值调整间形成闭环,带来了整体匹配性能的显著提升。

44、此外,多任务学习范式的采用,有效地缓解了单一任务的欠拟合风险,同时也节省了计算开销。匹配损失和f1损失的加权组合,在类别不平衡问题上取得了很好的效果。lstm时序建模充分利用了车辆运动的时空连续性,提高了轨迹追踪的准确性和平滑性。

45、总的来说,本系统在算法和工程实现上都进行了精心的设计与优化,多项技术环环相扣,既有针对局部问题的创新,也有面向全局目标的协同,做到了相互促进、叠加成效。一方面,跨模态语义关联建模、自适应阈值学习等算法,解决了多视角车辆re-id中的关键技术难题,另一方面,边-云协同计算、多任务学习等系统架构,则进一步放大了算法创新的效能,二者相得益彰,最终使本系统在车辆匹配、轨迹追踪、交通流预测等任务上,较传统方法取得了质的飞跃。