基于多模态数据融合和图神经网络的智能交通监控方法、装置及电子设备与流程

本发明涉及智慧交通，尤其涉及一种基于多模态数据融合和图神经网络的智能交通监控方法、装置、电子设备及存储介质。

背景技术：

1、在现代城市交通管理中，机器视觉和图像处理技术已广泛应用于道路监控和智慧交通系统。这些技术能够通过摄像头捕获道路图像，利用算法对车辆、行人进行检测、分类和跟踪，从而实现交通流量统计、违章行为检测等功能。

2、然而，尽管现有技术在多个方面取得了进展，但仍存在一些局限性和挑战。例如，现有的车辆跟踪和识别监控系统在复杂的交通环境中，如恶劣天气、光照变化或遮挡情况下，仍然面临监控性能和可靠性不足的问题。

技术实现思路

1、有鉴于此，本发明实施例提供一种基于多模态数据融合和图神经网络的智能交通监控方法、系统、电子设备及存储介质，有利于提升整个智能交通监控系统的性能和可靠性，使其更好地适应复杂的交通环境的监控分析。

2、第一方面，本发明实施例提供一种基于多模态数据融合和图神经网络的智能交通监控方法，包括步骤：

3、s10、获取目标交通场景中的多模态数据，并对所述多模态数据进行同步和校准，所述多模态数据包括：图像、点云、声音和温度；

4、s20、利用深度学习算法从每种模态的数据中提取特征，并通过融合算法将提取出的特征进行融合，以增强在恶劣天气、光照变化或遮挡情况下的数据质量；

5、s30、基于预先训练得到的图神经网络预测模型，输入融合后的数据特征，输出交通场景中的交通元素的属性特征和相互关系特征；

6、s40、根据所述交通元素的属性特征和相互关系特征，对目标交通场景中的交通元素的流动和行为模式进行监控分析。

7、可选地，步骤 s20中，所述利用深度学习算法从每种模态的数据中提取特征，并通过融合算法将提取出的特征进行融合，包括：

8、s21、利用卷积神经网络处理图像数据，提取交通场景中的视觉特征；所述视觉特征包括：车辆的形状轮廓、尺寸大小和颜色，以及行人的运动轨迹；

9、s22、应用循环神经网络分析声音数据，识别交通噪声模式；所述交通噪声模式包括：车辆行驶声和紧急车辆警报；

10、s23、通过时间序列分析处理温度数据，监测环境温度变化对交通状况的影响；

11、s24、使用雷达信号处理技术分析点云数据，获取交通元素的速度、距离和角度信息，所述交通元素包括：车辆和行人；

12、s25、 将步骤s21至s24中提取的特征输入至多层感知器进行特征融合，并根据各模态数据的特征权重，生成一个综合特征向量。

13、可选地，步骤s25包括：对于每种模态数据提取的特征，分配一个权重；

14、根据每个特征的权重，对每个特征进行加权计算，得到对应的加权特征；其中，加权计算公式为: fi′=wi×fi，fi′为加权特征， fi 是每种模态数据中提取的原始特征，wi是通过分析历史交通元素数据在交通流动和行为监控中的重要性确定的权重；

15、根据预先训练得到的多层感知器，将所述加权特征输入到所述多层感知器中，通过所述多层感知器的前向传播计算得到综合特征向量v：其中，所述多层感知器包括：输入层、隐藏层和输出层，所述输入层神经元的数量和输入特征的数量相同， v=σ（w2 ⋅σ(w1⋅f′) ），w1为所述输入层到隐藏层的权重矩阵，w2为隐藏层到输出层的权重矩阵，σ是激活函数。

16、可选地，在s30之前或s30，还包括：构建图神经网络预测模型，具体为：

17、确定图神经网络的架构，对于交通场景中的目标交通元素，分别构建一个图结构，其中，每个目标交通元素表示一个节点，相邻节点之间通过边连接，边代表交通场景中的目标交通元素之间的关系；所述目标交通元素包括：

18、获取交通场景中的历史多模态数据，并初始化节点特征：

19、使用图卷积层来聚合临邻节点的信息，更新每个节点的特征表示；

20、将图卷积层的输出的多个模态的数据特征融合，以增强交通元素特征的表达；

21、引入动态时间窗口机制，动态调整图结构中节点特征的时间相关性，并捕捉交通场景中的车辆动态特征；

22、利用注意力机制，在特征聚合过程中，优先考虑对当前预测任务为重要级别的节点特征；

23、通过训练过程优化图神经网络的参数，包括权重矩阵和偏置项，以及注意力机制中的权重向量；

24、使用特定的输出层激活函数和损失函数，用于使模型能够输出交通元素的属性特征和相互关系特征，初步得到图神经网络预测模型；

25、对初步得到的所述图神经网络预测模型执行评估和验证步骤，测试模型在预测交通元素的属性特征和相互关系特征方面的性能。

26、可选地，所述图卷积层采用以下算法进行节点特征的更新：

27、；

28、其中，是节点v在第层的特征向量表示，，是节点v的邻近节点集合，是节点u和 v之间的连接权重，第层的权重矩阵，是第层的偏置项，relu是激活函数，是节点u在第层的特征向量表示，是节点v在第层的特征向量表示。

29、可选地，利用注意力机制，在特征聚合过程中，优先考虑对当前预测任务较为重要的节点特征包括：根据下述公式计算每个节点的注意力系数，

30、，其中，是节点v对其邻近节点u的注意力系数，是注意力机制的权重向量， w 是特征转换矩阵，表示连接操作，leakyrelu是激活函数，、、分别对应表示节点v、u和k的特征向量表示；

31、对每个节点注意力系数进行归一化处理，使各节点的注意力系数之和为1；

32、根据归一化处理后的注意力系数，对节点v的邻近节点集合进行加权求和，得到节点v的更新后的特征表示。

33、第二方面，本发明的实施例还提供一种基于多模态数据融合和图神经网络的智能交通监控系统，获取单元，用于获取目标交通场景中的多模态数据，并对所述多模态数据进行同步和校准，所述多模态数据包括：图像、点云、声音和温度；特征提取融合单元，用于利用深度学习算法从每种模态的数据中提取特征，并通过融合算法将提取出的特征进行融合，以增强在恶劣天气、光照变化或遮挡情况下的数据质量；模型预测单元，用于基于预先训练得到的图神经网络预测模型，输入融合后的数据特征，输出交通场景中的交通元素的属性特征和相互关系特征；监控分析单元，用于根据所述交通元素的属性特征和相互关系特征，对目标交通场景中的交通元素的流动和行为模式进行监控分析。

34、第三方面，本发明的实施例还提供一种电子设备，所述电子设备包括：壳体、处理器、存储器、电路板和电源电路，其中，电路板安置在壳体围成的空间内部，处理器和存储器设置在电路板上；电源电路，用于为上述电子设备的各个电路或器件供电；存储器用于存储可执行程序代码；处理器通过读取存储器中存储的可执行程序代码来运行与可执行程序代码对应的程序，用于执行前述第一方面任一所述的基于多模态数据融合和图神经网络的智能交通监控方法。

35、第四方面，本发明的实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现前述第一方面任一所述的基于多模态数据融合和图神经网络的智能交通监控方法。

36、本发明实施例提供一种基于多模态数据融合和图神经网络的智能交通监控方法、装置、电子设备及存储介质，通过多模态数据融合可以提供更加全面和多角度的交通场景信息，使系统能够更好地适应复杂的交通环境。同时，利用图神经网络进行特征提取和交通元素行为分析，能够有效地提升对恶劣天气、光照变化或遮挡情况下的适应能力，从而提高监控性能和可靠性。因此，本发明实施例有利于提升整个智能交通监控系统的性能和可靠性，使其更好地适应复杂的交通环境的监控分析。