多源时序图像特征协同化集成方法和系统及火灾预警方法

本发明涉及火灾预警，尤其涉及一种多源时序图像特征协同化集成方法和系统及火灾预警方法。

背景技术：

1、目前，基于rgb视频图像的火灾预警技术虽已取得显著成果。但是在实际应用场景中，该火灾预警技术仍存在若干亟待解决的问题。例如，该火灾预警技术的核心技术虽然依托于卷积神经网络(cnn)对视频图像进行深度特征提取以辨别火焰、烟雾等火灾标志，但受限于光照条件和场景复杂性的影响，其效能并未达到理想状态。具体表现为，在光线较暗的环境下，rgb特征图的质量下降，致使火灾特征识别的精确度降低，进而影响整个预警系统的可靠性和稳定性；同时，复杂的场景因素如待检测物体与背景的混淆以及遮挡物的存在，容易引发误报警或漏报警，前者可能导致无效资源浪费，后者则可能延迟对火灾的有效应对。

技术实现思路

1、为解决背景技术中存在的技术问题，本发明提出一种多源时序图像特征协同化集成方法和系统及火灾预警方法。

2、本发明提出的一种多源时序图像特征协同化集成方法，包括：

3、获取配对的rgb特征图和红外特征图；

4、对rgb特征图和红外特征图进行集成，得到当前的多源融合特征图；

5、获取多个历史的多源融合特征图；

6、根据当前的多源融合特征图和多个历史的多源融合特征图，得到多源时序融合特征图。

7、优选地，对rgb特征图和红外特征图进行集成，得到当前的多源融合特征图，具体包括：

8、对rgb特征图特征进行最大池化操作，得到第一中间特征图；

9、将第一中间特征图与红外特征图进行自适应特征融合，得到第三中间特征图；

10、对第三中间特征图进行转置卷积，得到第四中间特征图；

11、对第四中间特征图进行归一化，得到第五中间特征图；

12、将第四特征图与rgb特征图进行矩阵乘法，得到第六中间特征图；

13、将第六中间特征图与rgb特征图进行逐元素相加，得到第七中间特征图；

14、将第七中间特征图与第三中间特征图进行特征拼接，得到第八中间特征图；

15、对第八中间特征图进行卷积，得到当前的多源融合特征图。

16、优选地，将第一中间特征图与红外特征图进行自适应特征融合，得到第三中间特征图，具体包括：

17、基于交叉注意力，将第一中间特征图与红外特征图进行融合，得到交叉注意力图，并将交叉注意力图作为第二中间特征图；

18、将第二中间特征图与红外特征图进行逐元素相加，得到第三中间特征图。

19、优选地，对第四中间特征图进行归一化，得到第五中间特征图，具体包括：

20、采用sigmoid函数对第四中间特征图进行归一化，得到第五中间特征图。

21、优选地，将第七中间特征图与第三中间特征图进行特征拼接，得到第八中间特征图，具体包括：

22、将第七中间特征图与第三中间特征图沿特征通道的维度进行特征拼接，得到第八中间特征图。

23、优选地，对第八中间特征图进行卷积，得到当前的多源融合特征图，具体包括：

24、采用常规卷积操作对第八中间特征图进行卷积，得到当前的多源融合特征图。

25、优选地，在对rgb特征图和红外特征图进行集成，得到当前的多源融合特征图之后，还包括：

26、将当前的多源融合特征图进行存储。

27、优选地，根据当前的多源融合特征图和多个历史的多源融合特征图，得到多源时序融合特征图，具体包括：

28、根据当前的多源融合特征图，得到空间注意力特征图；

29、分别将空间注意力特征图与多个历史的多源融合特征图进行矩阵乘法，得到多个第九中间特征图；

30、采用相对时间编码技术作为时间编码器，对多个第九中间特征图的时间进行编码，得到多个具有时序信息的第九中间特征图；

31、将多个具有时序信息的第九中间特征图和当前的多源融合特征图进行特征拼接，得到多源时序融合特征图。

32、优选地，在将多个具有时序信息的第九中间特征图和当前的多源融合特征图进行特征拼接，得到多源时序融合特征图之前，还包括：

33、利用注意力机制对多个具有时序信息的第九中间特征图进行加权处理；

34、将加权处理后的多个具有时序信息的第九中间特征图和当前的多源融合特征图进行特征拼接，得到多源时序融合特征图。

35、优选地，根据当前的多源融合特征图，得到空间注意力特征图，具体包括：

36、对当前的多源融合特征图在特征通道维度上进行最大池化操作，得到第十中间特征图；

37、对当前的多源融合特征图在特征通道维度上进行平均池化操作，得到第十一中间特征图；

38、将第十中间特征图和第十一中间特征图进行特征拼接，得到第十二中间特征图；

39、对第十二中间特征图进行卷积操作，得到空间注意力特征图。

40、本发明还提出了一种多源时序图像特征协同化集成系统，包括：

41、第一获取模块，用于获取配对的rgb特征图和红外特征图；

42、第一集成模块，用于对rgb特征图和红外特征图进行集成，得到当前的多源融合特征图；

43、第二获取模块，用于获取多个历史的多源融合特征图；

44、第二集成模块，用于根据当前的多源融合特征图和多个历史的多源融合特征图，得到多源时序融合特征图。

45、优选地，还包括：

46、存储模块，用于存储当前的多源融合特征图。

47、优选地，第一集成模块用于对rgb特征图特征进行最大池化操作，得到第一中间特征图；

48、将第一中间特征图与红外特征图进行自适应特征融合，得到第三中间特征图；

49、对第三中间特征图进行转置卷积，得到第四中间特征图；

50、对第四中间特征图进行归一化，得到第五中间特征图；

51、将第四特征图与rgb特征图进行矩阵乘法，得到第六中间特征图；

52、将第六中间特征图与rgb特征图进行逐元素相加，得到第七中间特征图；

53、将第七中间特征图与第三中间特征图进行特征拼接，得到第八中间特征图；

54、对第八中间特征图进行卷积，得到当前的多源融合特征图。

55、优选地，第二集成模块用于根据当前的多源融合特征图，得到空间注意力特征图；

56、分别将空间注意力特征图与多个历史的多源融合特征图进行矩阵乘法，得到多个第九中间特征图；

57、采用相对时间编码技术作为时间编码器，对多个第九中间特征图的时间进行编码，得到多个具有时序信息的第九中间特征图；

58、将多个具有时序信息的第九中间特征图和当前的多源融合特征图进行特征拼接，得到多源时序融合特征图。

59、本发明还提出了一种火灾预警方法，包括：

60、获取配对的rgb图像和红外图像；

61、分别对rgb图像和红外图像进行特征提取，得到配对的rgb特征图和红外特征图；

62、采用如上述任意一项所述的多源时序图像特征协同化集成方法对rgb特征图和红外特征图进行特征协同化集成，得到多源时序融合特征图；

63、对多源时序融合特征图进行火灾检测，得到火灾识别结果；

64、根据火灾识别结果，进行报警。

65、本发明中，所提出的多源时序图像特征协同化集成方法和系统及火灾预警方法，通过对rgb特征图和红外特征图进行集成得到当前的多源融合特征图，能够充分发挥rgb图像与红外图像各自的特征表达优势，有效解决了rgb与红外图像在分辨率上的差异所导致的特征匹配和融合难题，有利于后续能够实现高鲁棒性的火灾监测和预警，特别是在复杂和多变的环境中。而且，通过当前的多源融合特征图和多个历史的多源融合特征图，得到多源时序融合特征图，本实施例能够充分利用历史数据中隐藏的模式信息和趋势特征，有效引导并增强对后续的当前图像火灾风险的预测判断，进一步提高了后续的整体预警方法的性能和时效性。