一种基于互补成像的远距离火灾预警系统及方法

本发明提供了一种基于互补成像的远距离火灾预警系统及方法，属于火灾检测。

背景技术：

1、火灾是一种极具破坏力的突发灾害，严重威胁着人民的生命健康和财产安全。在应对突发火灾的紧急救援过程中，迅速侦测火源位置、准确鉴别燃烧物质，并根据现场情况制定针对性救援方案，是降低火灾损失的有效手段。当前基于红外探测的火灾检测技术已经取得显著进展，基本能够满足大多数火灾场景的应用需求。然而，在一些低光照、低能见度和超远距离等恶劣环境下，这些检测技术难以捕获远距离火灾场景的高质量图像，造成了检测精确度低、虚警率高等问题，限制了救援方案的制定和执行。

2、单光子压缩感知成像是一种具有极高灵敏度的成像技术，可有效解决高灵敏度阵列探测器存在的像元一致性差异问题。利用单光子成像技术捕获远距离火灾场景的真实图像，能够避免传统火灾检测技术在超远距离极端环境下应用的局限性。同时，这种成像技术能够为救援方案的制定提供更为清晰、可靠的视觉信息，进而可以提高火灾救援的效率和成功率。然而，现有单光子压缩感知成像技术在实际应用中仍面临两大挑战。第一，尽管单光子探测器收集的光子序列携带了丰富的多模态信息，但大部分单光子成像技术仅采用光子计数的成像方式，导致信息的有效利用率较低。第二，由于单光子成像技术具备光子级的探测灵敏度，所以其对噪声更为敏感，极易受到环境噪声的干扰。同时，它在图像重构阶段易引起失真，导致图像细节丢失，降低了成像分辨率。

技术实现思路

1、本发明为了解决现有单光子压缩感知成像技术在火灾预警应用中存在的成像质量差和虚警率高的问题，提出了一种基于互补成像的远距离火灾预警系统及方法。

2、为了解决上述技术问题，本发明采用的技术方案为：一种基于互补成像的远距离火灾预警系统，包括远距离火灾场景采集模块、红外成像模块、可见光多光谱成像模块和计算机，所述远距离火灾场景采集模块用于获取远距离火灾场景的散射信号并分别传送至红外成像模块和可见光多光谱成像模块，所述红外成像模块利用红外阵列探测器获取火灾场景的红外图像，所述可见光多光谱成像模块将火灾场景的可见光调制为不同波长的单色光，然后通过多光谱图像重构网络得到火灾场景的可见光多光谱图像，所述计算机内预先写入有图像合成模块和火灾预警模块的程序指令，所述图像合成模块通过融合成像网络将火灾场景的红外图像和可见光多光谱图像融合为高质量合成图像，所述火灾预警模块通过多模态预警网络对火灾场景的红外图像、可见光多光谱图像和高质量合成图像三种多模态信息进行分析预警，得到燃烧物和燃烧点位置信息。

3、所述远距离火灾场景采集模块包括望远镜、分束器、长波通滤波片和反射镜，所述望远镜收集的远距离处火灾场景散射信号经分束器后分为两路，一路散射信号经过长波通滤波片后成像到红外阵列探测器；另一路散射信号经反射镜反射后进入可见光多光谱成像模块。

4、所述可见光多光谱成像模块包括第一透镜、数字微镜器件、4f系统、三棱镜、可移动的狭缝、第二透镜、单光子探测器和时间相关单光子计数器，经反射镜反射后的散射信号通过第一透镜成像到数字微镜器件的调制区域，计算机发送调制信号到数字微镜器件，在数字微镜器件加载一组哈达玛掩膜对火灾图像进行编码调制；调制信号经4f系统后被三棱镜分光，并利用可移动的狭缝滤波为不同波长的单色光，不同波长的单色光经过第二透镜分别会聚到单光子探测器，利用时间相关单光子计数器记录单光子探测器的响应数据并传输至计算机。

5、一种基于互补成像的远距离火灾预警方法，采用基于互补成像的远距离火灾预警系统，包括以下步骤：

6、步骤1：目标火灾场景中红外图像和可见光信号的采集；

7、步骤2：可见光信号的多光谱调制；

8、步骤3：利用多光谱图像重构网络迭代重建目标火灾场景的可见光多光谱图像；

9、步骤4：利用红外图像辅助可见光多光谱图像经过融合成像网络生成高质量合成图像；

10、步骤5：通过多模态预警网络综合分析目标火灾场景的红外图像、可见光多光谱图像及高质量合成图像，给出预警信息。

11、步骤1具体包括：

12、步骤1.1：远距离处目标火灾场景的散射信号由望远镜收集后经分束器分为两路；

13、步骤1.2：一路散射信号经过长波通滤波片成像到红外阵列探测器；另一路散射信号经反射镜后通过第一透镜成像到数字微镜器件的调制区域。

14、步骤2具体包括：

15、步骤2.1：计算机发送调制信号到数字微镜器件，在数字微镜器件上加载一组哈达玛掩膜对火灾图像进行编码调制，调制信号经三棱镜分光和狭缝滤波为不同波长的单色光；

16、步骤2.2：利用可移动的狭缝选取不同波长的单色光分别会聚到单光子探测器；

17、步骤2.3：利用时间相关单光子计数器记录单光子探测器的响应数据并传输至计算机。

18、步骤3具体包括：

19、步骤3.1：对计算机获取的数据进行预处理，分别计算不同波长下每张掩膜对应的光子计数值，其计算公式如下：

20、；

21、上式中：为波长 λ i下第 m张掩膜对应的光子计数强度，代表滤波过程，为第 m张哈达玛掩膜， t (x,y)表示火灾场景， x表示图像横坐标， y表示图像纵坐标；

22、步骤3.2：不同波长对应的单光子测量值表示为：

23、；

24、上式中：表示波长 λ i对应的单光子测量值；

25、步骤3.3：利用多光谱图像重构网络依次恢复火灾场景的可见光多光谱图像，其表达式如下：

26、；

27、约束条件：；

28、上式中：为某一波长的重构图像， i=1,2,3,……, n， r θ为u-net神经网络， tval3为全变分正则化重建算法， p表示掩膜。

29、步骤4具体包括：

30、步骤4.1：利用resnet特征提取网络对红外图像进行特征提取，其表达式为：

31、；

32、上式中：表示红外深度特征图， d θ为resnet特征提取网络， t infrared为红外图像；

33、步骤4.2：利用融合成像网络融合红外深度特征图与可见光多光谱图像，生成高质量合成图像，其表达式如下：

34、；

35、上式中： t*表示高质量合成图像， g θ表示融合成像网络。

36、步骤5具体包括：

37、步骤5.1：多模态预警网络的输出表达式为：

38、；

39、上式中： s为燃烧点存在概率， c为燃烧物类别， w θ为多模态预警网络， a1, a2, a3为可学习权重，分别表示红外深度特征图、可见光多光谱图像和高质量合成图像在预警决策中的贡献度；若目标火灾场景不存在燃烧点，相应的燃烧物类别输出为0；

40、步骤5.2：若目标火灾场景存在燃烧点，利用火点检测网络获取火点位置信息，其表达式如下：

41、；

42、上式中： yolov8为火点检测网络， l为火点坐标位置信息。

43、本发明相对于现有技术具备的有益效果为：

44、1、本发明通过将火灾场景的复合光束分解为多波长光束，并利用单光子探测器对多波长信号进行独立探测，重建出火灾场景的可见光多光谱图像，为后续火灾预警提供了更多的有效信息，进而提高了预警系统的检测精度；

45、2、本发明将低分辨率红外图像作为辅助信息引入到多光谱图像的融合过程中，将合成图像（512×512）的信噪比提升至5db以上，为救援人员提供更为清晰、可靠的视觉信息，可提高救援的效率与成功率；

46、3、本发明利用预训练的多模态预警网络对火灾场景的红外图像、可见光多光谱图像和高质量合成图像进行深度分析，通过综合考虑三者对警情信息的贡献度给出预警结果，可将系统虚警率和漏警率降低至5%以下。