基于残差脉冲神经网络面向目标识别的方法和装置

本发明属于神经网络，涉及一种基于残差脉冲神经网络面向目标识别的方法和装置。

背景技术：

1、在计算机视觉领域，目标识别与检测是基础且关键的任务，前者旨在确定图像中的物体类别，后者则更近一步到定位图像中目标的位置并识别其类别。近十年来，人工神经网络(artificial neural network，ann)在目标识别与检测等领域取得了巨大的成就，其性能相较于基于专家系统的传统机器学习方式具有革命性的突破，并且广泛应用于安防监控、无人驾驶、医疗诊断等场景中。然而，基于ann的目标识别的运算过程中需要大量的计算资源与能耗，且其在生物可解释性等方面存在不足。

2、脉冲神经网络(spiking neural network，snn)作为一种更接近大脑工作原理的新兴计算范式，以其更高的能效与生物合理性的特点受到关注。snn被称作第三代神经网络，与ann相比，snn对于生物大脑的仿生程度更高。snn以脉冲序列的形式模拟生物信号在神经网络中的传播，具有稀疏性与事件驱动特性，这使得其比使用连续值表示信息的ann更加节能。另外，snn基于对神经动力学有着更贴近的建模的神经元模型构建，从网络构建上完全模拟了生物的神经网络系统。基于类脑计算范式的snn为实现低功耗、高能效的目标识别与检测、开发新型计算机视觉系统提供了新的可能。然而，在实现本发明的过程中，发明人发现传统的脉冲神经网络在面对目标分类任务时，仍存在着目标识别性能不佳的技术问题。

技术实现思路

1、针对上述传统方法中存在的问题，本发明提出了一种基于残差脉冲神经网络面向目标识别的方法和一种基于残差脉冲神经网络面向目标识别的装置，能够大幅提高目标识别性能。

2、为了实现上述目的，本发明实施例采用以下技术方案：

3、一方面，提供一种基于残差脉冲神经网络面向目标识别的方法，包括步骤：

4、获取待识别的输入图像并输入轻量级的目标识别网络spikingres-yolo；轻量级的目标识别网络spikingres-yolo包括脉冲编码层以及基于脉冲残差模块的主干网络和检测头，脉冲残差模块包括残差路径和短路路径；

5、通过脉冲编码层对输入图像进行脉冲编码，得到输入图像的脉冲特征图；

6、通过主干网络从脉冲特征图中提取不同尺寸和层次结构的主干特征图；

7、通过检测头从主干网络中选择不同的主干特征图与检测头的中间特征图融合，使用融合后的特征图进行预测输出，并使用非极大值抑制法对预测结果进行筛选与过滤，得到输入图像的目标识别结果；检测头包括两组处理不同尺寸特征图的独立预测分支。

8、另一方面，还提供一种基于残差脉冲神经网络面向目标识别的装置，包括：

9、图像获取模块，用于获取待识别的输入图像并输入轻量级的目标识别网络spikingres-yolo；轻量级的目标识别网络spikingres-yolo包括脉冲编码层以及基于脉冲残差模块的主干网络和检测头，脉冲残差模块包括残差路径和短路路径；

10、脉冲编码模块，用于通过脉冲编码层对输入图像进行脉冲编码，得到输入图像的脉冲特征图；

11、主干处理模块，用于通过主干网络从脉冲特征图中提取不同尺寸和层次结构的主干特征图；

12、检测输出模块，用于通过检测头从主干网络中选择不同的主干特征图与检测头的中间特征图融合，使用融合后的特征图进行预测输出，并使用非极大值抑制法对预测结果进行筛选与过滤，得到输入图像的目标识别结果；检测头包括两组处理不同尺寸特征图的独立预测分支。

13、又一方面，还提供一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现上述的基于残差脉冲神经网络面向目标识别的方法的步骤。

14、上述技术方案中的一个技术方案具有如下优点和有益效果：

15、上述基于残差脉冲神经网络面向目标识别的方法和装置，通过将获取的输入图像输入到设计的轻量级的目标识别网络spikingres-yolo中，由网络的脉冲编码层首先对输入图像进行脉冲编码，得到适于网络处理的脉冲特征图，然后通过主干网络从脉冲特征图中提取不同尺寸和层次结构的主干特征图，最后通过有两组不同独立预测分支的检测头从主干网络中选择不同的主干特征图与检测头的中间特征图融合，使用融合后的特征图进行预测输出，并对预测结果使用非极大值抑制法进行筛选与过滤，得到输入图像的目标识别结果。与传统技术相比，应用了新设计的轻量级的目标识别网络spikingres-yolo进行目标识别处理，其在yolo结构的基础上由全脉冲的脉冲残差模块构成，具备高识别率、轻量化和硬件友好的特性，因此用于对输入图像进行目标识别处理时，大幅提高了目标识别性能。

技术特征：

1.一种基于残差脉冲神经网络面向目标识别的方法，其特征在于，包括步骤：

2.根据权利要求1所述的基于残差脉冲神经网络面向目标识别的方法，其特征在于，所述主干网络由4个所述脉冲残差模块依次相连组成，每一个所述脉冲残差模块的输出通道数相较于输入通道数均翻一倍，同时每个所述脉冲残差模块的时间步长均为2。

3.根据权利要求1或2所述的基于残差脉冲神经网络面向目标识别的方法，其特征在于，所述脉冲残差模块包括脉冲卷积层、bn层、lif神经元层和最大池化层，所述短路路径由所述最大池化层、所述脉冲卷积层和所述bn层依次连接组成，所述残差路径由所述脉冲卷积层、所述bn层、所述lif神经元层、所述脉冲卷积层和所述bn层依次连接组成；所述bn层采用阈值依赖的批标准化方法对输入数据执行批标准化处理。

4.根据权利要求1或2所述的基于残差脉冲神经网络面向目标识别的方法，其特征在于，所述脉冲残差模块包括脉冲卷积层、lif神经元层和最大池化层，所述短路路径由所述最大池化层和所述脉冲卷积层依次连接组成，所述残差路径由所述脉冲卷积层、所述lif神经元层和所述脉冲卷积层依次连接组成；其中，所述脉冲卷积层融合了采用阈值依赖的批标准化方法的bn层对输入数据执行批标准化处理。

5.根据权利要求4所述的基于残差脉冲神经网络面向目标识别的方法，其特征在于，所述残差路径中的首层所述脉冲卷积层的卷积核大小为1×1。

6.一种基于残差脉冲神经网络面向目标识别的装置，其特征在于，包括：

7.根据权利要求6所述的基于残差脉冲神经网络面向目标识别的装置，其特征在于，所述主干网络由4个所述脉冲残差模块依次相连组成，每一个所述脉冲残差模块的输出通道数相较于输入通道数均翻一倍，同时每个所述脉冲残差模块的时间步长均为2。

8.根据权利要求6或7所述的基于残差脉冲神经网络面向目标识别的装置，其特征在于，所述脉冲残差模块包括脉冲卷积层、bn层、lif神经元层和最大池化层，所述短路路径由所述最大池化层、所述脉冲卷积层和所述bn层依次连接组成，所述残差路径由所述脉冲卷积层、所述bn层、所述lif神经元层、所述脉冲卷积层和所述bn层依次连接组成；所述bn层采用阈值依赖的批标准化方法对输入数据执行批标准化处理。

9.根据权利要求6或7所述的基于残差脉冲神经网络面向目标识别的装置，其特征在于，所述脉冲残差模块包括脉冲卷积层、lif神经元层和最大池化层，所述短路路径由所述最大池化层和所述脉冲卷积层依次连接组成，所述残差路径由所述脉冲卷积层、所述lif神经元层和所述脉冲卷积层依次连接组成；其中，所述脉冲卷积层融合了采用阈值依赖的批标准化方法的bn层对输入数据执行批标准化处理。

10.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至5任一项所述的基于残差脉冲神经网络面向目标识别的方法的步骤。

技术总结本申请涉及基于残差脉冲神经网络面向目标识别的方法和装置，通过将获取的输入图像输入到设计的轻量级的目标识别网络中，由脉冲编码层首先对输入图像进行脉冲编码得到脉冲特征图，然后通过主干网络从脉冲特征图中提取不同尺寸和层次结构的主干特征图，最后通过有两组不同独立预测分支的检测头从主干网络中选择不同的主干特征图与检测头的中间特征图融合，使用融合后的特征图进行预测输出，并对预测结果使用非极大值抑制法进行筛选与过滤得到输入图像的目标识别结果，大幅提高了目标识别性能。技术研发人员：王义楠,李智炜,陈长林,吴家栋,李清江,徐晖,刁节涛,刘森,宋兵,刘海军,于红旗,王玺,王伟,曹荣荣,孙毅,步凯,李楠,孙振源受保护的技术使用者：中国人民解放军国防科技大学技术研发日：技术公布日：2024/7/29