一种基于脉冲神经网络的图像边缘检测算法、装置及介质

本发明涉及数字图像处理，尤其涉及一种基于脉冲神经网络的图像边缘检测算法、装置及介质。

背景技术：

1、边缘检测是计算机视觉领域中的一个重要研究方向，目前在深度学习领域，已经对边缘检测问题有了许多处理方法，边缘检测任务有如下几个研究和优化方向：

2、1.算法优化：不断改进边缘检测算法的效率和准确性，如优化边缘提取算子、优化滤波器设计、采用深度学习方法等。

3、2.参数调节：调整边缘检测算法的参数，如平滑程度、阈值等，以适应不同场景和图像。

4、3.多尺度处理：采用多尺度边缘检测方法，能有效地识别不同尺度下的边缘，提高算法的鲁棒性。

5、4.边缘连接：优化边缘连接算法，解决断裂、漏检等问题，提高整体边缘检测的连贯性。

6、5.数据增强：利用数据增强技术增加数据样本多样性，提高边缘检测算法的泛化能力。

7、6.硬件加速：利用gpu、tpu等硬件加速技术，加快边缘检测算法的运行速度。

8、7.领域知识引入：结合具体应用领域的知识，设计针对性的边缘检测方法，提升算法的效果。

9、目前流行的边缘检测算法中，deepedge利用多阶段cnn提取的目标感知线索进行轮廓检测。hed通过监督侧输出层来学习丰富的层次特征，提高了边缘检测的性能。rcf将来自所有卷积层的层次特征组合成一个整体架构。为了获得有效的结果，bdcn使用了从双向级联结构推断出的层特定监督来引导每一层的训练。pidinet将传统的边缘检测算子集成到cnn模型中，以提高性能。chcn使用了一个级联和高分辨率的网络，通过在训练过程中保持边缘的高分辨率来获得精细的边缘检测。

10、在主流的卷积神经网络中，随着网络深度的增加，接受域逐渐扩大，特征逐渐趋于全局信息，导致最详细信息的丢失。为了解决这一问题，一些方法通过在cnn网络中聚合低级信息和高级信息，获得了更准确的边缘检测结果。然而，在这些现有的检测器中，很容易出现边输出的边缘模糊混合，即错误地平均对待所有像素，导致无法正确地融合低电平侧输出中的丰富的纹理信息和高电平侧输出中的轮廓信息。

技术实现思路

1、针对现有技术中所存在的不足，本发明提供了一种基于脉冲神经网络的图像边缘检测算法、装置及介质，解决当前图像边缘检测算法中边缘模糊混合，错误地平均对待所有像素，导致无法正确地融合低电平侧输出中的丰富的纹理信息和高电平侧输出中的轮廓信息问题。

2、本发明通过实施例公开了一种基于脉冲神经网络的图像边缘检测算法，包括如下步骤：

3、提取图像的特征信息，提取特征信息的注意力信息矩阵，对注意力信息矩阵执行cnsnp操作得到第一信息矩阵；将特征信息与第一信息矩阵执行矩阵点乘得到第二信息矩阵，再将第二信息矩阵与第一信息矩阵执行逐元素相加得到第三信息矩阵，最后对第三信息矩阵执行cnsnp操作得到第四信息矩阵；将第四信息矩阵转换成边缘信息图像输出。

4、其中，cnsnp操作包括如下步骤：s1、对矩阵执行卷积操作、再对卷积结果执行批量归一化，最后对归一化的结果矩阵中的元素执行relu激活函数；s2、将relu激活函数的结果再次执行s1步骤。值得说明的是，执行relu激活函数时，是对归一化后的矩阵中的元素执行激活函数运算。

5、进一步地，提取图像的特征信息包括：使用vgg16模型来提取图像的特征信息。

6、进一步地，特征信息包括：图像的边缘细节特征图、轮廓信息特征图和上下文信息特征图。

7、进一步地，提取所述特征信息的注意力信息矩阵包括：使用上下文transformer来提取注意力信息矩阵。

8、为了实现上述目的，本发明还提供了一种基于脉冲神经网络的图像边缘检测装置，包括：

9、特征提取模块，用于提取图像的特征信息；

10、注意力提取模块，用于提取特征信息的注意力信息矩阵；

11、特征融合模块，用于对注意力信息矩阵执行cnsnp操作得到第一信息矩阵，将特征信息与第一信息矩阵执行矩阵点乘得到第二信息矩阵，再将第二信息矩阵与第一信息矩阵执行逐元素相加得到第三信息矩阵，最后对第三信息矩阵执行cnsnp操作得到第四信息矩阵；

12、输出模块，用于将第四信息矩阵转换成边缘信息图像输出。

13、为了实现上述目的，本发明还提供了一种存储介质，其存储有若干计算机指令，用于执行上述的基于脉冲神经网络的图像边缘检测算法。

14、相比于现有技术，本发明具有如下有益效果：使用vgg16模型来提取图像的特征信息，具有更高的精度。同时引入了注意力机制，能够充分利用相邻键之间的丰富上下文信息，最终通过多次cnsnp融合图像特征信息，使输出图像的边缘特征具有的丰富的纹理信息和高电平侧输出中的轮廓信。

技术特征：

1.一种基于脉冲神经网络的图像边缘检测算法，其特征在于，包括如下步骤：

2.如权利要求1所述的基于脉冲神经网络的图像边缘检测算法，其特征在于，所述提取图像的特征信息包括：使用vgg16模型来提取图像的特征信息。

3.如权利要求1或2所述的基于脉冲神经网络的图像边缘检测算法，其特征在于，所述特征信息包括：图像的边缘细节特征图、轮廓信息特征图和上下文信息特征图。

4.如权利要求1所述的基于脉冲神经网络的图像边缘检测算法，其特征在于，所述提取所述特征信息的注意力信息矩阵包括：使用上下文transformer来提取注意力信息矩阵。

5.一种基于脉冲神经网络的图像边缘检测装置，其特征在于，包括：

6.一种存储介质，其特征在于：存储有若干计算机指令，用于执行权利要求1-4中任一项所述的基于脉冲神经网络的图像边缘检测算法。

技术总结本发明涉及数字图像处理技术领域，尤其涉及一种基于脉冲神经网络的图像边缘检测算法、装置及介质。使用VGG16模型来提取图像的特征信息，再提取特征信息的注意力信息矩阵，对注意力信息矩阵执行CNSNP操作得到第一信息矩阵；将特征信息与第一信息矩阵执行矩阵点乘得到第二信息矩阵，再将第二信息矩阵与第一信息矩阵执行逐元素相加得到第三信息矩阵，最后对第三信息矩阵执行CNSNP操作得到第四信息矩阵；最后将第四信息矩阵转换成边缘信息图像输出。本发明方法具有更高的精度，同时引入了注意力机制，能够充分利用相邻键之间的丰富上下文信息，最终通过多次CNSNP融合图像特征信息，使输出图像的边缘特征具有的丰富的纹理信息和高电平侧输出中的轮廓信。技术研发人员：李建平,赵博韬,罗佳恒,徐家豪受保护的技术使用者：电子科技大学技术研发日：技术公布日：2024/10/17