基于SOM-SNN和Spiking-SOM算法的事件流聚类方法

本发明属于图像处理，更进一步涉及图像聚类中的一种基于som-snn(som spiking neural network)和spiking-som算法的事件流聚类方法。本发明可用于对从传感器，例如事件相机，收集的动态事件流数据进行快速聚类。

背景技术：

1、事件流是指由动态视觉传感器等新型传感器生成的具有时间属性的离散事件序列。与传统基于帧的图像相比，事件流数据只记录光强的变化，从而大幅减少数据量，并允许更高的时间分辨率和动态范围。事件流聚类是指在事件流数据中识别出相似模式或相关事件的过程，其意义在于通过对事件流数据进行聚类分析，可以实现对数据的降维，从而揭示数据之间的潜在模式和规律，获取到事件流重要特征，并用于下游任务。脉冲神经网络snn(spiking neural networks)是一类模拟人脑神经元放电行为的人工神经网络，具有时间动态处理的优势，使其适合在处理由事件相机产生的非常规数据类型。然而，现有技术模型难以有效利用事件流中的历史脉冲信息和脉冲达到顺序信息，造成聚类速度慢、聚类效果差。

2、francisco barranco等人在其发表的论文“real-time clustering and multi-target tracking using event-based sensors”(international conference onintelligent robots and systems，会议论文集2018)中提出了一种改良的均值漂移聚类算法，以适应基于事件的视觉传感器的特性进行事件流聚类的方法。该方法以事件的触发为基础，仅对每个独立的时间窗口内的数据进行聚类处理。该方法存在的不足之处是，这种对单个时间窗口数据的依赖减弱了聚类的连续性和一致性，因为每次聚类只是基于一小段时间内的数据快照，导致聚类过程可能无法连续准确地反映对象的动态变化，从而影响整体聚类的有效性和实时性。

3、tobias bolten等人在其发表的论文“application of hierarchicalclustering for object tracking with a dynamic vision sensor”(computationalscience，会议论文集2019)中提出了一种利用层次聚类进行事件流聚类的方法。具体实现上，该方法首先将事件流中的单个事件作为初始簇，然后根据空间的接近性将它们合并成更大的簇，直到满足某种终止条件。然而，该方法仍然存在的不足是，它只利用了事件流的空间信息，即事件在传感器阵列上的位置，未能充分利用事件流中事件到达的顺序信息，导致算法在动态环境中对快速移动或变化的对象的跟踪效果不佳，特别是在对象运动速度快或方向变化频繁的情况下尤为突出。

技术实现思路

1、本发明的目的是针对上述现有技术的不足，提出了一种基于som-snn和spiking-som算法的事件流聚类方法，用于解决现有技术在事件流聚类任务中难以有效利用事件流中历史脉冲数据造成聚类速度慢的问题，以及难以有效利用事件流中脉冲达到的顺序信息造成聚类效果较差的问题。

2、实现本发明目的的思路是，本发明构建的som-snn网络包含一层记忆层，将事件流中的脉冲转换为信息向量并存储，并在每个时间窗口不断更新与累加，这种设计使网络可以利用到历史脉冲信息，而不是仅仅对当前时间窗口到达的脉冲进行处理，更丰富的脉冲信息使竞争层神经元能够更早的激发，从而更快的找到聚类中心，以此解决了现有技术难以有效利用事件流中历史脉冲数据造成聚类速度慢的问题。本发明利用spiking-som算法进行事件流脉冲数据的特征学习，spiking-som算法通过空间相似度与分布相似度计算事件流脉冲信息与网络权值之间的相似性，分布相似度利用了事件流中脉冲到达的顺序信息，有助于弥补每个时间窗口事件流信息不完整带来的误差，使网络能准确将复杂的高维数据准确映射到低维拓扑结构中，提高了事件流聚类准确度，由此解决了现有技术难以充分利用脉冲达到的顺序信息造成聚类效果较差的问题。

3、为实现上述目的，本发明采取的技术方案包括以下步骤：

4、步骤1，将事件流数据格式化，得到具有时间窗口的脉冲数组；

5、步骤2，构建som-snn网络；

6、步骤3，利用spiking-som算法对输入的脉冲数组进行聚类；

7、步骤3.1，将脉冲数组输入到som-snn网络中，用输入的脉冲数组与信息量更新公式，更新som-snn网络中记忆神经元的信息量；

8、步骤3.2，利用空间相似度与分布相似度公式，分别计算记忆神经元信息向量与竞争神经元权值向量的相似度；

9、步骤3.3，利用相似度-电流映射公式，计算som-snn网络中竞争神经元的输入电流；

10、步骤3.4，利用膜电压更新公式，计算每个竞争神经元的膜电压；将膜电压超过阈值的竞争神经元确定为聚类中心；

11、步骤3.5，利用权重调整公式，调整som-snn网络的权值；

12、步骤4，将脉冲数组输入到调整权值后的som-snn网络中，使用spiking-som算法，对网络权值进行迭代更新，直至网络权值的二维化热力图显示出清晰的聚类效果为止，得到训练好的som-snn网络；

13、步骤5，采用与步骤1相同的方式，将待聚类的事件流格式化后输入到训练好的som-snn网络中，输出事件流的聚类中心。

14、本发明与现有技术相比较，具有以下优点：

15、第一，本发明设计的som-snn网络通过引入记忆层，实现了对事件流中脉冲数据的深度整合与利用，极大提升了网络处理动态数据的能力。与传统技术相比，该网络不仅仅关注当前时间窗口内的脉冲，而是持续维护并更新包含历史信息的状态，使得每一次输入都在更全面的数据背景下进行分析。这种持续的信息累积显著加快了神经元的激活速度和聚类中心的定位，从而提高了处理效率和响应速度。该设计优化了网络的信息利用策略，有效提高了在实时数据流分析中的准确性和实时性，特别适合应用于需要快速、准确反应的系统。

16、第二，本发明通过spiking-som算法整合空间相似度与分布相似度，优化了事件流脉冲数据的特征学习过程。该算法的优势在于能够有效利用事件流中脉冲到达的顺序信息，对于改善传统算法中仅基于空间相似度计算的局限性至关重要。通过考虑脉冲到达的顺序，分布相似度的加入有助于弥补每个时间窗口内事件流信息的不完整性，减少由此带来的误差，使其能够更准确地将复杂的高维数据映射到低维拓扑结构中，显著提高了事件流聚类的准确度。这种方法不仅解决了现有技术中未能充分利用脉冲顺序信息造成的聚类效果不佳的问题，还提升了网络在处理大规模动态数据时的性能和效率。

技术特征：

1.一种基于som-snn和spiking-som算法的事件流聚类方法，其特征在于，利用som-snn网络中的记忆层，将事件流每个时间窗口离散的脉冲数组转换为信息向量；通过spiking-som算法中空间相似度和分布相似度，使事件流可以更加准确地找到聚类中心；该聚类方法的步骤包括如下：

2.根据权利要求1所述的基于som-snn和spiking-som算法的事件流聚类方法，其特征在于，步骤1中所述的格式化是指，将宽度为j，高度为p的事件流分割为q个时间窗口，将存在事件的时间窗口的脉冲数组元素值设置为1，否则，将元素值设置为0，得到事件流数据格式化为：h×m×n的三维0-1脉冲数组，其中，h＝q，m＝j，n＝p，q的取值范围为[10，100]。

3.根据权利要求2所述的基于som-snn和spiking-som算法的事件流聚类方法，其特征在于，步骤2中所述的som-snn模型包括输入层、记忆层和竞争层，记忆层与竞争层之间全连接；所述输入层包含n个输入神经元，记忆层包含b个记忆神经元；所述竞争层包含m个竞争神经元，输入层与记忆层之间一一对应连接，其中，n＝n×m，b＝n×m，m＝2×n×m。

4.根据权利要求2所述的基于som-snn和spiking-som算法的事件流聚类方法，其特征在于，步骤3.1中所述的信息量更新公式如下：

5.根据权利要求4所述的基于som-snn和spiking-som算法的事件流聚类方法，其特征在于，步骤3.1中所述的更新som-snn网络中记忆神经元的信息量指的是，som-snn网络运行在第t个时间窗口时，当记忆神经元只有接收到元素值为1的脉冲，才使用信息量更新公式更新该记忆神经元的信息量，否则，不进行更新。

6.根据权利要求2所述的基于som-snn和spiking-som算法的事件流聚类方法，其特征在于，步骤3.2中所述空间相似度是由下式得到的：

7.根据权利要求6所述的基于som-snn和spiking-som算法的事件流聚类方法，其特征在于，步骤3.2中所述分布相似度公式如下：

8.根据权利要求7所述的基于som-snn和spiking-som算法的事件流聚类方法，其特征在于，步骤3.3中所述相似度-电流映射公式如下：

9.根据权利要求8所述的基于som-snn和spiking-som算法的事件流聚类方法，其特征在于，步骤3.4中所述膜电压更新公式如下：

10.根据权利要求1所述的基于som-snn和spiking-som算法的事件流聚类方法，其特征在于，步骤3.4中所述阈值的取值范围为[-45mv，-40mv]。

11.根据权利要求6所述的基于som-snn和spiking-som算法的事件流聚类方法，其特征在于，步骤3.5中所述权重调整公式如下：

技术总结本发明公开了一种基于SOM‑SNN和Spiking‑SOM算法的事件流聚类方法，主要解决现有技术难以有效利用事件流中的历史脉冲信息和脉冲达到顺序信息造成的聚类速度慢、聚类效果差的问题。本发明构建的SOM‑SNN网络包含一层记忆层，将事件流中离散的脉冲转换为信息向量并存储，在每个时间窗口不断更新与累加。本发明提出的Spiking‑SOM算法通过空间相似度与分布相似度计算事件流脉冲信息与网络权值之间的相似性，分布相似度利用了事件流中脉冲到达的顺序信息。本发明有效利用了事件流中的历史脉冲信息和脉冲到达的顺序信息，以更快的速度实现了更好的事件流聚类效果。技术研发人员：曹震,马钏烽,刘橘,郭磊,彭乔巍,侯彪,李卫斌,焦李成受保护的技术使用者：西安电子科技大学技术研发日：技术公布日：2024/7/29