一种基于深度超图聚类的事件相机运动分割方法

本发明属于计算机视觉领域，尤其涉及事件数据的高阶数据结构表示、深度超图聚类和运动分割的方法，具体为一种基于深度超图聚类的事件相机的运动分割方法。

背景技术：

1、运动分割是计算机视觉的重要研究内容，可助力ar和以自我认知为中心的智能穿戴设备的发展。运动分割的目的是将目标所在场景的事件序列中运动区域(imo,independent moving object)和非运动区域(即背景)进行分割。随着深度学习的发展，基于传统相机的分割方法得到显著发展，然而面临实际场景中的高动态范围的光照以及高速运动目标时，上述方法就会产生成像模糊(即恶劣光照时信息丢失所导致)和运动模糊(即目标高速运动所导致)，这主要受限于传统相机的帧成像原理。

2、与传统相机不同，事件相机是受人类大脑神经元工作方式启发的一种新颖的神经形态视觉传感器，它以“事件”的形式异步捕捉像素级强度变化。由于其传感机制，事件相机几乎没有运动模糊，具有非常高的时间分辨率，除此之外，事件相机所需功率和内存更少。因此，基于事件的运动分割任务具有极大的现实意义。目前大多数方法将异步离散的事件数据堆叠成帧进行处理，但这损失了事件数据自身的高时间分辨率和时空特性，而事件数据中自身属性信息以及隐藏的运动信息等高阶关系都对运动分割任务极其重要。因此，本发明提出基于深度超图聚类的方式实现运动分割任务。接下来介绍这一领域中相关的背景技术。

3、(1)基于事件图的事件处理方法

4、现有基于事件的学习算法为了方便将基于cnn的方法迁移过来，在处理事件数据时的大都采用了事件叠帧的处理方式，然而这些方法损失了事件的高时间分辨率，忽略了事件数据异步离散的特点，越来越多的研究者开始基于构建图的方式来处理事件。mondal等人(moving object detection for event-based vision using graph spectralclustering)将事件点视为图的节点，通过knn的方法将距离节点最近的3个点连成边，以此来构建事件图。li等人(graph-based asynchronous event processing for rapidobject recognition)通过滑动窗口的方式将窗口内所有的点小于设置阈值都连边，不限指某节点的连边数量。zhou等人(event-based motionsegmentation with spatio-temporal graph cuts)构建基于事件的时空图。将事件点当作图中的节点，每个事件和由活动像素位置处所构建的delaunay三角剖分中相同像素以及相邻像素位置处的两个最近的事件点进行连边构图。然而普通的图，一条边仅能连接两个节点，而基于事件的运动分割需要从输入的事件序列中挖掘众多时空上运动一致的事件点，并将其与背景事件点区分出来，这需要考虑到事件数据中自身属性信息以及隐藏的运动信息等高阶关系。与普通的图不同，超图的每条超边，可以连接两个及以上的节点。超图作为一种能够表示隐藏层表示的通用框架，能够考虑高阶数据结构，从而更好地处理事件数据中复杂的运动相关性。因此本发明基于事件构建深度超图，通过聚类的方式实现基于事件的运动分割。

5、(2)基于事件图的运动分割方法

6、基于事件图的处理方式可挖掘异步事件数据中的拓扑信息，不同的任务在构建完事件图之后处理方法也不同。在运动分割任务中，事件点构建事件图后的处理方法目前分为两类。一类是基于图节点分类，另一个是利用图进行聚类操作。mitrokhin等人(learningvisualmotion segmentation using event surfaces)认为运动分割任务的本质是对每个事件点进行分类。mondal等人(moving object detection for event-based visionusing graph spectral clustering)则通过传统图聚类的方式识别不同的运动目标。然而传统聚类方法难以有效表示复杂数据关联，本发明通过事件的时间戳和极性对异步事件进行运动分组，挖掘事件数据中的运动信息来构建超图，通过深度超图(hypergraph)自聚类的方法实现基于事件的运动分割。

技术实现思路

1、本发明设计一种基于深度超图聚类的事件相机的运动分割算法，充分挖掘事件的运动信息，并结合事件的时空特性构建时空运动超图。这种时空运动超图保留了事件流的时间分辨率，能够表示事件在时间间隔内的高阶数据结构，提高事件数据的高阶表征能力；增强时序信息在算法中的利用，这对运动分割任务至关重要。将基于事件的运动分割问题转化为超图切割问题，实现基于深度超图聚类的事件相机的运动分割方法。根据运动分割后的事件簇类间距离小，类内距离大的标准，利用自设计的深度超图聚类模块完成聚类，即实现输入事件序列的运动分割。本发明一边利用图卷积神经网络学习节点的特征嵌入表示，一边通过一种自训练的图聚类增强同一簇节点之间的内聚性，提高算法的泛化性。

2、本发明的技术方案：

3、一种基于深度超图聚类的运动分割方法，步骤如下：

4、(1)构建融合运动特征的事件时空运动超图

5、本方法提供了一种基于事件的超图构建方法，该方法能够表示事件在时间间隔内的高阶数据结构，充分考虑事件数据的时间戳、极性等自身属性信息，挖掘事件数据的时空特性，也从中分析事件数据中的运动信息，并从上述属性信息选择基于光流和外观的运动轮廓属性作为超图节点的特征向量。这种时空运动超图保留了事件流的时间分辨率，能够表示事件在时间间隔内的高阶数据结构，提高事件数据的高阶表征能力；增强时序信息在算法中的利用，这对运动分割任务至关重要。

6、假定给定事件序列数据

7、

8、其中，(xk,yk)是事件的像素坐标，tk是事件的时间戳，pk＝±1是事件的极性，k表示事件序列数据中的第k个事件点；超图节点的构建结合每个事件点的时间戳tk、极性信息pk、时空信息(xk,yk,tk)以及从中挖掘的运动信息；基于光流和运动速度属性来定义单个事件点的运动模型

9、则，获得的事件超图所有节点的特征嵌入表示如下：

10、

11、其中，uk,vk分别表示单个事件点即单个节点在水平方向和竖直方向上的光流信息，表示单个事件点在组成的局部事件表面上的速度速度属性；

12、给定所有节点的特征嵌入构建事件时空运动超图g＝{v,e,w}，其中节点v表示样本，超边e表示包含可变数量样本的样本集合，w(vi,vj_表示超边上任意两点之间的权重；通过随机选择时间间隔内的事件作为节点并使用k最近邻算法选择k个最近邻构成超边，遍历所有节点，形成超图的超边集合生成完整的时空运动超图g＝{v,e,w}；

13、

14、adj(v)＝{e1,e2,…,em}(4)

15、con(e)＝{v1,v2,…,vn}(5)

16、其中，con(e)表示超边e的顶点集，adj(v)表示包含顶点v的所有超边组成的超边集，n和m是超边e中的顶点数和包含顶点v的超边数；

17、(2)基于深度超图聚类的运动分割

18、根据运动分割后的事件簇“类间距离小，类内距离大”的标准，设计一种深度超图聚类方法，通过一种自训练的图聚类增强同一簇节点之间的内聚性，完成聚类，提高算法的泛化性；形式上，获的事件时空运动超图g＝{v,e,w}后；从事件时空运动超图g构造出样本和超边之间的关联，定义为关联矩阵即，如果vi∈ei，则否则

19、在超图聚类中，超图拉普拉斯矩阵用于捕捉节点之间的复杂关系，并通过这些关系来执行聚类任务；聚类算法利用超图拉普拉斯矩阵的特征向量来进行；具体来说，超图拉普拉斯矩阵的第二小的特征值(称为fiedler值)及其对应的特征向量用来识别数据中的自然分割，从而实现聚类；

20、事件时空运动的超图拉普拉斯矩阵定义为：

21、

22、其中，dv和de分别是节点和超边的度矩阵；

23、其中，超图拉普拉斯矩阵分解得到：

24、lh＝uλu-1(5)

25、其中，u＝[u1,...,un]代表n个基向量，λ＝diag(λ1,..λq,..,λn)是一个对角阵，λq的大小反应基向量的平滑程度，超图上的“平滑程度”则反映相邻节点的相似程度；基于深度超图聚类的运动分割则基于上述构建的事件时空运动超图以及对应的关联矩阵h，通过事件时空运动的超图拉普拉斯矩阵分解来实现运动分割的目的。

26、本发明的有益效果：

27、(1)融合运动特征的事件时空运动超图

28、该方法基于事件相机采集的事件数据，分析事件数据中的运动信息，结合事件数据的时空特性，构建事件的时空图，提高事件数据的表征能力。这种时空图保留了事件流的时间分辨率，增强时序信息在算法中的利用，这对运动分割任务至关重要。

29、(2)基于深度超图聚类的运动分割方法

30、根据运动分割后的事件簇“类间距离小，类内距离大”的标准，本发明设计一种深度超图聚类方法，将基于事件的运动分割问题转化为深度事件时空运动超图的聚类问题，通过一种自训练的图聚类增强同一簇节点之间的内聚性，完成自监督聚类，提高算法的泛化性，实现基于事件时空运动超图的运动分割。