基于异步事件流的动态数据优化及表示方法

本发明涉及图像处理，尤其涉及一种基于异步事件流的动态数据优化及表示方法。

背景技术：

1、事件相机作为仿生视觉传感器，在视觉任务的高动态范围和高时间分辨率方面显示出了极大的优势，使其能在最复杂的场景中高效可靠地估计运动提供了依据。这种传感器也被称为基于事件的传感器，是受生物视网膜结构的启发的新型仿生视觉设备。但这些优势是有代价的，比如现有的基于事件的视觉传感器分辨率低，以及在进行事件表示的过程中信息数据会有不同程度的冗余和残缺。并且由于事件流数据本身特性我们没法直接使用它，需要先进行切片和压帧的预处理步骤。总的来说，现如今已经有多种预处理算法能实现事件流的切片和压帧，但是当事件流中存在多个运动速度在变化且互不相同的主体时，使用现有的处理方法无法得到很好的效果，还可能会放大上述的事件信息流自身已有的缺陷。

2、事件相机的输出数据是由一系列事件组成的，这些数据对某个像素点亮度变化的时间、位置和极性信息进行编码。这是事件相机的优势所在，但也使得每个事件单独携带的关于场景的信息非常少。因此在解读或者使用事件流上的信息之前，我们需要聚合信息才能进行下一步的信息处理。而在基于事件的视觉领域，现有的表示方式能大致被分为两种：稀疏表示和密集表示。使用稀疏表示的方法能够保留事件中的稀疏性，但现有的硬件设备以及后续数据处理算法不够成熟且针对性不足，用这类表示方法预处理的事件数据还不能被扩展应用到更复杂的任务中。具体来说，异步脉冲神经网络所需要的稀疏表示事件数据由于缺乏专门的硬件和计算有效的反向传播算法而受到限制。而且在处理事件数据的时空特性时，点云编码器是必不可少的，但计算成本很高且处理完之后的噪声信息很多。此外，图神经网络具有相当高的可扩展性，并在大部分视觉任务上都能取得相当高的性能表现。但在基于事件的视觉方面，这些方法的准确性仍然不如密集方法。

3、相对而言密集表示具备更好的性能，因为它们可以和现有的成熟的机器学习算法以及神经网络架构相匹配。早期的密集表示方法大多数都是将事件转换为直方图、时间曲面或将两者结合起来，接着用标准的图像处理算法模型来进行后续的处理流程。然而，由于它们通常只使用少数通道，导致这些方法得到的结果仅捕获到了事件的低维表示。在后来进一步的研究中，研究人员们试图通过计算高阶矩或堆叠事件的多个时间窗口来捕获更多的事件信息。

4、目前针对基于事件数据流表示方法在国内外也有一些相关的解决方案。现有技术提出了一种异步事件到帧转换算法，将视网膜事件中的时空信息异步扭曲到一种新的自适应时间面采用线性时间衰减(atsltd)帧表示，如图1所示。转换由物体运动驱动:(1)快速物体运动比缓慢物体运动产生更多的atsltd帧，为物体跟踪创造了相对较大的时空空间;(2)如果目标物体没有足够大的运动(位移)，则不生成任何atsltd帧，从而提高了计算速度。由于强度变化和视网膜事件通常发生在目标物体的边缘，因此atsltd帧记录了清晰而锐利的物体轮廓。然而现有的方法在本质上仍然是基于固定的时间窗口来完成事件的堆叠。当事件率变得过大或过小时，这些方法都会导致一些问题的出现。并且由于事件相机本身的稀疏性和异步性，现有的经典计算机视觉算法虽然能取得不错的效果，但并不完全适用。

技术实现思路

1、本发明为解决上述问题，提供一种基于异步事件流的动态数据优化及表示方法。

2、本发明目的在于提供一种基于异步事件流的动态数据优化及表示方法，具体包括如下步骤：

3、s1.根据所承载主要信息的数量大小将事件相机的原事件流l划分为主体事件流u与非主体事件流n；

4、s2.通过建立主体事件流u和原事件流l对应的完全能量函数及非主体事件流n和原事件流l对应的完全能量函数，构建基于马尔科夫随机场的事件能量模型；构建模型后，重新将主体事件流定义为si，将非主体事件流定义为sj；

5、s3.按照默认的时间跨度将主体事件流si和非主体事件流sj分割为若干个时间仓；调整时间仓跨度的长度，再按照序列将时间仓一一对应，最后合并为新事件流；

6、s4.根据主体事件流si与原事件流l的关联度修补新事件流中主要信息所在的部分，并将新事件流中时空关联区域的冗余事件删除，实现信息的优化。

7、优选的，步骤s3中采用动态异步数据度量及切片算法调整时间仓跨度的长度。

8、优选的，动态异步数据度量及切片算法具体包括：将事件流中对应时间仓内事件的极性属性作为整体密度的计算依据，并将新的事件密度作为基础参考依据引入到时间窗口中，动态调整时间仓跨度的长度；所述调整时间仓跨度通过更新时间跨度实现，公式如下：

9、

10、

11、式中，表示每一个时间仓的时间跨度，和分别表示主体事件流si和非主体事件流sj中的时间仓，和表示两个时间仓和的更新前时间跨度，和分别表示两个时间仓和的更新后时间跨度，和分别表示属于第i个时间仓和第j个时间仓的三维高斯核，和表示事件流所有时间仓的模平方之和，表示时空区间，表示两个时间仓和之间的距离，公式如下：

12、

13、其中，表示和的内积，表示第i个时间仓的内积，表示第j个时间仓的内积。

14、优选的，步骤s1采用主体区域识别算法进行划分；在对事件流进行区域判断以及划分操作时，使用改进的皮尔森相关系数和斯皮尔曼相关系数，公式分别如下：

15、；

16、；

17、其中，表示第i个事件的横轴坐标；表示第i个事件的竖轴坐标；和表示第i个事件所在的时间节点上，以事件发生的频次作为权重，其他事件在横轴和竖轴坐标上的加权平均值。

18、优选的，步骤s2中主体事件流u和原事件流l对应的完全能量函数表达式如下：

19、；

20、其中，能量函数表达式分别为：

21、；

22、；

23、；

24、；

25、上式中，对应的是四个最大团、、、，最大团代表的是主体事件流u中的事件和原事件流l中的事件之间的关系，三个最大团代表的是主体事件流u中时空邻域内事件之间的关系；α和β为对应最大团内的非负的动态权重参数。

26、优选的，步骤s2中非主体事件流n和原事件流l对应的完全能量函数表达式如下：

27、；

28、其中，能量函数表达式分别为：

29、；

30、；

31、；

32、；

33、上式中，对应的是四个最大团、、、，最大团代表的是非主体事件流n中的事件和原事件流l中的事件之间的关系，三个最大团代表的是非主体事件流n中时空邻域内事件之间的关系；α和β为对应最大团内的非负的动态权重参数。

34、优选的，α反映事件在空间上的相关性，表达式如下：

35、；

36、所述β反映事件在时间上的相关性，表达式如下：

37、；

38、上式中，分别表示能量函数中的两个事件在水平和竖直方向的像素差值，分别表示在所有最大团中事件在水平方向和竖直方向上的最大差值，和分别表示在所有最大团中与其他事件之间的最小时间间隔和最大时间间隔。

39、优选的，步骤s4中修补新事件流中主要信息所在的部分具体采用如下方法：将新事件流的局部记忆时间面作为基本算子，并把相邻像素分组为大小数量相同的单元；利用公式计算每个单元的初始曲力场，并以梯度下降的方式更新曲力场范围，从而更新得到最佳的单元补偿事件密度和区域范围的值，确定原事件流l中对新事件流中主体起补足作用的事件范围并进行修补；

40、式中，x表示该事件对应的像素横坐标，y表示该事件对应的像素纵坐标，ex和ey表示主体事件补偿过程中在平面位移上出现的局部误差，et表示主体事件补偿过程中在时间轴方面出现的局部误差，表示以x、y、t为三轴建模后的补偿事件云和t代表的z轴之间的角度，t表示该事件对应的时间。

41、与现有技术相比，本发明能够取得如下有益效果：

42、（1）原始事件流被分为主体事件流和非主体事件流的过程中，将事件按照事件与事件流之间的整体相关性进行了类别判定，可以把一些现有方法不易去除的、自身事件之间关联性较强的噪声事件识别到，比如漫反射噪声。

43、（2）将概率大小问题转变为能量大小问题，依据联合概率分布可以表示为函数在其最大团上的乘积的关系，定义出可以描述能量化后不同事件之间关系的能量函数；当该能量函数的值越小，意味着能量越小以及概率越高，说明这两个事件之间的相关性越大。这种事件相关性关系定义比现有的定义方法更贴近事件之间本身的关系。

44、（3）将每段事件流中对应尖峰数据仓内事件的极性作为整体密度的计算依据，并将新的事件密度作为基础参考依据引入到时间窗口中，动态调整时间仓跨度的长度；这种方法比现有的以固定时间或固定事件数为基础来进行划分的方法更加适应复杂的拍摄情况。

45、（4）以主体事件流作为基底，最大限度减弱新事件流中对应主体空间周围相关性低的、冗余的非主体事件流中事件的影响；然后对于该时间仓内的缺失的主体事件，选择相关性高的事件来进行补足；能够很好的处理当场景中存在两个及以上速度差异显著的物体时，现有方法无法达到完美的切片效果的问题。