基于事件流数据的高速力测量和接触状态感知方法与装置

本发明涉及计算机视觉，尤其涉及基于事件流数据的高速力测量和接触状态感知方法与装置。

背景技术：

1、赋予触觉传感器对力的大小、方向、分布及力矩的感知能够促进机器人末端执行器对接触的精准感知与建模，从而实现更加灵巧的机器人操作任务。然而，现有的触觉传感器在对接触面的力学变化进行快速响应方面仍有不足。

2、对于人类和机器人来说，触摸提供了关于接触表面的关键信息。这样的信息不仅可以用于感知接触对象的特性，如纹理和柔软度，还可以通过力学信息指导操作任务中的手部运动。虽然接触可以获得被接触物体的大量信息，但在这项发明中，我们将重点放在高速力学信息感知上，在许多需要触觉辅助的机器人任务中，最重要的任务是确保机器人安全稳定地抓住了物体，而这些拥有极高时间分辨率的力学信息能够很好的表征被操作物体与传感器之间的运动状态，使机器人能够更加快速精确的进行下一步动作。我们把这种力学信息的收集分为发生在运动状态和静止状态时的感知过程：前者对于推断操作过程中物体与传感器间可能发生的偏移至关重要；后者则用于实现稳定的抓取状态和力学信息的持续输出。因此，为了实现这两种状态下的高速力学信息感知，开发能够以极高的速度对接触区域进行力学估计的触觉传感器对于实现机器人灵巧操作具有高度重要性。

3、如今深度学习技术已经开始渗透到每一个领域当中，使得机器学习能够实现更多的应用场景，并且极大地拓展了人工智能的领域范畴。从无人驾驶汽车、无人驾驶飞机，到生物医学的预防性诊断、病理预测，甚至是更加贴近年轻一代的电影推荐、购物指南，几乎所有领域都可以使用深度学习。而卷积神经网络强大的拟合能力使其能够对复杂的触觉信息进行推理，并从中估计出我们需要的力学信息，于是如何获得包含丰富触觉信息的数据作为卷积神经网络的输入就显得尤为重要。

4、在过去的几十年里，具有不同原理的各种类型的触觉传感器大量出现，包括电容式、压电式、压阻式、磁电式等。近些年来，基于视觉的光学触觉传感器蓬勃发展，由于使用了相机，光学触觉传感器可以提供传感器对接触物体发生的形变的高分辨率触觉图像，并且这些图像中包含了大量的触觉信息。它们通常由三个主要部分组成：柔软的弹性体，在接触时变形为物体的形状；下面的摄像头用于观测变形的弹性体；led则用于照亮弹性体和网络摄像头之间的空间。以其易于制造、高分辨率和多模态传感能力的优势出现在各种机器人系统中。然而，由于传统rgb相机物理原理的限制，尽管这些传统的视触觉传感器能够实现力学测量与滑动检测，但它们在测量速度上仍存在不足。

5、当面对长时间、超高帧数的动态目标测量场景时，传统的基于cmos或ccd的相机在测量过程中会产生极高的数据量，使测量过程复杂化，无法满足高速实时测量的需求。事件相机则可以有效避免这一问题，事件相机（event-basedcamera）是受生物启发的新型视觉传感器，有时也称动态视觉传感器dvs（dynamicvisionsensor）或davis（dynamicandactive-pixelvisionsensor）。相比于以固定帧率采集图像的标准相机，它具有低延迟、高动态范围、低功耗、高时间分辨率等特点。事件相机对于单个像素，仅在接收到的光强度发生改变时才输出事件信息，这使其十分适合用于本研究基于标记点位移进行力学估计的场景，其输出的每一个数据都包括事件的地址（对应像素位置）和事件的性质（变亮还是变暗），具体包含——一个像素位置，一个用对数强度表示正或负变化的极性位，以及一个以微秒为单位的时间戳。那么根据上述原理，事件相机观测到的每个事件就可以被表示成（x，y，t，p），x是事件所在像素的横坐标，y是事件所在像素的纵坐标，t是时间戳，p是事件的极性，标志着事件光强的改变，且p∈{-1,+1}。因此，使用事件相机可以有效地解决传统相机高数据带宽所导致的难以对数据进行实时高速处理的问题。

6、为了利用视触觉传感器柔性表面以标记点位移表征接触区域力学信息这一特性，并使传感器能够实现高速力学估计，我们设计基于事件相机的新型视触觉传感器，该传感器使用事件相机采集接触面上的标记点运动信息，当物体与传感器接触时，弹性凝胶发生形变并带动喷涂在其表面的标记点发生位移，纯色的背景与照明使事件相机仅仅对黑色标记点的运动极为敏感，因此在原始数据采集阶段即可过滤大量非关键信息，从而实现高速的接触面变化采样，在对一定时间内的事件进行积分后，通过卷积神经网络对接触区域进行力学估计。为了解决事件相机无法捕捉稳定状态下标记点运动信息的问题，提出融合力状态缓存方法，通过对接触面的事件数进行分区统计和对每一帧积分图像中事件数量的变化趋势综合判断与被操作物体间的接触面积和当前所处的状态（接触/脱离）。

技术实现思路

1、为解决上述问题，本发明提供了基于事件流数据的高速力测量和接触状态感知方法与装置。

2、本发明提供了基于事件流数据的高速力测量和接触状态感知方法，该方法包括如下步骤：

3、步骤一、柔性触觉装置的设计；

4、步骤二、模型训练数据集的采集和卷积神经网络的训练；预先收集大量由事件流数据积分得到的积分图像和与之对应的接触面的三维力及力矩数据；使用标定完成的六维力传感器直接按压传感器表面，事件相机采集事件流数据的同时记录力传感器数据，以此作为真值，由于不同方向的力和力矩往往具有较大差距，因此对数据进行归一化后再进行训练；

5、步骤三、使用事件相机对接触面进行观测获得事件流数据并对其进行裁切与过滤；首先对事件流数据进行预处理，在设定好积分时间与采集速率后，对采集到的原始事件流数据进行裁切，仅保留所需观测区域内的事件流数据，随后将负事件滤除，经过上述预处理后，事件流数据量会极大的减少，从而减少后续处理过程的计算量，以实现更高速的处理；

6、步骤四、根据正事件数的变化趋势推断接触状态并缓存；在物体与传感器接触期间，正事件数量会呈现先迅速增加后慢慢减少的现象，脱离时同样如此，因此对正事件数量持续记录，当第一个正事件数波峰到来时，认为发生了接触过程，而下一个波峰到来时则认为正在脱离接触，两个波峰之间的谷地则需要满足事件数在一定时间内连续低于设定的阈值a这一条件，且阈值a根据正事件的数目动态调整，否则认为物体发生晃动；

7、该阈值a根据正事件的数目动态调整，其计算公式为：

8、

9、其中a为所需阈值，m为该递增过程中平均每帧中正事件的数量，p为方形区域分辨率，n为事件相机平均原生正事件噪点；

10、步骤五、根据各个子区域内事件数的分布推断接触面积的大小并根据接触面积变化趋势纠正当前所处的接触状态；

11、首先对观测区域进行分区，并且仅统计各个区域内正事件的数量，随后根据各个分区内正事件数量的变化情况识别出接触区域的边缘，从而实现对接触面积的检测，当接触面积由零迅速增大时，认为发生了接触过程，而当接触面积由最大值减小到零时则认为发生了脱离过程，所得到的接触状态会与步骤四中结果进行比对，若不相同，则按照接触-脱离-接触依次发生的规律根据更早的结果进行判断；

12、步骤六、根据当前接触状态判断是否需要更新接触区域力学信息；当接触面稳定时，事件相机不能提供有用的事件流数据，也就无法继续进行接触区域的力估计，当算法判断处于接触状态时，将保留最后一帧包含有用信息的积分图像所推理出的力学信息直到下一帧包含有用信息的积分图像出现；反之，当判断处于脱离状态时，力学信息将不会再被保留，即接触区域力为零，这也与事实相符。

13、进一步的，所述步骤二中的三维力及力矩数据获取方式如下：将柔性触觉装置固定在三脚架上，将atinano17传感器直接按压在传感器表面，因此传感器表面上的力和平面上的力矩等于ati传感器上的负载，使用ati传感器的测量值作为真值，输出为包含三维力和力矩的力学信息。

14、进一步的，所述步骤五中使用阈值过滤法对接触面积进行检测，内含正事件数低于阈值b的子区域将被舍弃不参与接触面积计算，从而实现对接触面积的检测，阈值b的计算公式为：

15、

16、其中b为所需阈值，r为当前帧中正事件数量，s为上一帧中有效分区的数量，t为分区划分标准，n为事件相机平均原生正事件噪点。

17、进一步的，所述步骤的柔性触觉装置包括高透弹性凝胶、亚克力凝胶支撑板、亚克力导光板、外壳、白色led照明板、事件相机安装座和事件相机；

18、外壳起着连接并约束各个组件的作用，外壳采用双层方形壳设计，外壳上设有用于亚克力导光板的安装槽。

19、进一步的，亚克力导光板的底面为平面并做磨砂处理，且亚克力导光板的顶端斜切45°倒角并在切面涂刷亮银色金属漆。

20、进一步的，亚克力凝胶支撑板安装在外壳一端，且亚克力凝胶支撑板上设有高透弹性凝胶。

21、进一步的，高透弹性凝胶的凝胶表面依次喷涂有标记点阵列和一层不透明涂料。

22、进一步的，高透弹性凝胶使用翻模工艺直接成型，长宽尺寸为32mm×32mm，使用带有标记点孔位的模具在高透弹性凝胶表面喷涂上黑色的标记点，直径1mm、间距1mm；待标记点完全附着后，喷涂表面涂层。

23、进一步的，涂层涂料为2000目的铝银粉。

24、进一步的，所述外壳的另一端安装有白色led照明板，且白色led照明板的一侧设置有事件相机安装座，事件相机安装座上安装有事件相机；

25、高透弹性凝胶、亚克力凝胶支撑板、亚克力导光板、外壳、白色led照明板、事件相机安装座和事件相机的中心点位于同一条直线上。

26、本发明还提供基于事件流数据的高速力测量和接触状态感知装置，该感知装置使用如上述的基于事件流数据的高速力测量和接触状态感知方法进行感知。

27、本发明的优点：本发明通过将事件相机低数据带宽高速动态观测的特性与传统的柔性触觉传感装置和机器学习技术相结合，实现连续稳定高速的力学量输出和接触状态及面积的估计，解决了现有的柔性触觉传感器在对接触面的力学变化进行快速响应方面的不足和事件相机在观测处于静止状态的物体时无法输出有效数据进而无法判断接触情况的问题。