一种视触觉跨模态特征融合的工件抓取检测方法及系统

本发明涉及视触觉融合，尤其涉及一种视触觉跨模态特征融合的工件抓取检测方法及系统。

背景技术：

1、针对工件，仅仅检测抓取过程中是否发生滑移是不够的，还需要考虑被抓取工件的变形情况。现有方法通过将深度学习方法应用于机器人抓握状态的评估中，通过深度学习网络对被抓取物体的变形和滑移进行预测，取得了显著效果，但是，现有的许多方法未能在视觉和触觉特征之间建立强有力的时空联系，在抓取和滑移过程中，时间连续性和空间一致性对于预测和理解抓取状态至关重要，且目前的视触觉融合技术往往只是通过将视觉和触觉特征直接拼接来实现，这种简单的拼接方法没有充分利用视觉和触觉特征之间的潜在关联，对视觉与触觉特征缺乏深入的交互融合，导致无法充分利用两种模态信息之间的互补性，因而最终的工件抓取效果并不理想。

技术实现思路

1、为了解决上述技术问题，本发明的目的是提供一种视触觉跨模态特征融合的工件抓取检测方法及系统，能够通过获取工件抓取状态的动态时序特征实现深度的视触觉跨模态特征融合，从而提高当前工件的抓取状态的检测准确度。

2、本发明所采用的第一技术方案是：一种视触觉跨模态特征融合的工件抓取检测方法，包括以下步骤：

3、获取抓取工件的视觉视频图像数据与抓取工件的触觉视频图像数据并进行数据预处理，得到抓取工件的视觉特征与抓取工件的触觉特征；

4、通过分割时空注意力模块对抓取工件的视觉特征与抓取工件的触觉特征分别进行特征捕捉处理，得到抓取工件的视觉动态时序特征与抓取工件的触觉动态时序特征；

5、通过跨模态特征交互融合分类模块对抓取工件的视觉动态时序特征与抓取工件的触觉动态时序特征进行融合交互分类处理，得到抓取工件的当前抓取状态。

6、进一步，所述获取抓取工件的视觉视频图像数据与抓取工件的触觉视频图像数据并进行数据预处理，得到抓取工件的视觉特征与抓取工件的触觉特征这一步骤，其具体包括：

7、通过相机获取抓取工件的视觉视频图像数据；

8、通过触觉传感器获取抓取工件的触觉视频图像数据；

9、对抓取工件的视觉视频图像数据与抓取工件的触觉视频图像数据进行分辨率切分与图像分块处理，得到抓取工件的视觉特征与抓取工件的触觉特征。

10、进一步，所述通过分割时空注意力模块对抓取工件的视觉特征与抓取工件的触觉特征分别进行特征捕捉处理，得到抓取工件的视觉动态时序特征与抓取工件的触觉动态时序特征这一步骤，其具体包括：

11、将抓取工件的视觉特征与抓取工件的触觉特征分别进行特征分别输入至分割时空注意力模块，所述分割时空注意力模块包括多头时间注意力模块、多头空间注意力模块和多层感知器模块；

12、基于分割时空注意力模块的多头时间注意力模块，分别对抓取工件的视觉特征与抓取工件的触觉特征进行时间维度特征计算，得到抓取工件的视觉时间特征向量与抓取工件的触觉时间特征向量；

13、基于分割时空注意力模块的多头空间注意力模块，分别对抓取工件的视觉特征与抓取工件的触觉特征进行空间维度特征计算，得到抓取工件的视觉空间特征向量与抓取工件的触觉空间特征向量；

14、基于分割时空注意力模块的多层感知器模块，对抓取工件的视觉时间特征向量与抓取工件的视觉空间特征向量进行混合编码处理，得到抓取工件的视觉动态时序特征；

15、基于分割时空注意力模块的多层感知器模块，对抓取工件的触觉时间特征向量与抓取工件的触觉空间特征向量进行混合编码处理，得到抓取工件的触觉动态时序特征。

16、进一步，所述分割时空注意力模块的特征捕捉处理的表达式具体如下所示：

17、

18、

19、

20、上式中，ln(·)表示图层规范化，msa(·)表示多头注意力机制，mlp(·)表示多层感知器模块，time表示时间维度，space表示空间维度，表示经过时间注意力后得到的注意力权重，表示经过空间注意力后得到的注意力权重，p和t分别表示为视觉特征和触觉特征的空间位置和对应图像帧的索引，l表示第l层编码，表示动态时序特征。

21、进一步，所述通过跨模态特征交互融合分类模块对抓取工件的视觉动态时序特征与抓取工件的触觉动态时序特征进行融合交互分类处理，得到抓取工件的当前抓取状态这一步骤，其具体包括：

22、将抓取工件的视觉动态时序特征与抓取工件的触觉动态时序特征分别输入至跨模态特征交互融合分类模块，所述跨模态特征交互融合分类模块包括跨模态注意力模块、前馈网络模块、跨模态融合模块和mlp网络模块；

23、基于跨模态特征交互融合分类模块的跨模态注意力模块，对抓取工件的视觉动态时序特征进行模态计算处理，得到抓取工件视觉动态时序特征的查询向量、抓取工件视觉动态时序特征的键向量和抓取工件视觉动态时序特征的值向量；

24、基于跨模态特征交互融合分类模块的跨模态注意力模块，对抓取工件的触觉动态时序特征进行模态计算处理，得到抓取工件触觉动态时序特征的查询向量、抓取工件触觉动态时序特征的键向量和抓取工件触觉动态时序特征的值向量；

25、将抓取工件视觉动态时序特征的查询向量、抓取工件触觉动态时序特征的键向量和抓取工件触觉动态时序特征的值向量进行矩阵计算处理，得到若干抓取工件的视觉特征；

26、将抓取工件触觉动态时序特征的查询向量、抓取工件视觉动态时序特征的键向量和抓取工件视觉动态时序特征的值向量进行矩阵计算处理，得到若干抓取工件的触觉特征；

27、基于跨模态特征交互融合分类模块的前馈网络模块，对若干抓取工件的视觉特征进行拼接处理，得到抓取工件的综合视觉特征；

28、基于跨模态特征交互融合分类模块的前馈网络模块，对若干抓取工件的触觉特征进行拼接处理，得到抓取工件的综合触觉特征；

29、基于跨模态特征交互融合分类模块的跨模态融合模块，对抓取工件的综合视觉特征与抓取工件的综合触觉特征进行融合处理，得到抓取工件的视触觉融合特征向量；

30、基于跨模态特征交互融合分类模块的mlp网络模块，对抓取工件的视触觉融合特征向量进行预测分类，得到抓取工件的当前抓取状态。

31、进一步，所述跨模态注意力模块的模态计算处理的表达式具体如下所示：

32、

33、

34、

35、α＝1,…,a

36、m＝(v,t)

37、上式中，表示动态时序特征的查询向量，表示动态时序特征的键向量，表示动态时序特征的值向量，p和t分别表示为视觉特征和触觉特征的空间位置和对应图像帧的索引，λ表示当前跨模态注意力模块所在层数，α＝1,…,a表示多头注意力的索引，m表示模态类型，v和t分别表示视觉模态和触觉模态，表示查询向量的可学习的嵌入矩阵，表示键向量的可学习的嵌入矩阵，表示值向量的可学习的嵌入矩阵，ln(·)表示图层规范化，表示前一层跨模态注意力模块的模态计算结果。

38、进一步，所述矩阵计算处理的表达式具体如下所示：

39、

40、上式中，headα表示矩阵计算结果，attention(·)表示注意力机制，softmax(·)表示softmax激活函数，表示动态时序特征的查询向量，表示动态时序特征的键向量，表示动态时序特征的值向量，dh表示每个注意力头部的潜在维度，m'表示m相对的模态类型，p和t分别表示为视觉特征和触觉特征的空间位置和对应图像帧的索引，λ表示当前跨模态注意力模块所在层数，α＝1,…,a表示多头注意力的索引，m表示模态类型。

41、进一步，所述前馈网络模块的拼接处理的表达式具体如下所示：

42、msa＝concat(head1,···,heada)wo

43、上式中，msa表示抓取工件的综合视触觉特征，concat(·)表示连接操作，wo表示可学习参数，head1,···,heada表示矩阵计算结果。

44、进一步，所述mlp网络模块的预测分类的表达式具体如下所示：

45、y＝softmax(q2·relu(q1·fvt+b1)+b2)

46、上式中，y表示抓取工件的当前抓取状态，softmax(·)表示softmax激活函数，relu(·)表示relu激活函数，fvt表示抓取工件的视触觉融合特征向量，q1、q2表示两个线性变换层的权重矩阵，b1、b2表示偏置向量。

47、本发明所采用的第二技术方案是：一种视触觉跨模态特征融合的工件抓取检测系统，包括：

48、预处理模块，用于获取抓取工件的视觉视频图像数据与抓取工件的触觉视频图像数据并进行数据预处理，得到抓取工件的视觉特征与抓取工件的触觉特征；

49、捕捉模块，用于通过分割时空注意力模块对抓取工件的视觉特征与抓取工件的触觉特征分别进行特征捕捉处理，得到抓取工件的视觉动态时序特征与抓取工件的触觉动态时序特征；

50、预测模块，用于通过跨模态特征交互融合分类模块对抓取工件的视觉动态时序特征与抓取工件的触觉动态时序特征进行融合交互分类处理，得到抓取工件的当前抓取状态。

51、本发明方法及系统的有益效果是：本发明通过获取抓取工件的视觉视频图像数据与抓取工件的触觉视频图像数据并进行数据预处理，进一步通过分割时空注意力模块对抓取工件的视觉特征与抓取工件的触觉特征分别进行特征捕捉处理，分割时空注意力模块通过分别独立地应用时间注意力和空间注意力，以强化视觉和触觉特征在时间和空间维度上的关联性，捕捉抓取动作的滑移阶段的潜在时序特征，实现更精细的时空特征建模，最后通过跨模态特征交互融合分类模块对抓取工件的视觉动态时序特征与抓取工件的触觉动态时序特征进行融合交互分类处理，跨模态特征交互融合分类模块先通过跨模态注意力机制，实现跨模态特征交互，再通过张量融合的方式，将视觉和触觉特征进行有效的融合，建立模态间的联系，从而提高当前工件的抓取状态的检测准确度。