一种多模态数据融合方法及设备与流程

本技术涉及数据融合，尤其涉及一种多模态数据融合方法及设备。

背景技术：

1、在低成本传感器日益普及的情况下，利用从不同来源获得的数据进行分类或回归的多模态融合已成为机器学习的核心问题。随着深度学习的成功，多模态融合通过引入多种模态的端到端神经集成，它在语义分割、动作识别、视觉问答和许多其他方面中显示出与单模式范式相比的显著优势。目前，在深度多模态融合方面已经做了许多工作，关于它们融合的类型，现有的方法通常分为基于聚合的融合、基于比对的融合和它们的混合。根据融合的时间，多模式融合的另一种分类可以指定为早期、中期和晚期融合。尽管现有研究取得了丰硕的进展，但如何在保持每种模式的具体模式的同时，整合不同模式的共同信息仍然是一个巨大的挑战。其次，不同模态的数据可能存在数量上的不平衡，这可能导致模型在训练和融合过程中对某些模态的过度依赖，从而影响整体性能。此外，为了在模态间融合和模态内处理之间取得平衡，当前的方法通常采用聚合和对准融合的谨慎分层组合来提高性能，代价是额外的计算和工程开销。因此，在多模态数据融合时，存在多模态数据融合的效率低的问题。

技术实现思路

1、本技术提供了一种多模态数据融合方法及设备，可以解决多模态数据融合的效率低的问题。

2、第一方面，本技术实施例提供了一种多模态数据融合方法，该多模态数据融合方法包括：

3、获取多个数据融合项目的多种模态的模态数据；

4、分别针对每种模态，利用模态对应的特征提取模块对模态的每个模态数据进行特征提取，得到每个模态数据的模态特征；

5、利用桥梁令牌对每个数据融合项目的所有模态特征进行拼接，获取每个数据融合项目的拼接特征；桥梁令牌为用于连接对应的两个模态特征的多个神经元；

6、利用特征融合模块对每个拼接特征中的所有模态特征、所有桥梁令牌进行融合，得到每个数据融合项目的融合特征；

7、基于所有融合特征、每个特征提取模块中的所有参数、特征融合模块中的所有参数构建损失函数；

8、分别针对每种模态，基于模态的模态数据的数量，计算模态在每个数据融合项目中的单模态性能值，并基于所有单模态性能值获取模态的参数更新公式；单模态性能值用于描述模态在数据融合项目中的重要程度；

9、根据损失函数和所有模态的参数更新公式，对所有特征提取模块和特征融合模块进行优化，得到多个优化后的特征提取模块和优化后的特征融合模块；

10、利用所有优化后的特征提取模块和优化后的特征融合模块对数据待融合项目的所有模态数据进行融合，得到最终融合特征。

11、可选的，利用模态对应的特征提取模块对模态的每个模态数据进行特征提取，得到每个模态数据的模态特征，包括：

12、通过公式：

13、

14、计算第种模态的第个模态数据的模态特征；

15、其中，表示注意力运算，表示sigmoid函数，表示tanh激活函数，表示归一化指数函数，表示转置运算，表示时间超参数，表示时间间隔，，表示模态的种类数量，，表示所述第种模态的模态数据的数量，表示维度，表示查询向量，表示键向量，表示值向量：

16、

17、

18、

19、其中，、、均表示权阵，表示第种模态的第个模态数据的令牌序列：

20、

21、其中，表示映射函数，表示第种模态的第个模态数据，表示第种模态的编码器。

22、可选的，利用桥梁令牌对每个数据融合项目的所有模态特征进行拼接，获取每个数据融合项目的拼接特征，包括：

23、通过公式：

24、

25、获取第个数据融合项目的拼接特征；

26、其中，表示第个数据融合项目的第1个模态特征，表示第个数据融合项目的第2个模态特征，表示第个数据融合项目的第个模态特征，表示第个数据融合项目的第个模态特征，表示第1个桥梁令牌，表示第个桥梁令牌，，表示数据融合项目的数量。

27、可选的，利用特征融合模块对每个拼接特征中的所有模态特征、所有桥梁令牌进行融合，得到每个数据融合项目的融合特征，包括：

28、分别针对每个拼接特征，进行以下步骤：

29、分别针对拼接特征中的每个桥梁令牌，对每个与桥梁令牌相邻的模态特征进行特征提取，得到桥梁令牌的多个初始融合特征，并对所有初始融合特征进行合并，得到桥梁令牌的合并融合特征；

30、根据所有桥梁令牌的合并融合特征，获取拼接特征对应的数据融合项目的融合特征。

31、可选的，对每个与桥梁令牌相邻的模态特征进行特征提取，得到桥梁令牌的多个初始融合特征，包括：

32、通过公式：

33、

34、

35、获取第个桥梁令牌的第1个初始融合特征和第个桥梁令牌的第2个初始融合特征；

36、其中，表示第个数据融合项目的第个模态特征，表示第个数据融合项目的第个模态特征，表示第个桥梁令牌，表示第种模态的相关参数，第种模态为第个数据融合项目的第个模态特征对应的模态，表示第种模态的相关参数，第种模态为第个数据融合项目的第个模态特征对应的模态，，，表示模态的种类数量，，表示数据融合项目的数量，，表示第个数据融合项目的模态特征的数量，表示空间位置超参数，表示时间超参数，表示时间间隔，表示第个桥梁令牌对应的第1个查询向量，表示第个桥梁令牌对应的第1个键向量，表示第个桥梁令牌对应的第1个值向量，表示第个桥梁令牌对应的第2个查询向量，表示第个桥梁令牌对应的第2个键向量，表示第个桥梁令牌对应的第2个值向量：

37、

38、

39、

40、

41、

42、

43、其中，均表示权阵；

44、对所有初始融合特征进行合并，得到桥梁令牌的合并融合特征，包括：

45、通过公式：

46、

47、计算第个桥梁令牌的合并融合特征；

48、其中，表示与第种模态和第个桥梁令牌相关的权重矩阵，表示与第种模态和第个桥梁令牌相关的偏置项，表示与第种模态和第个桥梁令牌相关的权阵，表示与第种模态和第个桥梁令牌相关的偏置项；

49、根据所有桥梁令牌的合并融合特征，获取拼接特征对应的数据融合项目的融合特征，包括：

50、通过公式：

51、

52、计算第个数据融合项目的融合特征；

53、其中，、均表示残差连接的权阵，、均表示残差连接的偏置项，表示拼接操作，表示第个桥梁令牌的第1个模态特征，表示第个桥梁令牌的第2个模态特征，表示第个桥梁令牌的第个模态特征，表示第个数据融合项目的中间融合特征：

54、

55、其中，表示第个数据融合项目的第1个桥梁令牌的合并融合特征，表示第个数据融合项目的第2个桥梁令牌的合并融合特征，表示第个数据融合项目的第个桥梁令牌的合并融合特征。

56、可选的，损失函数为：

57、

58、其中，表示损失函数的值，表示优化次数为时每个特征提取模块中的所有参数和特征融合模块中的所有参数的集合，表示优化次数为时每个特征提取模块中的所有参数和特征融合模块中的所有参数的集合，优化次数初始为1，当优化次数为1时，为空集，表示优化总次数，，表示优化总次数，表示余弦相似度计算，表示数据融合项目的数量，表示第个数据融合项目在预测任务中的真实值，表示第个数据融合项目在预测任务中的预测值，表示第个数据融合项目的融合特征，表示预测任务的预测模型。

59、可选的，基于模态的模态数据的数量，计算模态在每个数据融合项目中的单模态性能值，包括：

60、通过公式：

61、

62、计算第种模态在第个数据融合项目中的单模态性能值；

63、其中，表示所有模态数据的集合，表示第种模态的所有模态数据的集合，表示第个数据融合项目的第种模态的模态数据，表示第种模态对应的特征提取模块中的所有参数和特征融合模块中的第种模态的相关参数的集合，表示第种模态在第个数据融合项目中的权重，表示第种模态在第个数据融合项目中的偏置项，表示预测任务的预测模型，，表示模态的种类数量，，表示数据融合项目的数量，，表示优化次数为1时每个特征提取模块中的所有参数和特征融合模块中的所有参数的集合，表示第种模态；

64、基于所有单模态性能值获取模态的参数更新公式，包括：

65、根据所有单模态性能值计算模态的单模态性能比；

66、基于模态的单模态性能比获取模态的贡献值，并基于贡献值获取模态的参数更新公式。

67、可选的，根据所有单模态性能值计算模态的单模态性能比，包括：

68、通过公式：

69、

70、计算第种模态的单模态性能比；

71、其中，表示第次优化时选取的多个数据融合项目的集合，，，表示模态的种类数量；

72、基于模态的单模态性能比获取模态的贡献值，包括：

73、通过公式：

74、

75、计算第种模态在第次优化时的贡献值；

76、其中，表示第种模态的维度，表示调控参数；

77、参数更新公式为：

78、

79、其中，表示优化次数为时第种模态对应的特征提取模块中的所有参数和特征融合模块中的第种模态的相关参数的集合，表示优化次数为时第种模态对应的特征提取模块中的所有参数和特征融合模块中的第种模态的相关参数的集合，，表示优化总次数，表示学习率，表示第种模态对应的特征提取模块中的所有参数和特征融合模块中的第种模态的相关参数的集合，表示中数据融合项目的数量，表示数据融合项目，表示损失函数，表示偏导。

80、可选的，根据损失函数和所有模态的参数更新公式，对所有特征提取模块和特征融合模块进行优化，得到多个优化后的特征提取模块和优化后的特征融合模块，包括：

81、判断损失函数的值是否小于损失函数预设值；

82、若是，则将每个特征提取模块均作为优化后的特征提取模块，将特征融合模块作为优化后的特征融合模块；

83、否则，利用每种模态的参数更新公式计算每种模态的相关参数，并将所有相关参数代入到所有特征提取模块和特征融合模块中，优化次数加1，并返回分别针对每种模态，利用模态对应的特征提取模块对模态的每个模态数据进行特征提取，得到每个模态数据的模态特征的步骤。

84、第二方面，本技术实施例提供了一种多模态数据融合装置，包括：

85、获取模块，获取多个数据融合项目的多种模态的模态数据；

86、特征提取模块，分别针对每种模态，利用模态对应的特征提取模块对模态的每个模态数据进行特征提取，得到每个模态数据的模态特征；

87、拼接模块，利用桥梁令牌对每个数据融合项目的所有模态特征进行拼接，获取每个数据融合项目的拼接特征；桥梁令牌为用于连接对应的两个模态特征的多个神经元；

88、第一融合模块，利用特征融合模块对每个拼接特征中的所有模态特征、所有桥梁令牌进行融合，得到每个数据融合项目的融合特征；

89、构建模块，基于所有融合特征、每个特征提取模块中的所有参数、特征融合模块中的所有参数构建损失函数；

90、计算模块，分别针对每种模态，基于模态的模态数据的数量，计算模态在每个数据融合项目中的单模态性能值，并基于所有单模态性能值获取模态的参数更新公式；单模态性能值用于描述模态在数据融合项目中的重要程度；

91、优化模块，根据损失函数和所有模态的参数更新公式，对所有特征提取模块和特征融合模块进行优化，得到多个优化后的特征提取模块和优化后的特征融合模块；

92、第二融合模块，利用所有优化后的特征提取模块和优化后的特征融合模块对数据待融合项目的所有模态数据进行融合，得到最终融合特征。

93、第三方面，本技术实施例提供了一种终端设备，包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，该处理器执行上述计算机程序时实现上述的多模态数据融合方法。

94、第四方面，本技术实施例提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现上述的多模态数据融合方法。

95、本技术的上述方案有如下的有益效果：

96、在本技术的实施例中，通过获取每个数据融合项目的多种模态的模态数据，然后分别针对每种模态，利用模态对应的特征提取模块对模态的每个模态数据进行特征提取，得到每个模态数据的模态特征，再利用桥梁令牌对每个数据融合项目的所有模态特征进行拼接，获取每个数据融合项目的拼接特征，然后利用特征融合模块对每个拼接特征中的所有模态特征、所有桥梁令牌进行融合，得到每个数据融合项目的融合特征，再基于所有融合特征、每个特征提取模块中的所有参数、特征融合模块中的所有参数构建损失函数，然后分别针对每种模态，基于模态的模态数据的数量，计算模态在每个数据融合项目中的单模态性能值，并基于所有单模态性能值获取模态的参数更新公式，再根据损失函数和所有模态的参数更新公式，对所有特征提取模块和特征融合模块中每种模态的相关参数进行优化，得到多个优化后的特征提取模块和优化后的特征融合模块，最后利用所有优化后的特征提取模块和优化后的特征融合模块对数据待融合项目的所有模态数据进行融合，得到最终融合特征。其中，利用桥梁令牌对模态特征进行拼接，使得进行融合时能够利用桥梁令牌采集相邻模态特征的信息，提高数据融合的全面性和交互性，进而提高融合特征的精确度，计算模态的单模态性能值，能够对每种模态的重要程度进行分析，使得根据单模态性能值得到的参数更新公式考虑了不同模态之间的不平衡性，能够提高多模态数据融合的准确性，同时，通过利用桥梁令牌和计算单模态性能值实现提高准确性，无需构建其他模型和其他计算步骤，使得多模态数据融合的效率提高。

97、本技术的其它有益效果将在随后的具体实施方式部分予以详细说明。