基于多模态的数字孪生建模方法、装置和特征融合方法与流程

本申请涉及人工智能领域，尤其涉及一种基于多模态的数字孪生建模方法、装置和特征融合方法。

背景技术：

1、现有技术中，通常需要依靠相机设备等获得的视觉图像识别目标对象或者依靠点云数据识别目标对象，单一的识别模型性能有限。

技术实现思路

1、鉴于此，本申请提供一种基于多模态的数字孪生建模方法、装置、特征融合方法、终端设备和存储介质，能够大大提高整个识别模型对于目标对象的识别准确度。

2、一种基于多模态的数字孪生建模方法，包括：

3、基于多视图特征提取网络对目标对象的图像训练数据集进行特征提取，以得到多视图融合特征信息；

4、基于预设点云特征提取网络提取目标对象的点云数据，以得到点云特征信息；

5、基于预设的大型语言模型提取目标对象的文本特征，以得到文本特征信息；

6、将多视图融合特征信息、点云特征信息和文本特征信息进行特征融合，以得到融合后的特征信息；

7、根据融合后的特征信息以及目标对象的预设特征信息进行损失函数的计算以更新对应的系统权重和偏置值；

8、循环执行上述步骤，直至对应的损失函数值低于预设损失值，以建立基于多模态的数字孪生特征提取模型。

9、在一个实施例中，将多视图融合特征信息、点云特征信息和文本特征信息进行特征融合，以得到融合后的特征信息的步骤包括：

10、将多视图融合特征信息、点云特征信息和文本特征信息进行数据混合，得到混合粗点云数据；

11、将点云特征信息和文本特征信息分别输入残差注意力分支进行处理，得到各自对应的残差分支特征信息；

12、基于残差分支特征信息，预设多层感知神经网络、实例池和自适应实例规范化方法对混合粗点云数据进行特征提取，得到融合后的特征信息。

13、在一个实施例中，基于残差分支特征信息，预设多层感知神经网络、实例池和自适应实例规范化方法对混合粗点云数据进行特征提取，得到融合后的特征信息的步骤包括：

14、将混合粗点云数据输入到第一预设神经网络进行处理，得到第一特征输出结果；

15、基于实例池和自适应实例规范化方法对第一特征输出结果进行特征提取处理，以得到第二特征输出结果；

16、将第二特征输出结果以及点云特征信息所对应的残差分支特征信息输入到第二预设神经网络进行融合处理，以得到第三输出特征结果；

17、基于实例池和自适应实例规范化方法、文本特征信息所对应的残差分支特征信息以及第三预设神经网络对第三输出特征结果进行特征融合提取，以得到融合后的特征信息。

18、在一个实施例中，基于实例池和自适应实例规范化方法、文本特征信息所对应的残差分支特征信息以及第三预设神经网络对第三输出特征结果进行特征提取，以得到融合后的特征信息的步骤包括：

19、基于实例池和自适应实例规范化方法对第三输出特征结果进行特征融合提取，以得到第四特征输出结果；

20、将第四特征输出结果和文本特征信息所对应的残差分支特征信息输入到第三预设神经网络进行特征融合处理，以得到第五特征输出结果；

21、基于实例池和自适应实例规范化方法对第五特征输出结果再次进行特征提取，以得到融合后的特征信息。

22、在一个实施例中，第一预设神经网络、第二预设神经网络和第三预设神经网络结构相同。

23、此外，还提供一种特征融合方法，特征融合方法采用上述数字孪生建模方法所得到的数字孪生特征提取模型进行特征融合。

24、此外，还提供一种基于多模态的数字孪生建模装置，包括：

25、视图特征提取单元，用于基于多视图特征提取网络对目标对象的图像训练数据集进行特征提取，以得到多视图融合特征信息；

26、点云特征提取单元，用于基于预设点云特征提取网络提取目标对象的点云数据，以得到点云特征信息；

27、文本特征提取单元，用于基于预设的大型语言模型提取目标对象的文本特征，以得到文本特征信息；

28、特征融合单元，用于将多视图融合特征信息、点云特征信息和文本特征信息进行特征融合，以得到融合后的特征信息：

29、参数更新单元，用于根据融合后的特征信息以及目标对象的预设特征信息进行损失函数的计算以更新对应的系统权重和偏置值；

30、模型生成单元，用于循环执行上述步骤，直至对应的损失函数值低于预设损失值，以建立基于多模态的数字孪生特征提取模型。

31、在一个实施例中，特征融合单元包括：

32、粗点云生成子单元，用于将多视图融合特征信息、点云特征信息和文本特征信息进行数据混合，得到混合粗点云数据；

33、残差分支单子元，用于将点云特征信息和文本特征信息分别输入残差注意力分支进行处理，得到各自对应的残差分支特征信息；

34、特征提取子单元，用于基于残差分支特征信息，预设多层感知神经网络、实例池和自适应实例规范化方法对混合粗点云数据进行特征提取，得到融合后的特征信息。

35、此外，还提供一种终端设备，终端设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，计算机程序被处理器执行时实现如上述特征融合方法的步骤。

36、此外，还提供一种存储介质，存储介质上存储有计算机程序，计算机程序被处理器执行时实现如上述特征融合方法的步骤。

37、上述基于多模态的数字孪生建模方法，包括基于多视图特征提取网络对目标对象的图像训练数据集进行特征提取，以得到多视图融合特征信息，基于预设点云特征提取网络提取目标对象的点云数据，以得到点云特征信息，基于预设的大型语言模型提取目标对象的文本特征，以得到文本特征信息，将多视图融合特征信息、点云特征信息和文本特征信息进行特征融合，以得到融合后的特征信息，根据融合后的特征信息以及目标对象的预设特征信息进行损失函数的计算以更新对应的系统权重和偏置值，循环执行上述步骤，直至对应的损失函数值低于预设损失值，以建立基于多模态的数字孪生特征提取模型，既能够利用传统的多视觉图像所提供的全面视角信息所展现的整体目标对象结构的优点，又能够利用点云数据所提供的整体目标对象的顶部和底部的特征信息，还能够通过文本特征信息辅助整个模型的特征提取过程，从而能够将多种识别模型的优点相互结合，大大提高了整个模型的识别准确度。

技术特征：

1.基于多模态的数字孪生建模方法，其特征在于，包括：

2.根据权利要求1所述的数字孪生建模方法，其特征在于，所述将所述多视图融合特征信息、所述点云特征信息和所述文本特征信息进行特征融合，以得到融合后的特征信息的步骤包括：

3.根据权利要求2所述的数字孪生建模方法，其特征在于，所述预设多层感知神经网络包括第一预设神经网络、第二预设神经网络和第三预设神经网络，所述基于所述残差分支特征信息，预设多层感知神经网络、实例池和自适应实例规范化方法对所述混合粗点云数据进行特征提取，得到融合后的特征信息的步骤包括：

4.根据权利要求3所述的数字孪生建模方法，其特征在于，所述基于实例池和自适应实例规范化方法、所述文本特征信息所对应的残差分支特征信息以及第三预设神经网络对所述第三输出特征结果进行特征提取，以得到所述融合后的特征信息的步骤包括：

5.根据权利要求4所述的数字孪生建模方法，其特征在于，所述第一预设神经网络、所述第二预设神经网络和所述第三预设神经网络结构相同。

6.一种特征融合方法，其特征在于，所述特征融合方法采用权利要求1至5中任一项所述的数字孪生建模方法所得到的数字孪生特征提取模型进行特征融合。

7.一种基于多模态的数字孪生建模装置，其特征在于，包括：

8.根据权利要求7所述的数字孪生建模装置，其特征在于，所述特征融合单元包括：

9.一种终端设备，其特征在于，所述终端设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求6所述的特征融合方法的步骤。

10.一种存储介质，其特征在于，所述存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求6所述的特征融合方法的步骤。

技术总结本申请涉及基于多模态的数字孪生建模方法、装置、特征融合方法、终端设备和存储介质，该基于多模态的数字孪生建模方法通过将多视图融合特征信息、点云特征信息和文本特征信息进行特征融合，以得到融合后的特征信息，根据融合后的特征信息以及目标对象的预设特征信息进行损失函数的计算以更新对应的系统权重和偏置值，循环执行上述步骤，直至对应的损失函数值低于预设损失值，以建立基于多模态的数字孪生特征提取模型，从而能够将多种识别模型的优点相互结合，大大提高了整个识别模型的识别准确度。技术研发人员：范献银,刘谦受保护的技术使用者：扬州立翰技术有限公司技术研发日：技术公布日：2024/8/27