一种基于动态粒子数据增强的模型预训练方法

本发明涉及数据处理领域，更具体地涉及一种基于动态粒子数据增强的模型预训练方法。

背景技术：

1、基于动态粒子数据增强的模型是一种用于训练多模态数据的模型。它通过引入动态粒子的概念，利用粒子滤波等技术来增强训练数据，提高模型的泛化能力和鲁棒性。

2、现有动态粒子数据增强模型通常采用多个预训练任务，但是这种训练方法会导致当训练数据较大时，无法快速对数据进行处理，降低模型训练的效率，并且无法克服物体的尺寸不一致及尺度形变的问题。

3、有鉴于此特提出本发明。

技术实现思路

1、本发明要解决的技术问题在于克服现有技术的不足，提供一种基于动态粒子数据增强的模型预训练方法，解决了上述背景技术中提出的问题。

2、为解决上述技术问题，本发明采用技术方案的基本构思是：

3、一种基于动态粒子数据增强的模型预训练方法，包括：以下步骤：

4、采集多模态数据，将采集到的多模态数据进行模块划分，划分为视频模态数据、语音模态数据以及文本模态数据；

5、将划分好的图像数据进行栅格化处理，栅格大小可以根据输入数据的大小来确定；

6、将栅格化处理后图像采用相对位置的方式建立粒子集合，并进行粒子滤波操作，将粒子滤波操作后的粒子分为训练集与验证集；

7、设计一个多模态模型，能够同时处理各种模态的数据，确定模型的输入层和输出层，以及各个模态数据之间的连接方式；

8、设计一个基于联合概率分布的损失函数，以辅助模型学习多模态特征间的关联映射关系，使其具备自推理的能力，从而可以识别未学过的知识；

9、将设计好的损失函数整合到模型的训练过程中，使用动态粒子数据增强的方法生成多样性的训练样本，以提高模型的泛化能力，并使用联合概率分布的损失函数对模型进行训练，以学习多模态特征之间的关联映射关系；

10、训练完成后，使用交叉验证方法对模型进行评估，分析模型在不同模态数据上的性能，以及模型对多模态特征之间关联映射关系的学习效果，根据需要对模型进行调整和优化。

11、优选的，所述将栅格化处理后图像采用相对位置的方式建立粒子集合步骤为：

12、将图像中的每个像素视为一个粒子，使用二维坐标来表示粒子的位置，将每个像素的坐标作为粒子的位置信息，并将像素值作为粒子的状态信息；

13、选择图像中的某一像素作为参考点，将其他像素的位置表示为相对于该参考点的位置；

14、将所有像素转换为粒子，并将它们的相对位置和像素值作为粒子集合的状态信息，得到了一个表示图像空间结构的粒子集合。

15、优选的，所述进行粒子滤波操作步骤为：

16、对图像进行cnn提取图像边缘的操作，选定提取出的边缘点作为粒子集合，对目标表征模型和粒子的运动模型设置相应的初始值；

17、采用最大似然估计方法估计粒子的迭代过程；

18、依照bhattacharyya系数来确定各粒子的权值；

19、根据对目标表征状态的观测值自适应地调整粒子运动模型的参数，得到对目标特征表征的估计值。

20、优选的，所述对图像进行cnn提取图像边缘的操作步骤为：

21、选择lenet图像边缘检测任务的cnn模型，构建一个用于边缘检测的神经网络结构；

22、使用训练集对搭建好的cnn模型进行训练，通过反向传播算法和优化器来调整模型参数；

23、使用测试集对训练好的模型进行评估，以检查模型在未见过的数据上的性能；

24、使用训练好的模型对待处理的图像进行边缘提取，对提取的边缘图像进行滤波处理。

25、优选的，所述依照bhattacharyya系数来确定各粒子的权值步骤为：

26、对于每个粒子，根据其代表的特征或状态来计算其对应的概率分布；

27、计算每个粒子代表的概率分布与目标分布之间的bhattacharyya系数，其计算公式为其中bci表示为粒子i的bhattacharyya系数，p(x)表示为目标分布，qi(x)表示为粒子i的概率分布；

28、根据计算得到的bhattacharyya系数，通过计算bhattacharyya系数的倒数得到每个粒子的权值，其计算公式为其中ωi表示为粒子i的权值，bci表示为粒子i的bhattacharyya系数；

29、通过将每个权值除以所有权值的总和对权值进行归一化处理，并将归一化权值作为粒子的权值，其公式为

30、优选的，所述设计一个基于联合概率分布的损失函数步骤为：

31、建立视频纬度与预测结果之间的关系，其关系式为其中lv表示为视频损失；

32、建立语音纬度与预测结果之间的关系，其关系式为其中la表示为语音损失；

33、建立文本纬度与预测结果之间的关系，其关系式为其中lt表示为文本损失；

34、通过对视频损失、语音损失以及文本损失进行求平均计算得到最后损失，其计算公式为lr表示为最后损失。

35、优选的，所述使用验证集或者交叉验证等方法对模型进行评估步骤为：

36、使用训练好的模型对验证集中的样本进行预测，得到模型在验证集上的预测结果；

37、通过预测结果获取模型的评估指标，所述评估指标包括模型的准确率、精确率、召回率以及f1值；

38、根据获取的模型评估指标，计算所选的评估指标的值，其计算表达式为zq＝f(z1,z2,z3,z4)，其中zq表示为模型的准确指数，z1表示模型的准确率，z2表示模型的精确率，z3表示模型的召回率，z4表示模型的f1值。

39、采用上述技术方案后，本发明与现有技术相比具有以下有益效果，当然，实施本发明的任一产品并不一定需要同时达到以下所述的所有优点：

40、采集多模态数据，将采集到的多模态数据进行模块划分，将划分好的图像数据进行栅格化处理，并建立粒子集合与粒子滤波操作，将粒子滤波操作后的粒子分为训练集与验证集，设计一个多模态模型与基于联合概率分布的损失函数，将设计好的损失函数整合到模型的训练过程中，使用动态粒子数据增强的方法生成多样性的训练样本，并使用联合概率分布的损失函数对模型进行训练，使用交叉验证方法对模型进行评估，分析模型在不同模态数据上的性能，有效提高了模型适应物体不同尺寸及各种形变的能力。

41、下面结合附图对本发明的具体实施方式作进一步详细的描述。

技术特征：

1.一种基于动态粒子数据增强的模型预训练方法，其特征在于，包括：以下步骤：

2.根据权利要求1所述的一种基于动态粒子数据增强的模型预训练方法，其特征在于：所述将栅格化处理后图像采用相对位置的方式建立粒子集合步骤为：

3.根据权利要求1所述的一种基于动态粒子数据增强的模型预训练方法，其特征在于：所述进行粒子滤波操作步骤为：

4.根据权利要求3所述的一种基于动态粒子数据增强的模型预训练方法，其特征在于：所述对图像进行cnn提取图像边缘的操作步骤为：

5.根据权利要求3所述的一种基于动态粒子数据增强的模型预训练方法，其特征在于：所述依照bhattacharyya系数来确定各粒子的权值步骤为：

6.根据权利要求1所述的一种基于动态粒子数据增强的模型预训练方法，其特征在于：所述设计一个基于联合概率分布的损失函数步骤为：

7.根据权利要求1所述的一种基于动态粒子数据增强的模型预训练方法，其特征在于：所述使用交叉验证方法对模型进行评估步骤为：

技术总结本发明涉及数据处理领域，且公开了一种基于动态粒子数据增强的模型预训练方法，用于解决当处理多模态数据时，需要分成多个预训练任务的问题，该方法包括，采集多模态数据，将采集到的多模态数据进行模块划分，将划分好的图像数据进行栅格化处理，并建立粒子集合与粒子滤波操作，将粒子滤波操作后的粒子分为训练集与验证集，设计一个多模态模型与基于联合概率分布的损失函数，将设计好的损失函数整合到模型的训练过程中，使用动态粒子数据增强的方法生成多样性的训练样本，并使用联合概率分布的损失函数对模型进行训练，使用交叉验证方法对模型进行评估，分析模型在不同模态数据上的性能，有效提高了模型适应物体不同尺寸及各种形变的能力。技术研发人员：孟勃受保护的技术使用者：东北电力大学技术研发日：技术公布日：2024/9/2