深度学习模型的训练方法及装置、电子设备和存储介质与流程

本申请涉及计算机领域，尤其涉及一种深度学习模型的训练方法及装置、电子设备和存储介质。

背景技术：

1、图像增强在智能驾驶感知模型训练中起到关键作用，通过应用多种变换如旋转、翻转、缩放和亮度调整等，能够扩充训练数据集，提高模型的泛化能力，减轻过拟合风险。这有效地使模型更具鲁棒性，能够更好地处理不同角度、光照和尺度的图像，从而提升模型在真实场景中的性能表现。但是这些传统的数据增强方法也有其局限性，如对图像真实性的保留不足、需要手动调整参数来控制增强的程度、可能引入不自然的特征以及难以处理复杂噪声和扰动等。可见，现有这些方式缺乏对真实数据分布的建模，容易在增强过程中存在过度处理或信息损失，从而限制了模型的泛化能力。此外，现有数据增强方法在处理复杂场景和变化时，往往无法灵活地适应不同的数据特征，因此在应对多样性和复杂性方面存在一定的局限性。

技术实现思路

1、本申请提供了一种深度学习模型的训练方法及装置、电子设备和存储介质，以解决现有技术中图像增强的方式，缺乏对真实数据分布的建模，容易在增强过程中存在过度处理或信息损失的问题。

2、第一方面，本申请提供了一种深度学习模型的训练方法，包括：获取原始数据，并基于主成分分析技术pca对所述原始数据进行降维得到第一数据；基于文本处理工具对所述第一数据中的文本数据向量化，以及将向量化后的文本数据与所述第一数据中的图像数据融合得到第二数据，并对所述第二数据添加噪声得到第三数据；基于去噪扩散模型ddm对所述第三数据进行去噪得到增强后的数据，并基于增强后的数据对所述深度学习模型进行训练。

3、第二方面，本申请提供了一种深度学习模型的训练装置，包括：第一处理模块，用于获取原始数据，并基于主成分分析技术pca对所述原始数据进行降维得到第一数据；第二处理模块，用于基于文本处理工具对所述第一数据中的文本数据向量化，以及将向量化后的文本数据与所述第一数据中的图像数据融合得到第二数据，并对所述第二数据添加噪声得到第三数据；第三处理模块，用于基于去噪扩散模型ddm对所述第三数据进行去噪得到增强后的数据，并基于增强后的数据对所述深度学习模型进行训练。

4、第三方面，本申请提供了一种电子设备，包括：至少一个通信接口；与所述至少一个通信接口相连接的至少一个总线；与所述至少一个总线相连接的至少一个处理器；与所述至少一个总线相连接的至少一个存储器，其中，所述处理器被配置为执行本申请上述第一方面所述的深度学习模型的训练方法。

5、第四方面，本申请还提供了一种计算机存储介质，存储有计算机可执行指令，所述计算机可执行指令用于执行本申请上述第一方面所述的深度学习模型的训练方法。

6、本申请实施例提供的上述技术方案与现有技术相比具有如下优点：本申请实施例提供的该方法，先通过pca对原始数据进行降维后，再通过文本处理工具对降维的数据进行文本数据向量化，然后再对向量化的文本数据和图像数据进行加噪，最后通过ddm对加噪后的数据进行去噪，得到增强后的数据，并通过增强后的数据进行深度学习模型的训练。由于基于ddm生成图像时，利用了图像的真实信息进行去噪操作，因此生成的图像往往能够更好地保留原始图像中的真实细节和特征；而且通过pca对原始数据进行降维，可以使得后续ddm生成图像的效率更高；另外，通过文本处理工具对数据进行处理可以进一步提升模型的泛化能力，因此最后通过ddm对经过pca和文本处理工具处理后的数据进行去噪处理，其效率更高，且能够保留更多真实信息，且处理得到的数据能够对抗更复杂的噪声和扰动，使得后续训练得到的模型性能和效果更佳。

技术特征：

1.一种深度学习模型的训练方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，基于主成分分析技术pca对所述原始数据进行降维得到第一数据，包括：

3.根据权利要求2所述的方法，其特征在于，所述计算第一个小批次数据的协方差矩阵，包括：

4.根据权利要求3所述的方法，其特征在于，所述基于提取出的特征确定所述第一个小批次数据的协方差矩阵，包括：

5.根据权利要求4所述的方法，其特征在于，使用所述原始数据的主成分将所述原始数据映射到低维空间得到所述第一数据包括：

6.根据权利要求4所述的方法，其特征在于，对所述协方差矩阵进行特征值分解得到与所述第一个小批次数据对应的主成分以及与所述主成分对应的特征值，包括：

7.根据权利要求1所述的方法，其特征在于，对所述第二数据添加噪声得到第三数据，包括：

8.一种深度学习模型的训练装置，其特征在于，包括：

9.一种电子设备，包括：至少一个通信接口；与所述至少一个通信接口相连接的至少一个总线；与所述至少一个总线相连接的至少一个处理器；与所述至少一个总线相连接的至少一个存储器，其中，所述处理器被配置为执行上述权利要求1至7任一项所述的深度学习模型的训练方法。

10.一种计算机存储介质，存储有计算机可执行指令，所述计算机可执行指令用于执行上述权利要求1至7任一项所述的深度学习模型的训练方法。

技术总结本申请涉及一种深度学习模型的训练方法及装置、电子设备和存储介质，其中，该方法包括：获取原始数据，并基于主成分分析技术PCA对所述原始数据进行降维得到第一数据；基于文本处理工具对所述第一数据中的文本数据向量化，以及将向量化后的文本数据与所述第一数据中的图像数据融合得到第二数据，并对所述第二数据添加噪声得到第三数据；基于去噪扩散模型DDM对所述第三数据进行去噪得到增强后的数据，并基于增强后的数据对所述深度学习模型进行训练。通过本申请，解决了现有技术中图像增强的方式，缺乏对真实数据分布的建模，容易在增强过程中存在过度处理或信息损失的问题。技术研发人员：罗玉聪,陈波,张操,李杨,苏星溢受保护的技术使用者：重庆赛力斯凤凰智创科技有限公司技术研发日：技术公布日：2024/7/29