技术新讯 > 计算推算,计数设备的制造及其应用技术 > 一种训练数据生成方法、装置、终端及存储介质与流程  >  正文

一种训练数据生成方法、装置、终端及存储介质与流程

  • 国知局
  • 2024-07-31 23:09:44

本申请涉及数据处理,尤其涉及一种训练数据生成方法、装置、终端及存储介质。

背景技术:

1、随着人工智能及大数据技术的发展,出现了许多基于人工智能的数据分析模型,通过数据分析模型可以对收集到的历史数据进行处理,从而对未来进行一定程度的预测和规划。其中,深度学习模型是以一种数据分析模型,主要基于数据驱动实现。如何使模型效果更加符合任务要求,通过调整训练数据是最直接有效的方法。但是数据端工作存在数据收集难,标注工作量大等问题。所以基于已有数据模拟生成数据是必要的。目前的做法可能会通过设定一些区域、大小限制来随机生成,这样生成的数据可能存在分布不均衡和不符合实际任务需求的状况出现,且获取过程困难。

技术实现思路

1、本申请提供了一种训练数据生成方法、装置、终端及存储介质,以解决现有技术中模型训练数据收集难的问题。

2、第一方面,本申请提供了一种训练数据生成方法,包括:

3、基于目标模型的多个任务需求,确定所述目标模型的第一权重列表,并利用所述第一权重列表计算数据矫正阈值,所述第一权重列表包括所述目标模型输出的多个任务类别组合的权重;每个任务包括多个类别;

4、基于所述第一权重列表,分别确定多个实际训练样本对应的任务类别组合的权重,并计算所有实际训练样本的任务类别组合的权重重心;

5、根据所述数据矫正阈值和所述权重重心,调整各个实际训练样本的任务类别组合的权重;

6、基于调整后的各个实际训练样本的任务类别组合的权重生成所述目标模型的训练样本。

7、第二方面,本申请提供了一种训练数据生成装置,包括:

8、阈值计算模块,用于基于目标模型的多个任务需求,确定所述目标模型的第一权重列表,并利用所述第一权重列表计算数据矫正阈值,所述第一权重列表包括所述目标模型输出的多个任务类别组合的权重;每个任务包括多个类别;

9、重心计算模块,用于基于所述第一权重列表,分别确定多个实际训练样本对应的任务类别组合的权重,并计算所有实际训练样本的任务类别组合的权重重心;

10、权重列表确定模块,用于根据所述数据矫正阈值和所述权重重心,调整各个实际训练样本的任务类别组合的权重;

11、数据生成模块,用于基于调整后的各个实际训练样本的任务类别组合的权重生成所述目标模型的训练样本。

12、第三方面,本申请提供了一种终端,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如上第一方面或第一方面的任一种可能的实现方式所述方法的步骤。

13、第四方面,本申请提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现如上第一方面或第一方面的任一种可能的实现方式所述方法的步骤。

14、本申请提供一种训练数据生成方法、装置、终端及存储介质,通过基于目标模型的多个任务需求,确定目标模型的第一权重列表,并利用第一权重列表计算数据矫正阈值,第一权重列表包括目标模型输出的多个任务类别组合的权重;每个任务包括多个类别;基于第一权重列表,分别确定多个实际训练样本对应的任务类别组合的权重,并计算所有实际训练样本的任务类别组合的权重重心;根据数据矫正阈值和权重重心,调整各个实际训练样本的任务类别组合的权重;基于调整后的各个实际训练样本的任务类别组合的权重生成目标模型的训练样本。本申请通过数据矫正阈值和权重重心调整目标模型的所有实际训练样本的任务类别组合的权重,可以提高生成的训练样本更加贴合自然分布,使得训练样本更加符合实际需求,降低了模型采集训练样本的困难,且通过矫正阈值和权重重心调整各个实际训练样本的任务列表组合的权重,减少复杂操作,可以提高目标模型的训练样本的生成速率。

技术特征:

1.一种训练数据生成方法,其特征在于,包括:

2.根据权利要求1所述的训练数据生成方法,其特征在于,所述根据所述数据矫正阈值和所述权重重心,调整各个实际训练样本的任务类别组合的权重,包括:

3. 根据权利要求2所述的训练数据生成方法, 其特征在于,所述根据所述权重重心和所述数据矫正阈值,确定第二权重列表中需要进行权重矫正的实际训练样本,并将需要进行权重矫正的实际训练样本作为目标训练样本,包括:

4.根据权利要求2所述的训练数据生成方法,其特征在于,所述基于所述权重重心减去所述数据矫正阈值的差值,确定所述第二权重列表中的目标训练样本的任务类别组合的权重的矫正系数,包括:

5.根据权利要求1所述的训练数据生成方法,其特征在于,所述基于调整后的各个实际训练样本的任务类别组合的权重生成所述目标模型的训练样本,包括:

6.根据权利要求5所述的训练数据生成方法,其特征在于,所述利用所述目标权重对应的实际训练样本生成一个新的训练样本,包括:

7.根据权利要求1所述的训练数据生成方法,其特征在于,所述利用所述第一权重列表计算数据矫正阈值,包括:

8.一种训练数据生成装置,其特征在于,包括:

9.一种终端,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如上的权利要求1至7中任一项所述训练数据生成方法的步骤。

10.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如上的权利要求1至7中任一项所述训练数据生成方法的步骤。

技术总结本申请提供一种训练数据生成方法、装置、终端及存储介质。该方法包括:基于目标模型的多个任务需求,确定目标模型的第一权重列表,并利用第一权重列表计算数据矫正阈值,第一权重列表包括目标模型输出的多个任务类别组合的权重;每个任务包括多个类别;基于第一权重列表,分别确定多个实际训练样本对应的任务类别组合的权重,并计算所有实际训练样本的任务类别组合的权重重心;根据数据矫正阈值和权重重心,调整各个实际训练样本的任务类别组合的权重;基于调整后的各个实际训练样本的任务类别组合的权重生成目标模型的训练样本。本申请能够降低模型采集训练样本的困难,提高目标模型的训练样本的生成速率。技术研发人员:徐显杰,马维博,薛英,荆茂盛,孟令航,于彬受保护的技术使用者:天津所托瑞安汽车科技有限公司技术研发日:技术公布日:2024/7/29

本文地址:https://www.jishuxx.com/zhuanli/20240730/196155.html

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至 YYfuon@163.com 举报,一经查实,本站将立刻删除。