技术新讯 > 计算推算,计数设备的制造及其应用技术 > 数据的标注方法及其装置与流程  >  正文

数据的标注方法及其装置与流程

  • 国知局
  • 2024-07-31 23:25:22

本申请属于数据处理,具体涉及一种数据的标注方法及其装置。

背景技术:

1、在相关技术中,多模态大模型(large multimodal model,lmm)具有很强的自然语言任务处理能力,为了提升lmm模型的能力,需要通过大量的数据对模型进行训练。

2、数据标注是为数据添加服务信息的过程,这些信息通常以标签的形式存在,目的是让模型能识别和理解原始数据,并据此作出决策或预测。相关技术中的多模态数据的标注需要人工参与,人工标注不仅成本昂贵而且效率低下。

技术实现思路

1、本申请实施例的目的是提供一种数据的标注方法及其装置,能够解决人工数据标注的效率低下的问题。

2、第一方面,本申请实施例提供了一种数据的标注方法,标注方法包括:

3、获取待标注数据;

4、基于待标注数据确定n个打标服务,n个打标服务用于对待标注数据进行特征提取,以向待标注数据添加数据标签,n为正整数;

5、对n个打标服务进行排序处理,得到服务序列,服务序列包括顺序排列的多个打标服务组,每个打标服务组中均包括至少一个打标服务;

6、基于服务序列对待标注数据进行标注处理。

7、第二方面,本申请实施例提供了一种数据的标注装置,标注装置包括:

8、获取模块,用于获取待标注数据;

9、确定模块,用于基于待标注数据确定n个打标服务,n个打标服务用于对待标注数据进行特征提取,以向待标注数据添加数据标签,n为正整数;

10、排序模块,用于对n个打标服务进行排序处理,得到服务序列,服务序列包括顺序排列的多个打标服务组,每个打标服务组中均包括至少一个打标服务;

11、数据处理模块,用于基于服务序列对待标注数据进行标注处理。

12、第三方面,本申请实施例提供了一种电子设备,包括处理器和存储器,存储器存储可在处理器上运行的程序或指令,程序或指令被处理器执行时实现如第一方面的方法的步骤。

13、第四方面,本申请实施例提供了一种可读存储介质,该可读存储介质上存储程序或指令,该程序或指令被处理器执行时实现如第一方面的方法的步骤。

14、第五方面,本申请实施例提供了一种芯片,该芯片包括处理器和通信接口,该通信接口和该处理器耦合,该处理器用于运行程序或指令,实现如第一方面的方法的步骤。

15、第六方面,本申请实施例提供一种计算机程序产品,该程序产品被存储在存储介质中,该程序产品被至少一个处理器执行以实现如第一方面的方法的步骤。

16、在本申请实施例中,基于原始的待标注数据的数据来源、数据类型和模型训练需求等信息,确定待标注数据所需标签对应的打标服务,并对这些打标服务进行排序,从而形成为打标服务的有序的调用链,也即服务序列,通过该服务序列顺序调用所需的打标服务,能够确保任何依赖关系中的上游服务始终在当前服务之前被调用,避免了因为服务调用顺序不当而导致的无效数据库查询,减少了标注流程的整体耗时,从而提高数据的标注效率。

技术特征:

1.一种数据的标注方法,其特征在于,所述标注方法包括:

2.根据权利要求1所述的标注方法,其特征在于,所述对所述n个打标服务进行排序处理,得到服务序列,包括:

3.根据权利要求2所述的标注方法,其特征在于,所述确定所述有向无环图对应的极大弱连通子图,包括:

4.根据权利要求2所述的标注方法,其特征在于,所述基于所述n个打标服务中的每一个打标服务与所述n个打标服务中的其他打标服务的依赖关系,构建所述n个打标服务对应的有向无环图,包括:

5.根据权利要求2所述的标注方法,其特征在于,所述基于所述极大弱连通子图进行拓扑排序,得到所述服务序列,包括:

6.一种数据的标注装置,其特征在于,所述标注装置包括:

7.根据权利要求6所述的标注装置,其特征在于,

8.根据权利要求7所述的标注装置,其特征在于,所述标注装置还包括:

9.根据权利要求7所述的标注装置,其特征在于,所述标注装置还包括:

10.根据权利要求7所述的标注装置,其特征在于,

技术总结本申请公开了一种数据的标注方法及其装置,属于数据处理技术领域。其中,标注方法包括:获取待标注数据;基于待标注数据确定N个打标服务,N个打标服务用于对待标注数据进行特征提取,以向待标注数据添加数据标签,N为正整数;对N个打标服务进行排序处理,得到服务序列,服务序列包括顺序排列的多个打标服务组,每个打标服务组中均包括至少一个打标服务;基于服务序列对待标注数据进行标注处理。技术研发人员:杨延洲受保护的技术使用者:维沃移动通信有限公司技术研发日:技术公布日:2024/7/29

本文地址:https://www.jishuxx.com/zhuanli/20240730/197470.html

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至 YYfuon@163.com 举报,一经查实,本站将立刻删除。