一种残膜回收机防缠绕挑膜装置的制 一种秧草收获机用电力驱动行走机构

数据处理与数据质检方法、装置及可读存储介质与流程

2022-03-01 21:37:21 来源:中国专利 TAG:

技术特征:
1.一种数据处理方法,包括:获取至少一个待处理数据,所述至少一个待处理数据为经过标注的待处理数据;使用目标神经网络模型对所述至少一个待处理数据进行预设次数的预测,得到所述至少一个待处理数据在每次预测时的预测结果;根据所述至少一个待处理数据的标注结果与所述至少一个待处理数据在每次预测时的预测结果,生成所述至少一个待处理数据的比对结果序列;根据所述至少一个待处理数据的比对结果序列,确定所述至少一个待处理数据中的待质检数据。2.根据权利要求1所述的方法,其中,所述获取至少一个待处理数据包括:获取质检请求,所述质检请求中包含数据标识信息;将与所述数据标识信息对应的至少一个数据,作为所述至少一个待处理数据。3.根据权利要求1所述的方法,还包括:通过以下方式确定所述目标神经网络:根据所述至少一个待处理数据的标注结果,确定用于表征神经网络模型的训练任务的任务信息;将与所述任务信息对应的神经网络模型,作为所述目标神经网络模型。4.根据权利要求1所述的方法,其中,所述根据所述至少一个待处理数据的标注结果与所述至少一个待处理数据在每次预测时的预测结果,生成所述至少一个待处理数据的比对结果序列包括:将所述至少一个待处理数据的标注结果分别与所述至少一个待处理数据在每次预测时的预测结果进行比对,得到所述至少一个待处理数据在每次预测时的用于表征预测正确或者预测错误的比对结果;根据所述至少一个待处理数据在每次预测时的用于表征预测正确或者预测错误的比对结果,生成所述至少一个待处理数据的比对结果序列。5.根据权利要求1-4中任一项所述的方法,其中,所述根据所述至少一个待处理数据的比对结果序列,确定所述至少一个待处理数据中的待质检数据包括:根据所述至少一个待处理数据的比对结果序列,得到所述至少一个待处理数据的遗忘次数;根据所述至少一个待处理数据的遗忘次数,确定所述至少一个待处理数据中的待质检数据。6.根据权利要求5所述的方法,其中,所述根据所述至少一个待处理数据的比对结果序列,得到所述至少一个待处理数据的遗忘次数包括:统计所述至少一个待处理数据的比对结果序列中,出现预设的比对结果顺序的次数;将统计得到的次数,作为所述至少一个待处理数据的遗忘次数。7.根据权利要求5所述的方法,其中,所述根据所述至少一个待处理数据的比对结果序列,得到所述至少一个待处理数据的遗忘次数包括:在确定所述至少一个待处理数据的比对结果序列中不存在用于表征预测正确的比对结果的情况下,将所述至少一个待处理数据的遗忘次数标记为预设遗忘次数。8.根据权利要求5所述的方法,其中,所述根据所述至少一个待处理数据的遗忘次数,
确定所述至少一个待处理数据中的待质检数据包括:针对每个待处理数据,获取所述目标神经网络模型在最后一次预测该待处理数据时的输出结果;根据所述至少一个待处理数据的输出结果与所述遗忘次数,确定所述至少一个待处理数据中的待质检数据。9.一种数据质检方法,包括:根据权利要求1-8中任一项所述的方法获取待质检数据;对所述待质检数据进行质检,获得质检结果。10.一种数据处理装置,包括:第一获取单元,用于获取至少一个待处理数据,所述至少一个待处理数据为经过标注的待处理数据;预测单元,用于使用目标神经网络模型对所述至少一个待处理数据进行预设次数的预测,得到所述至少一个待处理数据在每次预测时的预测结果;生成单元,用于根据所述至少一个待处理数据的标注结果与所述至少一个待处理数据在每次预测时的预测结果,生成所述至少一个待处理数据的比对结果序列;处理单元,用于根据所述至少一个待处理数据的比对结果序列,确定所述至少一个待处理数据中的待质检数据。11.根据权利要求10所述的装置,其中,所述第一获取单元在获取至少一个待处理数据时,执行:获取质检请求,所述质检请求中包含数据标识信息;将与所述数据标识信息对应的至少一个数据,作为所述至少一个待处理数据。12.根据权利要求10所述的装置,还包括确定单元:用于通过以下方式确定所述目标神经网络:根据所述至少一个待处理数据的标注结果,确定用于表征神经网络模型的训练任务的任务信息;将与所述任务信息对应的神经网络模型,作为所述目标神经网络模型。13.根据权利要求10所述的装置,其中,所述生成单元在根据所述至少一个待处理数据的标注结果与所述至少一个待处理数据在每次预测时的预测结果,生成所述至少一个待处理数据的比对结果序列时,执行:将所述至少一个待处理数据的标注结果分别与所述至少一个待处理数据在每次预测时的预测结果进行比对,得到所述至少一个待处理数据在每次预测时的用于表征预测正确或者预测错误的比对结果;根据所述至少一个待处理数据在每次预测时的用于表征预测正确或者预测错误的比对结果,生成所述至少一个待处理数据的比对结果序列。14.根据权利要求10-13中任一项所述的装置,其中,所述处理单元在根据所述至少一个待处理数据的比对结果序列,确定所述至少一个待处理数据中的待质检数据时,执行:根据所述至少一个待处理数据的比对结果序列,得到所述至少一个待处理数据的遗忘次数;根据所述至少一个待处理数据的遗忘次数,确定所述至少一个待处理数据中的待质检
数据。15.根据权利要求14所述的装置,其中,所述处理单元在根据所述至少一个待处理数据的比对结果序列,得到所述至少一个待处理数据的遗忘次数时,执行:统计所述至少一个待处理数据的比对结果序列中,出现预设的比对结果顺序的次数;将统计得到的次数,作为所述至少一个待处理数据的遗忘次数。16.根据权利要求14所述的装置,其中,所述处理单元在根据所述至少一个待处理数据的比对结果序列,得到所述至少一个待处理数据的遗忘次数时,执行:在确定所述至少一个待处理数据的比对结果序列中不存在用于表征预测正确的比对结果的情况下,将所述至少一个待处理数据的遗忘次数标记为预设遗忘次数。17.根据权利要求14所述的装置,其中,所述处理单元在根据所述至少一个待处理数据的遗忘次数,确定所述至少一个待处理数据中的待质检数据时,执行:针对每个待处理数据,获取所述目标神经网络模型在最后一次预测该待处理数据时的输出结果;根据所述至少一个待处理数据的输出结果与所述遗忘次数,确定所述至少一个待处理数据中的待质检数据。18.一种数据质检装置,包括:第二获取单元,用于根据权利要求10-17中任一项所述的装置获取待质检数据;质检单元,用于对所述待质检数据进行质检,获得质检结果。19.一种电子设备,包括:至少一个处理器;以及与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1-9中任一项所述的方法。20.一种存储有计算机指令的非瞬时计算机可读存储介质,其中,所述计算机指令用于使所述计算机执行权利要求1-9中任一项所述的方法。21.一种计算机程序产品,包括计算机程序,所述计算机程序在被处理器执行时实现根据权利要求1-9中任一项所述的方法。

技术总结
本公开提供了一种数据处理与数据质检方法、装置及可读存储介质,涉及云服务、深度学习等人工智能技术领域。数据处理方法包括:获取至少一个待处理数据,至少一个待处理数据为经过标注的待处理数据;使用目标神经网络模型对至少一个待处理数据进行预设次数的预测,得到至少一个待处理数据在每次预测时的预测结果;根据至少一个待处理数据的标注结果与至少一个待处理数据在每次预测时的预测结果,生成至少一个待处理数据的比对结果序列;根据至少一个待处理数据的比对结果序列,确定至少一个待处理数据中的待质检数据。数据质检方法包括:根据数据处理方法获取待质检数据;对待质检数据进行质检,获得质检结果。获得质检结果。获得质检结果。


技术研发人员:夏晶 赵鹏昊 李曙鹏 吕海军 华蔚颖 施恩
受保护的技术使用者:北京百度网讯科技有限公司
技术研发日:2021.10.14
技术公布日:2022/2/28
再多了解一些

本文用于企业家、创业者技术爱好者查询,结果仅供参考。

发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表

相关文献