数据的清洗方法及计算机程序产品与流程

本申请涉及一种数据处理的，尤其涉及一种数据的清洗方法及计算机程序产品。

背景技术：

1、视觉目标跟踪是计算机视觉中的一个重要研究方向，有着广泛的应用，如：视频监控、智能安防和自动驾驶等领域。目标跟踪需要高质量的视频或连续帧数据集的图像序列数据，对这些数据的标注信息要求更为严格，但是，大量的标注数据是含有噪声的，输入目标检测模型中，导致目标检测模型的识别效果较差。

技术实现思路

1、本申请实施例提供一种数据的清洗方法及计算机程序产品，以解决相关技术存在的问题，技术方案如下：

2、第一方面，本申请实施例提供了一种数据的清洗方法，包括：

3、获取连续帧数据集，连续帧数据集包括连续帧图像序列及其对应的标签信息，标签信息用于标注各帧图像中的相应目标对象；

4、识别缺失图像和当前帧出错的标签信息；

5、利用识别模型对本次待清洗的连续帧数据集进行预测，确定相邻帧图像的目标对象之间的相似度和重叠度；

6、基于重叠度和相似度，确定相邻帧图像之间出错的标签信息；

7、根据重叠度和/或相似度对缺失图像、当前帧出错的标签信息、相邻帧图像之间出错的标签信息进行清洗。

8、第二方面，本申请实施例提供了一种计算机程序产品，计算机程序/指令被一个处理器单独执行时或多个处理器配合执行时实现本公开的实施例提供的任意一项方法。

9、上述技术方案中的优点或有益效果至少包括：

10、在本实施例中，获取连续帧数据集，其中，连续帧数据集包括连续帧图像序列及其对应的标签信息，标签信息用于标注各帧图像中的相应目标对象。由于图像和标签信息的对应关系，以及标签信息标注了对连续帧图像中的目标对象，可以确定出缺失图像和当前帧出错的标签信息。由于相邻帧图像之间出错的标签信息是属于相邻帧图像中的相应目标对象之间的问题。一般而言，连续帧数据集的图像由于是连续的，即相邻帧图像的目标对象之间的重叠度和相似度应当是非常高的。从而通过相邻帧图像的目标对象之间重叠度和相似度能够在连续帧数据集中确定出相邻帧图像之间出错的标签信息。根据重叠度和/或相似度对缺失图像、当前帧出错的标签信息、相邻帧图像之间出错的标签信息进行清洗，从而得到清洗完成的连续帧数据。对于此，本实施例的方法通过连续帧数据的图像和标签信息以及利用识别模型对本次待清洗的连续帧数据集进行预测，确定相邻帧图像的目标对象之间的相似度和重叠度，通过相邻帧相似度和/或重叠度较高的图像或者标签信息更新缺失图像、当前帧出错的标签信息、相邻帧图像之间出错的标签信息，从而能够对于连续帧数据集中可能存在的所有问题进行清洗，确保能够在清洗后得到干净的连续帧数据集。清洗完成的连续帧数据集已经完成对帧图像或标签信息的错误修正，实现连续清洗连续帧数据集的目的，使得改善连续帧数据集中连续帧数据集的图像和图像标签信息中错误的问题。同时实现了端到端的自动化标签修正，大大提高连续帧数据集标注质量并节约大量标注成本。清洗完成的连续帧数据集在输入到目标检测模型中进行识别时，能够使得目标检测模型能够准确地识别到目标对象，从而有效地提升了目标检测模型的识别效果，能够实时对视频图像中的目标对象进行实时准确地追踪。

11、上述概述仅仅是为了说明书的目的，并不意图以任何方式进行限制。除上述描述的示意性的方面、实施方式和特征之外，通过参考附图和以下的详细描述，本申请进一步的方面、实施方式和特征将会是容易明白的。

技术特征：

1.一种数据的清洗方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，还包括：

3.根据权利要求2所述的方法，其特征在于，所述识别模型的调整方式包括：

4.根据权利要求3所述的方法，其特征在于，所述识别模型的调整方式还包括：

5.根据权利要求2所述的方法，其特征在于，所述判断本次清洗后的连续帧数据集是否满足指定条件包括：

6.根据权利要求1所述的方法，其特征在于，根据所述重叠度对所述缺失图像进行清洗的方式包括：

7.根据权利要求1所述的方法，其特征在于，所述当前帧出错的标签信息包括标签信息缺失，根据所述相似度对所述当前帧出错的标签信息进行清洗的方式包括：

8.根据权利要求1所述的方法，其特征在于，所述当前帧出错的标签信息包括当前帧的同一目标对象具有多个不同标签信息和当前帧中不同目标对象具有多个相同标签信息；所述根据所述重叠度和所述相似度，对所述当前帧出错的标签信息和所述相邻帧图像之间出错的标签信息进行清洗的方式包括：

9.根据权利要求8所述的方法，其特征在于，所述根据所述第三重叠度和第三相似度，确定当前帧的同一目标对象具有多个不同标签信息中的第一错误标签并删除所述第一错误标签以及利用前一帧的图像中目标对象的标签信息更新当前帧中不同目标对象具有多个相同标签信息和相邻帧图像之间出错的标签信息包括：

10.根据权利要求1-9任一所述的方法，其特征在于，所述识别模型为fastreid模型。

11.一种计算机程序产品，包括计算机程序/指令，其特征在于，该计算机程序/指令被一个处理器单独执行时或多个处理器配合执行时实现权利要求1至10中任意一项所述的方法。

技术总结本申请提出一种数据的清洗方法以及计算机程序产品，包括：获取连续帧数据集，连续帧数据集包括连续帧图像序列及其对应的标签信息，其中，图像和标签信息相对应，标签信息用于标注各帧图像中的相应目标对象；识别缺失图像和当前帧出错的标签信息；利用识别模型对本次待清洗的连续帧数据集进行预测，确定相邻帧图像的目标对象之间的相似度和重叠度；基于重叠度和相似度，确定相邻帧图像之间出错的标签信息；根据重叠度和/或相似度对缺失图像、当前帧出错的标签信息、相邻帧图像之间出错的标签信息进行清洗。实现清洗连续帧数据集，达到取得干净的连续帧数据集的目的。技术研发人员：朱行栋受保护的技术使用者：华人运通（上海）自动驾驶科技有限公司技术研发日：技术公布日：2024/10/10