用于审核图像检查质量的系统和方法与流程

与本公开的示例实施例一致的系统和方法涉及提供用于审核标注图像数据集的图像检查质量的方法。

背景技术：

1、标注图像数据集被用于各种人工智能(artificial intelligence，ai)过程中，例如，用作用于训练计算机视觉ai模型的训练数据集、用作用于评估ai模型性能的评估数据集等。在相关技术中，由图像标注者(例如，第三方标注供应商)提供的标注图像数据集在发布到终端用户或客户(例如，用于训练或评估用户的ai模型)之前经受标注质量保证过程。标注质量保证过程确定客户或终端用户的期望和供应商/标注者的理解之间的任何差异，并识别由于不良或草率标注、人为错误等而引起的任何标注错误。

2、在相关技术中，标注图像数据集的总体质量的通用度量/指标是样本总体的错误率。为此，可以选择和尽可能多地检查随机选择的样本图像(时间不同)。

3、例如，如果要检查的有100帧(每个帧在不同的时间点取得)，可以随机选择10帧作为样本总体。如果发现十个样本帧中有两个样本帧具有错误，则对于标注图像数据集的整体质量可以确定20％的总体错误率。

4、然而，通过相关技术中仅利用错误率的方法可以得到的统计数据的程度可能是有限的。例如，除了仅错误率之外，总体的实际质量也可能不容易显示或者表露给数据用户。特别地，可能不清楚为了获得可靠的质量度量而要检查的标注量应该是多少。此外，这种方法可能对于应该检查什么对象并不明确，这可能导致在检查中忽略稀有对象。因此，这些问题可能导致在数据集的审核过程期间对数据集的实际质量的误解，并且可能导致数据集低于终端用户/客户所要求的预定质量的情况。这可能不可避免地对ai模型的性能造成负面影响，并且导致损失终端用户/客户的信任。

5、因此，需要能够确保更加准确的数据集并从而提高ai模型的训练、评估和性能的方法。

技术实现思路

1、根据一个或多个示例实施例，提供了用于审核标注图像数据集的图像检查质量的装置和方法。特别地，根据示例实施例的装置和方法，计算为了满足目标错误率以及置信区间和区间宽度所需的最小检查数量，使得可以将检查质量确定到终端用户/客户所指定的程度。相应地，可以确保数据集的准确性，从而导致ai模型的更准确的训练/评估/性能。

2、根据实施例，可以提供用于审核标注图像数据集中图像标注质量检查的方法。该方法可以包括：获得标注图像数据集；基于预定置信区间、预定目标错误率和预定区间宽度，确定标注图像集的最小检查数量；基于最小检查数量，选择标注图像数据集的多个帧以供检查；以及输出所选择的标注图像数据集的多个帧以供检查。

3、根据实施例，输出所选择的多个帧以供检查可以包括：将当前检查数量与最小检查数量进行比较；以及基于判定当前检查数量小于最小检查数量：输出检查不足的指示；以及继续输出所选择的多个帧，直到所检查的帧数量大于或等于最小检查数量为止。

4、根据实施例，该方法还可以包括：基于检查，确定错误的数量；以及基于错误的数量，计算样本错误率。该方法还可以包括：基于样本错误率，判定样本错误率是否超过目标错误率；以及基于判定样本错误率超过目标错误率，输出质量不良的指示。

5、根据实施例，输出质量不良的指示还可以包括：向操作者提供需要提高质量的消息。

6、根据实施例，预定置信区间可以为99％、95％或90％中的一者。预定置信区间基于f分布或t分布中的一者。

7、根据实施例，用于审核标注图像数据集中图像标注质量检查的装置，该装置可以包括：至少一个存储器，其存储计算机可执行指令；以及至少一个处理器，其配置为执行计算机可执行指令以：获得标注图像数据集；基于预定置信区间、预定目标错误率和预定区间宽度，确定标注图像数据集的最小检查数量；基于最小检查数量，选择标注图像数据集的多个帧以供检查；以及输出所选择的标注图像数据集的多个帧以供检查。

8、该至少一个处理器还可以配置为执行计算机可执行指令，以通过如下来输出所选择的多个帧以供检查：将当前检查数量与最小检查数量进行比较；以及基于判定当前检查数量小于最小检查数量：输出检查不足的指示；以及继续输出所选择的多个帧，直到所检查的帧数量大于或等于最小检查数量为止。

9、该至少一个处理器还可以配置为执行计算机可执行指令以：基于检查，确定错误的数量；以及基于错误的数量，计算样本错误率。

10、该至少一个处理器还可以配置为执行计算机可执行指令以：基于样本错误率，判定样本错误率是否超过目标错误率；以及基于判定样本错误率超过目标错误率，输出质量不良的指示。

11、该至少一个处理器还可以配置为执行计算机可执行指令，以通过如下来输出质量不良的指示：向操作者提供需要提高质量的消息。

12、其他方面部分地将在下面的描述中阐述，并且部分地将从描述中显而易见，或者可以通过实施所呈现的本公开实施例来实现。

技术特征：

1.用于审核标注图像数据集中图像标注质量检查的方法，所述方法包括：

2.根据权利要求1所述的方法，其中，所述输出所选择的多个帧以供检查，包括：

3.根据权利要求1或2所述的方法，还包括：

4.根据权利要求3所述的方法，还包括：

5.根据权利要求4所述的方法，其中，所述输出质量不良的指示，还包括：

6.根据权利要求1至5中任一项所述的方法，其中，所述预定置信区间为99％、95％或90％中的一者。

7.根据权利要求1至6中任一项所述的方法，其中，所述预定置信区间基于f分布或t分布中的一者。

8.用于审核标注图像数据集中图像标注质量检查的装置，所述装置包括：

9.根据权利要求8所述的装置，其中，所述至少一个处理器还配置为执行所述计算机可执行指令，以通过如下来输出所选择的多个帧以供检查：

10.根据权利要求8或9所述的装置，其中，所述至少一个处理器还配置为执行所述计算机可执行指令以：

11.根据权利要求10所述的装置，其中，所述至少一个处理器还配置为执行所述计算机可执行指令以：

12.根据权利要求11所述的装置，其中，所述至少一个处理器还配置为执行所述计算机可执行指令，以通过如下来输出所述质量不良的指示：

13.根据权利要求8至12中任一项所述的装置，其中，所述预定置信区间为99％、95％或90％中的一者。

14.根据权利要求8至13中任一项所述的装置，其中，所述预定置信区间基于f分布或t分布中的一者。

15.非瞬时性计算机可读记录介质，其上记录有指令，所述指令可由至少一个处理器执行，以致使所述处理器执行方法，所述方法包括：

16.根据权利要求15所述的非瞬时性计算机可读记录介质，其中，所述输出所选择的所述多个帧以供检查包括：

17.根据权利要求15或16所述的非瞬时性计算机可读记录介质，其中，所述方法还包括：

18.根据权利要求17所述的非瞬时性计算机可读记录介质，其中，所述方法还包括：

19.根据权利要求18所述的非瞬时性计算机可读记录介质，其中，所述输出质量不良的指示还包括：

20.根据权利要求15至19中任一项所述的非瞬时性计算机可读记录介质，其中，所述预定置信区间为99％、95％或90％中的一者。

技术总结提供了用于审核标注图像数据集中图像标注质量检查的方法、系统和装置。该方法可以包括：获得标注图像数据集；基于预定置信区间、预定目标错误率和预定区间宽度，确定标注图像数据集的最小检查数量；基于最小检查数量，选择标注图像数据集的多个帧以供检查；以及输出所选择的标注图像数据集的多个帧以供检查。技术研发人员：若槻彰受保护的技术使用者：织望丰田股份有限公司技术研发日：技术公布日：2024/10/10