一种图像数据多目标去重方法、系统及装置与流程

本技术涉及图像处理，尤其涉及一种图像数据多目标去重方法、系统及装置。

背景技术：

1、当通过多个监控设备对同一场景进行图像采集时，会存在图像重复收集、同一个目标对象多次出现在不同图像中的情况，如果将全部图像中的目标对象都提取出去或者从出现同一目标对象的全部图像中提取出该目标对象的小图像输出，将会产生大量的冗余信息，造成硬件资源的浪费。目前对相同目标对象的小图像的去重，仅支持历史图像数据的全量去重，无法基于实时的图像帧，实现多个目标对象的小图像的去重。

技术实现思路

1、本技术实施例提供了一种图像数据多目标去重方法、系统及装置，用以通过对前后多次提取的目标小图像进行比对，实现针对同一目标对象，只输出其质量最好的目标小图像，实现多目标对象的实时去重。

2、本技术实施例提供了一种图像数据多目标去重方法，所述方法包括：

3、对多个监控设备的当前图像帧进行目标检测，提取出所述当前图像帧中各被检测目标对应的质量评分最高的目标小图像；

4、针对本次提取的每一个目标小图像，根据该目标小图像对应的拍摄场景，若该目标小图像的质量评分高于与所述拍摄场景对应的缓存库中相匹配的目标小图像的质量评分，或者所述缓存库中当前未存有该目标小图像，则将该目标小图像作为入库目标小图像，更新所述缓存库；

5、按设定周期遍历每一所述缓存库中当前存储的各入库目标小图像，将入库时长超过预设超时时长的入库目标小图像移出对应的缓存库并输出给目标设备。

6、通过该方法，对多个监控设备的当前图像帧进行目标检测，提取出所述当前图像帧中各被检测目标对应的质量评分最高的目标小图像；针对本次提取的每一个目标小图像，根据该目标小图像对应的拍摄场景，若该目标小图像的质量评分高于与所述拍摄场景对应的缓存库中相匹配的目标小图像的质量评分，或者所述缓存库中当前未存有该目标小图像，则将该目标小图像作为入库目标小图像，更新所述缓存库；按设定周期遍历每一所述缓存库中当前存储的各入库目标小图像，将入库时长超过预设超时时长的入库目标小图像移出对应的缓存库并输出给目标设备，通过将实时提取的质量最好的目标小图像，与对应缓存库暂存的历史目标小图像进行比对，实现针对同一目标对象，只输出其质量最好的目标小图像给目标设备，实现多目标对象的实时去重，减轻目标设备的存储压力。

7、在一些实施例中，利用所述目标小图像作为入库目标小图像更新对应的缓存库时，记录每一所述入库目标小图像存入对应的缓存库的对应时刻；

8、针对每一所述入库目标小图像，确定其位于所属图像帧的位置区域，若所述位置区域属于对应图像帧的图像画面遮挡区域外的预设范围内，则将记录的与该入库目标小图像对应的所述对应时刻，修改为根据所述对应时刻延长预设时长后得到的时刻。

9、通过该方法，实现记录入库目标小图像的入库时间，并在目标对象位于图像画面遮挡区域附近时，将其对应的入库目标小图像的入库时间延后一段时长，从而当目标对象短暂进入遮挡区域后再次出现时，避免多次输出该目标对象的小图像，减少系统的冗余工作。

10、在一些实施例中，所述图像画面遮挡区域，通过如下方法确定：

11、对每一所述监控设备距离当前时间最近的连续n个图像帧进行目标检测后，标记出各所述图像帧中的多个被检测目标的检测框；

12、针对每一所述图像帧，统计出该图像帧中各像素点的标记值的累计值m，其中：

13、m＝m0+m1*n1+m2*n2；

14、m0表示像素点的标记值的初始值；m1表示像素点被第一区域覆盖时，其标记值对应的增加值；m2表示像素点被第二区域覆盖时，其标记值对应的增加值；n1表示像素点被所述第一区域覆盖的次数；n2表示像素点被所述第二区域覆盖的次数；其中，m0、m1、m2为设定的常数，且m1<m2，n1≥0，n2≥0；其中，所述第一区域为：该图像帧中的每一所述检测框所界定的区域；所述第二区域为：将每一所述第一区域按照预设比例放大后得到的放大区域；

15、计算所述n个图像帧中位置相对应的像素点的标记值的累计值之和，筛选出标记值的累计值之和大于第一预设值的各像素点作为参考像素点，并根据各所述参考像素点在图像帧中的位置，确定由位置相邻的各所述参考像素点形成的连片区域的面积；若所述面积大于第二预设值，则将所述连片区域确定为所述图像画面的遮挡区域。

16、通过该方法，实现根据监控设备近期采集的连续多个图像帧，确定出对应的拍摄场景中是否存在因障碍物、盲区等造成的遮挡区域。

17、在一些实施例中，所述对多个监控设备的当前图像帧进行目标检测，提取出所述当前图像帧中各被检测目标对应的质量评分最高的目标小图像，具体包括：

18、对每一所述图像帧进行目标检测，当被检测目标为预设目标类型时，在该被检测目标上标注检测框；

19、根据各所述检测框的坐标以及图像特征，确定出不同图像帧中的同一被检测目标，生成该被检测目标的目标集合；所述目标集合至少包括该被检测目标在对应图像帧中的图像帧号、检测框的坐标以及根据所述检测框的坐标从对应图像帧中截取的、包含被检测目标在内的备选目标小图像；

20、确定出每一所述目标集合中的各备选目标小图像对应的质量评分，提取出质量评分最高的目标小图像。

21、通过该方法，实现针对多个图像帧中的同一目标对象，只提取出质量最好的目标小图像。

22、在一些实施例中，所述针对本次提取的每一个目标小图像，根据该目标小图像对应的拍摄场景，若该目标小图像的质量评分高于与所述拍摄场景对应的缓存库中相匹配的目标小图像的质量评分，或者所述缓存库中当前未存有该目标小图像，则将该目标小图像作为入库目标小图像，更新所述缓存库，具体包括：

23、针对本次提取的每一目标小图像：

24、根据采集该目标小图像对应图像帧的监控设备的安装信息，确定该目标小图像归属的拍摄场景；

25、根据拍摄场景与缓存库的对应关系，确定出与所述拍摄场景对应的缓存库；

26、计算该目标小图像与所述缓存库当前存储的各入库目标小图像的相似度，将相似度值大于预设值的已入库目标小图像作为匹配目标小图像，比较该目标小图像与所述匹配目标小图像的质量评分，当该目标小图像的质量评分更高时，则将该目标小图像作为入库目标小图像，替换所述缓存库中的匹配目标小图像；

27、若全部相似度值均小于等于所述预设值，则将该目标小图像作为入库目标小图像，添加到所述缓存库。

28、通过该方法，实现根据每次提取的各目标小图像与缓存库中的目标小图像的匹配结果，确定是否更新缓存库，从而实现多目标对象的去重。

29、在一些实施例中，当所述多个监控设备中至少一个为具备目标检测能力的智能设备时，所述方法还包括：

30、接收所述至少一个智能设备发送的针对对应图像帧输出的多个被检测目标对应的目标小图像；

31、针对每一所述目标小图像，当确定该目标小图像中的被检测目标为预设目标类型时，根据该目标小图像的坐标信息以及图像特征，判断该目标小图像是否与所述提取的各目标小图像匹配，若是，则将该目标小图像删除；若否，则将该目标小图像作为所述提取的目标小图像。

32、通过该方法，实现对智能设备输出的多个目标对象的小图像的去重，同时还能对目标检测的结果进行补充，避免目标对象的遗漏。

33、本技术实施例提供的一种一种图像数据多目标去重系统，包括：

34、检测模块，用于对多个监控设备的当前图像帧进行目标检测，提取出所述当前图像帧中各被检测目标对应的质量评分最高的目标小图像；

35、去重模块，用于针对本次提取的每一个目标小图像，根据该目标小图像对应的拍摄场景，若该目标小图像的质量评分高于与所述拍摄场景对应的缓存库中相匹配的目标小图像的质量评分，或者所述缓存库中当前未存有该目标小图像，则将该目标小图像作为入库目标小图像，更新所述缓存库；

36、输出模块，用于按设定周期遍历每一所述缓存库中当前存储的各入库目标小图像，将入库时长超过预设超时时长的入库目标小图像移出对应的缓存库并输出给目标设备。

37、通过该系统，通过将实时提取的质量最好的目标小图像，与对应缓存库中暂存的历史目标小图像进行比对，实现针对同一目标对象，只输出其质量最好的目标小图像给目标设备，实现多目标对象的实时去重，减轻目标设备的存储压力，提高图片的检索效率。

38、在一些实施例中，所述去重模块利用所述目标小图像作为入库目标小图像更新对应的缓存库时，记录每一所述入库目标小图像存入对应的缓存库的对应时刻；

39、针对每一所述入库目标小图像，确定其位于所属图像帧的位置区域，若所述位置区域属于对应图像帧的图像画面遮挡区域外的预设范围内，则将记录的与该入库目标小图像对应的所述对应时刻，修改为根据所述对应时刻延长预设时长后得到的时刻。

40、通过该系统，实现记录入库目标小图像的入库时间，并在目标对象位于图像画面遮挡区域附近时，将其对应的入库目标小图像的入库时间延后一段时长，从而当目标对象短暂进入遮挡区域后再次出现时，避免多次输出该目标对象的小图像，减少系统的冗余工作。

41、在一些实施例中，所述检测模块，还用于对每一所述监控设备距离当前时间最近的连续n个图像帧进行目标检测后，标记出各所述图像帧中的多个被检测目标的检测框；

42、所述系统还包括判断模块，用于根据所述检测模块输出的所述n个图像帧的目标检测结果，进行所述图像画面遮挡区域的确定，所述判断模块具体用于：

43、针对每一所述图像帧，统计出该图像帧中各像素点的标记值的累计值m，其中：

44、m＝m0+m1*n1+m2*n2；

45、m0表示像素点的标记值的初始值；m1表示像素点被第一区域覆盖时，其标记值对应的增加值；m2表示像素点被第二区域覆盖时，其标记值对应的增加值；n1表示像素点被所述第一区域覆盖的次数；n2表示像素点被所述第二区域覆盖的次数；其中，m0、m1、m2为设定的常数，且m1<m2，n1≥0，n2≥0；其中，所述第一区域为：该图像帧中的每一所述检测框所界定的区域；所述第二区域为：将每一所述第一区域按照预设比例放大后得到的放大区域；

46、计算所述n个图像帧中位置相对应的像素点的标记值的累计值之和，筛选出标记值的累计值之和大于第一预设值的各像素点作为参考像素点，并根据各所述参考像素点在图像帧中的位置，确定由位置相邻的各所述参考像素点形成的连片区域的面积；若所述面积大于第二预设值，则将所述连片区域确定为所述图像画面的遮挡区域。

47、通过该系统，实现根据监控设备近期采集的连续多个图像帧，确定出对应的拍摄场景中是否存在因障碍物、盲区等造成的遮挡区域。

48、本技术另一实施例提供了一种图像数据多目标去重装置，其包括存储器和处理器，其中，所述存储器用于存储程序指令，所述处理器用于调用所述存储器中存储的程序指令，按照获得的程序执行上述任一种方法。

49、此外，根据实施例，例如提供了一种用于计算机的计算机程序产品，其包括软件代码部分，当所述产品在计算机上运行时，这些软件代码部分用于执行上述所定义的方法的步骤。该计算机程序产品可以包括在其上存储有软件代码部分的计算机可读介质。此外，该计算机程序产品可以通过上传过程、下载过程和推送过程中的至少一个经由网络直接加载到计算机的内部存储器中和/或发送。

50、本技术另一实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使所述计算机执行上述任一种方法。