图像搜索方法、电子设备、计算机可读存储介质及计算机程序产品与流程

本技术属于通信，具体涉及一种图像搜索方法、电子设备、计算机可读存储介质及计算机程序产品。

背景技术：

1、现有技术主要是对图像的纹理特征进行编码，计算出每张图像的描述子向量，所以对于一些场景纹理弱、场景纹理相似度高等情况下，现有的基于图像纹理的描述子向量的检索方式可能产生错误检索。

技术实现思路

1、本技术实施例提供一种图像搜索方法、电子设备、计算机可读存储介质及计算机程序产品，能够解决现有的基于图像纹理的描述子向量的检索方式可能产生错误检索的问题。

2、第一方面，提供了一种图像搜索方法，包括：

3、通过图像语义分割处理，获取第一图像中的多个第一物体区域，以及第二图像中的多个第二物体区域；

4、获取所述多个第一物体区域和所述多个第二物体区域之间的第一相似度和第二相似度；

5、根据所述第一相似度和所述第二相似度，在所述多个第二图像中搜索与所述第一图像对应的目标图像；

6、其中，所述第一相似度是与物体区域特征关联的相似度，所述第二相似度是与物体区域位置关联的相似度。

7、在一种可选的实施方式中，所述方法还包括：

8、构建训练图像的物体区域特征矩阵；

9、根据两个不同训练图像的物体区域特征矩阵，获取两个不同训练图像之间的第三相似度；

10、获取训练图像的物体区域位置关系；

11、根据两个不同训练图像的物体区域位置关系，获取两个不同训练图像之间的第四相似度；

12、根据两个不同训练图像之间的第三相似度和第四相似度，训练得到相似度计算模型；

13、其中，所述第三相似度是与物体区域特征关联的相似度，所述第四相似度是与物体区域位置关联的相似度；

14、所述获取所述多个第一物体区域和所述多个第二物体区域之间的第一相似度和第二相似度，包括：

15、通过所述相似度计算模型，获取所述多个第一物体区域和所述多个第二物体区域之间的第一相似度和第二相似度。

16、在一种可选的实施方式中，所述构建训练图像的物体区域特征矩阵，包括：

17、通过图像语义分割处理，得到训练图像中对应不同的图像语义的多个训练物体区域；

18、通过图像特征点提取处理，得到每个所述训练物体区域的特征点向量；

19、遍历每个所述训练物体区域的特征点向量，生成每个所述训练物体区域的特征点向量对应的多个中心向量，所述中心向量的数量与所述训练物体区域的数量相同，所述中心向量的维度与所述特征点向量的维度相同；

20、根据所述特征点向量以及所述中心向量，获得所述训练图像的物体区域特征矩阵。

21、在一种可选的实施方式中，所述根据两个不同训练图像的物体区域特征矩阵，获取两个不同训练图像之间的第三相似度，包括：

22、对两个不同训练图像的物体特征矩阵进行余弦值计算，得到两个不同训练图像之间每个物体区域的相似度；

23、将两个不同训练图像之间所有物体区域的相似度合并，得到两个不同训练图像之间的第三相似度。

24、在一种可选的实施方式中，所述获取训练图像的物体区域位置关系，包括：

25、遍历训练图像中每个物体区域的关键点坐标，计算每个物体区域的坐标信息；

26、根据所述坐标信息，构建第一矩阵；

27、根据所述第一矩阵，得到每个物体区域的位置特征向量；

28、根据每个物体区域的位置特征向量，获得不同物体区域之间的相对位置关系向量；

29、根据所述不同物体区域之间的相对位置关系向量，得到所述训练图像的物体区域位置关系向量。

30、在一种可选的实施方式中，所述根据所述不同物体区域之间的相对位置关系向量，得到所述训练图像的物体区域位置关系向量，包括：

31、以每个物体区域的位置特征向量为节点，不同物体区域之间的相对位置关系向量为边，构建第一神经网络；

32、通过所述第一神经网络，将每个物体区域的位置特征向量合并，得到所述训练图像的物体区域位置关系向量。

33、在一种可选的实施方式中，所述根据所述第一相似度和所述第二相似度，在所述多个第二图像中搜索与所述第一图像对应的目标图像，包括：

34、在所述第一图像与所述多个第二图像中的第一目标图像的所述第一相似度大于或等于预设门限的情况下，将所述第一目标图像确定为所述第一图像对应的目标图像；

35、在所述第一图像与所述多个第二图像中的所有图像的所述第一相似度均小于预设门限的情况下，计算所述第一图像与所述多个第二图像中的每个图像的所述第一相似度和所述第二相似度之和，将所述第一相似度和所述第二相似度之和最大的第二目标图像确定为所述第一图像对应的目标图像。

36、第二方面，提供了一种图像搜索装置，包括：

37、第一获取模块，用于通过图像语义分割处理，获取第一图像中的多个第一物体区域，以及第二图像中的多个第二物体区域；

38、第二获取模块，用于获取所述多个第一物体区域和所述多个第二物体区域之间的第一相似度和第二相似度；

39、搜索模块，用于根据所述第一相似度和所述第二相似度，在所述多个第二图像中搜索与所述第一图像对应的目标图像；

40、其中，所述第一相似度是与物体区域特征关联的相似度，所述第二相似度是与物体区域位置关联的相似度。

41、在一种可选的实施方式中，所述装置还包括：

42、模型训练模块，用于：

43、构建训练图像的物体区域特征矩阵；

44、根据两个不同训练图像的物体区域特征矩阵，获取两个不同训练图像之间的第三相似度；

45、获取训练图像的物体区域位置关系；

46、根据两个不同训练图像的物体区域位置关系，获取两个不同训练图像之间的第四相似度；

47、根据两个不同训练图像之间的第三相似度和第四相似度，训练得到相似度计算模型；

48、其中，所述第三相似度是与物体区域特征关联的相似度，所述第四相似度是与物体区域位置关联的相似度；

49、所述第二获取模块，用于：

50、通过所述相似度计算模型，获取所述多个第一物体区域和所述多个第二物体区域之间的第一相似度和第二相似度。

51、在一种可选的实施方式中，所述模型训练模块，用于：

52、通过图像语义分割处理，得到训练图像中对应不同的图像语义的多个训练物体区域；

53、通过图像特征点提取处理，得到每个所述训练物体区域的特征点向量；

54、遍历每个所述训练物体区域的特征点向量，生成每个所述训练物体区域的特征点向量对应的多个中心向量，所述中心向量的数量与所述训练物体区域的数量相同，所述中心向量的维度与所述特征点向量的维度相同；

55、根据所述特征点向量以及所述中心向量，获得所述训练图像的物体区域特征矩阵。

56、在一种可选的实施方式中，所述模型训练模块，用于：

57、对两个不同训练图像的物体特征矩阵进行余弦值计算，得到两个不同训练图像之间每个物体区域的相似度；

58、将两个不同训练图像之间所有物体区域的相似度合并，得到两个不同训练图像之间的第三相似度。

59、在一种可选的实施方式中，所述模型训练模块，用于：

60、遍历训练图像中每个物体区域的关键点坐标，计算每个物体区域的坐标信息；

61、根据所述坐标信息，构建第一矩阵；

62、根据所述第一矩阵，得到每个物体区域的位置特征向量；

63、根据每个物体区域的位置特征向量，获得不同物体区域之间的相对位置关系向量；

64、根据所述不同物体区域之间的相对位置关系向量，得到所述训练图像的物体区域位置关系向量。

65、在一种可选的实施方式中，所述模型训练模块，用于：

66、以每个物体区域的位置特征向量为节点，不同物体区域之间的相对位置关系向量为边，构建第一神经网络；

67、通过所述第一神经网络，将每个物体区域的位置特征向量合并，得到所述训练图像的物体区域位置关系向量。

68、在一种可选的实施方式中，所述搜索模块，用于：

69、在所述第一图像与所述多个第二图像中的第一目标图像的所述第一相似度大于或等于预设门限的情况下，将所述第一目标图像确定为所述第一图像对应的目标图像；

70、在所述第一图像与所述多个第二图像中的所有图像的所述第一相似度均小于预设门限的情况下，计算所述第一图像与所述多个第二图像中的每个图像的所述第一相似度和所述第二相似度之和，将所述第一相似度和所述第二相似度之和最大的第二目标图像确定为所述第一图像对应的目标图像。

71、第三方面，提供了一种电子设备，该电子设备包括处理器和存储器，所述存储器存储可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如第一方面所述的方法的步骤。

72、第四方面，提供了一种计算机可读存储介质，所述计算机可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如第一方面所述的方法的步骤。

73、第十三方面，提供了一种计算机程序产品，所述计算机程序产品被存储在存储介质中，所述计算机程序产品被至少一个处理器执行以实现如第一方面所述的方法的步骤。

74、在本技术实施例中，通过图像语义分割处理，将第一图像和第二图像分割为语义不同的多个物体区域，获取第一图像和第二图像中的物体区域之间的物体区域特征相似度和物体区域位置相似度，基于目标物体区域特征相似度和目标物体区域位置相似度，在多个第二图像中搜索与第一图像对应的目标图像。这样，通过结合图像的语义分割，增加对图像中物体区域的特征相似度和位置相似度的计算，即使面对弱纹理场景、纹理相似度高的场景下仍然可以确保图像搜索准确率。