基于图像识别模型的任务执行方法、装置、介质及设备与流程

本说明书涉及计算机视觉领域，尤其涉及基于图像识别模型的任务执行方法、装置、介质及设备。

背景技术：

1、随着计算机视觉领域的不断发展，可对图像进行识别的图像识别模型越来越多的被应用于各种任务中。例如，在自动驾驶任务中，图像分割模型即可对自动驾驶过程中采集设备采集到的车辆前方图像对图像中各像素点进行分类，以获取可行驶路面所在区域，从而执行自动驾驶任务。

2、然而，对于现有的图像识别模型，特别是涉及到图像分割、图像聚类、或图像特征匹配等问题的图像识别模型，这些模型在对图像进行处理时，往往需要根据模型中包含的相关性矩阵，又名亲和矩阵，获取图像中各像素点之间的关联程度，从而根据亲和矩阵提高图像识别模型的识别精度，但对于一些需要较高层级的亲和矩阵提高识别精度的图像识别模型，处于较高层级的相关性矩阵在对图像数据进行处理时会出现处理结果的相似性提高的问题，这影响了图像识别模型对图像的识别精度，降低了基于图像识别模型的任务的执行效率。

技术实现思路

1、本说明书提供一种基于图像识别模型的任务执行方法、装置、介质及设备，以部分的解决现有技术存在的上述问题。

2、本说明书采用下述技术方案：

3、本说明书提供了一种基于图像识别模型的任务执行方法，包括：

4、获取初始图像识别模型以及样本图像；

5、将所述样本图像输入到所述初始图像识别模型中，得到所述样本图像对应的类别激活映射图，其中，所述类别激活映射图用于表征所述初始图像识别模型对所述样本图像中的感兴趣区域；

6、根据所述初始图像识别模型中包含的各网络层对应的亲和矩阵对所述类别激活映射图进行补偿，得到补偿后矩阵；

7、针对所述样本图像中的每个像素点，根据该像素点与该像素点周边的各像素点之间的相关度，确定该像素点对应的相关性权重矩阵；

8、针对所述样本图像中的每个像素点对，根据所述补偿后矩阵和该像素点对中两个像素点各自对应的相关性权重矩阵，确定该像素点对对应的相关性标签；

9、根据所述样本图像中的各像素点对对应的相关性标签，调整所述各网络层对应的亲和矩阵中包含的各数值，以得到调整后的图像识别模型；

10、通过所述调整后的图像识别模型，执行任务。

11、可选地，根据所述初始图像识别模型中包含的各网络层对应的亲和矩阵对所述类别激活映射图进行补偿，得到补偿后矩阵，具体包括：

12、将所述类别激活映射图执行重定形操作，以将所述类别激活映射图转化为一维序列；

13、将所述各网络层对应的亲和矩阵进行转置，并通过转置后亲和矩阵对所述一维序列进行补偿，得到补偿后序列；

14、将所述补偿后序列转化为二维矩阵，得到所述补偿后矩阵。

15、可选地，针对所述样本图像中的每个像素点，根据该像素点与该像素点周边的各像素点之间的相关度，确定该像素点对应的相关性权重矩阵，具体包括：

16、针对所述样本图像中的每个像素点，根据该像素点的属性信息以及该像素点周边各像素点的属性信息，确定出该像素点与该像素点周边的各像素点之间的相关度，其中，针对任意一个像素点，该像素点的属性信息包括：该像素点在所述样本图像中所在的空间位置以及该像素点对应的像素密度中的至少一种；

17、根据该像素点与该像素点周边的各像素点之间的相关度，确定该像素点对应的相关性权重矩阵。

18、可选地，针对所述样本图像中的每个像素点对，根据所述补偿后矩阵和该像素点对中两个像素点各自对应的相关性权重矩阵，确定该像素点对对应的相关性标签，具体包括：

19、针对所述样本图像中的每个像素点，根据该像素点在所述补偿后矩阵中对应的值以及该像素点对应的相关性权重矩阵，确定出该像素点对应的预测相关性标签；

20、根据该像素点对应的预测相关性标签与预设的阈值之间的数值关系，确定出该像素点对应的语义标签；

21、针对所述样本图像中的每个像素点对，根据该像素点对中两个像素点各自对应的语义标签，确定出该像素点对对应的相关性标签。

22、可选地，针对所述样本图像中的每个像素点，根据该像素点在所述补偿后矩阵中对应的值以及该像素点对应的相关性权重矩阵，确定出该像素点对应的预测相关性标签，具体包括：

23、针对所述样本图像中的每个像素点，根据该像素点在所述补偿后矩阵中对应的值以及该像素点对应的相关性权重矩阵，确定该像素点对应的融合矩阵；

24、将该像素点对应的融合矩阵中包含的最大值，作为该像素点对应的预测相关性标签。

25、可选地，所述预设阈值包括：第一阈值和第二阈值，其中，所述第一阈值大于0且小于第二阈值，所述第二阈值小于1；

26、根据该像素点对应的预测相关性标签与预设的阈值之间的数值关系，确定出该像素点对应的语义标签，具体包括：

27、当确定出的该像素点对应的预测相关性标签小于所述第一阈值时，则将第一指定数值作为该像素点对应的语义标签；

28、当确定出的该像素点对应的预测相关性标签大于所述第二阈值时，则将该像素点对应的相关性权重值确定为该像素点对应的语义标签。

29、可选地，针对所述样本图像中的每个像素点对，根据该像素点对中两个像素点各自对应的语义标签，确定出该像素点对对应的相关性标签，具体包括：

30、针对所述样本图像中的每个像素点对，当该像素点对中两个像素点各自对应的语义标签相同且均不为预设的第一指定语义标签，将第二指定数值作为该像素点对对应的相关性标签；

31、当该像素点对两个像素点各自对应的语义标签不同且都不为所述第一指定语义标签，将第三指定数值确定为该像素点对应的相关性标签。

32、可选地，根据所述样本图像中的各像素点对对应的相关性标签，调整所述各网络层对应的亲和矩阵中包含的各数值，以得到调整后的图像识别模型，具体包括：

33、针对每个网络层所对应的亲和矩阵，根据所述样本图像中的各像素点对对应的相关性标签以及该亲和矩阵中包含的每个像素点对对应的数值，确定该亲和矩阵的注意力熵值；

34、根据每个网络层对应的亲和矩阵的注意力熵值，确定各网络层对应的亲和矩阵的注意力熵和值；

35、以最小化所述注意力熵和值为优化目标，调整所述各网络层所对应的亲和矩阵中包含的各数值，以得到调整后的图像识别模型。

36、本说明书提供了一种基于图像识别模型的任务执行装置，包括：

37、获取模块：用于获取初始图像识别模型以及样本图像；

38、输入模块：用于将所述样本图像输入到所述初始图像识别模型中，得到所述样本图像对应的类别激活映射图，其中，所述类别激活映射图用于表征所述初始图像识别模型对所述样本图像中的感兴趣区域；

39、补偿模块：用于根据所述初始图像识别模型中包含的各网络层对应的亲和矩阵对所述类别激活映射图进行补偿，得到补偿后矩阵；

40、第一确定模块：用于针对所述样本图像中的每个像素点，根据该像素点与该像素点周边的各像素点之间的相关度，确定该像素点对应的相关性权重矩阵；

41、第二确定模块：用于针对所述样本图像中的每个像素点对，根据所述补偿后矩阵和该像素点对中两个像素点各自对应的相关性权重矩阵，确定该像素点对对应的相关性标签；

42、调整模块：用于根据所述样本图像中的各像素点对对应的相关性标签，调整所述各网络层对应的亲和矩阵中包含的各数值，以得到调整后的图像识别模型；

43、执行模块：用于通过所述调整后的图像识别模型，执行任务。

44、可选地，所述补偿模块具体用于，

45、将所述类别激活映射图执行重定形操作，以将所述类别激活映射图转化为一维序列；将所述各网络层对应的亲和矩阵进行转置，并通过所述转置后亲和矩阵对所述一维序列进行补偿，得到补偿后序列；将所述补偿后序列转化为二维矩阵，得到所述补偿后矩阵。

46、可选地，所述第一确定模块具体用于，

47、针对所述样本图像中的每个像素点，根据该像素点的属性信息以及该像素点周边各像素点的属性信息，确定出该像素点与该像素点周边的各像素点之间的相关度，其中，针对任意一个像素点，该像素点的属性信息包括：该像素点在所述样本图像中所在的空间位置以及该像素点对应的像素密度中的至少一种；根据该像素点与该像素点周边的各像素点之间的相关度，确定该像素点对应的相关性权重矩阵。

48、可选地，所述第二确定模块具体用于，

49、针对所述样本图像中的每个像素点，根据该像素点在所述补偿后矩阵中对应的值以及该像素点对应的相关性权重矩阵，确定出该像素点对应的预测相关性标签；根据该像素点对应的预测相关性标签与预设的阈值之间的数值关系，确定出该像素点对应的语义标签；针对所述样本图像中的每个像素点对，根据该像素点对中两个像素点各自对应的语义标签，确定出该像素点对对应的相关性标签。

50、可选地，所述第二确定模块具体用于，

51、针对所述样本图像中的每个像素点，根据该像素点在所述补偿后矩阵中对应的值以及该像素点对应的相关性权重矩阵，确定该像素点对应的融合矩阵；将该像素点对应的融合矩阵中包含的最大值，作为该像素点对应的预测相关性标签。

52、可选地，所述预设阈值包括：所述预设阈值包括：第一阈值和第二阈值，其中，所述第一阈值大于0且小于第二阈值，所述第二阈值小于1；

53、所述第二确定模块具体用于，

54、当确定出的该像素点对应的预测相关性标签小于所述第一阈值时，则将第一指定数值作为该像素点对应的语义标签；当确定出的该像素点对应的预测相关性标签大于所述第二阈值时，则将该像素点对应的相关性权重值确定为该像素点对应的语义标签。

55、可选地，所述第二确定模块具体用于，

56、针对所述样本图像中的每个像素点对，当该像素点对中两个像素点各自对应的语义标签相同且均不为预设的第一指定语义标签，将第二指定数值作为该像素点对对应的相关性标签；当该像素点对两个像素点各自对应的语义标签不同且都不为所述第一指定语义标签，将第三指定数值确定为该像素点对应的相关性标签。

57、可选地，所述调整模块具体用于，

58、针对每个网络层所对应的亲和矩阵，根据所述样本图像中的各像素点对对应的相关性标签以及该亲和矩阵中包含的每个像素点对对应的数值，确定该亲和矩阵的注意力熵值；根据每个网络层对应的亲和矩阵的注意力熵值，确定各网络层对应的亲和矩阵的注意力熵和值；以最小化所述注意力熵和值为优化目标，调整所述各网络层所对应的亲和矩阵中包含的各数值，以得到调整后的图像识别模型。

59、本说明书提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述基于图像识别模型的任务执行方法。

60、本说明书提供了一种电子设备，包括处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述基于图像识别模型的任务执行方法。

61、本说明书采用的上述至少一个技术方案能够达到以下有益效果：

62、在本说明书提供的基于图像识别模型的任务执行方法中，终端设备先获取初始图像识别模型以及样本图像，而后将样本图像输入到初始图像识别模型中，得到样本图像对应的用于表征初始图像识别模型对样本图像中感兴趣区域的类别激活映射图，而后通过初始图像识别模型中包含的各网络层对应的亲和矩阵对类别激活映射图进行补偿，得到补偿后矩阵，进而针对样本图像中的每个像素点，根据该像素点与该像素点周边的各像素点之间的相关度，确定该像素点对应的相关性权重矩阵，从而针对样本图像中的每个像素点对，根据补偿后矩阵和该像素点对中两个像素点各自对应的相关性权重矩阵，确定出该像素点对对应的相关性标签，根据各像素点对对应的相关性标签，调整亲和矩阵中的各数值，得到调整后的图像模型，并通过调整后的图像识别模型执行任务。

63、从上述方法可以看出，终端设备在将样本图像输入到初始图像识别模型后，即可获取对应模型对样本图像的感兴趣区域的类别激活映射图，并通过模型中各网络层对应的亲和矩阵对类别激活映射图进行补偿，得到补偿后矩阵，而后确定出样本图像中每个像素点对应的相关性权重矩阵，并进而确定出样本图像中每个像素点对对应的相关性标签，根据样本图像中的各像素点对对应的相关性标签，调整初始图像识别模型中包含的各网络层对应的亲和矩阵，并通过调整后的图像识别模型执行任务。通过确定出每个像素点对应的相关性权重值，以及各像素点对对应的相关性标签，对初始图像识别模型进行调整，增强了初始图像识别模型中包含的各网络层对应的亲和矩阵对于类别激活映射图的补偿能力，从而使得调整后的图像识别模型在执行任务过程中具备更强的识别精度，提高了图像识别任务的执行效率。