图像处理方法及电子设备与流程

本技术涉及人工智能领域，并且更具体地，涉及一种图像处理方法及电子设备。

背景技术：

1、为了平衡拍照效果、设备厚度、重量以及成本等多方面因素，一些电子设备中的摄像头可以设计为固定对焦距离。用户在使用设置有固定对焦距离摄像头的电子设备时，不能调整摄像头对焦距离（即放大或缩小画面），只能通过移动电子设备本身来靠近或远离拍摄对象。这种设计简化了摄像头模组的结构，有助于电子设备的轻薄设计，同时也降低了制造成本。但是，采用固定对焦距离的摄像头采集的图像可能较为模糊。

2、如何提高通过设置有固定对焦距离的摄像头采集的图像的清晰度，是亟待解决的问题。

技术实现思路

1、本技术提供了一种图像处理方法，能够提高处理得到的图像的清晰度。

2、第一方面，提供一种图像处理方法，应用于电子设备，该方法包括：通过所述电子设备的第一摄像头获取第一对象图像，所述第一对象图像记录有目标对象，所述第一摄像头为固定对焦距离的摄像头；获取所述目标对象的距离信息，所述距离信息用于表示所述目标对象与所述第一摄像头之间的距离；通过去模糊模型，基于所述距离信息和所述第一对象图像，确定目标图像，所述去模糊模型能够用于基于任意图像中的对象的距离信息对所述任意图像进行去模糊处理。

3、本技术实施例提供的图像处理方法，通过去模糊模型基于目标对象的距离信息，对固定对焦距离的第一摄像头采集获得的记录有目标对象的第一对象图像进行处理，确定目标图像，去模糊模型处理过程中考虑到目标对象的距离信息的影响，使得目标图像的准确度和清晰度更高，提高用户体验。

4、在一些可能的实现方式中，所述电子设备包括多个摄像头，所述多个摄像头均为固定对焦距离的摄像头，且所述多个摄像头的对焦距离不同；所述通过去模糊模型，基于所述距离信息，对所述第一对象图像进行去模糊处理之前，所述方法还包括：根据第一对应关系，确定所述第一摄像头对应的候选模型，所述去模糊模型是所述第一摄像头对应的候选模型，所述第一对应关系表示多个候选模型和所述多个摄像头之间的对应关系。

5、为电子设备中不同的对焦距离的摄像头设置不同的候选模型，对于每个摄像头采集的图像可以通过该摄像头对应的候选模型进行去模糊处理。在进行图像处理的过程中充分考虑到不同摄像头的对焦距离的影响，通过选择与采集第一对象图像的摄像头相对应的候选模型作为去模糊模型，对第一对象图像进行去模糊处理，从而提高处理得到的图像的准确度和清晰度。

6、在一些可能的实现方式中，所述目标对象属于目标对象类别，所述通过去模糊模型，基于所述距离信息和所述第一对象图像，确定目标图像之前，所述方法还包括：根据第二对应关系，确定所述目标对象类别对应的候选模型，所述去模糊模型是所述目标对象类型对应的候选模型，所述第二对应关系表示多个候选模型与多个对象类别之间的对应关系。

7、属于不同对象类别的对象具有不同的特点。对不同的对象类别设置与该对象类别相对应的候选模型。使用每个对象所属的对应类别对应的候选模型对记录有该对象的第一对象图像进行去模糊处理，考虑不同对象类别的特点的影响，提高处理得到的图像的准确度和清晰度。

8、在一些可能的实现方式中，所述目标对象的所述目标对象类别是人脸。

9、用户对于一张图像记录的各种对象，一般情况用户最为关心的对象是人脸。对于属于人脸这一对象类别的对象，即对于人脸图像，通过去模糊模型进行去模糊处理，提高用户对处理得到的图像的满意度。

10、在一些可能的实现方式中，所述距离信息为所述目标对象的对象深度图像，所述对象深度图像是通过所述电子设备的第二摄像头获得。

11、通过电子设备中第二摄像头获得的对象深度图像中包括大量与目标对象相关的距离信息，能够反映目标对象的特点。通过去模糊模型，基于对象深度图像，对第一对象图像进行去模糊处理，提高处理得到的图像的准确度和清晰度。

12、与通过对第一对象图像进行深度估计得到的对象深度图像相比，通过第二摄像头获得的对象深度图像的准确度更高，从而使得通过去模糊模型对对象深度图像和第一对象图像进行得到的图像的准确度更高。

13、在一些可能的实现方式中，所述通过所述电子设备的第一摄像头获取第一对象图像，包括：对所述第一摄像头采集的第一图像进行识别，以确定对象区域，所述对象区域为所述第一图像中所述目标对象所在的区域；在所述第一图像中，获取位于所述对象区域中的图像，得到所述第一对象图像；所述获取所述目标对象的距离信息，包括：在所述第一图像对应的深度图像中，确定位于所述对象区域中的所述对象深度图像，所述深度图像是通过所述第二摄像头采集获得。

14、通过对第一摄像头采集的第一图像进行识别，得到第一图像中目标对象所在的图像区域，并将第一图像中位于图像区域的图像作为第一对象图像，将第二摄像头采集获得的第二深度图像中位于图像区域的图像作为对象深度图像，第一对象图像和对象深度图像中记录的目标对象的面积占比均更大，去模糊模型处理得到的图像的准确度更高。

15、在一些可能的实现方式中，所述通过去模糊模型，基于所述距离信息和所述第一对象图像，确定目标图像，包括：通过所述去模糊模型对所述距离信息和所述第一对象图像进行处理，以确定第二对象图像；将所述第二对象图像与所述第一图像中位于所述对象区域之外的图像进行融合处理，以获得所述目标图像。

16、通过对第二对象图像和第一图像中对象区域之外的图像进行融合，使得与第一图像相比目标图像更加清晰。

17、对第一图像进行识别得到的目标对象的数量可以是一个或多个。不同的目标对象对应于不同的对象区域，即不同的目标对象记录在不同的第一对象图像中。在通过去模糊模型对记录每个目标对象的第一对象区域进行处理得到该目标对象的第二对象图像后，可以将该多个对象图像与第一图像中位于各个对象区域之外的图像进行融合，得到目标图像。多个目标对象的对象深度信息可以是不同的。通过去模糊模型对不同的目标对象分别进行处理，使得每个第二对象图像更加清晰，从而目标图像的清晰度更高。

18、在一些可能的实现方式中，所述去模糊模型是基于多组第一训练数据对初始去模糊模型进行训练得到，所述多组第一训练数据中的每组第一训练数据包括第一训练对象的第一训练样本图像、第一基准图像和训练距离信息，其中，所述训练距离信息表示所述第一训练对象与采集所述第一基准图像的第一训练摄像头之间的距离，所述第一训练样本图像对应的对焦距离与所述第一摄像头的对焦距离相等，所述第一基准图像是所述第一训练摄像头对所述第一训练对象进行对焦后采集的图像。

19、在一些可能的实现方式中，所述第一训练样本图像是通过目标模糊核，对所述第一基准图像进行模糊处理得到，所述目标模糊核是在所述第一摄像头的对焦距离对应的多个模糊核中确定的、所述训练距离信息所属的目标距离范围对应的模糊核，不同的距离范围对应不同的模糊核。

20、经过某个距离范围对应的模糊核处理得到的图像可以准确反映与第一摄像头的对焦距离相等的摄像头对与摄像头的距离属于该某个距离范围的对象采集得到的图像的模糊程度。为不同的距离范围设置不同的模糊核，某个距离范围对应的模糊核对该某个图像进行处理得到的图像用于模拟对焦距离与第一摄像头的对焦距离相等的摄像头对与摄像头的距离属于该距离范围的对象采集得到的图像。经过某个距离范围对应的模糊核处理得到的图像可以准确反映与第一摄像头的对焦距离相等的摄像头对与摄像头的距离属于该某个距离范围的对象采集得到的图像的模糊程度。从而，基于多组第一训练数据进行训练得到的去模糊模型更加准确。

21、通过模糊核确定第一训练数据中的第一训练样本图像，降低多组第一训练数据的构建过程中需要通过人工进行采集的图像的数量，降低人工成本。

22、在一些可能的实现方式中，所述多个模糊核中的任一个模糊核是基于多组第二训练数据对初始模糊核进行训练得到的，所述多组第二训练数据中的每组第二训练数据包括第二训练对象的第二训练对象图像和第二基准图像，所述第二训练对象图像和所述第二基准图像分别是通过与所述第二训练对象的距离相等的第二训练摄像头和第三训练摄像头获得，所述第三训练摄像头与所述第二训练对象之间的训练距离属于所述任一个模糊核对应的距离范围，在采集所述第二训练对象图像时所述第二训练摄像头的对焦距离等于所述第一摄像头的对焦距离，所述第一基准图像是所述第三训练摄像头对所述第二训练对象对焦后采集的图像。

23、在一些可能的实现方式中，所述通过去模糊模型，基于所述距离信息和所述第一对象图像，确定目标图像，包括：在所述距离信息表示的距离与所述第一摄像头的对焦距离之间的差异大于或等于第一差异阈值的情况下，通过所述去模糊模型，基于所述距离信息和所述第一对象图像，确定所述目标图像；其中，所述多组第一训练数据中的训练距离信息包括第一训练距离信息和第二训练距离信息，所述第一训练距离信息表示的距离与所述第一摄像头的对焦距离之间的差异大于或等于所述第一差异阈值，所述第二训练距离信息表示的距离与所述第一摄像头的对焦距离之间的差异小于所述第一差异阈值。

24、在目标对象与第一摄像头之间的距离大于或等于第一差异阈值的情况下，第一对象图像的清晰度可能较低，对第一对象图像进行去模糊处理。而在目标对象与第一摄像头之间的距离小于第一差异阈值的情况下，第一对象图像是清晰的，可以不再进行去模糊的处理，在得到清晰的图像的同时，降低图像处理对资源的占用。

25、在模型推理的过程中，在目标对象与第一摄像头之间的距离小于第一差异阈值的情况下，可以不进行去模糊的处理。而在去模糊模型的训练过程中使用的多组第一训练数据中，可以包括表示的距离与所述第一摄像头的对焦距离之间的差异大于或等于第一差异阈值的第一训练距离信息，也可以包括表示的距离与所述第一摄像头的对焦距离之间的差异小于第一差异阈值的第二训练距离信息。训练过程中使用包括第二训练距离信息的第一训练数据，以及包括第一训练距离信息的第一训练数据对去模糊模型进行训练，使得去模糊模型更加准确，提高去模糊模型处理得到的图像的准确度。

26、第二方面，提供一种去模糊模型的训练方法，包括：获取多组第一训练数据，每组第一训练数据包括第一训练对象的第一训练样本图像、第一基准图像和训练距离信息，其中，训练距离信息表示第一训练对象与采集第一基准图像的第一训练摄像头之间的距离，第一训练样本图像对应的摄像头对焦距离与第一摄像头的对焦距离相等，第一基准图像是第一训练摄像头对第一训练对象进行对焦后采集的图像；通过初始去模糊模型，基于训练距离信息，对第一训练对象图像进行去模糊处理，得到第三训练对象图像；根据第三训练对象图像与第一基准图像之间的差异，调整初始去模糊模型的参数。

27、第三方面，提供了一种图像处理装置，包括用于执行第一方面和/或第二方面的方法的单元。该装置可以是终端设备，也可以是终端设备内的芯片。

28、第四方面，提供了一种电子设备，包括存储器和处理器，存储器用于存储计算机程序，所述处理器用于从所述存储器中调用并运行所述计算机程序，使得所述电子设备执行第一方面和/或第二方面的方法。

29、第五方面，提供了一种芯片，包括处理器与数据接口，所述处理器通过所述数据接口读取存储器上存储的指令，以实现第一方面和/或第二方面的方法。

30、第六方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序代码，所述计算机程序代码用于实现第一方面和/或第二方面的方法。

31、第七方面，提供了一种计算机程序产品，所述计算机程序产品包括：计算机程序代码，所述计算机程序代码用于实现第一方面和/或第二方面的方法。