图像处理设备及其操作方法与流程

本公开涉及一种用于通过使用神经网络来处理图像的图像处理装置以及该图像处理装置的方法。

背景技术：

1、随着计算机技术的发展，数据业务呈指数增长，人工智能已经成为引领未来创新的重要趋势。人工智能是一种模拟人类思维的方法，因此无限地适用于几乎所有行业。人工智能的代表性技术包括模式识别、机器学习、专家系统、神经网络和自然语言处理。

2、神经网络可以通过使用数学表达式来模仿人类生物神经细胞的特性，并使用模拟人类学习能力的算法。通过该算法，神经网络能够生成输入数据和输出数据之间的映射，并且生成这种映射的能力可以表示为神经网络的学习能力。总之，神经网络具有基于学习结果生成关于尚未用于学习的输入数据的输出数据的泛化能力。

3、神经网络可以用于图像处理。具体地，可以通过使用深度神经网络（dnn）来执行用于去除图像的噪声或伪影或提高图像的分辨率的图像处理。

技术实现思路

1、问题的技术解决方案

2、提供了一种可以通过使用一个或多个神经网络来处理图像的图像处理装置。

3、根据用于通过使用至少一个神经网络来处理图像的图像处理装置，该图像处理装置可以包括：存储器，存储至少一个指令；以及至少一个处理器，所述至少一个处理器被配置为执行所述至少一个指令。

4、至少一个处理器还可以被配置为执行至少一个指令以基于第一图像获得第一特征数据。

5、至少一个处理器还可以被配置为执行至少一个指令以通过对第一特征数据执行第一图像处理来获得与第一图像的第一区域对应的多条第二特征数据，第一区域包括第一数量的像素。

6、至少一个处理器还可以被配置为执行至少一个指令以基于第一图像获得第三特征数据。

7、至少一个处理器还可以被配置为执行至少一个指令以通过对第三特征数据执行第二图像处理来获得与第一图像的第二区域对应的多条第四特征数据，第二区域包括大于第一数量的第二数量的像素。

8、至少一个处理器还可以被配置为执行至少一个指令以基于多条第二特征数据和多条第四特征数据生成第二图像。

9、第一图像处理和第二图像处理中的每个可以包括执行自注意力操作。

10、至少一个处理器还可以被配置为执行至少一个指令以：基于关于第一区域中的每个的外围区域的信息，获得分别对应于第一区域的多条第二特征数据，以及基于关于第二区域中的每个的外围区域的信息，获得分别对应于第二区域的多条第四特征数据。

11、第一数量是1，并且第一区域中的每个可以包括一个像素。

12、所述至少一个处理器还可以被配置为执行至少一个指令以：获得包括在第一特征数据中的多条查询数据、多条键数据和多条值数据，所述多条查询数据、所述多条键数据和所述多条值数据分别对应于第一区域，基于所述多条查询数据和所述多条键数据获得权重矩阵，并且基于所述多条值数据和所述权重矩阵获得所述多条第二特征数据。

13、至少一个处理器还可以被配置为执行至少一个指令以：基于多条查询数据和多条键数据获得相关矩阵，以及基于第一图像的尺寸和用于训练至少一个神经网络的图像的尺寸通过对相关矩阵应用位置偏差来获得权重矩阵。

14、至少一个处理器还可以被配置为执行至少一个指令以：将被划分为包括第一数量的像素的第三区域的第三特征数据变换成被划分为第二区域，并且通过对第二区域中的每个执行第二图像处理来获得多条第四特征数据。

15、至少一个处理器还可以被配置为执行至少一个指令以：获得包括在第三特征数据中的多条第一查询数据、多条第一键数据和多条第一值数据，多条第一查询数据、多条第一键数据和多条第一值数据分别对应于包括第一数量的像素的第三区域，通过将所述多条第一查询数据、所述多条第一键数据和所述多条第一值数据分组为分别对应于所述第二区域，获得与第二区域对应的多条第二查询数据、多条第二键数据和多条第二值数据，基于所述多条第二查询数据和所述多条第二键数据获得权重矩阵，并且基于所述多条第二值数据和所述权重矩阵获得所述多条第四特征数据。

16、从多条第二特征数据获得第三特征数据。

17、至少一个神经网络可以包括至少一个卷积神经网络，并且至少一个处理器还可以被配置为执行至少一个指令以通过使用至少一个卷积神经网络从第一图像中提取第一特征数据。

18、至少一个神经网络可以包括至少一个卷积神经网络，并且至少一个处理器还可以被配置为执行至少一个指令以：基于多条第二特征数据和多条第四特征数据获得第五特征数据，以及通过使用至少一个卷积神经网络从第五特征数据获得第二图像。

19、根据本公开的一方面，用于通过使用至少一个神经网络来处理图像的图像处理装置的操作方法可以包括：基于第一图像获得第一特征数据。

20、用于通过使用至少一个神经网络来处理图像的图像处理装置的操作方法可以包括：通过对第一特征数据执行第一图像处理来获得与第一图像的第一区域相对应的多条第二特征数据，第一区域包括第一数量的像素。

21、用于通过使用至少一个神经网络来处理图像的图像处理装置的操作方法可以包括：基于第一图像获得第三特征数据。

22、用于通过使用至少一个神经网络来处理图像的图像处理装置的操作方法可以包括：通过对第三特征数据执行第二图像处理来获得与第一图像的第二区域相对应的多条第四特征数据，第二区域包括大于第一数量的第二数量的像素。

23、用于通过使用至少一个神经网络来处理图像的图像处理装置的操作方法可以包括：基于多条第二特征数据和多条第四特征数据来生成第二图像。

24、第一图像处理和第二图像处理中的每个可以包括执行自注意力操作。

25、获得多条第二特征数据可以包括基于关于第一区域中的每个的外围区域的信息获得分别对应于第一区域的多条第二特征数据，并且获得多条第四特征数据可以包括基于关于第二区域中的每个的外围区域的信息获得分别对应于第二区域的多条第四特征数据。

26、第一数量是1，并且第一区域中的每个可以包括一个像素。

27、获得所述多条第二特征数据可以包括：获得包括在所述第一特征数据中的多条查询数据、多条键数据和多条值数据，所述多条查询数据、所述多条键数据和所述多条值数据分别对应于所述第一区域；基于所述多条查询数据和所述多条键数据获得权重矩阵；以及基于所述多条值数据和所述权重矩阵获得所述多条第二特征数据。

28、获得权重矩阵可以包括：基于多条查询数据和多条键数据获得相关矩阵，以及基于所述第一图像的尺寸和用于训练所述至少一个神经网络的图像的尺寸通过对所述相关矩阵应用位置偏差来获得所述权重矩阵。

29、获得多条第四特征数据可以包括：将被划分为包括第一数量的像素的第三区域的第三特征数据变换成被划分为第二区域；以及通过对所述第二区域中的每个执行所述第二图像处理来获得所述多条第四特征数据。

30、获得多条第四特征数据可以包括：获得包括在第三特征数据中的多条第一查询数据、多条第一键数据和多条第一值数据，多条第一查询数据、多条第一键数据和多条第一值数据分别对应于包括第一数量的像素的第三区域；通过将所述多条第一查询数据、所述多条第一键数据和所述多条第一值数据分组为分别对应于所述第二区域，获得对应于所述第二区域的多条第二查询数据、多条第二键数据和多条第二值数据；基于所述多条第二查询数据和所述多条第二键数据获得权重矩阵；以及基于所述多条第二值数据和所述权重矩阵获得所述多条第四特征数据。

31、从多条第二特征数据获得第三特征数据。

32、至少一个神经网络可以包括至少一个卷积神经网络，并且获得第一特征数据可以包括通过使用至少一个卷积神经网络从第一图像提取第一特征数据。

33、至少一个神经网络可以包括至少一个卷积神经网络，生成第二图像可以包括：基于多条第二特征数据和多条第四特征数据获得第五特征数据；以及通过使用至少一个卷积神经网络从第五特征数据获得第二图像。

34、至少一个计算机可读记录介质可以存储用于执行上述方法的程序。