图像处理方法及装置与流程

本公开涉及图像处理，尤其涉及一种图像处理方法及装置。

背景技术：

1、基于神经辐射场(neural radiance field，nerf)的相关方法常用于图像处理的新视角生成和重建任务中，但如图1所示原始nerf使用多层感知器(multilayerperceptron，mlp)网络来回归空间点的不透明度和密度，导致计算量非常大无法快速的训练和渲染。grid-based方法(如dvgo(deep visual grid cnn))或者hash-based方法(如instant-ngp)可以有效的提升网络速度，但无法处理由于多分辨率造成的混叠。混叠现象是由于高分辨率投影到地分辨率上，导致边缘出现锯齿，如图2所示。由于图像的每个像素实际可以看做光锥，越远分辨率越低，远处物体投影到图像上会出现混叠。相关技术中，mip-nerf首先提出将光锥中的点近似为高斯，如图3所示，mip-nerf相比于nerf，输入高斯的均值和方差直接用mlp回归不透明度和颜色。但是，mip-nerf虽然解决了混叠问题，但无法推广到grid-based方法上，也就意味着无法加速。如何提出一种可以用于grid-based方法的抗混叠方案，从而即可获得抗混叠带来的效果提升，又能快速的训练和渲染，是亟待解决的技术问题。

技术实现思路

1、有鉴于此，本公开提出了一种图像处理方法及装置。

2、根据本公开的一方面，提供了一种图像处理方法，所述方法包括：

3、将目标的第一三维坐标和对应的第一光线方向输入预构建的神经辐射场模型，预测出对应于所述第一三维坐标的第一特征值；

4、根据对应于所述目标的特征图像创建出图像金字塔，所述图像金字塔包括多个组，每个组包括至少一层，每一层为一张图像；

5、根据所述第一三维坐标与相机原点之间的距离，从所述图像金字塔的各层中确定出目标层；

6、利用所述图像金字塔中所述目标层对应的图像进行特征值检索，得到检索特征值；

7、将所述检索特征值输入预设坐标网络，预测出对应于所述目标的目标体密度和目标特征；

8、将所述目标特征和所述第一光线方向输入到预设方向网络，预测出对应于所述第一三维坐标的目标颜色；

9、根据所述目标颜色和所述目标体密度对所述目标进行渲染，得到所述目标对应的渲染图像。

10、在一种可能的实现方式中，所述图像金字塔中不同层的图像对应的高斯半径不同，根据所述目标的第一三维坐标与相机原点之间的距离，从所述图像金字塔的各层中确定出目标层，包括：

11、根据所述第一三维坐标与相机原点之间的距离、相机的焦距，确定出对应的目标半径；

12、确定出所述图像金字塔中各层的高斯半径与所述目标半径之间的差值，并将所述图像金字塔中各层中差值最小的两个层确定为目标层。

13、在一种可能的实现方式中，利用所述图像金字塔中所述目标层对应的图像进行特征值检索，得到检索特征值，包括：

14、将对应于所述目标的3d锥体投影到每个所述目标层对应的图像上，在所述目标层中每个层对应的图像上分别得到对应的平面三角形；

15、基于各所述平面三角形和所述目标层对应的图像进行特征值检索，得到检索特征值；

16、根据检索特征值通过三性插值进行计算，确定出检索特征值。

17、在一种可能的实现方式中，基于各所述平面三角形和所述目标层对应的图像进行特征值检索，得到检索特征值，包括：

18、对各所述目标层对应的图像中平面三角形所在区域进行特征值提取，得到多个待检索特征值；

19、对多个待检索特征值进行匹配检索，得到与所述目标匹配的多个检索特征值。

20、在一种可能的实现方式中，所述图像金字塔包括第一图像金字塔，所述第一图像金字塔包括多个组，每个组包括多层，根据对应于目标的特征图像创建出图像金字塔，包括：

21、通过三平面对所述目标所在的原始图像进行特征提取，得到第一特征图像；

22、根据所述第一特征图像，创建出所述第一图像金字塔。

23、在一种可能的实现方式中，所述图像金字塔包括第二图像金字塔，所述第二图像金字塔包括多个组，每个组包括一层或多层，根据对应于目标的特征图像创建出图像金字塔，包括：

24、对所述目标所在的原始图像进行特征提取，得到第二特征图像；

25、根据所述第二特征图像生成底层图像；

26、按照预设角度对所述底层图像进行旋转，得到旋转后图像，所述预设角度是根据角度采样数量确定的；

27、根据所述旋转后图像、各组所对应的高斯卷积核尺寸重复迭代，创建出第二图像金字塔。

28、在一种可能的实现方式中，当前组所对应的高斯卷积核的长与上一组对应的高斯卷积核的长之间具有第一比例关系、当前组所对应的高斯卷积核的宽与上一组对应的高斯卷积核的宽之间具有第二比例关系。

29、根据本公开的另一方面，提供了一种图像处理装置，所述装置包括：

30、金字塔创建模块，用于根据对应于目标的特征图像创建出图像金字塔，所述图像金字塔包括多个层，每一层为一张图像；

31、目标层确定模块，用于根据所述目标的第一三维坐标与相机原点之间的距离，从所述图像金字塔的各层中确定出目标层；

32、特征值检索模块，用于利用所述图像金字塔中所述目标层对应的图像进行特征值检索，得到检索特征值；

33、目标预测模块，用于将所述检索特征值输入预设坐标网络，预测出对应于所述目标的目标体密度和目标特征；

34、颜色预测模块，用于将所述目标特征和所述目标对应的第一光线方向输入到预设方向网络，预测出对应于所述第一三维坐标的目标颜色；

35、渲染模块，用于根据所述目标颜色和所述目标体密度对所述目标进行渲染，得到所述目标对应的渲染图像。

36、在一种可能的实现方式中，所述图像金字塔中不同层的图像对应的高斯半径不同，所述目标层确定模块，包括：

37、半径确定子模块，用于根据所述第一三维坐标与相机原点之间的距离、相机的焦距，确定出对应的目标半径；

38、层确定子模块，用于确定出所述图像金字塔中各层的高斯半径与所述目标半径之间的差值，并将所述图像金字塔中各层中差值最小的两个层确定为目标层。

39、在一种可能的实现方式中，所述特征值检索模块，包括：

40、投影子模块，用于将对应于所述目标的3d锥体投影到每个所述目标层对应的图像上，在所述目标层中每个层对应的图像上分别得到对应的平面三角形；

41、检索子模块，用于基于各所述平面三角形和所述目标层对应的图像进行特征值检索，得到检索特征值；

42、计算子模块，用于根据检索特征值通过三性插值进行计算，确定出检索特征值。

43、在一种可能的实现方式中，所述图像金字塔包括第一图像金字塔，所述第一图像金字塔包括多个组，每个组包括多层，所述金字塔创建模块，包括：

44、第一特征提取子模块，用于通过三平面对所述目标所在的原始图像进行特征提取，得到第一特征图像；

45、第一创建子模块，用于根据所述第一特征图像，创建出第一图像金字塔。

46、在一种可能的实现方式中，所述图像金字塔包括第二图像金字塔，所述第二图像金字塔包括多个组，每个组包括一层或多层，所述金字塔创建模块，包括：

47、第二特征提取子模块，用于对所述目标所在的原始图像进行特征提取，得到第二特征图像；

48、图像生成子模块，用于根据所述第二特征图像生成底层图像；

49、旋转子模块，用于按照预设角度对所述底层图像进行旋转，得到旋转后图像，所述预设角度是根据角度采样数量确定的；

50、第二创建子模块，用于根据所述旋转后图像、各组所对应的高斯卷积核尺寸重复迭代，创建出第二图像金字塔。

51、在一种可能的实现方式中，当前组所对应的高斯卷积核的长与上一组对应的高斯卷积核的长之间具有第一比例关系、当前组所对应的高斯卷积核的宽与上一组对应的高斯卷积核的宽之间具有第二比例关系。

52、根据本公开的另一方面，提供了一种图像处理装置，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为在执行所述存储器存储的指令时，实现上述方法。

53、根据本公开的另一方面，提供了一种非易失性计算机可读存储介质，其上存储有计算机程序指令，其中，所述计算机程序指令被处理器执行时实现上述方法。

54、根据本公开的另一方面，提供了一种计算机程序产品，包括计算机可读代码，或者承载有计算机可读代码的非易失性计算机可读存储介质，当所述计算机可读代码在电子设备的处理器中运行时，所述电子设备中的处理器执行上述方法。

55、本公开实施例所提供的图像处理方法及装置，根据对应于目标的特征图像创建出图像金字塔，所述图像金字塔包括多个层，每一层为一张图像；根据所述目标的第一三维坐标与相机原点之间的距离，从所述图像金字塔的各层中确定出目标层；利用所述图像金字塔中所述目标层对应的图像进行特征值检索，得到检索特征值；将所述检索特征值输入预设坐标网络，预测出对应于所述目标的目标体密度和目标特征；将所述目标特征和所述目标对应的第一光线方向输入到预设方向网络，预测出对应于所述第一三维坐标的目标颜色；根据所述目标颜色和所述目标体密度对所述目标进行渲染，得到所述目标对应的渲染图像。能够在抗混叠的同时，保证训练和渲染的快速、准确进行。

56、根据下面参考附图对示例性实施例的详细说明，本公开的其它特征及方面将变得清楚。