图像处理设备、图像处理设备的控制方法和存储介质与流程

本发明涉及图像处理设备、图像处理设备的控制方法和存储介质。

背景技术：

1、近年来，已知有利用多层神经网络进行学习的深度学习。深度学习用于诸如图像处理、语音处理和语言处理等的各种领域。例如，日本特开2022-58135公开了通过识别和获得图像中的人手并将人手与其他背景图像进行合成来生成用于增加手势识别模型的鲁棒性的学习数据的配置。此外，非专利文献1(zhihao xia,federico perazzi,michaelgharbi,kalyan sunkavalli,ayan chakrabarti；basis prediction networks foreffective burst denoising with large kernels.proceedings of the ieee/cvfconference on computer vision and pattern recognition(cvpr),2020,pp.11844-11853)公开了神经网络用于图像噪声减少处理的配置。非专利文献1中公开的配置旨在提高图像噪声减少处理之后的分辨率感，即，旨在与仅输入一个图像的情况相比通过输入多个图像(即，包括多个帧的连拍图像)并将多个图像合成在一起来提高图像噪声减少处理之后的图像质量。此外，非专利文献1中公开的配置能够减少连拍图像中的运动部分的后像(afterimage)。在减少后像时，通过输入包括在帧之间给予运动的多个帧的图像块(imagepatch)(连拍图像块)来进行学习。此外，通过使用连拍图像(例如，参见图4a)来进行学习，其中在连拍图像中，通过在帧之间使块的切出位置移位来使整个图像块移位。

2、在将多个图像进行合成时，当减少由相对大的运动引起的后像时，需要将待学习的运动量设置为大的量。然而，根据如非专利文献1中公开的使整个图像块移位的方法，在输出通过图像合成(将多个图像进行合成)而获得的合成图像时的分辨率感趋于以减少后像为代价而劣化。特别地，作为图像合成的预处理，在进行多个输入图像之间的对齐的情况下，整个画面的运动通过对齐而被大致吸收，并且仅剩下局部运动(例如，诸如人和车辆等的移动物体的运动)。此时，作为运动的学习，整个图像块的移位变得过度，并且作为图像合成的优点的分辨率感被损害。

3、此外，根据日本特开2022-58135中描述的配置，将预定图像与其他图像的一部分进行合成，以生成在神经网络中所使用的学习数据。然而，日本特开2022-58135涉及静止图像的图像识别，并且没有公开图像合成中的运动的学习。

技术实现思路

1、本发明提供了能够在将多个图像进行合成时既提高图像质量又减少后像的图像处理设备、图像处理设备的控制方法和存储介质。

2、因此，本发明提供了一种图像处理设备，用于进行用于将多个图像合成的图像处理模型的学习，所述图像处理设备包括：至少一个处理器；以及存储器，其耦合到所述处理器，所述存储器存储指令，所述指令在被所述处理器执行时使得所述处理器用作：第一获得单元，用于获得包括多个帧图像的第一图像组，所述多个帧图像包括成为用于将所述多个图像进行合成的基准的基准帧图像；第二获得单元，用于获得第二图像；第一生成单元，用于生成第三图像组，所述第三图像组包括通过将所述第二图像叠加在各个帧图像上而获得的叠加图像；第三获得单元，用于获得所述第三图像组的所述基准帧图像作为训练图像；第二生成单元，用于通过针对所述帧图像和所述第二图像或者针对所述叠加图像进行图像处理来生成输入图像组；以及学习单元，用于基于所述训练图像与通过将所述输入图像组输入到所述图像处理模型中而从所述图像处理模型输出的输出图像之间的误差，来进行所述图像处理模型的学习。所述第一生成单元使所述第二图像在各个帧图像上的叠加位置针对各个帧图像而不同。

3、根据本发明，可以在将多个图像进行合成时既提高图像质量又减少后像。

4、根据以下参考附图对示例性实施例的描述，本发明的其他特征将变得明显。

技术特征：

1.一种图像处理设备，用于进行用于将多个图像合成的图像处理模型的学习，所述图像处理设备包括：

2.根据权利要求1所述的图像处理设备，其中，

3.根据权利要求1所述的图像处理设备，其中，

4.根据权利要求1至3中任一项所述的图像处理设备，其中，

5.根据权利要求4所述的图像处理设备，其中，

6.根据权利要求1至3中任一项所述的图像处理设备，其中，

7.根据权利要求1至3中任一项所述的图像处理设备，其中，

8.根据权利要求1至3中任一项所述的图像处理设备，其中，

9.根据权利要求8所述的图像处理设备，其中，

10.根据权利要求9所述的图像处理设备，其中，

11.根据权利要求9所述的图像处理设备，其中，

12.根据权利要求9所述的图像处理设备，其中，

13.根据权利要求9所述的图像处理设备，其中，

14.根据权利要求1至3中任一项所述的图像处理设备，其中，

15.根据权利要求1至3中任一项所述的图像处理设备，其中，

16.根据权利要求1至3中任一项所述的图像处理设备，其中，

17.根据权利要求1至3中任一项所述的图像处理设备，其中，

18.一种用于控制图像处理设备的控制方法，所述图像处理设备用于进行用于将多个图像合成的图像处理模型的学习，所述控制方法包括：

19.一种非暂态计算机可读存储介质，其存储有程序，所述程序用于使计算机执行用于控制图像处理设备的控制方法，所述图像处理设备用于进行用于将多个图像合成的图像处理模型的学习，

技术总结本发明提供了图像处理设备、图像处理设备的控制方法和存储介质。图像处理设备能够在将多个图像进行合成时同时提高图像质量和减少后像。获得包括作为用于将多个帧图像进行合成的基准的基准帧图像的多个帧图像。通过在各个帧图像上叠加第二图像来生成包括叠加图像的第三图像组。获得基准帧图像作为训练图像。通过对帧图像和第二图像或对叠加图像进行图像处理来生成输入图像组。基于训练图像与通过将输入图像组输入到图像处理模型中而从图像处理模型输出的图像之间的误差来训练图像处理模型。第二图像叠加在帧图像上的位置针对帧图像而不同。技术研发人员：多和田典朗受保护的技术使用者：佳能株式会社技术研发日：技术公布日：2024/7/29