基于神经网络的视频图像增强方法、装置及电子设备与流程

本申请涉及图像后处理，尤其涉及一种基于神经网络的视频图像增强方法、装置及电子设备。

背景技术：

1、神经网络(neural networks，简称nn)是由大量的、简单的处理单元(称为神经元)广泛地互相连接而形成的复杂网络系统，是一个高度复杂的非线性动力学习系统。

2、图像后处理指的是在图像数据经过编码、传输和解码之后，对其进行进一步的处理，包括去压缩失真、去噪、超分辨率等，通常用于提升图像主观质量。

技术实现思路

1、有鉴于此，本申请提供一种基于神经网络的视频图像增强方法、装置及电子设备。

2、具体地，本申请是通过如下技术方案实现的：

3、根据本申请实施例的第一方面，提供一种基于神经网络的视频图像增强方法，包括：

4、获取前端设备的第一图像；所述第一图像包括至少2类图像；

5、对所述第一图像进行数据前处理，得到第二图像；其中，所述第二图像的分辨率等于或小于所述第一图像的分辨率，所述第二图像的数量大于或等于所述第一图像的数量；

6、利用神经网络，对所述第二图像进行ai处理，得到第三图像；其中，所述第三图像用于存储或显示，所述第三图像的类型数量小于或等于所述第一图像的类型数量，且所述第三图像的分辨率等于或大于所述第一图像中同类图像的分辨率，所述第三图像的类型数量与所述第一图像的类型数量，以及，所述第三图像的分辨率与所述第一图像中同类图像的分辨率，二者中至少一个不同。

7、根据本申请实施例的第二方面，提供一种基于神经网络的视频图像增强装置，包括：

8、获取单元，用于获取前端设备的第一图像；所述第一图像包括至少2类图像；

9、第一处理单元，用于对所述第一图像进行数据前处理，得到第二图像；其中，所述第二图像的分辨率等于或小于所述第一图像的分辨率，所述第二图像的数量大于或等于所述第一图像的数量；

10、第二处理单元，用于利用神经网络，对所述第二图像进行ai处理，得到第三图像；其中，所述第三图像用于存储或显示，所述第三图像的类型数量小于或等于所述第一图像的类型数量，且所述第三图像的分辨率等于或大于所述第一图像中同类图像的分辨率，所述第三图像的类型数量与所述第一图像的类型数量，以及，所述第三图像的分辨率与所述第一图像中同类图像的分辨率，二者中至少一个不同。

11、根据本申请实施例的第三方面，提供一种电子设备，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的机器可执行指令，所述处理器用于执行机器可执行指令，以实现第一方面提供的方法。

12、根据本申请实施例的第四方面，提供一种机器可读存储介质，所述机器可读存储介质内存储有机器可执行指令，所述机器可执行指令被处理器执行时实现第一方面提供的方法。

13、根据本申请实施例的第五方面，提供一种智能装置，包括：处理器、存储器以及显示屏，所述存储器存储有能够被所述处理器执行的机器可执行指令，所述处理器用于执行机器可执行指令，以实现第一方面提供的方法，所述智能装置还用于对所述第三图像进行显示。

14、本申请实施例的基于神经网络的视频图像增强方法，通过对获取到的前端设备的第一图像进行数据前处理，得到第二图像，并利用神经网络，对第二图像进行ai处理，得到第三图像，其中，第三图像的类型数量小于或等于第一图像的类型数量，第三图像的分辨率等于或大于第一图像中同类图像的分辨率，且第三图像的类型数量与第二图像的类型数量，以及，第三图像的分辨率与第一图像中同类图像的分辨率，二者中至少一个不同，实现了基于神经网络的视频图像增强。此外，由于数据前处理可以支持图像分辨率的降低，因此，可以降低输入到神经网络中进行处理的图像数据的分辨率，从而，可以降低神经网络的处理性能要求，以及，提高神经网络的处理效率，为轻量化的模型实现提供了技术支持，便于模型在端侧设备上部署。

技术特征：

1.一种基于神经网络的视频图像增强方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述对所述第一图像进行数据前处理，得到第二图像，包括：

3.根据权利要求2所述的方法，其特征在于，对于非边缘块，填充区域的像素值为所述第一图像中该区域的像素值；其中，非边缘块为未包括所述第一图像的边界的图像块；

4.根据权利要求1所述的方法，其特征在于，所述利用神经网络，对所述第二图像进行ai处理，包括：

5.根据权利要求4所述的方法，其特征在于，所述图像变换结果还包括目标计算结果，所述目标计算结果用于对所述第四图像进行图像增强；

6.根据权利要求4所述的方法，其特征在于，所述第二图像中不同类型图像的图像变换方式不同。

7.根据权利要求1所述的方法，其特征在于，所述第二图像包括亮度图像和色度图像；

8.根据权利要求1所述的方法，其特征在于，一个所述第二图像对应对所述第一图像进行块划分得到一个图像块；

9.根据权利要求8所述的方法，其特征在于，在所述第二图像通过对所述图像块进行边界外侧像素填充得到的情况下，

10.根据权利要求8所述的方法，其特征在于，所述依据各图像块的宽度、各图像块的存储起始地址，以及，存储跨度，分别将各增强处理后的第二图像对应的串行图像数据存储至同一指定存储设备，包括：

11.根据权利要求1所述的方法，其特征在于，所述对所述第一图像进行数据前处理，得到第二图像，包括：

12.一种基于神经网络的视频图像增强装置，其特征在于，包括：

13.一种电子设备，其特征在于，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的机器可执行指令，所述处理器用于执行机器可执行指令，以实现如权利要求1-11任一项所述的方法。

14.一种智能装置，其特征在于，包括：处理器、存储器以及显示屏，所述存储器存储有能够被所述处理器执行的机器可执行指令，所述处理器用于执行机器可执行指令，以实现如权利要求1-11任一项所述的方法，所述智能装置还用于对所述第三图像进行显示。

技术总结本申请提供一种基于神经网络的视频图像增强方法、装置及电子设备，该方法包括：获取前端设备的第一图像；所述第一图像包括至少2类图像；对所述第一图像进行数据前处理，得到第二图像；利用神经网络，对所述第二图像进行AI处理，得到第三图像；其中，所述第三图像用于存储或显示，所述第三图像的类型数量小于或等于所述第一图像的类型数量，且所述第三图像的分辨率等于或大于所述第一图像中同类图像的分辨率，所述第三图像的类型数量与所述第一图像的类型数量，以及，所述第三图像的分辨率与所述第一图像中同类图像的分辨率，二者中至少一个不同。该方法可以实现基于神经网络的视频图像增强。技术研发人员：孙煜成,刘祥凯,陈方栋,武晓阳,俞海受保护的技术使用者：杭州海康威视数字技术股份有限公司技术研发日：技术公布日：2024/8/5