一种基于语义结合的低光图像增强方法及装置与流程

本申请涉及计算机，具体而言，涉及一种基于语义结合的低光图像增强方法、装置、计算机可读介质及电子设备。

背景技术：

1、低照度图像增强的传统方法主要包括基于直方图均衡(he)和retinex的方法。早期，基于直方图均衡(he)的图像增强方法得到广泛应用。尽管这些方法在某些情况可以下取得令人满意的视觉效果，但它们的性能多依赖手动选择的先验，复杂的优化过程也导致推理时间较长，不适合实时任务。基于卷积提取图像信息，这依赖于卷积核提供的感受野的大小，并不能完全关注全局信息，综上，存在低光图像增强效果较低的问题。

技术实现思路

1、本申请的实施例提供了一种基于语义结合的低光图像增强方法、装置、计算机可读介质及电子设备，进而至少在一定程度上可以解决低光图像增强效果较低的问题。

2、本申请的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本申请的实践而习得。

3、根据本申请的一个方面，提供了一种基于语义结合的低光图像增强方法，包括：获取待增强的低光图像；所述低光图像包括光照强度低于设定阈值时所拍摄的图像；基于所述低光图像的空间信息，提取所述低光图像的局部的细节信息和全局的结构信息；基于所述细节信息和所述结构信息，通过图像信号处理管道进行图像卷积和转换，生成增强图像。

4、在本申请中，基于前述方案，所述基于所述低光图像的空间信息，提取所述低光图像的局部的细节信息和全局的结构信息，包括：通过多个卷积特征增强块构建局部结构分支和全局结构分支；通过所述局部结构分支和所述全局结构分支构建特征提取结构；基于低光图像的空间信息，通过所述特征提取结构提取所述低光图像的局部的细节信息和全局的结构信息。

5、在本申请中，基于前述方案，所述卷积特征增强块依次包括：预设大小的深度卷积、第一逐点卷积、深度可分离卷积以及第二逐点卷积；其中，所述预设大小的深度卷积用于编码位置信息，所述第二逐点卷积用于增强图像局部细节。

6、在本申请中，基于前述方案，所述局部结构分支包括第一预设数量的卷积特征增强块，其中，可分离卷积核大小为5，用于挖掘细粒度特征；所述全局结构分支包括第二预设数量的卷积特征增强块，其中，可分离卷积核大小依次增大，用于逐步捕捉大尺度的特征。

7、在本申请中，基于前述方案，所述基于所述低光图像的空间信息，提取所述低光图像的局部的细节信息和全局的结构信息，包括：对所述低光图像进行编码重建，生成所述低光图像对应的原始图像；对所述原始图像进行解码，确定其中局部的细节信息和全局的结构信息。

8、在本申请中，基于前述方案，所述基于所述细节信息和所述结构信息，通过图像信号处理管道进行图像卷积和转换，生成增强图像，包括：基于所述细节信息和所述结构信息，通过图像信号处理管道进行图像卷积，在每个卷积层后应用激活函数，生成增强图像。

9、在本申请中，基于前述方案，所述方法还包括：基于平滑损失、语义损失以及感知损失构建损失函数。

10、根据本申请的一个方面，提供了一种基于语义结合的低光图像增强装置，包括：

11、获取单元，用于获取待增强的低光图像；所述低光图像包括光照强度低于设定阈值时所拍摄的图像；

12、提取单元，用于基于所述低光图像的空间信息，提取所述低光图像的局部的细节信息和全局的结构信息；

13、增强单元，用于基于所述细节信息和所述结构信息，通过图像信号处理管道进行图像卷积和转换，生成增强图像。

14、在本申请中，基于前述方案，所述基于所述低光图像的空间信息，提取所述低光图像的局部的细节信息和全局的结构信息，包括：通过多个卷积特征增强块构建局部结构分支和全局结构分支；通过所述局部结构分支和所述全局结构分支构建特征提取结构；基于低光图像的空间信息，通过所述特征提取结构提取所述低光图像的局部的细节信息和全局的结构信息。

15、在本申请中，基于前述方案，所述卷积特征增强块依次包括：预设大小的深度卷积、第一逐点卷积、深度可分离卷积以及第二逐点卷积；其中，所述预设大小的深度卷积用于编码位置信息，所述第二逐点卷积用于增强图像局部细节。

16、在本申请中，基于前述方案，所述局部结构分支包括第一预设数量的卷积特征增强块，其中，可分离卷积核大小为5，用于挖掘细粒度特征；所述全局结构分支包括第二预设数量的卷积特征增强块，其中，可分离卷积核大小依次增大，用于逐步捕捉大尺度的特征。

17、在本申请中，基于前述方案，所述基于所述低光图像的空间信息，提取所述低光图像的局部的细节信息和全局的结构信息，包括：对所述低光图像进行编码重建，生成所述低光图像对应的原始图像；对所述原始图像进行解码，确定其中局部的细节信息和全局的结构信息。

18、在本申请中，基于前述方案，所述基于所述细节信息和所述结构信息，通过图像信号处理管道进行图像卷积和转换，生成增强图像，包括：基于所述细节信息和所述结构信息，通过图像信号处理管道进行图像卷积，在每个卷积层后应用激活函数，生成增强图像。

19、在本申请中，基于前述方案，所述方法还包括：基于平滑损失、语义损失以及感知损失构建损失函数。

20、根据本申请的一个方面，提供了一种计算机可读介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述实施例中所述的基于语义结合的低光图像增强方法。

21、根据本申请的一个方面，提供了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如上述实施例中所述的基于语义结合的低光图像增强方法。

22、根据本申请的一个方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述各种可选实现方式中提供的基于语义结合的低光图像增强方法。

23、在本申请的技术方案中，获取待增强的低光图像；所述低光图像包括光照强度低于设定阈值时所拍摄的图像；基于所述低光图像的空间信息，提取所述低光图像的局部的细节信息和全局的结构信息；基于所述细节信息和所述结构信息，通过图像信号处理管道进行图像卷积和转换，生成增强图像。本申请的技术方案可以高效、有效地增强低光图像，同时保留丰富语义信息，显著改善感知质量。

24、应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。

技术特征：

1.一种基于语义结合的低光图像增强方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，基于所述低光图像的空间信息，提取所述低光图像的局部的细节信息和全局的结构信息，包括：

3.根据权利要求2所述的方法，其特征在于，所述卷积特征增强块依次包括：预设大小的深度卷积、第一逐点卷积、深度可分离卷积以及第二逐点卷积；

4.根据权利要求2所述的方法，其特征在于，包括：

5.根据权利要求1所述的方法，其特征在于，基于所述低光图像的空间信息，提取所述低光图像的局部的细节信息和全局的结构信息，包括：

6.根据权利要求1所述的方法，其特征在于，基于所述细节信息和所述结构信息，通过图像信号处理管道进行图像卷积和转换，生成增强图像，包括：

7.根据权利要求1所述的方法，其特征在于，所述方法还包括：

8.一种基于语义结合的低光图像增强装置，其特征在于，包括：

9.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的基于语义结合的低光图像增强方法。

10.一种电子设备，其特征在于，包括：

技术总结本申请提供了一种基于语义结合的低光图像增强方法、装置、计算机可读介质及电子设备。该基于语义结合的低光图像增强方法包括：在本申请技术方案中，获取待增强的低光图像；所述低光图像包括光照强度低于设定阈值时所拍摄的图像；基于所述低光图像的空间信息，提取所述低光图像的局部的细节信息和全局的结构信息；基于所述细节信息和所述结构信息，通过图像信号处理管道进行图像卷积和转换，生成增强图像。本申请的技术方案可以高效、有效地增强低光图像，同时保留丰富语义信息，显著改善感知质量。技术研发人员：郭飞,张昊,裴莹,王军亮,郑珂受保护的技术使用者：西安塔力科技有限公司技术研发日：技术公布日：2024/7/29