一种基于多尺度时空特征融合的暗光视频增强方法及系统

1.本发明涉及一种暗光视频增强方法及系统，具体涉及一种基于多尺度时空特征融合的暗光视频增强方法及系统，属于计算机视觉技术领域。


背景技术：

2.暗光视频，是指由于不可避免的环境或技术限制(如光照不足或曝光时间有限)，在次优照明条件下拍摄所获得的视频。这类视频受背光、光线不均、光线昏暗的影响，存在低对比度、高噪声等缺点，给人带来较差的视觉体验。此外，由于黑暗和噪声隐藏了图像中的细节，图像所携带的信息量大大减少，这对计算机视觉技术一系列下游领域，如目标检测、实例分割等带来了很多不利影响。
3.暗光视频增强技术，旨在提高暗光视频的感知或可解释性，是一项重要的视频处理技术。通过暗光增强，可以去除视频中的噪声，增大亮度，增强对比度，恢复细节层次，将暗光视频恢复至正常光照视频。随着暗光视频增强技术的不断发展，一些从硬件层面难以解决的问题在暗光增强算法的支持下取得了很大进展，该技术在如手机计算摄影、自动驾驶、夜间监控等领域得到广泛应用，创造了极大的实用价值和经济价值，取得了令人满意的效果。
4.传统的暗光视频增强技术主要利用先验约束或者统计学原理建立算法模型，提升暗光视频的表现。例如，ssr等方法使用retinex理论作为先验约束，将暗光图像分解为光照分量和反射分量，并在此基础上矫正标准光照；直方图均衡话的方法则是统计图像当中像素光强的分布，并通过均衡整个图像强度以满足近似均匀分布的形式，实现图像或者视频的提亮。以上方法被广泛应用于图像采集设备的底层处理流程中，或者作为各大视频处理算法的上游算法对数据进行预处理。
5.然而，传统的算法依赖于模型假设的有效性，并且需要基于特定任务的不同先验条件对算法模型人工进行调整，处理能力被大大限制。此外，大部分传统的暗光增强算法仅限于提高视频亮度和对比度等方面，对噪声的抑制不足，导致了增强后的视觉效果并不理想，更无法作为优秀的输入数据引入至下游视觉算法中。
6.近年来，随着深度学习技术的快速发展，构建具有高鲁棒性的深度学习网络模型，并用成对监督数据对模型进行训练，实现了具有远超传统方法量化指标和可视化效果的暗光视频增强效果。
7.然而，受限于卷积操作的局限性，在视频数据信息处理过程当中，当前基于多尺度编解码器结构的网络模型无法使用全局视野范围内的时域和空域信息进行特征信息的重建，并且在特征拼接时无法高效利用时空信息充分融合特征，因此，现有方法在处理暗光视频时，容易产生噪声明显、偏色、伪影等现象，使得模型在暗光视频增强时的表现不够理想，存在较大的改进和提升的空间。
8.为了克服当前多尺度编解码器结构存在的问题，解决噪声明显、偏色、伪影等现象，亟需一种能够利用全局视野时空特征信息，并能够在特征拼接时高效融合的暗光视频
增强方法。


技术实现要素：

9.本发明的目的是针对现有技术存在的不足和缺陷，为了解决基于多尺度编解码器结构的网络模型在处理暗光视频时无法使用全局视野范围内的时域和空域信息进行特征信息的重建，且在特征拼接时无法高效利用时空信息充分融合特征等技术问题，创造性地提出一种基于多尺度时空特征融合的暗光视频增强方法及系统。本发明能够充分利用暗光视频的空间内部信息与相邻帧间信息，实现高量化指标和高视觉感官效果的暗光视频增强。
10.本发明的创新点在于：首次采用了将基于多尺度时空特征融合的暗光视频增强分为训练和使用阶段。在训练阶段，在暗光视频-正常光视频配对的训练数据中，将暗光视频依照其不同的数据格式进行预处理，使不同像素依照色彩滤镜分离至不同通道。若已知相机曝光设定，可进一步根据视频昏暗程度的不同，对视频亮度进行初步的线性提升，以该数据作为训练阶段的输入数据。随后，暗光视频增强算法根据输入的暗光视频产生一份增强后视频，并将其与真实正常光视频进行比对，计算损失函数并通过反向传播过程更新算法模型当中的各个参数；经过多次遍历训练数据集当中的成对数据，并重复执行上述步骤，直到达到预设的终止条件后，将模型结构与训练更新后得到的模型参数进行保存。在使用阶段，首先根据在训练阶段保存好的模型结构与模型参数构建暗光视频增强模型，随后，将待处理的暗光视频经过数据预处理后作为输入数据送入模型当中进行暗光增强，最后，将模型输出的增强视频数据进行存储。除此之外，若已有可参考的真实正常光下视频，系统可通过评估方法衡量增强视频与正常光下真实视频的差异度，从而客观、定量地评估增强视频的质量，判断暗光视频增强模型的效果优劣。同时，本发明提出了一种实现上述方法的系统。
11.为达到以上目的，本发明采用以下技术方案：
12.一种基于多尺度时空特征融合的暗光视频增强方法，包括训练和使用两个阶段。
13.步骤1：训练阶段。
14.使用暗光视频-正常光视频配对数据集迭代更新算法模型的参数字典。
15.具体地，步骤1包括以下步骤：
16.步骤1.1：将暗光视频依照其数据格式进行预处理，使不同像素依照色彩滤镜分离至不同通道，并对数据完成数据预处理与数据增广。
17.优选地，可以采用以下处理方法：
18.对暗光视频数据，以逐帧图像的形式进行处理：将暗光视频依照其数据格式进行预处理，使不同像素依照色彩滤镜分离至不同通道，形成便于后续模型处理的指定空间分辨率的视频数据。
19.在视频数据预处理之后，将暗光数据和正常光数据进行数据增广操作(包括旋转、翻转、中心对称变换等)。
20.如果已知相机曝光设定，可以根据具体的设定值对暗光视频的亮度进行初步线性的增强。
21.步骤1.2：采用暗光视频增强算法，根据输入的暗光视频产生1份增强后视频，并将
其与真实正常光视频进行比对，计算损失函数并通过反向传播过程更新算法模型当中的各个参数。
22.优选地，可以采用以下处理方法：
23.从步骤1.1处理后的训练数据集中，随机选取1段指定帧数的暗光视频输入算法模型。算法模型对该数据进行增强处理，输出同样帧数的增强后视频，受数据格式和视频数据预处理过程的影响，输入数据的宽和高是输出数据的一半，或与输出数据相同。
24.增强后的视频以逐帧形式进行输出。
25.具体地，所述暗光视频增强算法模型包括编解码器主体结构、特征提取重建模块、时序-通道注意力模块。
26.当预处理后的暗光视频数据输入算法模型后，首先经过编码器部分进行特征的初步提取。编码器部分包括四个层级，每个层级的构成相同，均是由用于特征提取的卷积操作、跳跃连接卷积操作、降采样卷积操作以及激活函数构成。各层级的编码器部分计算得到的特征张量有两个传递方向，一是经过降采样后传递至下一层级的编码器，作为其输入数据，二是传入特征提取重建模块当中，由特征提取重建模块进行下一步的特征处理过程。对于该部分，参数字典包括各个卷积操作中的参数。
27.经过初步特征提取后，各个层级特征被传入同层级的特征提取重建模块之中。特征提取重建模块包括特征嵌入模块、连续3d swin-transformer块、特征重建模块，其中，特征嵌入模块用于分割来自编码器部分的特征图，特征图压缩转化为特征序列，使得特征序列中包含全局的时空信息。连续3dswin-transformer块用于进一步处理具有全局时空信息的特征序列，由于3dswin-transformer块的结构特性，该过程不会引入过多的额外计算量。特征重建模块用于参考编码器特征，重建特征序列至指定大小的特征图，该特征图被进一步送至时序-通道注意力模块当中进行处理。
28.时序-通道注意力模块的输入数据包括两部分：来自特征提取重建模块的重建特征和来自解码器某层级的解码特征。其中，时序-通道注意力模块首先将重建特征和解码特征在空间维度进行全局平均池化操作，产生维度等于通道数的向量gap1(fr)和向量gap1(fd)。随后，对两个向量相加取平均，再进行线性映射并通过relu引入非线性sigmoid构建注意力，得到注意力mask1。然后，对重建特征和解码特征在时间维度进行全局平均池化，产生维度等于帧数的向量gap2(fr)以及向量gap2(fd)。随后，同样对两向量相加取平均，再进行线性映射并通过sigmoid引入非线性，得到注意力mask2。最后，对重建特征施加mask1及mask2注意力，使其在通道维度和时间维度得到不同通道、时间序列的重要性，得到时空互补特征。
29.解码器部分从整体结构上与编码器部分保持一致，都由四个不同层级的卷积操作和激活函数组成。不同之处在于，解码器部分是采用上采样增大空间分辨率，并且使用来自上一层级的解码特征和来自同一层级的自时序-通道注意力模块的拼接特征作为输入数据。在经过四个层级的特征重建后，解码器部分输出特定维度的特征图至一层像素混洗层，该层使得特征的通道纬度数据以可学习的方式减少至原来的四分之一，并重组至空间维度，实现通道数的缩减和空间维度的扩增。最终，该层输出的数据即为增强后的视频数据。
30.在上述模型的训练过程中，可以采用渐进式训练方式，因此，模型的训练过程分为两步。
31.第一步：仅对模型中的编解码器部分进行训练。该过程使用的损失函数为：
[0032][0033]
其中，v
nl
、v
ll
分别代表正常光条件下的真值视频、暗光条件下的待处理视频，θ1为模型的可训练参数，代表仅包含编解码器的模型。
[0034]
第二步：训练包含编解码器主体结构、特征提取重建模块、时序-通道注意力模块的完整的暗光增强模型。在训练前，初始化编解码器部分的参数字典为第一步训练保存的结果。该过程使用的损失函数为：
[0035][0036]
其中，v
nl
、v
nl
分别代表正常光条件下的真值视频、暗光条件下的待处理视频，(θ1,θ2)为模型的可训练参数，代表完整的暗光增强模型。
[0037]
重复步骤第一步训练，直至满足设定的终止条件，保存网络的结构和模型参数；初始化编解码器部分的参数字典为第一步训练保存的结果，重复第二步训练，直至满足设定的终止条件，保存网络的结构和模型参数。
[0038]
优选地，在训练过程中，不断随机地向模型输入暗光视频片段和正常光视频片段，直到训练达到预设的轮次数量或者评估指标满足的预设值时，训练过程停止，并保存模型结构和模型参数。
[0039]
步骤2：使用阶段。
[0040]
利用步骤1训练得到的模型参数初始化暗光视频增强算法模型，使用该模型增强暗光视频并存储。
[0041]
进一步地，如果存在暗光视频对应的真实正常光下视频，则可以评估增强视频的质量和效果，判断暗光增强模型的效果优劣。
[0042]
具体地，步骤2包括以下步骤：
[0043]
步骤2.1：使用步骤1训练得到的模型参数初始化暗光视频增强算法模型，使用该模型增强暗光视频并存储。
[0044]
优选地，首先将暗光视频依照模型输入数据要求进行预处理，若已知相机曝光设定，根据具体的设定值对暗光视频的亮度进行初步线性的增强。然后，读取步骤1训练得到的模型参数，并依照模型结构进行模型的创建与加载。之后，将已处理的暗光视频数据送入该模型当中，生成增强后的正常光视频。最后，保存该视频。
[0045]
步骤2.2：如果存在暗光视频对应的真实正常光下视频，则评估增强视频的质量和效果，判断暗光增强模型的效果优劣。
[0046]
优选地，为了能够客观判定增强视频的质量，可以使用峰值信噪比psnr(peak signal to noise ratio)和结构相似性ssim(structural similarity)计算增强视频和真值视频之间的客观差距。
[0047]
其中，峰值信噪比表示信号的最大功率和破坏性噪声功率之间的比值。峰值信噪比的单位常用分贝(db)表示，峰值信噪比的数值越高，表示图像、视频质量越高。峰值信噪比psnr的计算方法为：
[0048]
[0049]
其中，n表示单通道单像素点的比特深度。例如，灰度图像单个像素点为8bit，rgb图像每个通道对应的单像素点也为8bit，而一些原始感光raw图像则为14bit。
[0050]
mse表示均方误差，计算方式为：
[0051][0052]
其中，h和w为图像的高与宽，i(i,j)、均表示在(i,j)位置上像素的值。
[0053]
采用结构相似性ssim作为结构的衡量指标，从结构上比较真值视频和增强视频之间的相似度。给定真值视频帧i与增强后的视频帧ssim的计算方式为：
[0054][0055]
其中，μi是i的平均值，是的平均值；是i的方差，是的方差，示i与的协方差；c1＝(k1l)2，c2＝(k2l)2，c1、c2均是用于维持稳定的常数，k1、k2均为常数，用于调整c1、c2数值并使其远小于1，优选地，k1＝0.01、k2＝0.03；l是像素值的动态范围，l＝2
n-1，n表示单通道单像素点的比特深度；ssim的取值范围为[0，1]，值越接近1，说明两视频帧结构越相似。
[0056]
进一步地，基于以上方法，本发明提出一种基于多尺度时空特征融合的暗光视频增强系统，包括数据预处理子系统、暗光增强模型子系统、损失函数计算子系统和结果评价子系统。
[0057]
其中，数据预处理子系统包括暗光视频预处理模块和数据增广模块。暗光视频预处理模块用于将暗光视频依照其数据格式进行预处理，将不同像素依照色彩滤镜分离至不同通道。数据增广模块用于将暗光视频和正常光视频进行旋转、翻转或中心对称变换，扩增可训练的数据集，从而增强暗光视频增强模型的泛化能力。
[0058]
暗光增强模型子系统包括编码器模块、解码器模块、特征提取重建模块、时序-通道注意力模块。其中，编解码器模块是暗光增强模型子系统的主体部分，其包括四个层级，每个层级的构成相同，均由用于特征提取的卷积操作、跳跃连接卷积操作、下采样卷积操作以及激活函数构成，该部分用于对暗光视频特征进行初步的提取。具体地，特征提取重建模块包括特征嵌入模块、连续3dswin-transformer模块和特征重建模块。具体地，特征提取重建模块使用特征嵌入模块分割来自编码器部分的特征图，将特征图压缩转化为特征序列，随后送入3d swin-transformer模块，利用transformer的非局部信息聚合及全局视野进行时间-空间信息处理，处理后的特征序列由特征重建模块重建特征序列至指定大小的特征图。时序-通道注意力模块在时间和空间维度上构建注意力，从而将来自特征提取重建模块的重建特征和来自解码器模块某层级的解码特征，在通道维度和时间维度得到不同通道、时间序列的重要性，在更细粒度的时空维度上融合拼接，得到时空互补特征。
[0059]
损失函数计算子系统，包括编解码器损失函数计算模块和完整模型损失函数计算模块。其中，编解码器损失函数计算模块用于训练过程的第一阶段，对编解码器结构增强的到的增强暗光视频和真实暗光视频计算平均绝对误差，该损失将通过反向传播过程以及参数优化器，更新编解码器部分各个参数，从而不断优化编解码器的暗光增强表现。完整模型损失计算模块用于训练过程的第二阶段，对编解码器结构添加特征提取重建模块、时序-通
道注意力模块，得到完整暗光视频增强模型，对完整暗光视频增强模型处理得到的增强视频和真实暗光视频计算平均绝对误差，并通过反向传播过程以及参数优化器，更新编解码器部分各个参数，从而不断优化完整模型的暗光增强表现。
[0060]
结果评价子系统，用于将增强视频和真实正常光下视频进行比对，计算psnr、ssim等客观评价指标，从而量化本系统所增强暗光视频的质量。
[0061]
上述组成系统之间的连接关系为：
[0062]
数据预处理子系统与暗光增强模块子系统、结果评价子系统分别相连，向暗光增强模块子系统提供经视频预处理和数据增广得到的处理后的、符合模型输入输出格式的暗光视频以及真实正常光下视频，向结果评价子系统提供真实正常光下视频。
[0063]
在数据预处理子系统中，暗光视频预处理模块和数据增广模块相连。其中，暗光视频预处理模块向数据增广模块提供符合数据增广格式要求的视频数据。
[0064]
暗光增强模型子系统与数据预处理子系统、损失函数计算子系统和结果评价子系统分别相连，其根据数据预处理子系统输入的暗光视频恢复出增强后的暗光视频至损失函数计算子系统和结果评价子系统。
[0065]
在暗光增强模型子系统中，编码器模块与解码器模块、特征提取重建模块相连。解码器模块与编码器模块、时序-通道注意力模块相连。
[0066]
在特征提取重建模块中，特征嵌入模块与3d swin-transformer模块相连；3d swin-transformer模块与特征嵌入模块以及特征重建模块相连；特征重建模块与3d swin-transformer模块相连。
[0067]
损失函数计算子系统与数据预处理子系统、暗光增强模型子系统相连。其从数据预处理子系统获取数据增广后的真实正常光视频，然后，从暗光增强模型子系统获取编解码器增强视频和完整模型增强结果。解码器增强视频和完整模型增强结果分别与真实正常光视频对比计算损失，并将该损失回传至暗光增强模型子系统，用于更新暗光增强模型子系统中模型的参数。
[0068]
在损失函数计算子系统中，编解码器损失计算模块与完整模型损失计算模块独立工作，互不连接。
[0069]
结果评价子系统与数据预处理子系统、暗光增强模型子系统分别相连，其从数据预处理子系统中获取真实正常光下视频，从暗光增强模型子系统中获取增强后视频，通过将二者比对计算评价指标，量化地反映增强后视频的质量。
[0070]
上述系统的处理过程如下：
[0071]
步骤1：将暗光视频输入至数据预处理子系统，进行视频数据预处理、数据增广；
[0072]
步骤2：将暗光视频送入暗光增强模型子系统中的编解码器模块，暗光视频经由该部分处理，生成增强视频待使用；
[0073]
步骤3：损失函数计算子系统中的编解码器损失函数计算模块接收编解码器模块生成的增强视频以及数据预处理子系统生成的真实正常光下视频，计算损失值，并回传至编解码器模块中用于训练；
[0074]
步骤4：暗光增强模型子系统中的编解码器模块根据损失函数计算子系统中的编解码器损失函数计算模块传回的损失值，并利用优化器进行参数优化，完成一次训练迭代；
[0075]
步骤5：重复执行上述步骤1至4，每当对全部训练集遍历一次后，在结果评价子系
统上使用验证集数据对当前参数下模型效果进行评估。若计算得到的量化指标已满足预设条件，或当前训练迭代次数达到预设上线，则停止训练，保存当前编解码器模块的参数字典，继续步骤6；
[0076]
步骤6：；将步骤5当中保存的编解码器模块的参数字典加载至完整模型中的编解码器模块部分，完成完整模型的初始化工作；
[0077]
步骤7：与步骤1相同，将暗光视频输入至数据预处理子系统，进行预处理、数据增广，处理后的视频数据将被暂存在内存当中；
[0078]
步骤8：将暗光视频送入暗光增强模型子系统中的完整模型，暗光视频经由该部分处理，生成增强视频待使用；
[0079]
步骤9：损失函数计算子系统中的完整模型损失函数计算模块接收完整模型生成的增强视频以及数据预处理子系统生成的真实正常光下视频，计算损失值，并回传至完整模型中用于训练；
[0080]
步骤10：暗光增强模型子系统中的完整模型根据损失函数计算子系统中的完整模型损失函数计算模块传回的损失值，并利用优化器进行参数优化，完成一次训练迭代；
[0081]
步骤11：重复执行上述步骤7至10，每当对全部训练集遍历一次后，在结果评价子系统上使用验证集数据对当前参数下模型效果进行评估。若计算得到的量化指标已满足预设条件，或当前训练迭代次数达到预设上线，则停止训练，保存当前完整模型的参数字典，继续步骤12；
[0082]
步骤12：采用步骤11保存的参数字典初始化完整模型，将目标暗光视频数据送入该模型中进行暗光增强，保存输出视频并采用结果评价子系统评估增强后视频的图形质量。
[0083]
有益效果
[0084]
本发明方法，与现有技术相比，具有以下优点：
[0085]
1.本发明设计使用了一个多尺度时空特征融合的暗光视频增强模型，在每个层级编、解码器之间的跳跃连接部分，模型设计并引入了基于3dswin-transformer的特征提取重建模块和时序-通道注意力模块。
[0086]
与其他的暗光视频增强算法以及去噪算法比较，本发明设计使用的模型能够更有效地利用编、解码器信息，实现了更高精度和更高指标的暗光视频增强效果，尤其是恢复视频中物体纹理，去除噪声，维持帧间物体边界等方面均表现更优越。
[0087]
2.本发明设计使用了基于3d swin-transformer的特征提取重建模块，在编解码暗器结构的各个尺度编、解码器跳跃连接之间，该模块通过3d滑动窗口的方式捕获全局上下文信息，对特征图中物体信息在时空域建立长程依赖，进而表达了同时具有空域和时域全局视野的重建特征，在多尺度信息提取重建过程中有效减少编、解码之间特征的差异性。
[0088]
3.本发明设计使用了时序-通道注意力模块。在解码器特征拼接时，时序-通道注意力模块在时域和空域提取重建特征和解码特征注意力，并先后在特征维度和时空维度进行融合，从而得到同时具有两特征时空特点的时序-通道注意力和时空互补特征。相较于简单拼接特征的方式，时序-通道注意力模块能够将特征在更细粒度上微调融合，从而实现重建特征和解码特征间的时空互补。
附图说明
[0089]
图1是本发明方法的流程图。
[0090]
图2是本发明方法所述核心算法模型整体示意图。
[0091]
图3是本发明方法所述特征提取重建模块及其子模块示意图。
[0092]
图4是本发明方法所述时序-通道注意力模块示意图。
[0093]
图5是本发明系统的组成示意图。
具体实施方式
[0094]
为了更好的说明本发明的目的和优点，下面结合附图和实例对发明方法做进一步说明。
[0095]
实施例
[0096]
本实施例公开了一种基于多尺度时空特征融合的暗光视频增强方法，包括训练阶段和使用阶段。
[0097]
在训练阶段，在暗光视频-正常光视频配对的训练数据中，拜尔raw格式的单通道暗光视频通过分解重组的方式拆分为grbg四个不同颜色的通道，此外，若已知相机曝光设定，可根据视频昏暗程度的不同，对视频亮度进行初步的线性提升，以该数据作为训练阶段的输入数据。随后，暗光视频增强算法根据输入的暗光视频产生一份增强后视频，并将其与真实的rgb格式正常光视频进行比对，计算损失函数并通过反向传播过程更新算法模型当中的各个参数；经过多次遍历训练数据集当中的成对数据，并重复执行上述步骤，直到达到预设的终止条件后，将模型结构与训练更新后得到的模型参数进行保存。在使用阶段，首先根据在训练阶段保存好的模型结构与模型参数构建暗光视频增强模型，随后将待处理的暗光视频经过分解重组后作为输入数据送入模型当中进行暗光增强，最后将模型输出的增强视频数据进行存储。除此之外，若已有可参考的真实正常光下视频，系统可通过评估方法衡量增强视频与正常光下真实视频的差异度，从而客观、定量地评估增强视频的质量，判断暗光视频增强模型的效果优劣。本实施例的流程图如图1所示。
[0098]
以往暗光增强算法无法解决编、解码之间的特征差异性问题，并在特征拼接融合时可能产生伪细节纹理。因此，本实施例公开了一种多尺度时空特征融合的暗光视频增强方法，该方法结合跳跃连接特征提取重建模块与时序-通道注意力模块，使得模型在恢复视频中物体纹理，去除噪声，维持帧间物体边界等方面均取得更优的结果。该模型的结构示意图如图2所示。
[0099]
本实施例公开的一种基于多尺度时空特征融合的暗光视频增强方法，在使用阶段能够直接将输入的暗光视频增强至正常光下效果，无需施加任何先验条件和限制，也不需人工干涉。
[0100]
本实施例的详细内容如下。
[0101]
一种基于多尺度时空特征融合的暗光视频增强方法，分为训练和使用两个阶段，包括如下步骤：
[0102]
步骤1：训练阶段使用暗光视频-正常光视频配对数据集，迭代更新算法模型的参数字典。
[0103]
步骤1.1：处于拜尔raw格式的单通道暗光视频通过分解重组的方式拆分为grbg四
个不同颜色的通道，并对数据完成标准化、归一化等数据预处理与图像翻转、对称变换等数据增广。
[0104]
对视频数据以逐帧图像的形式进行处理。对于每一帧拜尔raw格式的图像，将单通道的图像按照排列顺序分解各个不同色彩滤波采集到的像素至grbg四个不同的通道，形成空间分辨率为原本的四分之一，但是通道为之前四倍的图像数据。在拆分重组完毕后，对暗光数据和正常光数据随机进行旋转、翻转或中心对称变换。除此之外，若已知相机曝光设定，可根据具体的设定值对暗光视频的亮度进行初步线性的增强。
[0105]
步骤1.2：暗光视频增强算法根据输入的暗光视频产生一份增强后视频，并将其与真实的rgb格式正常光视频进行比对，计算损失函数并通过反向传播过程更新算法模型当中的各个参数。
[0106]
从经步骤1.1处理后的训练数据集当中随机选取一段指定帧数的暗光视频输入算法模型。模型对该数据进行增强处理，输出同样帧数的增强后视频。其中，由于经过了分解重组过程，输入数据的宽和高是输出数据的一半。增强后的视频以逐帧形式进行输出，格式为rgb，其尺寸和分解重组前的raw格式暗光视频一致。
[0107]
本实施例中暗光视频增强算法模型包括三部分：编解码器主体结构、特征提取重建模块、时序-通道注意力模块。当分解重组后的暗光视频数据输入算法模型后，首先经过编码器部分进行特征的初步提取。该部分分为四个层级，每个层级的构成相同，都是由用于特征提取的卷积操作、跳跃连接卷积操作、降采样卷积操作以及激活函数构成。各层级编码器部分计算得到的特征张量有两个传递方向，一是经过降采样后传递至下一层级的编码器，作为其输入数据，二是传入特征提取重建模块当中，由特征提取重建模块进行下一步的特征处理过程。对于该部分，参数字典主要包括各个卷积操作中的参数。
[0108]
在经过编码器部分的初步特征提取后，各个层级特征被传入同层级的特征提取重建模块当中。对于特征提取重建模块，其关键组成为特征嵌入模块、连续3d swin-transformer块、特征重建模块。特征嵌入模块作用是分割来自编码器部分的特征图，特征图压缩转化为特征序列，使得特征序列中包含全局的时空信息。连续3d swin-transformer块用于进一步处理具有全局时空信息的特征序列，并且，由于3d swin-transformer块的结构特性，该过程并不会引入过多的额外计算量。特征重建模块的作用是参考编码器特征，重建特征序列至指定大小的特征图，该特征图被进一步送至下一模块，也就是时序-通道注意力模块当中进行处理。特征提取重建模块及其子模块如图3所示。
[0109]
时序-通道注意力模块的输入数据共有两部分，分别是来自特征提取重建模块的重建特征和来自解码器某层级的解码特征。时序-通道注意力模块首先将重建特征和解码特征在空间维度进行全局平均池化操作，产生维度等于通道数的向量gap1(fr)以及向量gap1(fd)。随后，对两向量相加取平均，再进行线性映射并通过relu引入非线性，sigmoid构建注意力，得到注意力mask1。然后，对重建特征和解码特征在时间维度进行全局平均池化，产生维度等于帧数的向量gap2(fr)以及向量gap2(fd)。随后，同样地，对两向量相加取平均，再进行线性映射并通过sigmoid引入非线性，得到注意力mask2。最后，对重建特征施加mask1及mask2注意力，使其在通道维度和时间维度得到不同通道、时间序列的重要性，得到时空互补特征。时序-通道注意力模块如图4所示。
[0110]
解码器部分从整体结构上与编码器部分保持一致，都由四个不同层级的卷积操作
以及激活函数组成，在结构上不同的是，解码器部分本实施例采用上采样增大空间分辨率，并且使用来自上一层级的解码特征和来同一层级的自时序-通道注意力模块的拼接特征作为输入数据。在经过四个层级的特征重建后，解码器部分输出特定维度的特征图至一层像素混洗层，该层可以使得特征的通道纬度数据以可学习的方式减少至原来的四分之一，并重组至空间维度，实现通道数的缩减和空间维度的扩增。最终，该层输出的数据即为rgb格式的增强后的视频数据。
[0111]
在以上模型的训练过程中，采用渐进式训练方式，因此，模型的训练过程被分为两步。
[0112]
第一步，仅对模型中的编解码器部分进行训练。该过程使用的损失函数为：
[0113][0114]
其中，和分别代表正常光条件下的rgb数据格式真值视频以及暗光条件下的raw数据格式待处理视频，θ1为模型的可训练参数，代表仅包含编解码器的模型。
[0115]
第二步，训练包含编解码器主体结构、特征提取重建模块、时序-通道注意力模块的完整暗光增强模型，在训练前，初始化编解码器部分的参数字典为第一步训练保存的结果。该过程使用的损失函数为
[0116][0117]
其中，和分别代表正常光条件下的rgb数据格式真值视频以及暗光条件下的raw数据格式待处理视频，(θ1,θ2)为模型的可训练参数，代表完整的暗光增强模型。
[0118]
步骤1.3：重复步骤1.2当中的第一步训练，直至满足设定的终止条件，将网络的结构和模型参数进行保存。初始化编解码器部分的参数字典为第一步训练保存的结果，重复步骤1.3当中的第二步训练，直至满足设定的终止条件，将网络的结构和模型参数进行保存。
[0119]
具体地，在训练过程中，不断随机地向模型输入raw格式暗光视频片段和rgb格式正常光视频片段，直到训练达到预设的轮次数量或者某个评估指标满足一定的预设值，训练过程停止，并将模型结构和模型参数保存。
[0120]
步骤2.1：步骤1训练得到的模型参数初始化暗光视频增强算法模型，并使用该模型增强暗光视频并存储。
[0121]
具体地，首先将raw格式的暗光视频以逐帧处理的形式分解重组为四通道视频数据，若已知相机曝光设定，可根据具体的设定值对暗光视频的亮度进行初步线性的增强。随后，读取步骤1当中训练得到的模型参数，并依照模型结构进行模型的创建与加载。然后，将已处理的暗光视频数据送入该模型当中，生成增强后的rgb格式正常光视频。将该视频保存至本地，完成本步骤。
[0122]
步骤2.1：如果存在暗光视频对应的真实正常光下视频，则可以评估增强视频的质量和效果，判断暗光增强模型的效果优劣。其中，可以使用峰值信噪比psnr(peak signal to noise ratio)和结构相似性ssim(structural similarity)计算增强视频和真值视频
之间的客观差距。其中，峰值信噪比表示信号的最大功率和破坏性噪声功率之间的比值。峰值信噪比的单位常用分贝(db)来表示，数值越高，表示图像、视频质量越高。psnr的计算方法为：
[0123][0124]
其中，n表示单通道单像素点的比特深度，例如，灰度图像单个像素点为8bit，rgb图像每个通道对应的单像素点也为8bit，而一些原始感光raw图像则为14bit。
[0125]
mse表示均方误差，计算方式为：
[0126][0127]
其中，h和w为图像的高与宽，i(i,j)与表示在(i,j)位置上像素的值。
[0128]
采用结构相似性(ssim)作为结构的衡量指标，从结构上比较真值视频和增强视频之间的相似度。给定真值视频帧i与增强后视频帧ssim的计算方式为：
[0129][0130]
其中，μi是i的平均值，是的平均值；是i的方差，是的方差，表示i与的协方差；c1＝(k1l)2，c2＝(k2l)2，c1、c2均是用于维持稳定的常数，k1、k2均为常数，用于调整c1、c2数值并使其远小于1，k1＝0.01、k2＝0.03；l是像素值的动态范围，即l＝2
n-1，n表示单通道单像素点的比特深度；ssim的取值范围为[0，1]，值越接近1，说明两视频帧结构越相似。
[0131]
本实施例进一步公开了一种基于多尺度时空特征融合的暗光视频增强系统，包括以下组成系统：数据预处理子系统、暗光增强模型子系统、损失函数计算子系统和结果评价子系统。
[0132]
其中，所述数据预处理子系统包括暗光视频分解重组子系统和数据增广子系统。暗光视频分解重组子系统用于将暗光视频中单通道的图像按照排列顺序分解各个不同色彩滤波采集到的像素至grbg四个不同的通道，形成空间分辨率为原本的四分之一，但是通道为之前四倍的图像数据。数据增广子系统则是将暗光视频和正常光视频进行旋转、翻转或中心对称变换，扩增可训练的数据集，从而增强暗光视频增强模型的泛化能力。
[0133]
所述暗光增强模型子系统包括编码器模块、解码器模块、特征提取重建模块、时序-通道注意力模块。其中，编解码器模块是暗光增强模型子系统的主体部分，分为四个层级，每个层级的构成相同，都是由用于特征提取的卷积操作、跳跃连接卷积操作、下采样卷积操作以及激活函数构成，该部分主要是对暗光视频特征进行初步的提取。特征提取重建模块使用特征嵌入模块分割来自编码器部分的特征图，将特征图压缩转化为特征序列，随后送入3d swin-transformer模块，利用transformer的非局部信息聚合及全局视野进行大范围内的时间-空间信息处理，最后，处理后的特征序列由特征重建模块重建特征序列至指定大小的特征图。时序通道注意力模块在时间和空间维度上构建注意力，从而将来自特征提取重建模块的重建特征和来自解码器某层级的解码特征，在通道维度和时间维度得到不同通道、时间序列的重要性，在更细粒度的时空维度上融合拼接，得到时空互补特征。
[0134]
所述损失函数计算子系统，包括编解码器损失函数计算模块和完整模型损失函数计算模块。编解码器损失函数计算模块用于训练过程的第一阶段，对编解码器结构增强的到的增强暗光视频和真实暗光视频计算平均绝对误差，该损失将通过反向传播过程以及参数优化器，更新编解码器部分各个参数，从而不断优化编解码器的暗光增强表现。完整模型损失计算模块用于训练过程的第二阶段，对把编解码器结构添加征提取重建模块、时序-通道注意力模块，得到完整暗光视频增强模型，对完整暗光视频增强模型处理得到的增强视频和真实暗光视频计算平均绝对误差，并通过反向传播过程以及参数优化器，更新编解码器部分各个参数，从而不断优化完整模型的暗光增强表现。
[0135]
所述结果评价子系统，用于将增强视频和真实正常光下视频进行比对，计算psnr、ssim等客观评价指标，从而量化本系统所增强暗光视频的质量。
[0136]
图5为上述系统的组成示意图。
[0137]
上述组成系统之间的连接关系为：
[0138]
数据预处理子系统与暗光增强模块子系统、结果评价子系统相连，向暗光增强模块子系统提供经分解重组和数据增广得到的处理后的、符合模型输入输出格式的暗光视频以及真实正常光下视频，向结果评价子系统提供真实正常光下视频。
[0139]
在数据预处理子系统中，暗光视频预处理模块和数据增广模块相连。其中，暗光视频预处理模块向数据增广模块提供符合数据增广格式要求的视频数据。
[0140]
暗光增强模型子系统与数据预处理子系统、损失函数计算子系统和结果评价子系统相连接，其根据数据预处理子系统输入的暗光视频恢复出增强后的暗光视频至损失函数计算子系统和结果评价子系统。
[0141]
在暗光增强模型子系统中，编码器模块与解码器模块、特征提取重建模块相连。解码器模块与编码器模块、时序-通道注意力模块相连。
[0142]
在特征提取重建模块中，特征嵌入模块与3d swin-transformer模块相连；3d swin-transformer模块与特征嵌入模块以及特征重建模块相连；特征重建模块与3d swin-transformer模块相连。
[0143]
损失函数计算子系统与数据预处理子系统、暗光增强模型子系统相连。其从数据预处理子系统获取数据增广后的真实正常光视频，然后，从暗光增强模型子系统获取编解码器增强视频和完整模型增强结果。解码器增强视频和完整模型增强结果分别与真实正常光视频对比计算损失，并将该损失回传至暗光增强模型子系统，用于更新暗光增强模型子系统中模型的参数。
[0144]
在损失函数计算子系统中，编解码器损失计算模块与完整模型损失计算模块独立工作，互不连接。
[0145]
结果评价子系统与数据预处理子系统、暗光增强模型子系统相连，其从数据预处理子系统中获取真实正常光下视频，从暗光增强模型子系统中获取增强后视频，通过将二者比对计算评价指标，量化地反映增强后视频的质量。
[0146]
上述系统的使用方法如下：
[0147]
步骤1：将暗光视频输入至数据预处理子系统，进行分解重组、数据增广，处理后的视频数据将被暂存在内存当中；
[0148]
步骤2：将暗光视频送入暗光增强模型子系统中的编解码器模块，暗光视频经由该
部分处理，生成增强视频待使用；
[0149]
步骤3：损失函数计算子系统中的编解码器损失函数计算模块接收编解码器模块生成的增强视频以及数据预处理子系统生成的真实正常光下视频，计算损失值，并回传至编解码器模块中用于训练；
[0150]
步骤4：暗光增强模型子系统中的编解码器模块根据损失函数计算子系统中的编解码器损失函数计算模块传回的损失值，并利用优化器进行参数优化，完成一次训练迭代；
[0151]
步骤5：重复执行上述步骤1至4，每当对全部训练集遍历一次后，在结果评价子系统上使用验证集数据对当前参数下模型效果进行评估。若计算得到的量化指标已满足预设条件，或者当前训练迭代次数达到预设上线，则停止训练，保存当前编解码器模块的参数字典，继续步骤6；
[0152]
步骤6：；将步骤5当中保存的编解码器模块的参数字典加载至完整模型中的编解码器模块部分，完成完整模型的初始化工作；
[0153]
步骤7：与步骤1相同，将暗光视频输入至数据预处理子系统，进行分解重组、数据增广，处理后的视频数据将被暂存在内存当中；
[0154]
步骤8：将暗光视频送入暗光增强模型子系统中的完整模型，暗光视频经由该部分处理，生成增强视频待使用；
[0155]
步骤9：损失函数计算子系统中的完整模型损失函数计算模块接收完整模型生成的增强视频以及数据预处理子系统生成的真实正常光下视频，计算损失值，并回传至完整模型中用于训练；
[0156]
步骤10：暗光增强模型子系统中的完整模型根据损失函数计算子系统中的完整模型损失函数计算模块传回的损失值，并利用优化器进行参数优化，完成一次训练迭代；
[0157]
步骤11：重复执行上述步骤7至10，每当对全部训练集遍历一次后，在结果评价子系统上使用验证集数据对当前参数下模型效果进行评估。若计算得到的量化指标已满足预设条件，或者当前训练迭代次数达到预设上线，则停止训练，保存当前完整模型的参数字典，继续步骤12；
[0158]
步骤12：采用步骤11保存的参数字典初始化完整模型，将目标暗光视频数据送入该模型中进行暗光增强，保存输出视频并采用结果评价子系统评估增强后视频的图形质量。
[0159]
以上所述的具体描述，对发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。