一种用于ISP的实时自动超参数优化方法和系统

本发明属于图像信号处理，具体涉及用于isp硬件系统的实时自动超参数优化方法及系统。

背景技术：

1、图像信号处理(isp)硬件系统的主要任务是将相机传感器捕获的光电信号转换为标准的rgb图像，以供后续的图像分析和处理使用。在这一过程中，isp硬件需要执行复杂的图像处理算法，包括去噪、去马赛克、自动白平衡、色彩校正、锐化等。算法效果很大程度上依赖于多个超参数的设置，例如去噪强度、白平衡系数等。

2、目前，isp硬件系统的参数调优依赖于人工经验。工程师手动调整各个超参数，以期望获得最佳的图像质量。这种方法不仅耗时费力，而且对工程师的专业知识和经验要求较高。此外，手动调优往往针对特定的拍摄场景，难以适应实际应用中复杂多变的环境。为了解决手动调优的不足，近年来研究人员提出了一些自动调优的方法。例如，一些方法利用图像质量评估指标作为损失函数，训练神经网络模型来自动生成isp参数。然而，这些方法大多依赖于离线训练和优化，无法在实时应用中动态调整isp参数，难以适应实际应用中的实时变化场景。

3、此外，随着智能边缘设备的广泛应用，isp硬件系统的实时性能要求也越来越高。isp硬件需要在毫秒级的时间内完成图像处理，传统的离线调优方法和复杂的代理模型在实际应用中往往难以满足这种高实时性要求，成为限制isp硬件系统性能提升的瓶颈。

4、综上所述，现有的isp参数调优方法存在手动调优耗时费力、自动调优难以适应实时变化场景等问题。为了解决这些问题，本发明提出了一种实时自动超参数优化框架，通过参数网络和在线调优模块的结合，实现isp参数的实时在线优化。该框架在提升图像质量和处理速度方面表现出色，适用于智能边缘设备的各种实际应用场景。

技术实现思路

1、本发明的目的在于提出一种用于isp的实时自动超参数优化方法，以解决现有技术中isp参数调优方法的不足，实现isp参数的实时在线搜索，显著提升图像质量和处理速度。

2、本发明提出的用于isp的实时自动超参数优化方法，参见图1所示。包括构建一个参数网络paranet和一个isp代理模型，其中：

3、参数网络paranet用于直接从原始图像中预测出图像信号处理(isp)硬件系统的超参数。该参数网络paranet具体采用dnn模型，具体结构包括6层8通道3*3卷积层和2层全连接层；其中，第2层的卷积层采用步长为2的膨胀卷积，以减小数据量，其余的卷积层采用步长为1的常规卷积，用于提取图像特征，2层全连接层用以将图片的维度转换为超参数的维度。通过学习原始图像到超参数的映射过程，实现快速准确的参数预测。参数网络的输入为原始图像，输出为一组isp超参数。

4、isp代理模型采用8层u型结构的多尺度残差连接3*3卷积层网络结构；用以从多尺度提取图像的特征，用于学习超参数与图像处理的映射关系。

5、所述实时自动超参数优化方法，包括三个步骤：模拟不可微分的isp硬件，将原始图像映射为isp超参数，在线调优；

6、(1)模拟不可微分的isp硬件；由于isp硬件的超参数具有离散性，使其成为一个不可微分的黑盒函数，使得使用dnn进行优化变得困难。为了克服这个问题，本发明通过训练基于u型结构的多尺度残差连接3*3卷积层网络结构的isp代理模型，使isp硬件可微分。具体而言，首先构建一个成对的训练数据集，该数据集由isp硬件生成，其中包括原始数据和配置文件；isp硬件的输出作为训练代理的真实值。训练过程可以表示为：

7、wp＝argminwp(l2(fproxy(iraw,p,wp),fi sp(iraw,p)))，    (1)

8、其中,wp是代理模型的权重，p是isp的参数,iraw是原始数据，fproxy表示isp代理模型，fi sp表示isp硬件，l2代表l2损失函数。

9、(2)将原始图像映射为isp超参数；由于原始图像包含大量的低级信息，这些信息可以用于生成图像的高级解释。例如，原始图像的平均值可以用于确定iso信息或照明信息，标准差则展示了图像的复杂性和噪声强度。因此，本发明采用参数网络paranet来直接学习从原始图像映射为超参数的过程，从而使超参数优化过程可以在线运行。将原始数据输入参数网络paranet以生成超参数。这些超参数和原始数据一起通过参数冻结的isp代理模型进行计算，以计算特定任务的损失。然后利用这个损失来更新参数网络paranet的神经网络参数，即神经网络内部的连接权重。这一过程表示为：

10、wr＝argminwr(ltask(fproxy(iraw,fpara(iraw,wr),wp))),     (2)

11、其中，fpara表示参数网络paranet，wr表示参数网络paranet内部的连接权重。

12、(3)在线调优；将参数网络paranet集成到isp硬件系统中，原始数据同时输入到参数网络paranet和isp硬件中。paranet连接到isp的配置接口，以在线导出优化后的参数。具体过程表示为：

13、orgb＝fi sp(iraw,fpara(iraw,wr)),    (3)

14、其中，orgb是isp的输出rgb图像。

15、式(1)、式(2)、式(3)表示了所述实时自动超参数优化方法的数学关系，基于该数学关系，该方法可以有效地实现isp参数的实时在线搜索，显著提升图像质量和处理速度。

16、本发明通过模拟不可微分的isp硬件、将原始图像映射到isp超参数以及在线调优，实现了isp超参数的实时优化。本发明提高isp参数搜索的速度和准确性方面表现出色，为isp硬件系统的实时自动化参数优化提供了强有力的支持。

17、基于上述实时自动超参数优化方法，本发明还提供实时自动超参数优化系统。该实时自动超参数优化系统采用双通路硬件架构，参见图2所示。具体包括paranet和isp两个通路，通过双通路架构实现实时处理。paranet通路和isp通路，两者并行执行，以实现实时处理。这种架构设计的独特之处在于，传感器的栅格扫描导致的传感器输出每周期一个像素，而不是一个图像块。因此，传感器的采样速度成为整个系统的计算瓶颈，而不是paranet或isp。为了减少硬件资源并确保没有额外的延迟，我们提出了一种硬件友好的双通路架构。

18、paranet硬件中，卷积模块包含输入通道(cin)和输出通道(cout)的卷积核。由于输入是下采样的raw数据，每8个周期读取相邻的2个像素，利用下采样间隔将输出通道的卷积计算序列化。涉及了一种半并行架构，通过并行化输入通道，序列化输出通道的计算，以减少3x3卷积核的数量。在paranet架构中，卷积层和全连接层均采用半并行方式实现。这种序列化输出设计在不影响系统延迟的情况下节省了大量硬件资源。另一方面，由于序列化输出的独特设计，paranet硬件中的第二层卷积实现从3*3卷积核变为1*3卷积核的计算串行化处理，进一步减小了硬件资源。

19、paranet的输出首先通过para_gen模块进行去标准化，并暂时存储在配置寄存器中。然后，isp硬件读取该寄存器，以配置isp通路中的每个图像处理模块。isp共包含7个图像处理模块，分别是数字增益(dgain)，坏点去除(dpc)，降噪(dns)，绿平衡(gb)，色彩差值(dmc)，边缘增强(ee)，色彩矩阵矫正(cmc)。paranet和isp通路并行处理，使用前一帧生成的优化超参数在当前帧中进行处理。这种设计独特之处在于，与基于图像块的神经网络架构不同，我们利用传感器的采样瓶颈来减少卷积核和全连接层的乘法器单元数量，同时确保paranet的计算延迟和寄存器配置延迟不超过isp的处理延迟，从而实现逐帧搜索。

20、在fpga和asic上对本发明设计进行验证表明，本发明具有可用性，并具有高性能，在保持高精度和高速度的同时，实现了实时在线isp参数搜索和图像处理，是现有技术中最快的isp自动参数搜索方法。