一种视频超分辨率电路及方法

本技术涉及图像处理电路，尤其涉及一种视频超分辨率电路及方法。

背景技术：

1、图像超分辨技术在多个领域实现了广泛的应用。图像超分辨技术可以应用于帮助医学方面的成像分析，卫星图像重建，安全监控以及虚拟现实领域，该技术可以很好地提升获取的图像质量。在超分辨率技术的实际应用中，有很多对实时性要求很高的场景，需要使用硬件加速。而fpga同样拥有并行计算能力强、高性能、低功耗等优势，而且可以重复编程更改设计，开发周期短、成本低，所以被广泛应用于神经网络的硬件实现当中。

2、相关技术1在fpga上实现了基于卷积神经网络，并且能实时将2k分辨率视频以每秒60帧的速度上采样至4k分辨率的超分辨率算法。作者提出了一种新颖的网络结构，它在计算和内存空间有限的硬件中有效地执行超分辨率算法。并且利用了1d卷积和深度可分离卷积的感知野小、参数量低等优点，在进行了权重量化、特征图压缩的前提下，以较低的性能降低作为代价，实现了4k 60fps的效果。相关技术2提出了基于fpga并采用循环神经网络进行视频超分辨率系统，其采用单向单层的循环神经网络，引入深度可分离卷积、定点量化和特征图压缩等方案进行加速，实现了4k分辨率下76fps的实时性能。

3、但是，轻量化的模型超分辨效果没有大模型效果好，有着较大的差距，图像信息未能被深度提取和对齐。同时，目前的硬件加速器对于片外存储的访问以及片上存储的容量需求较大。

技术实现思路

1、本技术实施例的主要目的在于提出一种视频超分辨率电路及方法，以高效地将低分辨率视频计算超分为高分辨率视频。

2、为实现上述目的，本技术实施例的一方面提出了一种视频超分辨率电路，所述电路包括：多个标准卷积计算模块、多个深度可分离卷积计算模块、多个线缓存模块、多个跳连接模块、图像超分模块以及全局控制模块；

3、其中，在数据流的方向上，每个所述计算模块之前连接有一个所述线缓存模块连接；各个所述计算模块的输入、输出通道数可调整；

4、标准卷积计算模块，用于对视频图像和上一帧所述视频图像的隐藏特征进行卷积计算，得到特征图；

5、所述深度可分离卷积计算模块，用于从所述特征图中提取得到多个通道的图像特征和当前帧所述视频图像的所述隐藏特征；

6、所述线缓存模块，用于将所述视频图像的数据按照分辨率的列长度进行存储；

7、所述跳连接模块，用于传输数据；

8、所述图像超分模块，用于将多个通道的所述图像特征，以及通过所述跳连接模块获得的所述视频图像中同一空间位置的像素进行重排，得到超分辨率图像；

9、所述全局控制模块，用于检测各个所述计算模块和各个所述跳连接模块的状态并输出对应的控制信号，以控制所述电路的计算。

10、在一些实施例中，所述电路包括第一标准卷积计算模块和第二标准卷积计算模块；其中，所述第一标准卷积计算模块用于输入所述视频图像，所述第二标准卷积计算模块用于输入上一帧所述视频图像的所述隐藏特征；

11、所述第一标准卷积计算模块和所述第二标准卷积计算模块的输出端通过通道拼接连接到多级蒸馏模块的输入端，所述多级蒸馏模块的输出端连接到第一串联模块的输入端；其中，所述第一串联模块包括多个串联的所述深度可分离卷积计算模块；所述多级蒸馏模块包括多个所述深度可分离卷积计算模块、多个所述线缓存模块以及多个所述跳连接模块；

12、多个串联的所述深度可分离卷积计算模块的输出端通过通道分离连接所述图像超分模块的第一输入端和所述第二标准卷积计算模块的输入端；

13、一个所述跳连接模块作为全局跳连接模块，所述图像超分模块的第二输入端连接所述全局跳连接模块的输出端，所述全局跳连接模块的输入端连接所述第一标准卷积计算模块之前连接的所述线缓存模块。

14、在一些实施例中，所述多级蒸馏模块包括五个所述深度可分离卷积计算模块；其中，四个所述深度可分离卷积计算模块通过三个通道分离串联连接作为第二串联模块，另一个作为非串联模块；

15、所述第二串联模块中，三个所述通道分离的输出端与一个对应的所述跳连接模块连接，三个所述跳连接模块的输出端以及所述第二串联模块中最后一个所述深度可分离卷积计算模块的输出端连接到一个通道拼接，所述通道拼接的输出端通过一个所述线缓存模块与所述非串联模块连接；

16、一个所述跳连接模块作为蒸馏跳连接模块，所述蒸馏跳连接模块的输入端与所述第二串联模块中第一个所述深度可分离卷积计算模块之前连接的所述线缓存模块连接，所述蒸馏跳连接模块的输出端与所述非串联模块的输出端通过数据相加连接到所述第一串联模块中第一个所述深度可分离卷积计算模块之前连接的所述线缓存模块。

17、在一些实施例中，所述图像超分模块包括像素重排模块和最近邻插值模块；

18、其中，所述像素重排模块，用于多个通道的所述图像特征和所述视频图像中同一空间位置的像素进行重排；

19、所述最近邻插值模块，用于对所述视频图像进行灰度插值；

20、所述像素重排模块的输入端作为所述图像超分模块的第一输入端，所述最近邻插值模块的输入端作为所述图像超分模块的第二输入端；

21、所述像素重排模块的输出端和所述最近邻插值模块的输出端通过数据相加连接作为所述图像超分模块的输出端。

22、在一些实施例中，所述第一串联模块包括三个串联的所述深度可分离卷积计算模块。

23、在一些实施例中，所述深度可分离卷积计算模块包括多个输入通道、多个输出通道以及多个输出寄存器；

24、每个所述输入通道连接一个对应的所述线缓存模块，各个所述线缓存模块分别连接到各个所述输出通道，与所述输出通道中逐点卷积权重模块通过数据相加连接，通过数据相加后连接到对应的所述输出寄存器。

25、在一些实施例中，所述输入通道包括多路复用器、特征图处理模块、逐通道卷积权重模块以及线性整流函数模块；

26、其中，所述多路复用器的第一输入端与所述全局控制模块连接，所述多路复用器的第二输入端用于输入所述视频图像的数据，所述多路复用器的输出端与所述特征图处理模块的输入端连接；

27、所述特征图处理模块的输出端与所述线性整流函数模块的输入端连接，所述线性整流函数模块的输出端与所述逐通道卷积权重模块的输出端通过数据相加连接到对应的所述线缓存模块。

28、为实现上述目的，本技术实施例的另一方面提出了一种视频超分辨率方法，应用于如前述的一种视频超分辨率电路，所述方法包括：

29、通过卷积计算从视频图像中提取得到多个通道的图像特征；

30、对各个通道的所述图像特征在同一空间位置的像素进行重排，得到对齐特征；

31、将所述对齐特征与所述视频图像进行融合，得到特征融合图像；

32、对所述特征融合图像进行上采样，得到所述视频图像的超分辨率图像。

33、在一些实施例中，所述通过卷积计算从视频图像中提取得到多个通道的图像特征，包括：

34、对所述视频图像进行卷积计算，得到多个通道的特征图；

35、对各个通道的所述特征图分割为上特征图和下特征图；

36、通过感受野分别对各个通道的所述上特征图和所述下特征图进行卷积计算，得到各个通道的所述图像特征。

37、在一些实施例中，所述对所述视频图像进行卷积计算，得到多个通道的特征图，包括：

38、对所述视频图像进行卷积计算得到第一候选特征图；

39、对所述第一候选特征图进行卷积计算并压缩所述第一候选特征图的维度，得到第二候选特征图；

40、将所述第二候选特征图分为第一特征图和第二特征图；其中，所述第一特征图的维度大于所述第二特征图的维度；

41、将所述第一特征图替换所述第一候选特征图，重复执行预设次数的所述对所述第一候选特征图进行卷积计算并压缩所述第一候选特征图的维度，得到第二候选特征图；将所述第二候选特征图分为第一特征图和第二特征图；其中，所述第一特征图的维度大于所述第二特征图的维度的步骤；

42、将最后一次得到的所述第一特征图的维度压缩到与所述第二特征图一致，然后对除最后一次得到的所述第二特征图和最后一次得到的所述第一特征图进行卷积计算，得到维度与所述第一候选特征图一致的所述特征图。

43、本技术实施例至少包括以下有益效果：

44、本技术的视频超分辨率电路可以通过标准卷积计算模块对视频图像和上一帧视频图像的隐藏特征进行卷积计算，得到特征图；通过深度可分离卷积计算模块从特征图中提取得到多个通道的图像特征和当前帧视频图像的隐藏特征；通过线缓存模块将视频图像的数据按照分辨率的列长度进行存储；通过跳连接模块传输数据；通过图像超分模块将多个通道的图像特征，以及通过跳连接模块获得的视频图像中同一空间位置的像素进行重排，得到超分辨率图像；通过全局控制模块检测各个计算模块和各个跳连接模块的状态并输出对应的控制信号，以控制电路的计算。基于层间流水线的视频超分辨率电路可以高效地将低分辨率视频图像计算超分为高分辨率视频图像，提升了视频图像的质量和视觉效果。而且，在读取片外存储视频的应用场景中，列缓存模块相较于行缓存模块可以减少缓存的大小，提高处理效率。