多通道图像处理系统及处理方法与流程

本技术涉及图像处理，特别是涉及一种多通道图像处理系统及处理方法。

背景技术：

1、基于视觉感知的摄像机作为一种普遍的外界场景信息获取手段，已经在交通监管系统、实时视频会议、医疗设备、工业控制和航天航空等领域得到了非常广泛的应用。随着技术的发展，多目视觉在三维重建与建模、虚拟现实与增强现实、交通与安防、人机交互、智能机器人和自动驾驶等领域已经得到了广泛的应用，而这些领域对图像传输系统的传输速率以及数据吞吐量的要求也越来越高，亟需一种能够满足大吞吐量数据的处理速度和传输速度的图像处理系统。

技术实现思路

1、基于此，有必要针对上述技术问题，提供一种能够满足大吞吐量数据的处理速度要求和传输速度要求的多通道图像处理系统及处理方法。

2、第一方面，本技术提供了一种多通道图像处理系统。该系统包括：

3、多个cmos采集模块，分别与多个cmos图像传感器连接，用于获取所述多个cmos图像传感器分别对应的目标图像数据；

4、核心模块，分别与所述多个cmos采集模块连接，用于接收所述目标图像数据，并根据所述目标图像数据和内置的模型硬件加速器得到模型预测结果，所述模型预测结果用于指示针对所述目标图像数据的图像识别结果、图像分类结果、图像拼接结果或图像匹配结果中的至少一种；

5、上位机，与所述核心模块连接，用于接收来自所述核心模块传输的所述模型预测结果。

6、在其中一个实施例中，所述cmos采集模块包括：

7、lvds接口子模块，与所述cmos图像传感器连接，用于采集所述cmos图像传感器的原始图像数据；

8、现场可编程门阵列，与所述lvds接口电路连接，用于接收来自所述lvds接口电路的所述原始图像数据，并对所述原始图像数据进行预处理得到初始图像数据；

9、第一camera link接口子模块，与所述现场可编程门阵列和所述核心模块连接，用于对所述初始图像数据进行并串转换得到目标图像数据，并将所述目标图像数据传输至所述核心模块。

10、在其中一个实施例中，所述现场可编程门阵列在执行所述对所述原始图像数据进行预处理得到初始图像数据的步骤时，被配置为：

11、对所述原始图像数据进行滤波处理，得到降噪后的原始图像数据；

12、对所述降噪后的原始图像数据按照camera link协议进行编码处理，得到所述初始图像数据。

13、在其中一个实施例中，所述cmos采集模块还包括cmos驱动子模块；

14、所述cmos驱动子模块，与所述cmos图像传感器连接，用于向所述cmos图像传感器提供工作电压。

15、在其中一个实施例中，所述核心模块包括：

16、第二camera link接口子模块，与所述cmos采集模块连接，用于接收所述目标图像数据，并将所述目标图像数据进行串并转换得到目标并行图像数据；

17、处理子模块，与所述第二camera link接口子模块连接，用于接收来自所述第二camera link接口子模块的所述目标并行图像数据，并对所述目标并行图像数据按照camera link协议进行解码处理得到目标解码图像数据，根据所述目标解码图像数据和所述模型加速器得到所述模型预测结果。

18、在其中一个实施例中，所述核心模块还包括：

19、千兆以太网接口通信模块，与所述处理子模块和所述上位机连接，用于接收网络模型参数并将所述处理子模块的所述模型预测结果发送至所述上位机；

20、万兆以太网接口通信模块，与所述处理子模块和所述上位机连接，用于将所述处理子模块的所述目标解码图像数据发送至所述上位机。

21、在其中一个实施例中，所述万兆以太网接口子模块包括媒介访问控制器、物理编码子层、物理附加子层和物理依赖子层；

22、所述媒介访问控制器用于使用udp协议栈实现udp收发；

23、所述物理编码子层和所述物理附加子层用于实现数据的串行化及解串、crc校验及线路编码；

24、所述物理依赖子层用于实现光电/电光转换。

25、在其中一个实施例中，所述模型加速器包括模型解析模块、流程控制模块、中断模块、参数配置模块、存储控制模块、数据加载模块、标准卷积模块、深度可分离卷积模块、平均池化模块和全连接模块；所述中断模块分别与所述流程控制模块、所述标准卷积模块、所述深度可分离卷积模块、所述平均池化模块和所述全连接模块连接；

26、所述模型解析模块用于读取网络模型参数；

27、所述流程控制模块用于对所述模型加速器的流程和时序控制；

28、所述中断模块用于处理所述流程控制模块、所述标准卷积模块、所述深度可分离卷积模块、所述平均池化模块和所述全连接模块产生的中断；

29、所述参数配置模块用于接收模型训练后由所述模型解析模块读取并传递的网络模型的参数，并对网络模型的参数进行配置和管理；

30、所述存储控制模块用于实现特征图数据和权重的缓存与读取；

31、所述数据加载模块用于实现特征图数据和权重/偏置的顺序读写；

32、所述标准卷积运算模块用于实现卷积运算和批量归一化运算；

33、所述深度可分离卷积模块用于实现深度卷积、点卷积和批量归一化运算；

34、所述平均池化模块用于实现平均池化运算；

35、所述全连接模块用于实现分类。

36、在其中一个实施中，所述处理子模块采用zynq芯片，所述zynq芯片的ps端和pl端均挂载有ddr内存；

37、所述ps端的ddr内存用于存储配置信息和模型预测结果；

38、所述pl端的ddr内存用于存储输入的特征数据和权重参数。

39、第二方面，本技术还提供了一种多通道图像处理方法。该方法包括：

40、多个cmos采集模块获取多个cmos图像传感器分别对应的目标图像数据；

41、核心模块接收所述目标图像数据，并根据所述目标图像数据和内置的模型硬件加速器得到模型预测结果，所述模型预测结果用于指示针对所述目标图像数据的图像识别结果、图像分类结果、图像拼接结果或图像匹配结果中的至少一种；

42、上位机接收来自所述核心模块传输的所述模型预测结果。

43、上述多通道图像处理系统及处理方法，该系统包括多个cmos采集模块，分别与多个cmos图像传感器连接，用于获取所述多个cmos图像传感器分别对应的目标图像数据；核心模块，分别与所述多个cmos采集模块连接，用于接收所述目标图像数据，并根据所述目标图像数据和内置的模型加速器得到模型预测结果，所述模型预测结果用于指示针对所述目标图像数据的图像识别结果、图像分类结果、图像拼接结果或图像匹配结果中的至少一种；上位机，与所述核心模块连接，用于接收来自所述核心模块传输的所述模型预测结果。上述系统能够实现稳定、可靠的多通道同步/异步图像采集、缓存和传输，并且在系统内置了模型硬件加速器，满足大吞吐量数据的处理速度，使得在前端实现图像识别、图像分类、图像匹配和三维重构等算法成为可能，对于进一步推广多目视觉的应用有重要价值。