感存算一体视觉信息获取与处理装置

本公开涉及图像处理领域，尤其涉及一种感存算一体视觉信息获取与处理装置。

背景技术：

1、随着信息技术和半导体技术的快速发展，视觉信息获取与处理系统作为一种典型的计算机视觉系统，已经在消费电子、机器人视觉、工业自动化、自动驾驶、智能安防等各个领域得到了广泛的应用。传统的视觉信息获取与处理系统采用传感、存储和处理三者分立的结构，造成传感器与处理器之间的数据传输带宽受限的问题，传感器产生的大量传感数据传输到处理器的延迟较大。存储器和处理器之间的数据传输速度瓶颈也限制了系统性能，存储器和处理器之间频繁的数据交互导致显著的能耗和延迟问题。因此，传感、存储和处理三者分立式结构从根本上无法解决大量传感数据频繁搬运导致的系统延迟和能耗问题。

技术实现思路

1、有鉴于此，本公开提供了一种感存算一体视觉信息获取与处理装置。

2、本公开提供了一种感存算一体视觉信息获取与处理装置，包括：单光子阵列成像传感器，用于探测待测场景的单光子光信号，得到所述待测场景的脉冲式二维图像信息；脉冲图像预处理模块，用于对所述脉冲式二维图像信息进行预处理操作，生成所述脉冲式二维图像信息的数字脉冲信号； 存算一体神经网络图像处理模块，采用阻变式存储器单元阵列架构，用于对所述数字脉冲信号进行模拟域的脉冲卷积神经网络深度学习及处理，输出电流模的模拟计算结果； 信号输出模块，用于对所述电流模的模拟计算结果进行数字化处理，得到表示所述脉冲式二维图像信息的处理结果的数字信号； 驱动控制电路，用于对所述单光子阵列成像传感器、脉冲图像预处理模块、存算一体神经网络图像处理模块、信号输出模块提供同步控制信号，控制所述装置的协调运行。

3、根据本公开的实施例，所述单光子阵列成像传感器由面阵结构的单光子雪崩二极管组成，所述单光子雪崩二极管工作在盖革模式下；所述单光子阵列成像传感器由面阵结构基于所述同步控制信号周期性输出所述脉冲式二维图像信息。

4、根据本公开的实施例，所述脉冲式二维图像信息的信号频率正比于所述待测场景的光信号强度。

5、根据本公开的实施例，所述存算一体神经网络图像处理模块由面阵结构的阻变式存储器单元构成，所述阻变式存储器单元用于存储脉冲卷积神经网络深度学习模型的参数数据，基于所述参数数据与所述数据脉冲信号进行模拟域的脉冲卷积神经网络深度学习计算。

6、根据本公开的实施例，所述阻变式存储器单元采用xtyr的结构。

7、根据本公开的实施例，所述同步控制信号包括行列选择驱动信号和写操作控制信号，用于选择所述阻变式存储器单元，向所述阻变式存储器单元写入所述参数数据。

8、根据本公开的实施例，所述同步控制信号包括行列选择驱动信号和读操作控制信号，用于选择所述阻变式存储器单元，并读取所述阻变式存储器单元存储的数据。

9、根据本公开的实施例，所述同步控制信号包括行列选择驱动信号和乘累加操作控制信号，用于控制各所述阻变式存储器单元将所述数字脉冲信号与所述参数数据进行乘法运算，得到电流模的子模拟信号运算结果；其中，一纵列所述阻变式存储器单元的输出端共同连接一条输出总线，所述输出总线用于输出相连的各所述阻变式存储器单元输出的子模拟信号运算结果的总和。

10、根据本公开的实施例，所述脉冲图像预处理模块包括：信息压缩模块，用于将所述脉冲式二维图像信息压缩处理；图像降噪模块，用于对压缩后的所述脉冲式二维图像信息进行降噪处理；信息编码模块，用于将降噪后的所述脉冲式二维图像信息编码为所述数字脉冲信号。

11、在本公开实施例采用的上述至少一个技术方案能够达到以下有益效果：

12、本公开实施例提供的感存算一体视觉信息获取与处理装置将图像传感器、智能处理器以及存储器进行一体化集成，降低了传感器和处理模块之间的传输数据量，降低了数据传输延迟和能耗，能够高能效地实现图像信号的获取、存储和智能化处理的功能；

13、存算一体神经网络图像处理模块采用阻变式存储器单元阵列架构，每个阻变式存储器单元具有非易失特性和存内计算特性，能够非易失地存储神经网络模型参数，使得处理模块能够掉电后依然保存神经网络模型参数，节省了每次上电后输入参数的延迟时间；阻变式存储器单元的存内计算特性，使得处理模块能够在单元内部以高速度和低功耗进行模拟域的乘累加运算，相比于数字域的运算具有更低功耗和更高能效的特点，同时消除了传统分立式存储器和处理器之间数据传输的延迟和能耗；

14、脉冲图像预处理模块对获得的待测物体的单光子的脉冲成像信号进行预处理，包括信息压缩、图像降噪和信息编码等模块，提高原始图像的图像质量，产生信息密度更高、信噪比更高、波形清晰完整的脉冲信号。

技术特征：

1.一种感存算一体视觉信息获取与处理装置，包括：

2.根据权利要求1所述的装置，所述单光子阵列成像传感器由面阵结构的单光子雪崩二极管组成，所述单光子雪崩二极管工作在盖革模式下；

3.根据权利要求1所述的装置，所述脉冲式二维图像信息的信号频率正比于所述待测场景的光信号强度。

4.根据权利要求1所述的装置，所述存算一体神经网络图像处理模块由面阵结构的阻变式存储器单元构成，所述阻变式存储器单元用于存储脉冲卷积神经网络深度学习模型的参数数据，基于所述参数数据与所述数据脉冲信号进行模拟域的脉冲卷积神经网络深度学习计算。

5.根据权利要求4所述的装置，所述阻变式存储器单元采用xtyr的结构。

6.根据权利要求4所述的装置，所述同步控制信号包括行列选择驱动信号和写操作控制信号，用于选择所述阻变式存储器单元，向所述阻变式存储器单元写入所述参数数据。

7.根据权利要求4所述的装置，所述同步控制信号包括行列选择驱动信号和读操作控制信号，用于选择所述阻变式存储器单元，并读取所述阻变式存储器单元存储的数据。

8.根据权利要求4所述的装置，所述同步控制信号包括行列选择驱动信号和乘累加操作控制信号，用于控制各所述阻变式存储器单元将所述数字脉冲信号与所述参数数据进行乘法运算，得到电流模的子模拟信号运算结果；

9.根据权利要求1所述的装置，所述脉冲图像预处理模块包括：

技术总结本公开提供了一种感存算一体视觉信息获取与处理装置，包括：单光子阵列成像传感器，用于探测待测场景的单光子光信号，得到待测场景的脉冲式二维图像信息；脉冲图像预处理模块，用于对脉冲式二维图像信息进行预处理操作，生成脉冲式二维图像信息的数字脉冲信号；存算一体神经网络图像处理模块，采用阻变式存储器单元阵列架构，用于对数字脉冲信号进行模拟域的脉冲卷积神经网络深度学习及处理，输出电流模的模拟计算结果；信号输出模块，用于对电流模的模拟计算结果进行数字化处理，得到表示脉冲式二维图像信息的处理结果的数字信号；驱动控制电路，用于提供同步控制信号，控制装置的协调运行。技术研发人员：于双铭,刘力源,杨旭,王哲,吴南健受保护的技术使用者：中国科学院半导体研究所技术研发日：技术公布日：2024/7/29