成像装置、电子设备以及信号处理方法与流程

本公开涉及成像装置、电子设备以及信号处理方法。

背景技术：

1、近年来，为了实现诸如图像识别和物体位置检测等高级任务，构造成通过在处理器的硬件上实现的深度神经网络(dnn)执行计算的处理器已投入实际使用。在用作非冯·诺依曼架构(non-von neumann architecture)的存储器阵列部上执行计算的cim(computing in memory，存储器中计算)作为dnn的计算方法而备受关注。

2、引用文献列表

3、专利文献

4、专利文献1：日本专利特开2020-113809号

技术实现思路

1、技术问题

2、在执行将具有成像功能的像素阵列部和具有乘积累加运算功能的存储器阵列部组合的dnn的情况下，诸如电源电路和ad转换器等周边电路配置在各阵列部的输入侧和输出侧。当这些周边电路所占据的面积与装置的全部面积之比较高时，难以使装置小型化。

3、本公开提供了一种能够小型化的成像装置、电子设备以及信号处理方法。

4、解决问题的方案

5、根据本公开的实施方案的成像装置包括：像素阵列部，其构造成输出通过入射光的光电转换获得的像素信号；存储器阵列部，其构造成输出表示对基于所述像素信号的输入信号进行乘积累加运算的结果的卷积信号；和共用电路，其被所述像素阵列部和所述存储器阵列部的输入侧和输出侧中的至少一个共用。

6、所述成像装置还可以包括第一选择电路，所述第一选择电路构造成选择所述像素阵列部和所述共用电路之间的电气连接或者所述存储器阵列部和所述共用电路之间的电气连接。

7、所述像素阵列部可以配置在第一基板上。

8、所述存储器阵列部可以配置在层叠于所述第一基板上的第二基板上。

9、所述像素信号的输出方向可以与所述卷积信号的输出方向不同。

10、所述像素信号和所述卷积信号都可以是模拟信号。

11、所述共用电路可以包括构造成将所述模拟信号转换为数字信号的ad转换器。

12、所述共用电路可以包括构造成控制所述ad转换器的水平操作电路。

13、可以针对一个所述ad转换器设置多个所述水平操作电路。

14、所述像素阵列部可以具有二维配置的多个像素。

15、所述存储器阵列部可以具有二维配置的多个存储器单元。

16、所述共用电路可以包括构造成选择像素行和存储器单元行的垂直驱动电路。

17、所述垂直驱动电路可以包括：寄存器；第一电压调整部，其配置在所述寄存器和所述像素阵列部之间；和第二电压调整部，其配置在所述寄存器和所述存储器阵列部之间。

18、所述第一电压调整部的数量可以与所述第二电压调整部的数量不同。

19、所述第一电压调整部的数量可以与所述第二电压调整部的数量相同。

20、所述成像装置还可以包括第二选择电路，所述第二选择电路构造成将所述垂直驱动电路的连接目的地切换到所述像素阵列部或所述存储器阵列部。

21、所述共用电路可以包括基准电压生成电路，所述基准电压生成电路构造成生成所述成像装置内的基准电压。

22、所述共用电路可以包括电源电路，所述电源电路构造成向所述像素阵列部和所述存储器阵列部供给电源电压。

23、所述共用电路可以包括时钟生成电路，所述时钟生成电路构造成生成用于设定所述像素阵列部和所述存储器阵列部的操作频率的时钟。

24、所述时钟生成电路可以包括分频器，所述分频器用于为所述像素阵列部和所述存储器阵列部设定彼此不同的所述操作频率。

25、所述共用电路可以包括信号处理电路，所述信号处理电路构造成处理通过所述像素信号和所述卷积信号的数字转换获得的信号。

26、所述成像装置还可以包括：第一ad转换器，其构造成对所述像素信号进行数字转换；第二ad转换器，其构造成对所述卷积信号进行数字转换；和第三选择电路，其构造成选择所述第一ad转换器和所述信号处理电路之间的电气连接或者所述第二ad转换器和所述信号处理电路之间的电气连接。

27、根据本公开的实施方案的电子设备包括成像装置，所述成像装置包括：像素阵列部，其构造成输出通过入射光的光电转换获得的像素信号；存储器阵列部，其构造成输出表示对基于所述像素信号的输入信号进行乘积累加运算的结果的卷积信号；和共用电路，其被所述像素阵列部和所述存储器阵列部的输入侧和输出侧中的至少一个共用。

28、根据本公开的实施方案的信号处理方法包括：从像素阵列部输出通过入射光的光电转换获得的像素信号；和从存储器阵列部输出表示对基于所述像素信号的输入信号进行乘积累加运算的结果的卷积信号。在该信号处理方法中，使用被所述像素阵列部和所述存储器阵列部的输入侧和输出侧中的至少一个共用的共用电路来生成和处理所述像素信号和所述卷积信号中的每一个。

技术特征：

1.一种成像装置，包括：

2.根据权利要求1所述的成像装置，还包括：

3.根据权利要求1所述的成像装置，

4.根据权利要求3所述的成像装置，

5.根据权利要求1所述的成像装置，

6.根据权利要求5所述的成像装置，

7.根据权利要求6所述的成像装置，

8.根据权利要求1所述的成像装置，

9.根据权利要求8所述的成像装置，其中所述垂直驱动电路包括：

10.根据权利要求9所述的成像装置，

11.根据权利要求9所述的成像装置，

12.根据权利要求8所述的成像装置，还包括：

13.根据权利要求1所述的成像装置，

14.根据权利要求13所述的成像装置，

15.根据权利要求1所述的成像装置，

16.根据权利要求15所述的成像装置，

17.根据权利要求1所述的成像装置，

18.根据权利要求17所述的成像装置，还包括：

19.一种电子设备，包括成像装置，所述成像装置包括：

20.一种信号处理方法，包括：

技术总结[问题]为了提供一种能够实现小型化的成像装置。[解决方案]根据本公开的一个实施方案的成像装置包括：像素阵列部，其输出通过入射光的光电转换获得的像素信号；存储器阵列部，其输出表示对基于所述像素信号的输入信号进行乘积累加运算的结果的卷积信号；和共用电路，其被所述像素阵列部和所述存储器阵列部的输入侧和输出侧中的至少一个共用。技术研发人员：半泽克彦,斋藤大辅受保护的技术使用者：索尼半导体解决方案公司技术研发日：技术公布日：2024/8/1