用于检测与时间有关的图像数据的光敏元件阵列及其外围读出电路的制作方法

本发明属于动态视觉传感器，涉及一种用于检测与时间有关的图像数据的光敏元件阵列及其外围读出电路。

背景技术：

1、当前的图像和视频生成依赖于电子图像传感器，特别是基于cmos工艺的电子图像传感器。其工作原理是以帧为单位，将整个传感平面中的所有像素里经光电转换之后的电压值读出。但这种读出方式在机器视觉应用中会产生大量的冗余数据，特别是当传感器视场中的活动度较低时，大部分像素会重复地输出之前的读出值。这种冗余不仅会增大图像传感器的读出功耗，在要求高速高分辨率读出的情况下，带宽限制会使这种读出方式变得不切实际。同时，大量的传感器生成的数据会增大后端处理的能耗和延时，限制其在机器视觉中的智能应用场景。

2、动态视觉传感器能够打破传统图像传感器中读出功耗和有限数据带宽之间的矛盾。其相关的原始专利为us20080135731。原始专利的特点在于，像素不再只是存储由光电流积分得到的电压值，而是通过将由跨导放大器转换光电流得到的电压先放大，再进行类似异步δ调制的处理过后，自主地检测该像素视场内的光强变化。特别地，只有检测到光强变化的像素才自主地进行输出，减少了传感器输出数据的冗余和对传输带宽的要求，并且稀疏的有效数据的读出和传输减少了传感器的功耗。尽管动态视觉传感器相对于传统的图像传感器有这些好处，其显著的缺点包括：1.每个像素内的元件数目多导致像素尺寸难以减小，于是和图像传感器比在同样分辨率下芯片面积增大而成本增加；2.有限的像素尺寸下像素内元件数目过多导致元件尺寸受限，从而造成元件的模拟非理想特性增大、像素间的失配增大、以及光强变化到数字输出的保真度降低；3.基于事件的采样和编码方式无法最优地利用传感器的输出带宽。

技术实现思路

1、有鉴于此，本发明的目的在于提供一种用于检测与时间有关的图像数据的光敏元件阵列及其外围读出电路，在保留并提升动态视觉传感器优点的同时，解决其存在的缺陷。

2、为达到上述目的，本发明提供如下技术方案：

3、一方面，本发明提供一种用于检测与时间有关的图像数据的光敏元件阵列，由r行×c列个单元组成，每个单元包括：

4、具有动态范围压缩特征的光传感器，将高动态范围的入射光信号自主地、无需任何外部控制地转换为低动态范围的输出电压信号；

5、若干电压采样存储单元，所存储的电压通过在不同时间点上对所述光传感器的输出电压信号进行采样得到；

6、电压读出电路，将所述电压采样存储单元中的电压同时或时分地读出到所述单元阵列的外围。

7、进一步，所述光传感器的动态范围压缩特征以近似对数的输入输出关系呈现，即光传感器的输出电压与输入光强的对数呈近似线性关系。

8、可选的，所述单元包括钉扎光电二极管、反相放大器、传输电极门晶体管、第一n型晶体管、第二n型晶体管、第三n型晶体管、第四n型晶体管、第五n型晶体管、第六n型晶体管、第七n型晶体管、第八n型晶体管、第九n型晶体管、第十n型晶体管、第一电容c1、第二电容c2、列读出电压总线vbus，其中：

9、钉扎光电二极管的阳极接地，阴极接传输电极门晶体管的源极；传输电极门晶体管的栅极接高电平vhigh，漏极接第一n型晶体管的源极和反相放大器的输入级；第一n型晶体管的漏极接电源电压，栅极接反相放大器的输出级和第二n型晶体管的栅极；第二n型晶体管的漏极接电源电压，源极接第三n型晶体管的漏极和第五n型晶体管的漏极；第三n型晶体管的栅极接第一采样控制信号sh，源极接第四n型晶体管的漏极；第四n型晶体管的栅极接第一偏置电压vbias1，源极接地；第五n型晶体管的栅极接sh，源极接第一电容c1的上极板、第二电容c2的上极板、第八n型晶体管的漏极、以及第九n型晶体管的栅极；第一电容c1下极板接第六n型晶体管的漏极；第二电容c2下极板接第七n型晶体管的漏极；第六n型晶体管的栅极接第二采样控制信号shs1，源极接参考电压vref；第七n型晶体管的栅极接第三采样控制信号shs2，源极接vref；第八n型晶体管的栅极接复位信号rst，源极接vref；第九n型晶体管的漏极接电源电压，源极接第十n型晶体管的漏极；第十n型晶体管的栅极接读出选择信号sel，源极接列读出电压总线vbus。

10、可选的，所述单元包括光电二极管、反相放大器、第一n型晶体管、第二n型晶体管、第三n型晶体管、第四n型晶体管、第五n型晶体管、第六n型晶体管、第七n型晶体管、第八n型晶体管、第九n型晶体管、第一电容c1、第二电容c2、列读出电压总线vbus，其中：

11、光电二极管的阳极接地，阴极接第一n型晶体管的源极和反相放大器的输入级；第一n型晶体管的漏极接电源电压，栅极接反相放大器的输出级和第二n型晶体管的栅极；第二n型晶体管的漏极接电源电压，源极接第三n型晶体管的漏极和第四n型晶体管的漏极；第三n型晶体管的栅极接第一偏置电压vbias1，源极接地；第四n型晶体管的栅极接第一采样控制信号sh，源极接第五n型晶体管的漏极、第六n型晶体管的漏极、第七n型晶体管的漏极、以及第八n型晶体管的栅极；第五n型晶体管的栅极接第二采样控制信号shs1，源极接第一电容c1的上极板；第六n型晶体管的栅极接第三采样控制信号shs2，源极接第二电容c2的上极板；第七n型晶体管的栅极接复位信号rst，源极接参考电压vref；第一电容下极板接地；第二电容下极板接地；第八n型晶体管的漏极接电源电压，源极接第九n型晶体管的漏极；第九n型晶体管的栅极接读出选择信号sel，源极接列读出电压总线vbus。

12、进一步，每个单元的高电平vhigh、第一偏置电压vbias1、参考电压vref、第一采样控制信号sh为所有单元共有，读出电压总线vbus为每列单元共有，第二采样控制信号shs1、第三采样控制信号shs2、复位信号rst、读出选择信号sel为每行单元共有。

13、进一步，通过对信号sh、shs1、shs2、rst、以及sel的时序控制，将单元中存储在c1和c2上的电压逐行读出到列并行的vbus上。

14、进一步，时序控制步骤如下：

15、于时间t0_0，第一信号采样阶段开始，sh由低变高，所有行的shs2亦由低变高，所有行的shs1、rst、sel保持为低，所有单元中光电转换的信号被采样到c2上；

16、于时间t1_0，第一信号采样阶段结束，第一信号读出阶段开始，sh由高变低，所有行的shs2亦由高变低，第一行的rst和sel由低变高；

17、于时间t2_0，第一行的rst由高变低，第一行的shs2由低变高，第一行所有单元里的c2上存储的电压被读出到列并行的vbus上；

18、于时间t3_0，第一行的rst由低变高，第一行的shs2由高变低；

19、于时间t4_0，第一行的rst由高变低，第一行的shs1由低变高，第一行所有单元里的c1上存储的电压被读出到列并行的vbus上；

20、于时间t5_0，第一行的shs1和sel由高变低；

21、于时间t6_0，第二行的rst和sel由低变高；

22、于时间t7_0，第二行的rst由高变低，第二行的shs2由低变高，第二行所有单元里的c2上存储的电压被读出到列并行的vbus上；

23、于时间t8_0，第二行的rst由低变高，第二行的shs2由高变低；

24、于时间t9_0，第二行的rst由高变低，第二行的shs1由低变高，第二行所有单元里的c1上存储的电压被读出到列并行的vbus上；

25、于时间t10_0，第二行的shs1和sel由高变低；

26、以此类推，直到逐行读出所有单元里存储在c2和c1上的电压；然后，于时间t0_1，第二信号采样阶段开始，sh由低变高，所有行的shs1亦由低变高，所有行的shs2、rst、sel保持为低，所有单元中光电转换的信号被采样到c1上；

27、于时间t1_1，第二信号采样阶段结束，第二信号读出阶段开始，sh由高变低，所有行的shs1亦由高变低，第一行的rst和sel由低变高；

28、于时间t2_1，第一行的rst由高变低，第一行的shs1由低变高，第一行所有单元里的c1上存储的电压被读出到列并行的vbus上；

29、于时间t3_1，第一行的rst由低变高，第一行的shs1由高变低；

30、于时间t4_1，第一行的rst由高变低，第一行的shs2由低变高，第一行所有单元里的c2上存储的电压被读出到列并行的vbus上；

31、于时间t5_1，第一行的shs2和sel由高变低；

32、于时间t6_1，第二行的rst和sel由低变高；

33、于时间t7_1，第二行的rst由高变低，第二行的shs1由低变高，第二行所有单元里的c1上存储的电压被读出到列并行的vbus上；

34、于时间t8_1，第二行的rst由低变高，第二行的shs1由高变低；

35、于时间t9_1，第二行的rst由高变低，第二行的shs2由低变高，第二行所有单元里的c2上存储的电压被读出到列并行的vbus上；

36、于时间t10_1，第二行的shs2和sel由高变低；

37、以此类推，直到逐行读出所有单元里存储在c1和c2上的电压；然后，于时间t0_2，重复于时间t0_0以来的时序，直到人为停止光敏元件阵列工作。

38、另一方面，本发明提供一种光敏元件阵列的外围读出电路，包括行扫描和时序控制模块、c个放大器以及c个可感知视场活动度的模数转换器；

39、所述行扫描和时序控制模块用于控制如上任一所述光敏元件阵列的信号采样和信号读出；

40、所述c个放大器用于分别放大所述光敏元件阵列中c列vbus上读到的c1和c2存储的信号的差值；所述放大器有两个输入端口，分别接收vbus上先后读到的一个单元里存储的两个信号电压值，差分输出为放大后的两个信号电压值的差值；

41、所述c个可感知视场活动度的模数转换器分别将c个放大器输出的模拟信号转换为数字信号；所述模数转换器根据其对应列的单元感知到的视觉信号的幅度大小，来调节每次转换中的有效转换周期数。

42、进一步，所述可感知视场活动度的模数转换器包括如下模块：数模转换器dac、差分dac、比较器、sar逻辑、以及若干开关；所述sar逻辑为可感知视场活动度的sar逻辑，其感知视场活动度的阈值是内置的，或是外部输入的参数。

43、进一步，在所述可感知视场活动度的模数转换器中，所述放大器的差分输出先直接通过比较器比较大小，得到模数转换器输出的最高位第i位的值；模数转换器采样放大器的差分输出，并且模数转换器第i-1位到第0位输出清零；根据sar逻辑内置的或外部输入的感知视场活动度的阈值参数，dac和差分dac的第k位受sar逻辑控制翻转，0≤k<i；根据比较器的输出结果，判断第k位翻转前的dac输出和差分dac输出的差值的绝对值是否大于等于2k×vlsb，其中vlsb为模数转换器输出的最低位对应的电压值；如果否，保留模数转换器当前第k位的输出，之后sar逻辑控制模数转换器从第k-1位转换到第0位；如果是，则进一步判断k是否等于i-1；如果等于，保留模数转换器当前第k位的输出，之后sar逻辑控制模数转换器从第k-1位转换到第0位；如果不等于，即k<i-1，则进一步判断k是否大于等于一个设定的阈值kth；如果大于等于，则sar逻辑控制模数转换器从第i-1位转换到第0位；如果小于，dac和差分dac的第k位受sar逻辑控制复原，k＝k+1，dac和差分dac的第k位受sar逻辑控制翻转，然后循环至之前的根据比较器的输出结果，判断第k位翻转前的dac输出和差分dac输出的差值的绝对值是否大于等于2k×vlsb的步骤。

44、进一步，在所述可感知视场活动度的模数转换器中，dac和差分dac的电容底板分别通过转换开关连接到正参考电压vref+、负参考电压vref-、或者共模电压vcm，dac对应的转换开关由sar逻辑控制输出端的控制信号dsar+[i-1:0]控制，差分dac对应的转换开关由sar逻辑差分控制输出端的差分控制信号dsar-[i-1:0]控制，dac的电容底板通过采样开关连接到放大器的输出端vao+，差分dac的电容底板通过差分采样开关连接到放大器的差分输出端vao-；dac的电容顶板vdac+与比较器的正端相连，通过复位开关选择连接到vao+或者vcm，差分dac的电容顶板vdac-与比较器的负端相连，通过差分复位开关选择连接到vao-或者vcm；比较器的输出连接sar逻辑的第一输入端，比较器的时钟输入端连接sar逻辑的门控时钟输出端；sar逻辑的第二输入端数据为感知视场活动度的阈值θadc，sar逻辑的结果输出端提供模数转换器的最终数字输出dout[i:0]。

45、进一步，在上述视场活动度感知的模数转换器的具体架构下，其工作原理为：

46、dac的电容顶板和电容底板与vao+连通，差分dac的电容顶板和电容底板与vao-连通，比较器进行比较，sar逻辑根据比较器的结果得到最高位的输出dout[i]；

47、dac的电容顶板和差分dac的电容顶板分别与vao+和vao-断开，并一起与vcm连通；

48、dac和差分dac的电容顶板都与vcm断开；

49、dac的电容底板和差分dac的电容底板分别与vao+和vao-断开，并一起与vcm连通；

50、sar逻辑的第i-1位到第0位的输出dout[i-1:0]清零；

51、若θadc＝k，sar逻辑据此控制模数转换器从第k位开始转换，0≤k<i，dac和差分dac的电容底板第k位分别与vref+和vref-连通后，比较器比较vdac+和vdac-稳定后的值；

52、如果比较器输出结果与比较第i位时的结果相同，则保留dout[k]，之后从第k-1位转换到第0位得到dout[k-1:0]的值；

53、如果比较器输出结果与比较第i位时的结果相反，则进一步判断k是否等于i-1；如果是，则保留dout[k]，之后从第k-1位转换到第0位得到dout[k-1:0]的值；如果不是，则进一步判断k是否大于等于一个设定的阈值kth；如果大于等于，则从第i-1位转换到第0位得到dout[i-1:0]的值；如果小于，则dac和差分dac的第k位受sar逻辑控制复原，然后令k＝k+1，dac和差分dac的第k位受sar逻辑控制翻转，并循环至之前的比较器比较vdac+和vdac-稳定后的值的步骤。

54、进一步，光敏元件阵列的外围读出电路还包括顶层控制单元，其输出的控制信号控制行扫描和时序控制模块、c个放大器以及c个对活动度感知的模数转换器，对光敏元件阵列的帧率、放大器的增益、模数转换器的感知视场活动度的阈值θadc、以及模数转换器的分辨率进行调节。

55、进一步，光敏元件阵列的外围读出电路还包括数字信号处理器；所述数字信号处理器的输入连接c个可感知视场活动度的模数转换器的输出oadc，并对oadc的稀疏度进行统计；所述顶层控制单元根据oadc的稀疏度统计结果设定θadc；所述数字信号处理器还用于对oadc进行压缩处理后作为传感器的最终输出。

56、进一步，所述数字信号处理器对oadc的稀疏度进行统计，所述顶层控制单元根据oadc的稀疏度统计结果设定θadc的具体步骤如下：

57、通过仿真或者实际测量得到模数转换器在不同位宽下所需要的转换能耗的分布eadc，其中位宽从第0位算起，最少为1位，最宽为i-1位；

58、对c列可感知视场活动度的模数转换器的输出oadc的值的绝对值进行分布统计，方法为：将oadc的值的范围分为0、1、2～3、4～7、…、2k-1～2k-1，k≤i-1，oadc中的值的绝对值出现在某个范围内一次，则这个范围的统计次数加一；所述统计以tadc为时间窗口，sadc为时间步长求移动平均得到分布disadc；

59、根据分布eadc、disadc以及采用的可感知视场活动度的sar算法优化算得使平均模数转换器能耗最小的预视场活动度感知阈值θpre；

60、以tθ为时间窗口，sθ为时间步长求θpre的移动平均得到分布θμpre；若k-1<θμpre≤k，则设定θadc＝k。

61、进一步，所述顶层控制单元还根据视场活动度对二维像素阵列的帧率rfps进行调节，具体包括：

62、将oadc中的值的绝对值的范围分为0、1、2～3、4～7、…、2k-1～2k-1，2i-1-1，k≤i-1，oadc中的值的绝对值出现在某个范围内一次，则这个范围的统计次数加一；所述统计以tadc为时间窗口，sadc为时间步长求移动平均得到分布disadc；

63、求disadc分别倾向于分布在0和2i-1-1上的加权平均p1、p2，以tfr为时间窗口、sfr为时间步长求移动平均得到pμ1、pμ2；

64、若pμ1大于等于设定的上限阈值pth1u，且pμ2小于等于设定的下限阈值pth2l，且帧率大于最小值，则令帧率rfps减小δfrd；若pμ1小于等于设定的下限阈值pth1l，或pμ2大于等于设定的上限阈值pth2u，且帧率小于最大值，则令帧率rfps增加δfru；帧率的变化以tfrs为时间步长，即每次帧率变化之后，在至少时间tfrs之内保持不变。

65、本发明的有益效果如下：本发明能够有传统事件触发的动态视觉传感器相较于一般图像传感器的优点，如高动态范围、快速响应、稀疏的有效数据输出、以及低功耗等。与此同时，与传统事件触发的动态视觉传感器相比，本发明因为光敏元件阵列中的每个单元里的晶体管数目大为减少，单元尺寸可以大幅缩小，降低芯片成本；每个单元检测到的模拟光强变化到通过模数转换器转换为数字输出的信号保真度更高，因为不需要依赖于单元里晶体管模拟特性的匹配，而阵列外围的模数转换有比单元大得多的面积预算来提高转换精度；传统的模数转换的数据编码外加对稀疏数据的压缩比事件触发的数据编码方式对数据传输带宽的要求更低，节省数据传输的能耗，并且能在一定的带宽下传输更多的有效数据。

66、本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究，对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。