一种基于动态范围拓展技术的视觉传感器芯片

本发明涉及视觉传感，尤其涉及一种基于动态范围拓展技术的视觉传感器芯片。

背景技术：

1、视觉传感器是一种用于感知环境中光信息并转换为电信号的设备，已经被广泛应用于移动终端、自动驾驶等领域。现有技术中常用的视觉传感器为cmos图像传感器(cmosimage sensor，cis)和动态视觉传感器(dynamic vision sensor，dvs)。

2、视觉传感器在如自动驾驶等应用场景中要求高动态范围(high dynamic range，hdr)，使得相机可以同时观察到非常暗和非常亮的场景信息，提高图像质量。例如，在车辆从隧道中离开时，隧道内部非常昏暗，但是出口处非常明亮，人眼观察有时就会出现眩光，此时需要同时观察到隧道内外的道路情况，从而确保驾驶安全。cis可感知到的最低光强由像素噪声决定，通过降低像素噪声在一定程度上可以提高动态范围，但是无法改善场景中明亮部分的过曝问题。同时降低噪声往往依赖于先进的制造工艺，极大地提高了cis的设计与制造成本。cis可感知到的最大光强由浮动扩散节点(float diffusion，fd)最大可存储的电荷数量决定，称为势阱容量(full well capacity，fwc)。fwc主要由fd的物理体积以及栅极电压决定。在摩尔定律的大背景下，像素尺寸及工作电压呈现出不断降低的趋势，因此fwc往往无法提高反而可能会降低。虽然dvs可以实现高动态范围，但是只能输出视觉信号在焦平面上的时间变化信息，但这一信息非常容易被干扰。

3、因此，本发明亟需提供一种改进的基于动态范围拓展技术的视觉传感器。

技术实现思路

1、为了解决现有技术所存在的技术问题，本发明提供一种基于动态范围拓展技术的视觉传感器芯片，通过基于动态范围拓展技术的视觉传感器芯片架构，能够大幅度提升视觉传感器对于高动态范围时空动态信息的感知能力。

2、本发明提供一种基于动态范围拓展技术的视觉传感器芯片，包括动态范围拓展像素阵列、动态范围拓展的时间差分通路和/或动态范围拓展的空间差分通路；所述动态范围拓展像素阵列包括多个动态范围拓展像素单元；所述动态范围拓展的时间差分通路用于确定动态范围拓展后的时间差分值；所述动态范围拓展后的时间差分值为根据当前位置当前时刻的动态范围拓展像素单元的信号与任意时刻的动态范围拓展像素单元的信号进行时间差分与动态范围拓展运算后的值；所述动态范围拓展的空间差分通路用于确定动态范围拓展后的空间差分值；所述动态范围拓展后的空间差分值为根据当前位置当前时刻的动态范围拓展像素单元位置的信号与任意位置的动态范围拓展像素单元的信号进行空间差分与动态范围拓展运算后的值。

3、根据本发明提供的一种基于动态范围拓展技术的视觉传感器芯片，所述动态范围拓展像素单元对输入光强具有非线性的灵敏度，所述灵敏度采用从输入光强到光生电荷信号的光电转换曲线的斜率表征；所述光电转换曲线包括分段非线性部分与一般非线性部分。

4、根据本发明提供的一种基于动态范围拓展技术的视觉传感器芯片，所述动态范围拓展像素单元包括光电转换模块与转换增益调节模块；所述转换增益调节模块用于调节光电转换曲线的斜率。

5、根据本发明提供的一种基于动态范围拓展技术的视觉传感器芯片，所述动态范围拓展像素单元用于将输入光信号进行时分连续多次曝光，每次曝光后读出光生电荷并清空复位；所述动态范围拓展的时间差分通路包括第一时分拓展模块和第一时间差分模块；所述第一时分拓展模块用于将当前时刻当前动态范围拓展像素单元位置时分连续多次曝光分别读出的电信号进行时分动态范围拓展运算，得到当前时刻当前动态范围拓展像素单元位置的时分拓展后信号；所述第一时间差分模块用于将当前时刻当前动态范围拓展像素单元位置的时分拓展后信号与之前任意时刻当前动态范围拓展像素单元位置的时分拓展后信号之间进行时间差分运算，得到当前时刻当前动态范围拓展像素单元位置的第一时分动态范围拓展后的时间差分值；或，所述动态范围拓展的时间差分通路包括第二时间差分模块和第二时分拓展模块；所述第二时间差分模块用于将当前时刻当前动态范围拓展像素单元位置时分连续多次曝光分别读出的电信号与之前任意时刻当前动态范围拓展像素单元位置的时分连续多次曝光读出分别的电信号一一对应地进行时间差分运算，得到多个第二时间差分值；所述第二时分拓展模块用于将多个所述第二时间差分值进行时分动态范围拓展运算，得到当前时刻当前动态范围拓展像素单元位置的第二时分动态范围拓展后的时间差分值；所述动态范围拓展的空间差分通路包括复用所述时间差分通路的第一时分拓展模块和第一空间差分模块；所述第一空间差分模块用于将当前时刻当前动态范围拓展像素单元位置的时分拓展后信号与当前时刻任意动态范围拓展像素单元位置的时分拓展后信号之间进行空间差分运算，得到当前时刻当前动态范围拓展像素单元位置的第一时分动态范围拓展后的空间差分值；或，所述动态范围拓展的空间差分通路包括第二空间差分模块和第三时分拓展模块；所述第二空间差分模块用于将当前时刻当前动态范围拓展像素单元位置时分连续多次曝光分别读出的电信号与当前时刻任意动态范围拓展像素单元位置的时分连续多次曝光分别读出的电信号一一对应地进行空间差分运算，得到多个第二空间差分值；所述第三时分拓展模块用于将多个所述第二空间差分值进行时分动态范围拓展运算，得到当前时刻当前动态范围拓展像素单元位置的第二时分动态范围拓展后的空间差分值；所述时分动态范围拓展运算用于将各个电信号进行加权叠加转换运算，所述时分动态范围拓展运算、所述时间差分运算和所述空间差分运算为在模拟域、数字域或电荷域进行的运算。

6、根据本发明提供的一种基于动态范围拓展技术的视觉传感器芯片，所述动态范围拓展像素阵列包括至少两种不同类型的所述动态范围拓展像素单元；不同类型的所述动态范围拓展像素单元之间具有不同的光电转换曲线；不同类型的所述动态范围拓展像素单元混合排列；所述动态范围拓展的时间差分通路包括第一空分拓展模块和第三时间差分模块；所述第一空分拓展模块用于当前时刻动态范围拓展像素单元位置空分连续多次曝光分别读出的电信号进行空分动态范围拓展运算，得到当前时刻当前动态范围拓展像素单元位置的空分拓展后信号；所述第三时间差分模块用于将当前时刻当前动态范围拓展像素单元位置的空分拓展后信号与之前任意时刻当前动态范围拓展像素单元位置的空分拓展后信号之间进行时间差分运算，得到当前时刻当前动态范围拓展像素单元位置的第一空分动态范围拓展后的时间差分值；或，所述动态范围拓展的时间差分通路包括第四时间差分模块和第二空分拓展模块；所述第四时间差分模块用于将当前时刻当前动态范围拓展像素单元位置空分连续多次曝光分别读出的电信号与之前任意时刻当前动态范围拓展像素单元位置的空分连续多次曝光读出分别的电信号一一对应地进行时间差分运算，得到多个第四时间差分值；所述第二空分拓展模块用于将多个所述第四时间差分值进行空分动态范围拓展运算，得到当前时刻当前动态范围拓展像素单元位置的第二空分动态范围拓展后的时间差分值；所述动态范围拓展的空间差分通路包括复用所述时间差分通路的第一空分拓展模块和第三空间差分模块；所述第三空间差分模块用于将当前时刻当前动态范围拓展像素单元位置的空分拓展后信号与当前时刻任意动态范围拓展像素单元位置的空分拓展后信号之间进行空间差分运算，得到当前时刻当前动态范围拓展像素单元位置的第一空分动态范围拓展后的空间差分值；或，所述动态范围拓展的空间差分通路包括第四空间差分模块和第三空分拓展模块；所述第四空间差分模块用于将当前时刻当前动态范围拓展像素单元位置空分连续多次曝光分别读出的电信号与当前时刻任意动态范围拓展像素单元位置的空分连续多次曝光分别读出的电信号一一对应地进行空间差分运算，得到多个第四空间差分值；所述第三空分拓展模块用于将多个所述第四空间差分值进行空分动态范围拓展运算，得到当前时刻当前动态范围拓展像素单元位置的第二空分动态范围拓展后的空间差分值；所述空分动态范围拓展运算用于将各个电信号进行加权叠加转换运算，所述空分动态范围拓展运算、所述时间差分运算和所述空间差分运算为在模拟域、数字域或电荷域进行的运算。

7、本发明还提供一种基于动态范围拓展技术的视觉传感器芯片，包括动态范围拓展像素阵列、动态范围拓展的强度通路、动态范围拓展的时间差分通路和/或动态范围拓展的空间差分通路；所述动态范围拓展像素阵列包括多个动态范围拓展像素单元；所述动态范围拓展的强度通路用于确定动态范围拓展后的强度值；所述动态范围拓展后的强度值为根据当前位置当前时刻的动态范围拓展像素单元的信号与任意位置任意时刻的动态范围拓展像素单元的信号进行动态范围拓展运算后的值；所述动态范围拓展的时间差分通路用于确定动态范围拓展后的时间差分值；所述动态范围拓展后的时间差分值为根据当前位置当前时刻的动态范围拓展像素单元的信号与任意时刻的动态范围拓展像素单元的信号进行时间差分与动态范围拓展运算后的值；所述动态范围拓展的空间差分通路用于确定动态范围拓展后的空间差分值；所述动态范围拓展后的空间差分值为根据当前位置当前时刻的动态范围拓展像素单元位置的信号与任意位置的动态范围拓展像素单元的信号进行空间差分与动态范围拓展运算后的值。

8、根据本发明提供的一种基于动态范围拓展技术的视觉传感器芯片，所述动态范围拓展像素单元对输入光强具有非线性的灵敏度，所述灵敏度采用从输入光强到光生电荷信号的光电转换曲线的斜率表征；所述光电转换曲线包括分段非线性部分与一般非线性部分。

9、根据本发明提供的一种基于动态范围拓展技术的视觉传感器芯片，所述动态范围拓展像素单元包括光电转换模块与转换增益调节模块；所述转换增益调节模块用于调节光电转换曲线的斜率。

10、根据本发明提供的一种基于动态范围拓展技术的视觉传感器芯片，所述动态范围拓展像素单元用于将输入光信号进行时分连续多次曝光，每次曝光后读出光生电荷并清空复位；所述动态范围拓展的强度通路具体用于将当前时刻当前动态范围拓展像素单元位置时分连续多次曝光分别读出的电信号进行时分动态范围拓展运算，得到当前时刻当前动态范围拓展像素单元位置的时分拓展后的强度值；所述动态范围拓展的时间差分通路包括第一时分拓展模块和第一时间差分模块；所述第一时分拓展模块用于将当前时刻当前动态范围拓展像素单元位置时分连续多次曝光分别读出的电信号进行时分动态范围拓展运算，得到当前时刻当前动态范围拓展像素单元位置的时分拓展后信号；所述第一时间差分模块用于将当前时刻当前动态范围拓展像素单元位置的时分拓展后信号与之前任意时刻当前动态范围拓展像素单元位置的时分拓展后信号之间进行时间差分运算，得到当前时刻当前动态范围拓展像素单元位置的第一时分动态范围拓展后的时间差分值；或，所述动态范围拓展的时间差分通路包括第二时间差分模块和第二时分拓展模块；所述第二时间差分模块用于将当前时刻当前动态范围拓展像素单元位置时分连续多次曝光分别读出的电信号与之前任意时刻当前动态范围拓展像素单元位置的时分连续多次曝光读出分别的电信号一一对应地进行时间差分运算，得到多个第二时间差分值；所述第二时分拓展模块用于将多个所述第二时间差分值进行时分动态范围拓展运算，得到当前时刻当前动态范围拓展像素单元位置的第二时分动态范围拓展后的时间差分值；所述动态范围拓展的空间差分通路包括复用所述时间差分通路的第一时分拓展模块和第一空间差分模块；所述第一空间差分模块用于将当前时刻当前动态范围拓展像素单元位置的时分拓展后信号与当前时刻任意动态范围拓展像素单元位置的时分拓展后信号之间进行空间差分运算，得到当前时刻当前动态范围拓展像素单元位置的第一时分动态范围拓展后的空间差分值；或，所述动态范围拓展的空间差分通路包括第二空间差分模块和第三时分拓展模块；所述第二空间差分模块用于将当前时刻当前动态范围拓展像素单元位置时分连续多次曝光分别读出的电信号与当前时刻任意动态范围拓展像素单元位置的时分连续多次曝光分别读出的电信号一一对应地进行空间差分运算，得到多个第二空间差分值；所述第三时分拓展模块用于将多个所述第二空间差分值进行时分动态范围拓展运算，得到当前时刻当前动态范围拓展像素单元位置的第二时分动态范围拓展后的空间差分值；所述时分动态范围拓展运算用于将各个电信号进行加权叠加转换运算，所述时分动态范围拓展运算、所述时间差分运算和所述空间差分运算为在模拟域、数字域或电荷域进行的运算。

11、根据本发明提供的一种基于动态范围拓展技术的视觉传感器芯片，所述动态范围拓展像素阵列包括至少两种不同类型的所述动态范围拓展像素单元；不同类型的所述动态范围拓展像素单元之间具有不同的光电转换曲线；不同类型的所述动态范围拓展像素单元混合排列；所述动态范围拓展的强度通路具体用于当前时刻动态范围拓展像素单元位置空分连续多次曝光分别读出的电信号进行空分动态范围拓展运算，得到当前时刻当前动态范围拓展像素单元位置的空分拓展后的强度值；所述动态范围拓展的时间差分通路包括第一空分拓展模块和第三时间差分模块；所述第一空分拓展模块用于当前时刻动态范围拓展像素单元位置空分连续多次曝光分别读出的电信号进行空分动态范围拓展运算，得到当前时刻当前动态范围拓展像素单元位置的空分拓展后信号；所述第三时间差分模块用于将当前时刻当前动态范围拓展像素单元位置的空分拓展后信号与之前任意时刻当前动态范围拓展像素单元位置的空分拓展后信号之间进行时间差分运算，得到当前时刻当前动态范围拓展像素单元位置的第一空分动态范围拓展后的时间差分值；或，所述动态范围拓展的时间差分通路包括第四时间差分模块和第二空分拓展模块；所述第四时间差分模块用于将当前时刻当前动态范围拓展像素单元位置空分连续多次曝光分别读出的电信号与之前任意时刻当前动态范围拓展像素单元位置的空分连续多次曝光读出分别的电信号一一对应地进行时间差分运算，得到多个第四时间差分值；所述第二空分拓展模块用于将多个所述第四时间差分值进行空分动态范围拓展运算，得到当前时刻当前动态范围拓展像素单元位置的第二空分动态范围拓展后的时间差分值；所述动态范围拓展的空间差分通路包括复用所述时间差分通路的第一空分拓展模块和第三空间差分模块；所述第三空间差分模块用于将当前时刻当前动态范围拓展像素单元位置的空分拓展后信号与当前时刻任意动态范围拓展像素单元位置的空分拓展后信号之间进行空间差分运算，得到当前时刻当前动态范围拓展像素单元位置的第一空分动态范围拓展后的空间差分值；或，所述动态范围拓展的空间差分通路包括第四空间差分模块和第三空分拓展模块；所述第四空间差分模块用于将当前时刻当前动态范围拓展像素单元位置空分连续多次曝光分别读出的电信号与当前时刻任意动态范围拓展像素单元位置的空分连续多次曝光分别读出的电信号一一对应地进行空间差分运算，得到多个第四空间差分值；所述第三空分拓展模块用于将多个所述第四空间差分值进行空分动态范围拓展运算，得到当前时刻当前动态范围拓展像素单元位置的第二空分动态范围拓展后的空间差分值；所述空分动态范围拓展运算用于将各个电信号进行加权叠加转换运算，所述空分动态范围拓展运算、所述时间差分运算和所述空间差分运算为在模拟域、数字域或电荷域进行的运算。

12、本发明提供的一种基于动态范围拓展技术的视觉传感器芯片，包括动态范围拓展像素阵列、动态范围拓展的时间差分通路和/或动态范围拓展的空间差分通路；动态范围拓展像素阵列包括多个动态范围拓展像素单元；动态范围拓展的时间差分通路用于确定动态范围拓展后的时间差分值；动态范围拓展的空间差分通路用于确定动态范围拓展后的空间差分值。本发明通过基于动态范围拓展技术的视觉传感器芯片架构，能够大幅度提升视觉传感器对于高动态范围时空信息的感知能力。