利用上下文数据的传感器上图像处理器的制作方法

本公开涉及图像传感器。更具体地但非限制性地，本公开涉及一种具有传感器上(on-sensor)控制器的图像传感器，该传感器上控制器用于改变对数字图像的全部或部分的传感器外(off-sensor)传递。

背景技术：

1、典型的图像传感器包括像素单元阵列。每个像素单元可以包括光电二极管，以通过将光子转换成电荷(例如，电子或空穴)来感测光。然后，模数转换器(analog-to-digitalconverter，adc)可以将由光电二极管阵列生成的电荷量化为数字值，以生成数字图像。可以从该传感器向另一系统(例如用于观看数字图像的观看系统、用于解译数字图像的处理系统、用于编辑一组数字图像的编辑系统，等)输出数字图像。

技术实现思路

1、本公开涉及图像传感器。更具体地但非限制性地，本公开涉及一种具有传感器上控制器的图像传感器，该传感器上控制器用于改变对数字图像的全部或部分的传感器外传递。

2、在一些示例中，提供了一种装置。该装置包括：像素单元阵列，像素单元阵列中的每个像素单元包括一个或多个光电二极管以及一个或多个电荷存储器件中的电荷存储器件，该一个或多个光电二极管被配置为响应于光而生成电荷，该一个或多个电荷存储器件中的电荷存储器件用于对该电荷进行转换以输出电压阵列中的电压；一个或多个模数转换器(adc)，该一个或多个模数转换器被配置为将电压阵列转换为第一像素数据；以及控制器。该控制器被配置为：接收来自adc的第一像素数据；将第一像素数据输入到机器学习模型中以生成输出数据，该输出数据包括与第一像素数据的一个或多个特征相关联的预测数据；基于预测数据，生成第二像素数据，该第二像素数据与第一像素数据的一个或多个变换特征相关联；以及从传感器装置向分开的接收装置发送第二像素数据。

3、在一些方面，传感器装置是第一传感器装置；控制器还被配置为接收来自第二传感器装置的像素元数据，该像素元数据与第三像素数据的一个或多个方面相关联；生成第二像素数据还基于像素元数据。

4、在一些方面，像素元数据被输入到机器学习模型以生成输出数据。

5、在一些方面，第三像素数据的一个或多个方面包括第三像素数据的一个或多个特征。

6、在一些方面，传感器装置是第一传感器装置，并且控制器还被配置为：基于第一像素数据生成像素元数据，该像素元数据与第一像素数据的一个或多个方面相关联；以及向第二传感器装置发送像素元数据。

7、在一些方面，传感器装置是第一传感器装置，并且控制器还被配置为：基于第二像素数据生成像素元数据，该像素元数据与第二像素数据的一个或多个方面相关联；以及向第二传感器装置发送像素元数据。

8、在一些方面，控制器还被配置为接收来自方位传感器装置的方位元数据，该方位元数据与至少传感器装置的方位相关联；并且生成第二像素数据还基于方位元数据。

9、在一些方面，控制器还被配置为将上下文数据输入到机器学习模型中以生成输出数据，该上下文数据和与第一像素数据相关的一个或多个上下文相关联。

10、在一些方面，传感器装置是第一传感器装置；并且该上下文数据是从第二传感器装置发送给第一传感器装置的，该第二传感器装置被配置为生成该上下文数据。

11、在一些方面，控制器还被配置为基于第一像素数据生成上下文数据。

12、在一些方面，第一像素数据是第一数字像素数据，该第一数字像素数据包括表示第一数字图像的一个或多个第一数字像素数据值。

13、在一些方面，第一像素数据的一个或多个特征包括一个或多个可改变特征；第二像素数据是与第一数字像素数据相关联的像素元数据，该像素元数据至少包括第一像素数据包括一个或多个可改变特征的指示；并且发送第二像素数据包括：向分开的接收装置发送像素元数据而不是第一像素数据。

14、在一些方面，控制器还被配置为：响应于向分开的接收装置发送像素元数据，向一个或多个电荷存储器件发送阻止对电荷的转换以输出电压阵列的指示。

15、在一些方面，控制器还被配置为：接收来自方位传感器装置的方位元数据，该方位元数据与至少传感器装置的方位相关联；基于方位元数据确定要由adc转换的第三像素数据将不包括一个或多个可改变特征；以及向一个或多个电荷存储器件发送恢复对电荷的转换以输出电压阵列的指示。

16、在一些方面，第二像素数据是第二数字像素数据，该第二数字像素数据包括表示第二数字图像的一个或多个第二数字像素数据值，该一个或多个第二数字像素数据值的至少子集是与一个或多个变换特征相关联的经变换的第二数字像素数据值。

17、在一些方面，生成第二像素数据包括：将一个或多个第一数字像素值的至少子集转换为经变换的第二数字像素数据值。

18、在一些方面，第一数字像素数据值和第二数字像素数据值中的每个数字像素数据值包括与像素的颜色相对应的一个或多个颜色值；并且将一个或多个第一数字像素数据值的至少子集转换为经变换的第二数字像素数据值包括：改变一个或多个第一数字像素数据值的子集的一个或多个颜色值的子集。

19、在一些方面，第一像素数据的一个或多个特征包括一个或多个可改变特征；并且生成第二像素数据包括：生成与一个或多个变换特征相关联的经变换的第二数字像素数据值，以替换与一个或多个可改变特征相关联的一个或多个第一数字像素数据值的子集。

20、在一些方面，向分开的接收装置发送第二像素数据包括：向分开的接收装置发送一个或多个第二数字像素数据值而不是经变换的第二数字像素数据值。

21、在一些示例中，一种方法包括：对像素单元阵列中的每个像素单元进行操作，以响应于光而生成电荷，并且对电荷进行转换以输出电压阵列中的电压；将电压阵列转换为第一像素数据；将第一像素数据输入到机器学习模型中以生成输出数据，该输出数据包括与第一像素数据的一个或多个特征相关联的预测数据；基于预测数据生成第二像素数据，该第二像素数据与第一像素数据的一个或多个变换特征相关联；以及向接收装置发送第二像素数据。

技术特征：

1.一种传感器装置，包括：

2.根据权利要求1所述的装置，其中：

3.根据权利要求2所述的装置，其中，所述像素元数据被输入到所述机器学习模型以生成所述输出数据。

4.根据权利要求2或权利要求3所述的装置，其中，所述第三像素数据的一个或多个方面包括所述第三像素数据的一个或多个特征。

5.根据前述权利要求中任一项所述的装置，其中，所述传感器装置是第一传感器装置，并且所述控制器还被配置为：

6.根据前述权利要求中任一项所述的装置，其中，所述传感器装置是第一传感器装置，并且所述控制器还被配置为：

7.根据前述权利要求中任一项所述的装置，其中：

8.根据前述权利要求中任一项所述的装置，其中，所述控制器还被配置为将上下文数据输入到所述机器学习模型中以生成所述输出数据，所述上下文数据和与所述第一像素数据相关的一个或多个上下文相关联；并且优选地

9.根据前述权利要求中任一项所述的装置，其中，所述第一像素数据是第一数字像素数据，所述第一数字像素数据包括表示第一数字图像的一个或多个第一数字像素数据值。

10.根据权利要求9所述的装置，其中：

11.根据权利要求9或权利要求10所述的装置，其中，所述第二像素数据是第二数字像素数据，所述第二数字像素数据包括表示第二数字图像的一个或多个第二数字像素数据值，所述一个或多个第二数字像素数据值的至少子集是与一个或多个变换特征相关联的经变换的第二数字像素数据值。

12.根据权利要求11所述的装置，其中，生成所述第二像素数据包括：将一个或多个第一数字像素值的至少子集变换为所述经变换的第二数字像素数据值；

13.根据权利要求11或权利要求12所述的装置，其中：

14.根据权利要求11、权利要求12或权利要求13所述的装置，其中，向所述分开的接收装置发送所述第二像素数据包括：向所述分开的接收装置发送所述一个或多个第二数字像素数据值而不是所述经变换的第二数字像素数据值。

15.一种方法，包括：

技术总结在一些示例中，传感器装置包括：像素单元阵列，每个像素单元包括一个或多个光电二极管以及电荷存储器件，所述一个或多个光电二极管被配置为响应于光而生成电荷，所述电荷存储器件用于对电荷进行转换以输出电压阵列中的电压；一个或多个模数转换器(ADC)，该一个或多个ADC被配置为将电压阵列转换为第一像素数据；以及传感器上控制器，该传感器上控制器被配置为：将第一像素数据输入到机器学习模型中以生成输出数据，所述输出数据包括与第一像素数据的一个或多个特征相关联的预测数据；基于预测数据生成第二像素数据，第二像素数据与第一像素数据的一个或多个变换特征相关联；以及从传感器装置向分开的接收装置发送第二像素数据。技术研发人员：安德鲁·塞缪尔·贝尔科维奇,刘新桥受保护的技术使用者：元平台技术有限公司技术研发日：技术公布日：2024/8/20