成像元件、摄像装置、图像数据处理方法及计算机程序产品与流程

本发明的技术涉及一种成像元件、摄像装置、图像数据处理方法及计算机程序产品。

背景技术：

1、在日本特开2017-188760号公报中公开了一种层叠有存储器基板和信号处理基板的层叠型成像元件。存储器基板具有临时储存像素基板所输出的像素信号的dram(dynamicrandom access memory：动态随机存取存储器)等存储器。信号处理基板对储存在存储器基板中的像素信号执行各种信号处理。在日本特开2017-188760号公报中记载的层叠型成像元件中，在由信号处理基板中所包括的分析部在像素信号中检测到运动物体的情况下，由信号处理基板中所包括的信号处理部执行信号处理。

2、在日本特开2017-183952号公报中公开了一种具备成像元件和第2图像处理部的摄像装置。在日本特开2017-183952号公报中记载的摄像装置中，成像元件具有形成有摄像用像素的摄像部和对由摄像部获取的图像数据进行处理的第1图像处理部。并且，第2图像处理部与第1图像处理部电连接。

3、在日本特开2017-183952号公报中记载的摄像装置中，第1图像处理部具备被摄体检测部，该被摄体检测部使用以比第2图像处理部中的帧速率高的帧速率获取的图像数据进行被摄体检测，并将被摄体检测部检测到的检测信息发送到第2图像处理部。并且，第1图像处理部具有控制机构，该控制机构获取被摄体检测部检测到检测信息，并变更进行下一次被摄体检测时的帧速率。另外，被摄体检测部将表示被摄体的移动量的检测信息输出到控制机构，在被摄体的移动量小的情况下，与被摄体的移动量大的情况相比，控制机构将帧速率设定得相对较低。

技术实现思路

1、发明要解决的技术课题

2、然而，在日本特开2017-188760号公报中记载的图像处理装置的图像数据的读取方式无论被摄体的移动如何始终相同，仅用一种读取方式就不易减少消耗电力。在日本特开2017-183952号公报中记载的摄像装置通过根据被摄体的移动来变更帧速率而减少消耗电力，但是仅变更帧速率，则消耗电力不会充分减少。

3、本发明的一实施方式提供一种成像元件、摄像装置、图像数据处理方法及计算机程序产品，其与仅变更由读取部读取图像数据的帧速率的情况相比，能够减少消耗电力。

4、用于解决技术课题的手段

5、本发明的技术的第1方式为一种成像元件，其包括：读取部，从光电转换元件读取通过由光电转换元件拍摄被摄体而得到的摄像图像数据，并且内置于成像元件；存储部，可以存储由读取部从光电转换元件读取的摄像图像数据，并且内置于成像元件；及输出部，将基于存储在存储部中的摄像图像数据的输出用图像数据输出到成像元件的外部，并且内置于成像元件，输出部以第1帧速率将输出用图像数据输出到外部，读取部以第2帧速率从光电转换元件读取摄像图像数据，读取部以第1读取方式或读取数据量少于第1读取方式的第2读取方式从光电转换元件读取摄像图像数据，在第1读取方式的情况下，第1帧速率是相当于第2帧速率的帧速率，在第2读取方式的情况下，第1帧速率是与第1读取方式的情况相比更低的帧速率，根据检测部检测到被摄体的移动的检测结果来切换第1读取方式和第2读取方式。

6、从而，与仅变更由读取部读取图像数据的帧速率的情况相比，本发明的技术所涉及的第1方式的成像元件能够减少消耗电力。

7、本发明的技术所涉及的第2方式是第1方式所涉及的成像元件，其中，存储部可以以摄像时刻为前后的多个帧来存储摄像图像数据。

8、从而，与存储部中存储有多个同一帧的摄像图像数据的情况相比，本发明的技术所涉及的第2方式的成像元件能够实现更多的图像处理。

9、本发明的技术的第3方式是第2方式所涉及的成像元件，其中，检测部根据存储在存储部中的多个帧的摄像图像数据来检测被摄体的移动。

10、从而，与在存储部中存储有多个同一帧的摄像图像数据的情况相比，本发明的技术所涉及的第3方式的成像元件能够实现由检测部以高精度检测被摄体的移动。

11、本发明的技术所涉及的第4方式是第1方式至第3方式中任一方式所涉及的成像元件，其中，第1帧速率根据第1读取方式和第2读取方式的切换而变更。

12、从而，与始终将与第2帧速率相同的帧速率用作第1帧速率的情况相比，本发明的技术所涉及的第4方式的成像元件能够减少输出用图像数据的输出所需消耗电力。

13、本发明的技术所涉及的第5方式是第1方式至第4方式中任一方式所涉及的成像元件，其中，第2帧速率与第1读取方式和第2读取方式的切换无关均被固定。

14、从而，与第2帧速率根据第1读取方式和第2读取方式的切换而变更的情况相比，本发明的技术所涉及的第5方式的成像元件能够使成像元件的内部的处理所需时间稳定。

15、本发明的技术所涉及的第6方式是第1方式至第5方式中任一方式所涉及的成像元件，其中，在第2读取方式中，摄像图像数据的一帧是间隔剔除图像帧，所述间隔剔除图像帧与在预先确定的摄像条件下由光电转换元件拍摄到被摄体的情况相比被间隔剔除像素。

16、从而，与摄像图像数据的一帧是未被间隔剔除像素的帧的情况相比，本发明的技术所涉及的第6方式的成像元件能够减少消耗电力。

17、本发明的技术所涉及的第7方式是第1方式至第5方式中任一方式所涉及的成像元件，其中，在由读取部以第2读取方式读取摄像图像数据的情况下，摄像图像数据是多个间隔剔除图像帧，所述多个间隔剔除图像帧与在预先确定的摄像条件下由光电转换元件拍摄被摄体的情况相比被间隔剔除像素，并且彼此不同的部位的像素被间隔剔除，输出用图像数据是将多个间隔剔除图像帧进行合成而得到的图像数据。

18、从而，与作为输出用图像数据而输出单个间隔剔除图像帧的情况相比，本发明的技术所涉及的第7方式的成像元件能够实现比输出用图像数据更高的画质。

19、本发明的技术所涉及的第8方式是第6方式或第7方式所涉及的成像元件，其中，在第2读取方式中，使光电转换元件在像素被间隔剔除的状态下拍摄被摄体。

20、从而，与使光电转换元件在像素未被间隔剔除的状态下拍摄被摄体的情况相比，本发明的技术所涉及的第8方式的成像元件能够减少光电转换元件的拍摄所需消耗电力。

21、本发明的技术所涉及的第9方式是第6方式或第7方式所涉及的成像元件，其中，在第2读取方式中，读取部在像素被间隔剔除的状态下从光电转换元件读取摄像图像数据。

22、从而，与由读取部读取未间隔剔除像素的摄像图像数据的情况下，本发明的技术所涉及的第9方式的成像元件能够减少由读取部读取摄像图像数据所需消耗电力。

23、本发明的技术所涉及的第10方式是第1方式至第9方式中任一方式所涉及的成像元件，其中，在第2读取方式中，摄像图像数据是针对每一帧被间隔剔除不同部位的像素而得到的多个间隔剔除图像数据，存储部存储多个间隔剔除图像数据，检测部根据存储在存储部中的多个间隔剔除图像数据来检测被摄体的移动。

24、从而，与在与将多个间隔剔除图像数据存储于存储部的期间相同的期间将未间隔剔除像素的一个帧量的摄像图像数据存储于存储部的情况相比，本发明的技术所涉及的第10方式的成像元件能够迅速检测被摄体的移动。

25、本发明的技术所涉及的第11方式是第1方式至第10方式中任一方式所涉及的成像元件，其中，在由检测部检测到被摄体的移动的情况下设为第1读取方式，在由检测部未检测到被摄体的移动的情况下设为第2读取方式。

26、从而，与无论被摄体的移动如何始终采用第1读取方式的情况相比，本发明的技术所涉及的第11方式的成像元件能够减少消耗电力。

27、本发明的技术所涉及的第12方式是第1方式至第11方式中任一方式所涉及的成像元件，其包括检测部。从而，与检测部设置于成像元件外部的情况相比，本发明的技术所涉及的第12方式的成像元件能够根据摄像图像数据迅速检测被摄体的移动。

28、本发明的技术所涉及的第13方式为第1方式至第12方式中任一方式所涉及的成像元件，其中，成像元件是层叠型成像元件，其具有光电转换元件，并且在光电转换元件中层叠有存储部。

29、从而，与使用存储部未层叠于光电转换元件上的类型的成像元件的情况相比，本发明的技术所涉及的第13方式的成像元件能够实现多个帧量的图像处理的高速化。

30、本发明的技术所涉及的第14方式为一种摄像装置，其包括：本发明的技术的第1方式至第13方式中任一方式所涉及的成像元件；及控制部，进行使基于输出用图像数据的图像显示于显示部的控制，所述输出用图像数据由成像元件中所包括的输出部输出。

31、从而，与仅变更由读取部读取图像数据的帧速率的情况相比，本发明的技术所涉及的第14方式的摄像装置能够减少消耗电力。

32、本发明的技术所涉及的第15方式为一种图像数据处理方法，其包括如下步骤：成像元件包括：读取部，从光电转换元件读取通过由光电转换元件拍摄被摄体而得到的摄像图像数据；存储部，可以存储由读取部从光电转换元件读取的摄像图像数据；及输出部，将基于存储在存储部中的摄像图像数据的输出用图像数据输出到成像元件的外部，使成像元件中所包括的输出部以第1帧速率将输出用图像数据输出到外部；使读取部以第2帧速率从光电转换元件读取摄像图像数据；使读取部以第1读取方式或读取数据量少于第1读取方式的第2读取方式从光电转换元件读取摄像图像数据；在第1读取方式的情况下，将第1帧速率设为相当于第2帧速率的帧速率；在第2读取方式的情况下，将第1帧速率设为与第1读取方式的情况相比更低的帧速率；及根据检测部检测到被摄体的移动的检测结果来切换第1读取方式和第2读取方式。

33、从而，与仅变更由读取部读取图像数据的帧速率的情况相比，本发明的技术所涉及的第15方式的图像数据处理方法能够减少消耗电力。

34、本发明的技术所涉及的第16方式为一种计算机程序产品，成像元件包括：读取部，从光电转换元件读取通过由光电转换元件拍摄被摄体而得到的摄像图像数据；存储部，可以存储由读取部从光电转换元件读取的摄像图像数据；及输出部，将基于存储在存储部中的摄像图像数据的输出用图像数据输出到成像元件的外部，程序用于使计算机作为读取部及输出部而发挥功能，输出部以第1帧速率将输出用图像数据输出到外部，读取部以第2帧速率从光电转换元件读取摄像图像数据，读取部以第1读取方式或读取数据量少于第1读取方式的第2读取方式从光电转换元件读取摄像图像数据，在第1读取方式的情况下，第1帧速率是相当于第2帧速率的帧速率，在第2读取方式的情况下，第1帧速率是与第1读取方式的情况相比更低的帧速率，根据检测部检测到被摄体的移动的检测结果来切换第1读取方式和第2读取方式。

35、从而，与仅变更由读取部读取图像数据的帧速率的情况相比，本发明的技术所涉及的第16方式的存储介质能够减少消耗电力。

36、本发明的技术所涉及的第17方式为一种成像元件，其包括内置于成像元件中的处理器和存储器，处理器从光电转换元件读取通过由光电转换元件拍摄被摄体而得到的摄像图像数据，存储器可以存储由处理器从光电转换元件读取的摄像图像数据，处理器将基于存储在存储器中的摄像图像数据的输出用图像数据输出到成像元件的外部，处理器以第1帧速率将输出用图像数据输出到外部，处理器以第2帧速率从光电转换元件读取摄像图像数据，处理器以第1读取方式或读取数据量少于第1读取方式的第2读取方式从光电转换元件读取摄像图像数据，在第1读取方式的情况下，第1帧速率是相当于第2帧速率的帧速率，在第2读取方式的情况下，第1帧速率是与第1读取方式的情况相比更低的帧速率，并根据检测部检测到被摄体的移动的检测结果来切换第1读取方式和第2读取方式。

37、根据本发明的一实施方式可以获得如下效果：与仅变更由读取部读取的图像数据的帧速率的情况相比，能够减少消耗电力。