距离图像摄像装置以及距离图像摄像方法与流程

本发明涉及距离图像摄像装置以及距离图像摄像方法。本技术主张2022年4月13日在日本提出申请的特愿2022－066268号、2022年6月10日的特愿2022－094578以及2022年7月21日的特愿2022－116644的优先权，将其内容援用于此。

背景技术：

1、利用光的速度为已知这一情况、基于空间(测定空间)中的光的飞行时间来对测定器与对象物的距离进行测定的飞行时间(time of flight，以下称作“tof”)方式的距离图像摄像装置已经实现(例如，参照专利文献1)。在这种距离图像摄像装置中，通过使光电转换元件产生的电荷蓄积于多个电荷蓄积部来求出从照射光脉冲的时刻起到被摄体所反射的光脉冲返回为止的延迟时间，使用延迟时间和光速计算到被摄体的距离。

2、在这种距离图像摄像装置中，为了扩大测距范围，已知有将1帧分为多个子帧来进行测定的子帧驱动(例如，参照专利文献2)。在各子帧中，使相对于照射光脉冲的照射定时的、电荷蓄积于电荷蓄积部的蓄积定时相对不同。例如，在某一子帧中，以能够蓄积与从相对较近的距离到来的反射光对应的电荷的方式设定蓄积定时。在另一子帧中，以能够蓄积与从相对较远的距离到来的反射光对应的电荷的方式设定蓄积定时。由此，能够将从近距离到远距离的宽范围设为可测定的范围。

3、在子帧驱动中，需要将各子帧的距离图像最终合成为与1帧对应的距离图像。因此，需要确定各子帧中的能够计算正确距离的子帧、即蓄积有与反射光对应的电荷的子帧。因此，有时例如，进行那样的处理：通过判定从各子帧的蓄积信号减去外部光成分而得的外部光减法信号是否为阈值以上、，来确定蓄积有与反射光对应的电荷的子帧。

4、现有技术文献

5、专利文献

6、专利文献1：日本专利第4235729号公报

7、专利文献2：国际公开第2019/078366号

技术实现思路

1、发明将要解决的课题

2、然而，实际上，在减去外部光成分时，有时包含误差。另外，存在在各子帧中累计次数不同的情况。因此，仅靠单纯地比较外部光减法信号与阈值，减去外部光成分时产生的减去误差有可能超过反射光信号，难以确定蓄积有与反射光对应的电荷的子帧。

3、本发明基于上述的课题而完成，目的在于提供在子帧驱动中能够确定蓄积有与反射光对应的电荷的子帧的距离图像摄像装置以及距离图像摄像方法。

4、用于解决课题的手段

5、本公开的距离图像摄像装置具备：光源部，向测定空间照射光脉冲；受光部，具有像素以及像素驱动电路，所述像素具备产生与所入射的光相应的电荷的光电转换元件以及蓄积所述电荷的多个电荷蓄积部，所述像素驱动电路在与照射所述光脉冲的照射定时同步的规定的蓄积定时向所述电荷蓄积部分别分配所述电荷并使其蓄积；以及距离图像处理部，基于所述电荷蓄积部分别蓄积的电荷量，计算到存在于所述测定空间的被摄体的距离，在1帧中设置有多个子帧，所述距离图像处理部为，控制成在所述多个子帧各自中使相对于所述照射定时的所述蓄积定时相对不同而蓄积所述电荷，基于所述多个子帧各自的每单位累计次数下蓄积的电荷量，从所述多个子帧中选择计算所述距离的子帧。

6、在本公开的距离图像摄像装置中，也可以是，所述距离图像处理部为，使用与在所述多个子帧各自中蓄积的电荷量对应的蓄积信号，计算与反射光成分的大小对应的第一指标，并计算将所述第一指标除以所述多个子帧各自的累计次数而得的第二指标，将所述多个子帧中的、所述第二指标最大的子帧选择为计算所述距离的子帧。

7、在本公开的距离图像摄像装置中，也可以是，所述距离图像处理部使用从所述蓄积信号减去与外部光成分对应的外部光信号而得的信号来计算所述第一指标。

8、在本公开的距离图像摄像装置中，也可以是，所述距离图像处理部将所述第一指标比阈值小的子帧从计算所述距离的子帧的候选中排除。

9、本公开的距离图像摄像方法由距离图像摄像装置进行，所述距离图像摄像装置具备：光源部，向测定空间照射光脉冲；受光部，具有像素以及像素驱动电路，所述像素具备产生与所入射的光相应的电荷的光电转换元件以及蓄积所述电荷的多个电荷蓄积部，所述像素驱动电路在与照射所述光脉冲的照射定时同步的规定的蓄积定时向所述电荷蓄积部分别分配所述电荷并使其蓄积；以及距离图像处理部，基于所述电荷蓄积部分别蓄积的电荷量，计算到存在于所述测定空间的被摄体的距离，在所述距离图像摄像方法中，在1帧中设置有多个子帧，由所述距离图像处理部，控制成在所述多个子帧各自中使相对于所述照射定时的所述蓄积定时相对不同而蓄积所述电荷，基于所述多个子帧各自的每单位累计次数下蓄积的电荷量，从所述多个子帧中选择计算所述距离的子帧。

10、在本公开的距离图像摄像装置中，也可以是，所述多个子帧包含第一子帧以及第二子帧，所述距离图像处理部控制成，按照所述第一子帧、所述第二子帧的顺序在各子帧中使所述像素所具备的所述电荷蓄积部分别蓄积所述电荷，并使在所述第一子帧中所述像素所具备的所述电荷蓄积部在最晚的定时蓄积所述电荷的最后蓄积定时与在所述第二子帧中所述像素所具备的所述电荷蓄积部在最早的定时蓄积所述电荷的最初蓄积定时相对于照射所述光脉冲的定时成为相同的定时。

11、在本公开的距离图像摄像装置中，也可以是，所述距离图像处理部为，进行在所述第一子帧或者所述第二子帧中的任一方中将与所述电荷蓄积部各自所蓄积的电荷量相当的信号值设为常数倍的电平调整，以使与在所述最后蓄积定时蓄积所述电荷的所述电荷蓄积部即最后电荷蓄积部所蓄积的电荷量相当的第一信号值以及与在所述最初蓄积定时蓄积所述电荷的所述电荷蓄积部即最初电荷蓄积部所蓄积的电荷量相当的第二信号值成为相同的值，使用进行所述电平调整后的信号值来计算所述距离。

12、在本公开的距离图像摄像装置中，也可以是，所述距离图像处理部判定所述最后电荷蓄积部中是否蓄积有与所述光脉冲的反射光对应的所述电荷，在所述最后电荷蓄积部中蓄积有与所述反射光对应的所述电荷的情况下，进行所述电平调整。

13、在本公开的距离图像摄像方法中，也可以是，所述多个子帧包含第一子帧以及第二子帧，所述距离图像处理部控制成，按照所述第一子帧、所述第二子帧的顺序在各子帧中使所述像素所具备的所述电荷蓄积部分别蓄积所述电荷，并使在所述第一子帧中所述像素所具备的所述电荷蓄积部在最晚的定时蓄积所述电荷的最后蓄积定时与在所述第二子帧中所述像素所具备的所述电荷蓄积部在最早的定时蓄积所述电荷的最初蓄积定时相对于照射所述光脉冲的定时成为相同的定时。

14、在本公开的距离图像摄像装置中，具备：光源部，向测定空间照射光脉冲；受光部，具有像素以及像素驱动电路，所述像素具备产生与所入射的光相应的电荷的光电转换元件以及蓄积所述电荷的多个电荷蓄积部，所述像素驱动电路在与照射所述光脉冲的照射定时同步的规定的蓄积定时向所述电荷蓄积部分别分配所述电荷并使其蓄积；以及距离图像处理部，基于所述电荷蓄积部分别蓄积的电荷量，计算到存在于所述测定空间的被摄体的距离，在1帧中设置有多个子帧，所述距离图像处理部为，基于与在所述多个子帧各自中所述电荷蓄积部所蓄积的电荷量对应的蓄积信号，按照每个子帧计算表示与所述电荷蓄积部所蓄积的外部光成分对应的外部光信号的偏差程度的指标，使用所述多个子帧各自的所述蓄积信号和所述指标，从所述多个子帧中选择计算所述距离的子帧。

15、在本公开的距离图像摄像装置中，也可以是，所述距离图像处理部为，计算基于所述外部光成分的方差的阈值作为所述指标，将所述多个子帧中的、从所述蓄积信号减去所述外部光信号而得的外部光减法信号比所述阈值大的子帧作为计算所述距离的子帧。

16、在本公开的距离图像摄像装置中，也可以是，所述距离图像处理部为，计算基于噪声的阈值作为所述指标，所述噪声为所述外部光成分的方差的平方根，将所述多个子帧中的、从所述蓄积信号减去所述外部光信号而得的外部光减法信号比所述阈值大的子帧作为计算所述距离的子帧。

17、在本公开的距离图像摄像装置中，也可以是，所述距离图像处理部在所述多个子帧中不存在所述外部光减法信号比所述阈值大的子帧的情况下减小所述阈值。

18、在本公开的距离图像摄像装置中，也可以是，所述距离图像处理部在所述多个子帧中、所述外部光减法信号比所述阈值大的子帧存在多个的情况下增大所述阈值。

19、在本公开的距离图像摄像装置中，也可以是，所述距离图像处理部在所述多个子帧中不存在所述外部光减法信号比所述阈值大的子帧的情况下、或者所述外部光减法信号比所述阈值大的子帧存在多个的情况下，不选择计算所述距离的子帧。

20、本公开的距离图像摄像方法由距离图像摄像装置进行，所述距离图像摄像装置具备：光源部，向测定空间照射光脉冲；受光部，具有像素以及像素驱动电路，所述像素具备产生与所入射的光相应的电荷的光电转换元件以及蓄积所述电荷的多个电荷蓄积部，所述像素驱动电路在与照射所述光脉冲的照射定时同步的规定的蓄积定时向所述电荷蓄积部分别分配所述电荷并使其蓄积；以及距离图像处理部，基于所述电荷蓄积部分别蓄积的电荷量，计算到存在于所述测定空间的被摄体的距离，在所述距离图像摄像方法中，在1帧中设置有多个子帧，由所述距离图像处理部，基于与在所述多个子帧各自中所述电荷蓄积部所蓄积的电荷量对应的蓄积信号，按照每个子帧计算表示与所述电荷蓄积部所蓄积的外部光成分对应的外部光信号的偏差程度的指标，使用所述多个子帧各自的所述蓄积信号和所述指标，从所述多个子帧中选择计算所述距离的子帧。

21、发明效果

22、根据本公开，在子帧驱动中，能够确定蓄积有与反射光对应的电荷的子帧。