影像同步验证方法、装置、RGBD模块及存储介质与流程

本发明涉及影像处理，尤其涉及的是一种影像同步验证方法、装置、rgbd模块及存储介质。

背景技术：

1、影像同步是将两个或两个以上的影像传感器在同一时间放到内存中，根据影像帧率产生对应数量的图像。在进行影像同步的过程中，各个影像传感器的影像同时获得的影像信息才是有用信息，若是两个影像传感器之间的影像输出时间具有差距，则无法获得可靠、准确的有用信息，进而可能会对将要建立的3d图像、推断距离信息等产生影响。

2、为提高影像模块获取图像数据的有效性，通常需要对影像模块的影像同步进行验证，传统方案通常采用对码表或钟摆进行拍摄的方式来验证影像输出是否同步。然而，对于由rgb摄像头与ir摄像头的集成的rgbd（rgb+depth map（深度图像））模块则不适用于上述验证方式，因为ir（infrared radiatio，红外线）摄像头在对码表或钟摆进行拍摄得到的图像无法有效辨别时间。

3、因此，现有技术还有待于改进和发展。

技术实现思路

1、鉴于上述现有技术的不足，本发明的目的在于提供一种影像同步验证方法、装置、rgbd模块及存储介质，以解决现有采用对码表与钟摆进行拍摄的方式来验证影像输出是否同步无法适用于rgbd模块的问题。

2、本发明的技术方案如下：

3、第一方面，本明提供了一种影像同步验证方法，其包括：

4、控制rgb摄像头与ir摄像头对每一组led进行拍摄，分别得到rgb图像与ir图像；其中，每一组led灯组包括一可见光led与一红外线led；

5、获取所述rgb图像与所述ir图像并对同一时间内的各组的可见光led与红外线led的点亮状态进行检测以得到同步判定结果，当同一时间内的同一组的所述rgb图像与所述ir图像中的可见光led与红外线led均被点亮，则说明rgb摄像头与ir摄像头输出的影像为同步状态；当同一组的所述rgb图像与所述ir图像中的可见光led与红外线led未被同时点亮，则确定rgb摄像头与ir摄像头输出的影像为异步状态。

6、本发明的进一步设置，所述控制rgb摄像头与ir摄像头对每一组led进行拍摄，分别得到rgb图像与ir图像的步骤包括：

7、获取所述rgb摄像头的影像帧率与所述ir摄像头的影像帧率；

8、根据所述rgb摄像头的影像帧率与所述ir摄像头的影像帧率对应设定点亮可见光led与红外线led的时间。

9、本发明的进一步设置，所述获取所述rgb图像与所述ir图像并对同一时间内的各组的可见光led与红外线led的点亮状态进行检测以得到同步判定结果的步骤包括：

10、对各组可见光led与红外线led的亮灯位置进行检测；

11、对各组可见光led与红外线led的灯号方向进行追踪；

12、根据可见光led与红外线led的亮灯位置与灯号方向对可见光led与红外线led的亮灯位置进行比对，以得到同步判定结果。

13、本发明的进一步设置，所述对各组可见光led与红外线led的亮灯位置进行检测的步骤包括：

14、将第0张rgb图像存储作为rgb背景值，并将第0张ir图像存储作为ir背景值；

15、将所述rgb背景值分别与当前rgb影像进行相减以得到当前可见光 led的亮灯位置，并将所述ir背景值与当前ir图像进行相减以得到当前红外线led的亮灯位置。

16、本发明的进一步设置，所述对各组可见光led与红外线led的灯号方向进行追踪的步骤包括：

17、所述rgb图像与所述ir图像中的每个像素点的颜色转换成一组led灯号；

18、对转换后的颜色进行统计，并生成颜色直方图；其中，所述颜色直方图中具有每种颜色在所述rgb图像与所述ir图像中出现的频率；

19、将目标对象的颜色直方图作为目标模型；

20、在追踪过程中，对每个新帧的感兴趣区域进行相同的颜色量化和直方图生成，以创建候选模型；

21、对比目标模型与候选模型的颜色直方图以得到相似度；

22、根据所述相似度的计算结果更新目标对象在当前帧中的位置。

23、本发明的进一步设置，影像同步验证方法还包括：

24、根据所述同步判定结果，对所述rgb图像与所述ir图像的输出时间进行同步调整。

25、本发明的进一步设置，所述根据所述同步判定结果，对所述rgb图像与所述ir图像的输出时间进行同步调整的步骤包括：

26、当所述rgb图像的输出速率相对于所述ir图像的输出速率较快时，对所述rgb图像的输出时间进行延迟处理，以使所述rgb图像与所述ir图像同步发出；

27、当所述ir图像的输出速率相对于所述rgb图像的输出速率较快时，对所述ir图像的输出时间进行延迟处理，以使所述rgb图像与所述ir图像同步发出。

28、第二方面，本明提供了一种影像同步验证装置，其包括：

29、第一控制单元，用于控制可见光led与红外线led产生光源；

30、第二控制单元，用于控制rgb摄像头与ir摄像头对每一组led进行拍摄，分别得到rgb图像与ir图像；

31、同步判定单元，用于获取所述rgb图像与所述ir图像并对同一时间内的各组的可见光led与红外线led的点亮状态进行检测以得到同步判定结果。

32、第三方面，本明提供了一种rgbd模块，包括存储器与处理器，所述存储器上存储有计算机程序，所述计算机程序被所述处理器执行时用于实现如上述所述的影像同步验证方法中的步骤。

33、第四方面，本明提供了一种存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时用于实现如上述所述的影像同步验证方法中的步骤。

34、本发明所提供的一种影像同步验证方法、装置、rgbd模块及存储介质，方法包括：控制rgb摄像头与ir摄像头对每一组led进行拍摄，分别得到rgb图像与ir图像；其中，每一组led灯组包括一可见光led与一红外线led；获取所述rgb图像与所述ir图像并对同一时间内的各组的可见光led与红外线led的点亮状态进行检测以得到同步判定结果，若是同一时间内的同一组的所述rgb图像与所述ir图像中的可见光led与红外线led均被点亮，则说明rgb摄像头与ir摄像头输出的影像为同步状态，当同一组的所述rgb图像与所述ir图像中的可见光led与红外线led未被同时点亮，则确定rgb摄像头与ir摄像头输出的影像为异步状态。本发明通过控制rgb摄像头与ir摄像头对每一组led进行拍摄并得到rgb图像与ir图像，并通过判断同一时间内的同一组的rgb图像与ir图像中的可见光led与红外线led是否均被点亮来判断rgb摄像头与ir摄像头输出的影像是否为同步状态，若是同一时间内的同一组的所述rgb图像与所述ir图像中的可见光led与红外线led均被点亮，则说明rgb摄像头与ir摄像头输出的影像为同步状态，若是可见光led与红外线led的点亮状态不在同一组，则说明rgb摄像头与ir摄像头输出的影像为异步状态。相对于采用对码表与钟摆进行拍摄的方式来验证影像输出是否同步，本发明不需要去对时间进行辨别，仅需要对可见光led与红外线led的点亮状态进行检测，从而实现了对rgbd模块的同步验证，且在进行验证时，只需要获取输入的影像，可以有效节省人力，相对示波器量测信号更加直观。