基于复杂结构光的双目立体匹配方法

本发明涉及图像识别，具体涉及一种基于复杂结构光的双目立体匹配方法。

背景技术：

1、目前在双目视觉领域，获取目标物体的三维信息通常是通过控制左右两个相机同时曝光，对目标物体进行图像采集。对目标物体拍摄的左右图像上的特征点进行匹配。利用一些客观约束条件将同一位置的特征点进行配对。但是由于大多数目标物体表面上的纹理或特征较少，甚至存在没有特征或纹理的情况，又或者被拍摄的目标物体处在可见光较少或者无可见光的环境中，因而无法对目标物体拍摄的左右图像上的特征进行有效地提取和匹配。为了解决上述问题，一般是通过传感器主动为目标物体提供特征，来弥补目标物体本身所存在的不足或者因所处环境因素造成的干扰。

2、现阶段对目标物体主动提供特征的传感器有两种，一种是通过投影设备将具有编码信息的图案投射到物体表面，通过相机采集具有编码信息的图像，将拍摄的左右图像按相应编码方式进行解码，左右图像上具有相同编码信息的特征点，即为匹配点。这种投射方式需要提前对投影的图案进行编码，而且后续解码的过程较为复杂，还需要较大计算能力并消耗较多时间资源，不能较为及时地得到目标物体的空间信息。

3、另一种投射方式是通过投射装置投射线结构光，包括扫描线结构光和线阵结构光。扫描线结构光是通过控制装置带动线结构光投射装置，使得线结构光扫描目标物体表面，同时控制双目相机进行连续曝光拍照。这种扫描方式比较耗费时间，不能保证实时性，应用场景上受到限制。线阵结构光是通过控制装置将线阵平行结构光按规则投射到目标物体表面，控制左右两个相机同时曝光进行图像采集。通过对采集的左右图像上的结构光光条进行提取，并将提取后的光条进行匹配。在该方法下所获得的目标物体的信息一般是结构光所投射到目标物体的部分。如果要获得目标物体表面的更多信息，就需要投射更多的线结构光。但线结构光数量太多会导致光条分布更加密集。不利于后续光条的提取和匹配。而且平行结构光的光条之间是相互平行的，同时平行结构光只有一个方向。当出现光条丢失或者光条被遮挡等问题时，左右图像上的光条将很难实现匹配，进而影响后续三维重构等操作。

4、因而需要一种既能在保证装置实时性、准确性的基础上，还能通过使用较为简单的操作来完成在复杂情况下获取目标物体表面空间信息的方法。

技术实现思路

1、本发明的目的在于解决前述技术问题之一，提供一种基于复杂结构光的双目立体匹配方法。

2、为实现上述目的，本发明采用如下技术方案：

3、一种基于复杂结构光的双目立体匹配方法，基于匹配系统而实现，用于获取物体表面特征；

4、所述匹配系统包括：

5、结构光投射系统：所述结构光投射系统包括多个投射装置，每个投射装置均可发射一组若干根相互平行的直线结构光光条，任意两个投射装置发射的直线结构光相交，其中，每个投射装置发射的每根直线结构光光条具有两个端点；直线结构光光条在相交位置处产生交点；

6、双目相机：包括左相机和右相机；用于同时采集物体表面的复杂结构光图像，获得左图像和右图像；

7、处理器：用于获取双目相机同时采集的图像，进行图像处理，并执行所述匹配方法，所述方法包括；

8、处理左相机和右相机同时采集的图像，分别获取左图像的特征点和右图像的特征点，所述特征点包括：端点特征点，以及交点特征点；

9、基于端点特征点或交点特征点，沿着结构光光条的延伸方向搜寻其他特征点，同时确定特征点之间的结构光路径；

10、将左图像和右图像上提取的所有特征点，逐一构建特征描述子；在特征描述子的基础上，将左右图像上的特征点进行匹配，得到左图像特征点与右图像特征点之间的匹配关系；

11、基于左图像特征点和右图像特征点之间的对应关系和特征点之间的结构光路径，获得左图像特征点之间的结构光路径与右图像特征点之间的结构光路径的匹配关系；

12、对左图像特征点之间的结构光路径和右图像特征点之间的结构光路径分别提取光条中心位置；

13、基于左图像特征点之间的结构光路径与右图像特征点之间的结构光路径的匹配关系，结合双目相机标定得到相机的内参数、外参数，并采用外极线约束完成结构光光条中心点的匹配；实现复杂结构光的三维重建，获取物体表面特征。

14、本发明一些实施例中，多个投射装置发射的多组若干根平行结构光相互交错形成复杂的结构光图案。

15、本发明一些实施例中，确定交点特征点的方法包括：

16、检测结构光光条相交位置处所包括的角点，所述角点数量与相交光条的数量有关，m根结构光光条相交于一点，则该交点位置处包含2m个角点；

17、求解交点位置处包含所有角点的最小覆盖圆；

18、将最小覆盖圆的圆心作为光条相交位置处的交点特征点。

19、本发明一些实施例中，确定端点特征点的方法包括：

20、将每根结构光光条两端的端点作为特征点。

21、本发明一些实施例中，确定特征点之间的结构光路径的方法包括：

22、特征点之间通过结构光光条互相连接。

23、本发明一些实施例中，确定特征点之间的结构光路径的方法包括：

24、s1：选定一个特征点，作为起始特征点，即第k级特征点。

25、s2：选定起始特征点的一条结构光光条作为起始路径。

26、s3：从起始特征点开始沿着起始路径，寻找该路径上的下一级特征点，即第k+1级特征点，定义为该条结构光路径上的终点特征点；

27、s4：当寻找到第k+1级特征点时，该路径停止搜寻；获得起始特征点与终止特征点的位置关系以及两特征点之间的结构光路径；

28、s5：判断起始特征点结构光光条的数量，选取起始特征点的各根结构光光条作为起始路径，寻找各条起始路径上的第k+1级特征点，直至确定第k级特征点对应的所有第k+1级特征点；

29、s6:逐一选取第k+1级特征点作为新的起始特征点；重复步骤s1,s2,s3,s4,s5；

30、s7:按步骤s6的方法，逐步寻找下一级特征点，直至遍历图像上所有的特征点，获得所有的特征点之间结构光路径，以及所有特征点之间的位置关系。

31、本发明一些实施例中，步骤s1中，选定端点位置处的特征点，作为起始特征点。

32、与现有技术相比，本发明的技术优势在于：

33、1、通过使用包含若干个投射装置的结构光投射系统，每个投射装置可投射一组若干根平行结构光，提高投射装置的效率，有效地降低成本；能够在不同场景下完成复杂结构光的投射任务，适应性较强。

34、2、复杂结构光图案是由若干个投射装置任意排布，所投射的直线结构光相互交错排布，进而形成较为复杂的结构光图案。构成复杂图案的结构光因其投射装置摆放得无规律性，使得复杂图案投射到目标物体表面上时，能够较为合理地获取目标物体表面的空间信息。避免了平行结构光因为只有一个方向上的信息，从而导致获取的物体表面信息具有随机性。

35、3、线结构光阵列只需对目标物体进行一次投射任务，避免了密集平行结构光需要将一次投射任务设置成多次投射的问题，简化了实验的操作步骤；同时保证了装置具有较高的实时性。

36、4、将左右图像特征点的匹配关系与特征点之间的结构光光条相结合，通过将复杂多线结构光图案划分成若干根简单结构光线段进行匹配，使得左右图像上的结构光光条在匹配上更加得便捷和准确。

37、5、当左右图像上存在遮挡、光条丢失等问题时，传统匹配算法无法完成左右光条的精确匹配；即使能完成左右光条的匹配，匹配的成功率和准确率较低。本发明的双目匹配算法在该条件下依然能够实现其他完整光条的准确匹配。