一种基于多光谱的大视场双目立体视觉感知方法

本发明涉及一种基于多光谱的大视场双目立体视觉感知方法，属于立体视觉。

背景技术：

1、双目立体视觉是通过模仿人的视觉系统，基于视差原理利用探测器从不同的位置获取目标的特征，根据空间目标表面的某些特征点的三维几何位置，建立图像中对应像素点之间的关系，构建双目立体视觉成像模型获得成像模型参数。

2、传统的立体视觉系统有毫米波雷达感知方法、激光雷达感知方法、毫米波雷达和激光雷达与视觉融合方式、单目视觉方法以及双目立体视觉方法。雷达传感器和视觉传感器融合方法是将多个传感器的时间以及空间进行标定，将其获得的数据变换到统一的坐标系中，之后对获取的信息进行处理，这类方法存在多个传感器标定复杂且感知范围不一致的问题，只能提供稀疏点的测距信息；随着精度的提升，价格变得昂贵。单目立体视觉是采用一个摄像头，从三维世界投影到二维世界，从而损失了深度信息，单目立体视觉系统是假设在路面静态的基础上对相机动态姿态进行求解以实现测距功能。相比于其他方法，单目立体视觉系统具有尺寸小、质量轻的特点，但是只能获取二维图像，无法确定与目标之间的距离，测距精度低且环境适应能力差。双目立体视觉是利用左右两台摄像机在一个方向上的位置视差获取深度信息，双目立体视觉的视差法计算深度相比单目方法鲁棒性更佳，但在测距精度、实时性及视场等方面还有待进一步提高。本发明提出一种基于多光谱的大视场双目立体视觉感知方法，旨在获取大视场图像信息的同时，实时实现高精度的测距。

技术实现思路

1、针对现有双目立体视觉感知方法存在测距精度低、实时性差及视场小的问题，本发明的主要目的是提出一种基于多光谱的大视场双目立体视觉感知方法和系统，通过可见光与红外光学系统，实现大视场成像；采用椭圆模型的畸变校正方法，解决可见光与红外光学系统产生的图像畸变，并保障视场不丢失；采用多光谱融合算法，提高双目立体感知系统场景态势感知能力和增强图像细节。提升视觉感知过程中的图像质量，提高测距精度。

2、本发明是通过以下技术方案实现的：

3、本发明公开的一种基于多光谱的大视场双目立体视觉感知方法和系统，包括如下步骤：

4、步骤一、通过两组平行的大视场可见光和红外光学系统，完成光能的聚集；

5、步骤二、基于步骤一的光能聚集，对可见光和红外成像，得到两张可见光图像ill1、ill2和两张红外图像iinfrared1、iinfrared2。

6、步骤三、分别步骤二所得的两组可见光和红外图像进行畸变校正，得到两组无畸变的可见光和红外图像；

7、采用基于椭圆模型的畸变校正方法：

8、

9、

10、

11、其中k1、k2为畸变系数,h为图像的宽，v为图像的高，x、xd分别为x方向的校正图像和畸变图像，y和yd分别为y方向的校正图像和畸变图像。

12、实时校正采用校正映射表，先计算出图像对应的校正结果，并存储在嵌入式平台的存储器中，根据输入实时视频从校正映射表中找出对应的校正视频输出。

13、经过畸变校正之后得到的图像分别为：两张可见光图像i_cll1、i_cll2和两张红外图像i_cinfrared1、i_cinfrared2。

14、步骤四、分别对步骤三所得的两组无畸变的可见光和红外图像进行融合，得到两张融合图像；

15、采用像素级的融合方法：

16、infusion1＝f(i_cll1)+f(i_cinfrared1)

17、infusion2＝f(i_cll2)+f(i_cinfrared2)

18、infusion1及infusion2为融合后图像。其中f表示图像进行缩放或旋转，缩放和旋转的尺度根据实际装调的效果进行确定。

19、步骤五：基于两张融合图像获得场景深度信息，实现立体视觉感知，提高测距精度。

20、利用立体匹配算法得到视差后，再利用视差信息来还原深度。ql、qr为两个相机坐标系的坐标原点，b为qlq之间的距离，对于世界坐标系的一点q找到其在立体图像对中的对应点，能知道其在虚拟坐标系中对应的方向矢量q′为q在xolz平面上的投影，矢量和与平面yolz、yorz的夹角为β1、β2，与olz轴、o2z轴的夹角都为α，则有：

21、

22、则q的深度信息为：

23、qdepth＝q'p＝bsinθ1cosa。

24、通过q点遍历视场中的所有位置点，可获得视场中所有位置的深度信息，即获得三维感知信息。

25、有益效果：

26、1、本发明公开的一种基于多光谱的大视场双目立体视觉感知方法，相对于目前的激光测距、双目立体测距、单目测距，通过大视场双目立体感知成像系统，改善目前双目立体感知系统视场小的问题，增加进入视场的光线，提升信息感知量。

27、2、本发明公开的一种基于多光谱的大视场双目立体视觉感知方法，采用椭圆畸变校正方法，确保畸变后的图像视场不丢失，提高可见光图像和红外图像的融合质量。

28、3、本发明公开的一种基于多光谱的大视场双目立体视觉感知方法，通过可见光与红外图像融合方法，提高双目立体感知系统场景态势感知能力和增强图像细节，提高测距精度。

技术特征：

1.一种基于多光谱的大视场双目立体视觉感知方法，其特征在于：包括如下步骤，

2.如权利要求1所述的一种基于多光谱的大视场双目立体视觉感知方法，其特征在于：步骤三的实现方法为，

3.如权利要求2所述的一种基于多光谱的大视场双目立体视觉感知方法，其特征在于：步骤四的实现方法为，

4.如权利要求3所述的一种基于多光谱的大视场双目立体视觉感知方法，其特征在于：步骤五的实现方法为，

技术总结一种基于多光谱的大视场双目立体视觉感知方法，属于立体视觉技术领域。针对现有双目立体视觉感知方法存在测距精度低、实时性差及视场小的问题。本方法通过大视场双目立体感知成像系统，改善目前双目立体感知系统视场小的问题，增加进入视场的光线，提升信息感知量；采用椭圆畸变校正方法，确保畸变后的图像视场不丢失，提高可见光图像和红外图像的融合质量；通过可见光与红外图像融合方法，提高双目立体感知系统场景态势感知能力和增强图像细节。本发明适用于立体视觉测试领域，提升视觉感知过程中的图像质量，提高测距精度。技术研发人员：朱尤攀,李欢庆,李力,金伟其,周永康,吴冠霖受保护的技术使用者：北京理工大学技术研发日：技术公布日：2024/7/23