一种基于双目视觉的三维重建方法与流程

1.本发明属于网络组网技术领域，具体涉及一种基于片上网络的光纤通道和以太网组网方法。


背景技术：

2.在立体视觉中，模拟人类视觉一样采用两台相机拍摄物体图像，然后通过分析两幅图像中的位置偏差确定出物体的三维坐标，构建成点云完成对物体的三维重建，这便是双目立体视觉，也即双目视觉。
3.通常来说，使用双目视觉来进行物体的三维重建分为这样几个步骤：拍摄图像、相机标定、图像校正、立体匹配和三维重建，相机标定是通过计算左右相机的内部参数与外部坐标系位置参数，以确定空间某点与其在二维图像中的位置之间的对应关系，图像校正是因为光学设备会引起图像畸变，需要校正以方便匹配，立体匹配是在图像中准确快速地找到对应的同名点以建立起匹配关系，然后根据相机标定时获取的内外参数，从而计算出场景目标的深度值，从而完成三维重建。
4.现有技术中在进行立体匹配时，采用census变换作为匹配代价，census变换是一种非参数图像变换，然后基于自适应的十字交叉域的匹配代价聚合，但是census变换的结果对中心点的灰度值依赖性过大，且自适应的十字交叉域的匹配代价聚合可靠性不够高，会降低最后的匹配精度。
5.因此，如何提高物体进行三维重建的精度，是本领域技术人员有待解决的技术问题。


技术实现要素：

6.本发明的目的是为了提高对物体进行三维重建的精度，提出了一种基于双目视觉的三维重建方法。
7.本发明的技术方案为：一种基于双目视觉的三维重建方法，包括以下步骤：
8.s1、通过双目相机获取物体的第一图像和第二图像；
9.s2、将所述第一图像进行高斯下采样得到第一高斯金字塔，将所述第二图像进行高斯下采样得到第二高斯金字塔；
10.s3、确定出所述第一高斯金字塔中所有图像中每一个像素点的匹配代价值，确定出所述第二高斯金字塔中所有图像中每一个像素点的匹配代价值；
11.s4、基于所述匹配代价值确定每一个像素点的代价聚合值，并根据所述代价聚合值进行时差计算获得所述物体的三维空间坐标；
12.s5、根据所述三维空间坐标完成所述物体的三维重建。
13.进一步地，所述步骤s2中的将所述第一图像进行高斯下采样得到第一高斯金字塔具体包括以下分步骤：
14.s211、将所述第一图像扩大一倍得到第一基础图像，并对所述第一基础图像进行
不同级别的高斯模糊；
15.s212、将每一个级别的高斯模糊下的图像集合在一起作为所述第一图像的第一个八度；
16.s213、将所述第一图像的第一个八度中最模糊的图像的长和宽分别缩短一倍作为基础图像；
17.s214、根据所述基础图像确定出第一图像的第二个八度；
18.s215、根据所述第一图像的第二个八度确定出所述第一图像的第三个八度、所述第一图像的第四个八度直到所述第一图像的第n个八度；
19.s216、将所有所述第一图像的八度组合在一起作为所述第一高斯金字塔。
20.进一步地，所述步骤s2中的将所述第二图像进行高斯下采样得到第二高斯金字塔具体包括以下分步骤：
21.s221、将所述第二图像扩大一倍得到第二基础图像，并对所述第二基础图像进行不同级别的高斯模糊；
22.s222、将每一个级别的高斯模糊下的图像集合在一起作为所述第二图像的第一个八度；
23.s223、将所述第二图像的第一个八度中最模糊的图像的长和宽分别缩短一倍作为基础图像；
24.s224、根据所述基础图像确定出所述第二图像的第二个八度；
25.s225、根据所述第二图像的第二个八度确定出所述第二图像的第三个八度、所述第二图像的第四个八度直到所述第二图像的第m个八度；
26.s226、将所有所述第二图像的八度组合在一起作为所述第二高斯金字塔。
[0027][0028]
式中，c0为匹配代价值，c
censt
(p，d)为像素p在视差为d时的census变换匹配代价值，c
ad
(p，d)为像素p在视差为d时的ad变换匹配代价值，c
grad
(p，d)为像素p在视差为d时的梯度变换匹配代价值，exp为常数e的指数，λ
c
、λ
ad
、λ
g
分别为census变换、ad变换、梯度变换的系数。
[0029]
进一步地，在每一幅图像中设置窗口，并确定窗口内所有像素点的匹配代价值，从而确定所有图像中每一个像素点的匹配代价值。
[0030]
进一步地，所述窗口内的中心点的匹配代价值确定方法包括如下步骤：
[0031]
a1、确定出所述窗口内除了中心点外所有像素点的匹配代价值的平均值；
[0032]
a2、确定出所述窗口内中心点的匹配代价值；
[0033]
a3、确定出所述平均值和所述窗口内中心点的匹配代价值的差值，并取所述差值的绝对值
[0034]
a3、设置一个阈值，并根据所述阈值和所述绝对值更新所述窗口内中心点的匹配代价值。
[0035]
与现有技术相比，本发明具备以下有益效果：
[0036]
(1)本发明通过双目相机获取物体的第一图像和第二图像，然后将所述第一图像进行高斯下采样得到第一高斯金字塔，将所述第二图像进行高斯下采样得到第二高斯金字
塔，确定出所述第一高斯金字塔中所有图像中每一个像素点的匹配代价值，确定出所述第二高斯金字塔中所有图像中每一个像素点的匹配代价值，基于所述匹配代价值确定每一个像素点的代价聚合值，并根据所述代价聚合值进行时差计算获得所述物体的三维空间坐标，根据所述三维空间坐标完成所述物体的三维重建，能够准确的对物体进行三维重建，且结构简单、成本较低。
[0037]
(2)本发明中的匹配代价值确定公式结合了census变换和ad变换和梯度变换，减少计算匹配代价值时对窗口中心点的依赖，增强了匹配效果。
附图说明
[0038]
图1所示为本发明实施例提供的一种基于双目视觉的三维重建方法的流程示意图。
具体实施方式
[0039]
下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
[0040]
本技术提出了一种基于双目视觉的三维重建方法，如图1所示为本技术实施例提出的一种基于双目视觉的三维重建方法的流程示意图，该方法包括以下步骤：
[0041]
步骤s1、通过双目相机获取物体的第一图像和第二图像。
[0042]
步骤s2、将所述第一图像进行高斯下采样得到第一高斯金字塔，将所述第二图像进行高斯下采样得到第二高斯金字塔。
[0043]
在本技术实施例中，所述步骤s2中的将所述第一图像进行高斯下采样得到第一高斯金字塔具体包括以下分步骤：
[0044]
s211、将所述第一图像扩大一倍得到第一基础图像，并对所述第一基础图像进行不同级别的高斯模糊；
[0045]
s212、将每一个级别的高斯模糊下的图像集合在一起作为所述第一图像的第一个八度；
[0046]
s213、将所述第一图像的第一个八度中最模糊的图像的长和宽分别缩短一倍作为基础图像；
[0047]
s214、根据所述基础图像确定出第一图像的第二个八度；
[0048]
s215、根据所述第一图像的第二个八度确定出所述第一图像的第三个八度、所述第一图像的第四个八度直到所述第一图像的第n个八度；
[0049]
s216、将所有所述第一图像的八度组合在一起作为所述第一高斯金字塔。
[0050]
所述步骤s2中的将所述第二图像进行高斯下采样得到第二高斯金字塔具体包括以下分步骤：
[0051]
s221、将所述第二图像扩大一倍得到第二基础图像，并对所述第二基础图像进行不同级别的高斯模糊；
[0052]
s222、将每一个级别的高斯模糊下的图像集合在一起作为所述第二图像的第一个
八度；
[0053]
s223、将所述第二图像的第一个八度中最模糊的图像的长和宽分别缩短一倍作为基础图像；
[0054]
s224、根据所述基础图像确定出所述第二图像的第二个八度；
[0055]
s225、根据所述第二图像的第二个八度确定出所述第二图像的第三个八度、所述第二图像的第四个八度直到所述第二图像的第m个八度；
[0056]
s226、将所有所述第二图像的八度组合在一起作为所述第二高斯金字塔。
[0057]
具体的，将左右两幅图也即第一图像和第二图像，分别进行高斯下采样，成为金字塔型，一般首先将图像扩大一倍，在扩大的图像的基础之上构建高斯金字塔，然后对该尺寸下图像进行高斯模糊，几幅模糊之后的图像集合构成了一个八度，然后对该八度下的最模糊的一幅图像进行下采样的过程，长和宽分别缩短一倍，图像面积变为原来四分之一。这幅图像就是下一个八度的初始图像也即基础图像，在初始图像的基础上完成属于这个八度的高斯模糊处理，以此类推完成整个算法所需要的所有八度构建，这样就构建出高斯金字塔，包括第一高斯金字塔和第二高斯金字塔，构建的n个八度，可由本领域技术人员根据实际情况灵活设置。
[0058]
步骤s3、确定出所述第一高斯金字塔中所有图像中每一个像素点的匹配代价值，确定出所述第二高斯金字塔中所有图像中每一个像素点的匹配代价值。
[0059]
在本技术实施例中，在每一幅图像中设置窗口，并确定窗口内所有像素点的匹配代价值，从而确定所有图像中每一个像素点的匹配代价值。
[0060]
在本技术实施例中，所述窗口内的中心点的匹配代价值确定方法包括如下步骤：
[0061]
a1、确定出所述窗口内除了中心点外所有像素点的匹配代价值的平均值；
[0062]
a2、确定出所述窗口内中心点的匹配代价值；
[0063]
a3、确定出所述平均值和所述窗口内中心点的匹配代价值的差值，并取所述差值的绝对值
[0064]
a3、设置一个阈值，并根据所述阈值和所述绝对值更新所述窗口内中心点的匹配代价值。
[0065]
具体的，本文设置阈值t的值为9，这样的改进是针对，当中心像素点突变时，还可以稳定住变换结果，降低噪声影响，设置阈值，是为了当出现邻域窗口覆盖住图像边缘时，更好地保留图像边缘，如果暴力均值化，全部采用窗口内像素灰度值均值作中心像素，会使图像中的细节丢失，致使最终的视差图质量不够高，其中，领域窗口也即窗口中除了中心点的所有像素点集合。
[0066]
根据阈值和绝对值更新窗口内中心点的公式如下：
[0067][0068][0069]
式中，i
f
(x，y)是改进的census变换后中心点灰度值结果，表示该邻域窗口内除了中心像素外所有像素灰度值的平均值，i(x，y)为该邻域窗口内中心像素点p的灰度
值，t为设定的阈值，i
z
(p)为窗口中心像素点的值，i(q)为窗口内其他像素点的值。
[0070]
将左右图像也即第一图像和第二图像的像素点的rgb颜色分量之差的绝对值取平均，作为ad变换值，即图像的rgb三通道强度值来计算，这样可以利用好图像中的颜色信息，对于深度不连续区域或者遮挡区域等都会有提高匹配精度的作用，ad变换公式如下：
[0071][0072]
式中，c
ad
(p，d)为像素p在视差为d时的ad变换匹配代价值，n代表分别为rgb三通道，i
nl
(p)表示左图像也即第一图像p点在通道n的像素值，i
nr
(p，d)为p点在右图像也即第二图像相应位置偏移d时差距离后的n通道的像素值，t
ad
为截断阈值，大于阈值的可以不予考虑。
[0073]
由于梯度变换既能更好地保护图像中的边缘特征，同时还具有方向性，故能提升在深度不连续区域的匹配精度，同时针对弱纹理重复纹理区域有更好的匹配效果，可以将其与ad变换census变换一起加权作为匹配代价。梯度变换公式如下：
[0074][0075]
式中，c
grad
(p，d)为像素p在视差为d时的梯度变换匹配代价值，和表示第一图像和第二图像分别n通道时在x方向的梯度图像，和分别表示第一图像和第二图像分别n通道时在y方向的梯度图像。
[0076]
故本技术中计算像素点的匹配代价值的公式为：
[0077][0078]
式中，c0为匹配代价值，c
censt
(p，d)为像素p在视差为d时的census变换匹配代价值，c
ad
(p，d)为像素p在视差为d时的ad变换匹配代价值，c
grad
(p，d)为像素p在视差为d时的梯度变换匹配代价值，exp为常数e的指数，λ
c
、λ
ad
、λ
g
分别为census变换、ad变换、梯度变换的系数。
[0079]
步骤s4、基于所述匹配代价值确定每一个像素点的代价聚合值，并根据所述代价聚合值进行时差计算获得所述物体的三维空间坐标。
[0080]
具体的，求得每个像素点的匹配代价值后，为了增强匹配代价的可靠性和鲁棒性，需要进行代价聚合步骤，以增加像素点的信息量。先构建十字交叉动态域，基于某像素点，以该像素点为中心，通过一些规则，在水平方向和竖直方向上分别四个方向进行臂长的延伸，而形成一个十字交叉域窗口，延伸的规则是：当该像素颜色与中心像素点颜色值接近时，便继续延伸，当该像素点与中心像素点颜色值的绝对差值大于阈值时，以及臂长超过了一定的臂长值的阈值时，则该条臂便不再延伸，这样便对臂长作出一定的约束，构建好中心像素点的十字交叉域之后，再加入距离权重，可以进一步提高匹配精度，即离中心像素点近的像素点拥有更大的权重，距离较远的，意味着可能不属于同一视差了，需要赋予更小权
重，以降低误匹配率。
[0081]
需要说明的是，通过上述代价聚合后，也即完成了立体匹配工作，所得到的结果图是视差值，通过公式计算，能够得到每个像素点的深度值，从而得到三维坐标和重建结果。
[0082]
步骤s5、根据所述三维空间坐标完成所述物体的三维重建。
[0083]
本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的原理，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各种具体变形和组合，这些变形和组合仍然在本发明的保护范围内。