一种基于感兴趣区域的车道线自动提取方法及系统与流程

1.本发明涉及自动驾驶环境感知技术领域，特别涉及一种基于感兴趣区域的车道线自动提取方法及系统。


背景技术：

2.自动驾驶系统分为：感知系统和决策系统。其中，感知系统又由车辆定位、移动障碍物检测、交通标识检测以及车道线提取等环节构成。利用视觉传感器进行车道线提取主要分为深度学习方法与传统图像处理方法，但均存在明显短板。在使用深度学习方法对车道线提取过程中，需要采集大量先验信息，而且，深度学习方法一般具有较高的时间复杂度并消耗较多的存储空间，这与自动驾驶系统快反应、低时延的要求相违背。而传统方法虽然无需大量先验信息以及较大的存储空间，但在提取车道线时，如果环境光照出现改变，需要人为修改阈值，否则无法完成对车道线的自适应提取。而且，当车道内存在其它车辆或行人等目标干扰时，无法保证所提取车道线的完整性。
3.自然界中有许多动物在环境光照强度较大的时候会缩小瞳孔，减少进光量。而在光照强度较弱时，放大瞳孔，使进光量尽可能增大，以提高自身在不同光照场景下的适应能力。而且，人类的视觉系统能够对眼睛当前所捕获的画面进行“关注”，主动忽略掉与目标无关的背景，从而将注意力集中于目标物上。如果将动物调整瞳孔大小以及人类视觉注意机制应用到自动驾驶车辆对车道线的提取过程中，则能够使自动驾驶车辆对车道线的提取更加准确，在满足自动驾驶系统快反应、低时延的前提下，更好地保证无人驾驶车辆的安全性。


技术实现要素：

4.针对现有技术中的两种车道线提取方式短板明显，不能较好适应自动驾驶运用场景的问题，本发明提供了一种基于感兴趣区域的车道线自动提取方法及系统，通过提取感兴趣区域，训练不同光照场景下灰度级非线性变换的参数，控制自动驾驶车辆在不同光照条件下的“进光量”，并对车道线范围内的异物进行检测，去除车道线范围内的异物，避免对车道线提取产生影响，再对各个像素进行分类，使属于车道线的一类像素与非车道线一类的像素得到精确的区分。
5.以下是本发明的技术方案。
6.一种基于感兴趣区域的车道线自动提取方法，包括以下步骤：进光量控制：采集图像，根据图像的光照场景和预先进行光照适用性训练得到的映射关系调整调节参数；异物检测与处理：从图像中选取感兴趣区域，建立能量函数并进行循环迭代，求解得到异物的像素结合，将属于异物的像素置零，得到去除异物后的感兴趣区域；车道线提取：对去除异物后的感兴趣区域进行灰度化读取，按照灰度相似度进行二分类，设置损失函数收敛和终止条件，满足终止条件后停止迭代，完成车道线与非车道线
的像素区分，最终提取出车道线。
7.本发明通过进光量控制以提高感兴趣区域的检测准确性，并对车道线区域内的异物进行检测并将对应像素清除，避免自动驾驶过程中异物的出现对车道线提取产生负面影响，由于进光量控制依靠的是预先进行的光照适用性训练，因此兼具了识别反应速度快和识别结果准确的效果。
8.作为优选，所述光照适用性训练的过程包括：设置视觉传感器获取的图像尺寸为w
×
h，灰度级范围[0,l-1]，获取不同光照场景下的交通标识包围框，并选取该包围框内的像素作为感兴趣区域，在不同光照场景下选取调节参数以提取车道线，并依此建立调节参数与光照场景的映射关系。
[0009]
作为优选，所述在不同光照场景下选取调节参数以提取车道线，并依此建立调节参数与光照场景的映射关系，包括：计算各个同类感兴趣区域在各种光照环境下的灰度级分布情况：p(sk)＝gk；其中，sk表示某像素属于第k个灰度级，gk表示该图像中属于灰度级k的像素总数，对获取的rgb图像进行非线性变换，完成灰度级向高灰度级或高灰度级向低灰度级的映射，其形式为：p
′
＝cp
α
；式中，p为当前图像的输入灰度级，p
′
为当前图像的输出灰度级，c为灰度级缩放比例，α是灰度级非线性变换因子，对于不同光照场景下的gk，选取不同的c与α，提取出完整车道线，建立gk与参数c以及α的映射f(gk)
→
c,α，完成光照适应性训练。
[0010]
作为优选，所述进光量控制的过程包括：对图像进行感兴趣区域提取，并计算直方图分布gk，利用已训练完成的映射关系f(gk)
→
c,α，选取适合当前光照场景下的c与α参数，完成进光量的自适应控制。
[0011]
作为优选，所述异物检测与处理的过程包括：选取(0，h/2)到(w，h)的图像区域作为感兴趣区域，并将该区域以外的像素直接作为背景；在感兴趣区域的rgb颜色空间中，分别以具有k个高斯分量的全协方差混合高斯模型对异物和背景进行建模，建立能量函数：e(β,i,δ,z)＝q(β,i,δ,z) r(β,z)
ꢀꢀ
(1)其中，β为像素不透明度，β为0则代表当前像素为背景，β为1则代表当前像素属于异物；δ代表异物与背景的灰度直方图，z为图像灰度值数组，z＝(z1,
…
,zn,
…
,zn)；q(β,i,p,z)为区域项，表示一个像素被分类为异物或背景的惩罚，定义为：式中，d(βn,in,p,zn)为混合高斯密度模型，其形式为：d(βn,in,δ,zn)＝-logπ(βn,in)-logp(zn|βn)
ꢀꢀ
(3)式中，p(zn|βn)为高斯概率分布π(βn,in)是混合权重系数，满足：且0≤πi≤1
ꢀꢀ
(4)经推导得出混合高斯密度模型表达式为：
其中，混合高斯模型的参数分别为：每个高斯分量的权重π，每个高斯分量的均值向量μ以及协方差矩阵；表达式为：δ＝{π(βn,in),μ(βn,in),∑(βn,in),i＝1,2,
…
,k}
ꢀꢀ
(6)r(β,z)为输入图像的边界项，代表邻域像素不连续的惩罚，其表达式为：式中，参数τ为比例缩放因子，由当前图像的对比度决定；(m,n)∈c，c为相邻颜色对的集合，γ为一个常量值50；若邻域内的两像素βm与βn二范数较小则两像素属于同属于异物或同属于背景的概率较大，若两像素二范数较大，则有较小的概率使这两个像素同属于异物或背景；当图像对比度较低时，两像素的二范数||z
m-zn||较小，使用比例缩放因子τ对像素间的二范数进行放大；将每个像素分为异物或背景，将像素n的rgb代入混合高斯模型的的每个分量中，像素n可能属于概率最大的高斯分量in；由下式进行求取：in＝arg min d(βn,in,δ,zn)
ꢀꢀ
(8)再通过rgb值估计混合高斯模型的参数均值以及协方差，通过属于该高斯分量的像素数与像素总数的比值确定该像素的高斯分量权重δ：δ＝arg min q(β,i,δ,z)
ꢀꢀ
(9)建立每个像素与异物和背景的连接图，分别求取连接异物以及背景的各边的权重，用最小能量完成边的分割：min min e(β,i,δ,z)
ꢀꢀ
(10)对公式(10)-(12)进行循环运算，直到能量函数收敛则停止迭代，最终得到异物的像素以及属于背景的像素；将属于异物的像素置零，得到去除异物后的车道线感兴趣区域。
[0012]
作为优选，所述车道线提取的过程包括：对去除异物后的车道线感兴趣区域进行灰度化读取，对当前图像中的像素点{m1,m2,
…
,mn}按照灰度相似度进行二分类，n＝w
×
h代表像素总数；随机设定两类像素点的质心λ0,λ1，计算各个像素与质心的二范数||m
n-λk||，其中，n∈[0,n/2]，k∈{0,1}.然后，选取：作为像素分类的损失函数，通过迭代，求解合适的聚类中心将图像中的像素分为两类；其中：y
nk
代表当前像素是否属于该类，若距离某类质心的欧氏距离最小则取值为1，否则取值为0，代表此像素不属于该类；设置迭代终止条件，使损失函数收敛，满足终止条件后停止迭代，车道线与非车道线的像素得到区分，完成车道线得到自适应提取。
[0013]
作为优选，设置视觉传感器获取的图像尺寸为640*480，灰度级范围[0,7]。
[0014]
本发明还涉及一种基于感兴趣区域的车道线自动提取系统，包括：进光量控制模块：用于采集图像，并根据图像的光照场景和预先进行光照适用性训练得到的映射关系调整调节参数；异物检测与处理模块：用于从图像中选取感兴趣区域，建立能量函数并进行循环迭代，求解得到异物的像素结合，将属于异物的像素置零，得到去除异物后的感兴趣区域；车道线提取模块：用于对去除异物后的感兴趣区域进行灰度化读取，按照灰度相似度进行二分类，设置损失函数收敛和终止条件，满足终止条件后停止迭代，完成车道线与非车道线的像素区分，最终提取出车道线。
[0015]
利用本系统，自动驾驶车辆可实时感知环境中的光照强度，并进行进光量调整，避免手动修改阈值。同时，对车道线范围内的异物进行检测与处理，避免将异物的像素集合分类为车道线。并对处理后的像素点进行分类，对车道线实施像素级提取。解决传统方法提取车道线时受光照强度影响较大，以及深度学习方法提取车道线需要大量先验信息的短板。
[0016]
本发明的实质性效果包括：通过对所检测的图像进行非线性变换，建立不同灰度级之间的映射，达到与动物调整瞳孔直径大小，从而控制进光量的效果。
[0017]
训练自动驾驶车辆在不同光照场景下的非线性变换参数，使自动驾驶车辆在各类光照条件下能够实现自适应调节，无需人为设置车道线分割阈值。
[0018]
对车道线区域内的异物进行检测并将对应像素清除，避免自动驾驶过程中异物的出现对车道线提取产生负面影响，从而保证所提取车道线的准确性与安全性。
[0019]
对图像感兴趣区域中的像素进行分类，完成车道线与非车道线像素的分类，从而自适应地提取到车道线对应像素。
附图说明
[0020]
图1为本发明实施例的流程图；图2为本发明实施例的异物检测与处理流程图。
具体实施方式
[0021]
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合实施例，对本技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0022]
应当理解，在本发明的各种实施例中，各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
[0023]
应当理解，在本发明中，“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
[0024]
下面以具体的实施例对本发明的技术方案进行详细说明。实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。
[0025]
实施例：一种基于感兴趣区域的车道线自动提取方法及系统，系统包括进光量控制模块、异物检测与处理模块及车道线提取模块，其中，本实施例采用松灵scout_mini移动机器人作为自动驾驶底盘搭载视觉传感器，构建实验平台。方法包括如图1所示的以下步骤：进光量控制：采集图像，根据图像的光照场景和预先进行光照适用性训练得到的映射关系调整调节参数；异物检测与处理：从图像中选取感兴趣区域，建立能量函数并进行循环迭代，求解得到异物的像素结合，将属于异物的像素置零，得到去除异物后的感兴趣区域；车道线提取：对去除异物后的感兴趣区域进行灰度化读取，按照灰度相似度进行二分类，设置损失函数收敛和终止条件，满足终止条件后停止迭代，完成车道线与非车道线的像素区分，最终提取出车道线。
[0026]
具体包括：步骤1、光照适应性训练接收实验平台搭载的视觉传感器所获取的图像信息，调整尺寸为640*480，灰度级范围[0,7]。在实验平台在行驶过程中，通过自动驾驶任务中的检测进程提取当前环境中的交通标识，选取各个同类交通标识的像素作为图像感兴趣区域(region of interest，roi)，以灰度方式进行读取，计算该roi在各种光照环境下的灰度级分布情况：p(sk)＝gkꢀꢀ
(13)对视觉传感器获取的rgb图像进行非线性变换，完成灰度级向高灰度级或高灰度级向低灰度级的映射，其形式为：p
′
＝cp
α
ꢀꢀ
(14)对于不同光照场景下的gk，选取不同的c与α，使车道线能够提取完整，建立gk与参数c以及α的映射f(gk)
→
c,α，完成光照适应性训练。
[0027]
步骤2、进光量调整在实际自动驾驶场景中，同样对所识别的交通标识进行roi提取，并计算roi的直方图分布gk。利用已训练完成的映射关系f(gk)
→
c,α，自动选取适合当前光照场景下的c与α参数，完成进光量的自适应控制，能够自适应抑制光照的影响。
[0028]
步骤3、异物检测与处理，如图2所示：选取(0，240)到(640，240)的图像区域作为roi，并将该区域以外的像素直接作为背景。在roi的rgb颜色空间中，分别以具有5个高斯分量的全协方差混合高斯模型对异物和背景进行建模。建立能量函数：e(β,i,δ,z)＝q(β,i,δ,z) r(β,z)
ꢀꢀ
(15)其中，β为像素不透明度，β为0则代表当前像素为背景，β为1则代表当前像素属于异物。δ代表异物与背景的灰度直方图，z为图像灰度值数组，z＝(z1,
…
,zn,
…
,zn)。
[0029]
q(β,i,p,z)为区域项，表示一个像素被分类为异物或背景的惩罚，定义为：
式中，d(βn,in,p,zn)为混合高斯密度模型，其形式为：d(βn,in,δ,zn)＝-logπ(βn,in)-logp(zn|βn)
ꢀꢀ
(17)式中，p(zn|βn)为高斯概率分布π(βn,in)是混合权重系数，满足：且0≤πi≤1
ꢀꢀꢀ
(18)经推导得出混合高斯密度模型表达式为：其中，混合高斯模型的参数分别为：每个高斯分量的权重，每个高斯分量的均值向量以及协方差矩阵。表达式为：δ＝{π(βn,in),μ(βn,in),∑(βn,in),i＝1,2,
…
,k}
ꢀꢀ
(20)r(β,z)为输入图像的边界项，代表邻域像素不连续的惩罚，其表达式为：式中，参数τ为比例缩放因子，由当前图像的对比度决定。若邻域内的两像素βm与βn二范数较小则两像素属于同属于异物或同属于背景的概率较大，若两像素二范数较大，则有较小的概率使这两个像素同属于异物或背景。当图像对比度较低时，两像素的二范数||z
m-zn||较小，使用比例缩放因子τ对像素间的二范数进行放大。
[0030]
将每个像素分为异物或背景，将像素n的rgb代入混合高斯模型的每个分量中，像素n可能属于概率最大的高斯分量。由in＝arg min d(βn,in,δ,zn)
ꢀꢀ
(22)进行求取。再通过rgb值估计混合高斯模型的参数均值以及协方差，再通过属于该高斯分量的像素数与像素总数的比值确定该像素的高斯分量权重：δ＝arg min q(β,i,δ,z)
ꢀꢀ
(23)建立每个像素与异物和背景的连接图，分别求取连接异物以及背景的各边的权重，用最小能量完成边的分割：min min e(β,i,δ,z)
ꢀꢀ
(24)对公式(10)-(12)进行循环运算，直到能量函数收敛则停止迭代，最终得到异物的像素以及属于背景的像素。用原始roi减去异物的像素值，即将属于异物的像素置零，得到去除异物后的车道线roi。
[0031]
步骤4、车道线提取对经过异物去除之后的车道线roi进行灰度化读取，对当前图像中的各个像素点{m1,m2,
…
,mn}按照灰度相似度进行二分类，n＝640*480代表像素总数。首先，随机设定两类像素点的质心λ0,λ1，计算各个像素与质心的二范数||m
n-λk||，其中，n∈[0,n/2]，k∈{0,1}.然后，选取作为像素分类的损失函数，通过迭代，求解合适的聚类中心将图像中的像素分为两类。其中，ynk
代表当前像素是否属于该类，若距离某类质心的欧氏距离最小则取值为1，否则取值为0，代表此像素不属于该类。最后，设置迭代终止条件，使损失函数收敛，满足终止条件后停止迭代。最终可将属于车道线与非车道线的像素得到区分，完成车道线的自主提取。
[0032]
通过以上实施方式的描述，所属领域的技术人员可以了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中可以根据需要而将上述功能分配由不同的功能模块完成，即将具体装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。
[0033]
在本技术所提供的实施例中，应该理解到，所揭露的结构和方法，可以通过其它的方式实现。例如，以上所描述的关于结构的实施例仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个结构，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，结构或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
[0034]
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是一个物理单元或多个物理单元，即可以位于一个地方，或者也可以分布到多个不同地方。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0035]
另外，在本技术实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
[0036]
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个可读取存储介质中。基于这样的理解，本技术实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该软件产品存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本技术各个实施例方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(read only memory，rom)、随机存取存储器(random access memory，ram)、磁碟或者光盘等各种可以存储程序代码的介质。
[0037]
以上内容，仅为本技术的具体实施方式，但本技术的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本技术揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本技术的保护范围之内。因此，本技术的保护范围应以权利要求的保护范围为准。