三维可达空间的确定方法、车辆及计算机可读存储介质与流程

1.本发明涉及图像处理技术领域，尤其涉及一种三维可达空间的确定方法、车辆及计算机可读存储介质。


背景技术：

2.在车辆行车或泊车的过程中，车辆需要获取该车辆所处当前位置的三维可达空间，再进行相应的运行操作。一般情况下，车辆通过激光雷达或单目摄像头进行三维感知来获取当前位置的三维可达空间。但是，激光雷达获取三维可达空间的成本高昂，而单目摄像头是通过深度图将二维可达空间直接转化得到三维可达空间，这种方法得到的三维可达空间的准确性较低。


技术实现要素：

3.本发明实施例提供了一种三维可达空间的确定方法、车辆及计算机可读存储介质，由于训练好的图像识别模型中，深度估计图的准确性较高，所以，当待识别的当前待处理位置图像输入该训练好的图像识别模型时，会输出准确性较高的深度估计图，这样一来，再根据准确性较高的深度估计图，就可以得到车辆对应的准确性较高的三维可达空间。
4.本发明实施例第一方面提供了一种三维可达空间的确定方法，可以包括：
5.获取待识别的当前待处理位置图像；
6.通过训练好的图像识别模型对该当前待处理位置图像进行深度估计，得到该当前待处理位置图像对应的深度估计图；该图像识别模型是利用样本图像、与该样本图像分别对应的深度真值参考图和可达空间掩模进行训练得到的，该可达空间掩模用于指示车辆可达空间在该样本图像中的图像位置；
7.根据该深度估计图确定该当前待处理位置图像包括的二维可达空间对应的深度值，以将该二维可达空间转换为三维可达空间。
8.可选的，在该获取待识别的当前待处理位置图像之前，该方法还包括：通过待训练的该图像识别模型对该样本图像进行深度估计，得到该样本图像对应的预测深度图；根据该预测深度图、该深度真值参考图和该可达空间掩模，计算得到损失总值；根据该损失总值更新该图像识别模型中的参数。
9.可选的，在该根据该预测深度图、该深度真值参考图和该可达空间掩模，计算得到损失总值之前，该方法还包括：获取与该样本图像对应的预测高度图，以及与该样本图像对应的高度真值参考图；以及，该根据该预测深度图、该深度真值参考图和该可达空间掩模，计算得到损失总值，包括：根据该预测深度图、该深度真值参考图、该预测高度图、该高度真值参考图以及该可达空间掩模，计算得到损失总值。
10.可选的，该获取与该样本图像对应的预测高度图，包括：将该预测深度图进行几何转换，得到该样本图像对应的预测高度图。
11.可选的，该根据该预测深度图、该深度真值参考图、该预测高度图、该高度真值参
考图以及该可达空间掩模，计算得到损失总值，包括：根据该预测深度图、该深度真值参考图以及该可达空间掩模计算深度损失；根据该预测高度图、该高度真值参考图以及该可达空间掩模计算高度损失；根据该深度损失和该高度损失计算损失总值。
12.可选的，该方法还包括：获取待识别的当前待处理位置图像；通过训练好的图像识别模型对该当前待处理位置图像进行高度估计，得到该当前待处理位置图像对应的高度估计图；该图像识别模型是利用样本图像、与该样本图像分别对应的高度真值参考图和可达空间掩模进行训练得到的，该可达空间掩模用于指示车辆可达空间在该样本图像中的图像位置；根据该高度估计图确定该当前待处理位置图像包括的二维可达空间对应的高度值，以将该二维可达空间转换为三维可达空间。
13.可选的，在该获取待识别的当前待处理位置图像之前，该方法还包括：通过待训练的该图像识别模型对该样本图像进行高度估计，得到该样本图像对应的预测高度图；获取与该样本图像对应的高度真值参考图和可达空间掩模；该可达空间掩模用于指示车辆可达空间在该高度真值参考图中的图像位置；根据该预测高度图、该高度真值参考图和该可达空间掩模，计算得到损失总值；根据该损失总值更新该图像识别模型中的参数。
14.本发明实施例第二方面提供了一种车辆，可以包括：
15.获取模块，用于获取待识别的当前待处理位置图像；
16.处理模块，用于通过训练好的图像识别模型对该当前待处理位置图像进行深度估计，得到该当前待处理位置图像对应的深度估计图；该图像识别模型是利用样本图像、与该样本图像分别对应的深度真值参考图和可达空间掩模进行训练得到的，该可达空间掩模用于指示车辆可达空间在该样本图像中的图像位置；根据该深度估计图确定该当前待处理位置图像包括的二维可达空间对应的深度值，以将该二维可达空间转换为三维可达空间。
17.可选的，该处理模块，还用于通过待训练的该图像识别模型对该样本图像进行深度估计，得到该样本图像对应的预测深度图；根据该预测深度图、该深度真值参考图和该可达空间掩模，计算得到损失总值；根据该损失总值更新该图像识别模型中的参数。
18.可选的，该获取模块，还用于获取与该样本图像对应的预测高度图，以及与该样本图像对应的高度真值参考图；
19.该处理模块，还用于根据该预测深度图、该深度真值参考图、该预测高度图、该高度真值参考图以及该可达空间掩模，计算得到损失总值。
20.可选的，该获取模块，具体用于将该预测深度图进行几何转换，得到该样本图像对应的预测高度图。
21.可选的，该处理模块，具体用于根据该预测深度图、该深度真值参考图以及该可达空间掩模计算深度损失；根据该预测高度图、该高度真值参考图以及该可达空间掩模计算高度损失；根据该深度损失和该高度损失计算损失总值。
22.可选的，该获取模块，还用于获取待识别的当前待处理位置图像；
23.该处理模块，还用于通过训练好的图像识别模型对该当前待处理位置图像进行高度估计，得到该当前待处理位置图像对应的高度估计图；该图像识别模型是利用样本图像、与该样本图像分别对应的高度真值参考图和可达空间掩模进行训练得到的，该可达空间掩模用于指示车辆可达空间在该样本图像中的图像位置；根据该高度估计图确定该当前待处理位置图像包括的二维可达空间对应的高度值，以将该二维可达空间转换为三维可达空
间。
24.可选的，该处理模块，还用于通过待训练的该图像识别模型对该样本图像进行高度估计，得到该样本图像对应的预测高度图；
25.该获取模块，还用于获取与该样本图像对应的高度真值参考图和可达空间掩模；该可达空间掩模用于指示车辆可达空间在该高度真值参考图中的图像位置；
26.该处理模块，还用于根据该预测高度图、该高度真值参考图和该可达空间掩模，计算得到损失总值；根据该损失总值更新该图像识别模型中的参数。
27.本发明实施例第三方面提供了一种车辆，可以包括：
28.存储有可执行程序代码的存储器；
29.以及所述存储器耦合的处理器；
30.所述处理器调用所述存储器中存储的所述可执行程序代码，所述可执行程序代码被所述处理器执行时，使得所述处理器实现如本发明实施例第一方面所述的方法。
31.本发明实施例第四方面提供一种计算机可读存储介质，其上存储有可执行程序代码，所述可执行程序代码被处理器执行时，实现如本发明实施例第一方面所述的方法。
32.本发明实施例第五方面公开一种计算机程序产品，当该计算机程序产品在计算机上运行时，使得该计算机执行本发明实施例第一方面公开的任意一种所述的方法。
33.本发明实施例第六方面公开一种应用发布平台，该应用发布平台用于发布计算机程序产品，其中，当该计算机程序产品在计算机上运行时，使得该计算机执行本发明实施例第一方面公开的任意一种所述的方法。
34.从以上技术方案可以看出，本发明实施例具有以下优点：
35.在本发明实施例中，获取待识别的当前待处理位置图像；通过训练好的图像识别模型对所述当前待处理位置图像进行深度估计，得到所述当前待处理位置图像对应的深度估计图；所述图像识别模型是利用样本图像、与所述样本图像分别对应的深度真值参考图和可达空间掩模进行训练得到的，所述可达空间掩模用于指示车辆可达空间在所述样本图像中的图像位置；根据所述深度估计图确定所述当前待处理位置图像包括的二维可达空间对应的深度值，以将所述二维可达空间转换为三维可达空间。由于训练好的图像识别模型中，深度估计图的准确性较高，所以，当待识别的当前待处理位置图像输入该训练好的图像识别模型时，会输出准确性较高的深度估计图，这样一来，再根据准确性较高的深度估计图，就可以得到车辆对应的准确性较高的三维可达空间。
附图说明
36.为了更清楚地说明本发明实施例技术方案，下面将对实施例和现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，还可以根据这些附图获得其它的附图。
37.图1为本发明实施例中三维可达空间的确定方法的一个实施例示意图；
38.图2为本发明实施例中三维可达空间的确定方法的另一个实施例示意图；
39.图3为本发明实施例中三维可达空间的确定方法的另一个实施例示意图；
40.图4为本发明实施例中三维可达空间的确定方法的另一个实施例示意图；
41.图5为本发明实施例中车辆的一个实施例示意图；
42.图6为本发明实施例中车辆的另一个实施例示意图。
具体实施方式
43.本发明实施例提供了一种三维可达空间的确定方法、车辆及计算机可读存储介质，用于由于训练好的图像识别模型中，深度估计图的准确性较高，所以，当待识别的当前待处理位置图像输入该训练好的图像识别模型时，会输出准确性较高的深度估计图，这样一来，再根据准确性较高的深度估计图，就可以得到车辆对应的准确性较高的三维可达空间。
44.为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，都应当属于本发明保护的范围。
45.下面以实施例的方式，对本发明技术方案做进一步的说明，如图1所示，为本发明实施例中三维可达空间的确定方法的一个实施例示意图，可以包括：
46.101、获取待识别的当前待处理位置图像。
47.可以理解的是，当前待处理位置图像(image)可以是通过设置在车辆上的单目摄像头拍摄得到的，该当前待处理位置图像的数量不限。
48.可选的，车辆获取当前待处理位置图像，可以包括：车辆检测当前待测位置的当前亮度；在该当前亮度位于预设亮度范围内的情况下，该车辆获取当前待处理位置图像。
49.需要说明的是，预设亮度范围是第一亮度阈值和第二亮度阈值构建的区间。该当前亮度位于该预设亮度范围内，即该当前亮度大于该第一亮度阈值，且小于等于该第二亮度阈值。该预设亮度阈值可以是车辆出厂前设置的，也可以是用户自定义设置的，此处不做具体限定。
50.示例性的，假设第一亮度阈值为120坎德拉/平方米(简称：cd/m2)，第二亮度阈值为150cd/m2，预设亮度范围为(120cd/m2，150cd/m2)。车辆检测当前待测位置的当前亮度为136cd/m2，该136cd/m2位于预设亮度设范围(120cd/m2，150cd/m2)内，此时，该车辆获取当前待处理位置图像。
51.这样一来，当该当前待测位置的当前亮度位于预设亮度范围内时，获取的当前待处理位置图像较为清晰，便于车辆对该当前待处理位置图像的后续处理。
52.102、通过训练好的图像识别模型对所述当前待处理位置图像进行深度估计，得到所述当前待处理位置图像对应的深度估计图。
53.其中，该图像识别模型是利用样本图像、与该样本图像分别对应的深度真值参考图和可达空间掩模进行训练得到的，该可达空间掩模用于指示车辆可达空间在该样本图像中的图像位置。
54.需要说明的是，样本图像可以是通过设置在车辆上的单目摄像头拍摄得到的，该样本图像的数量不限。
55.与该样本图像分别对应的深度真值参考图中的深度真值可以是根据设置在车辆上的激光雷达所采集的光束得到的。其中，深度真值是车辆通过激光雷达测得的较为准确的深度标注数据。
56.可达空间掩模为预设的二维可达空间掩模，该可达空间掩模可以是车辆中出厂前
设置好的。
57.可选的，该训练好的图像识别模型包括训练好的深度残差网络(deep residual network，resnet)和训练好的特征金字塔网络(feature pyramid networks，fpn)；车辆通过训练好的图像识别模型对该当前待处理位置图像进行深度估计，得到该当前待处理位置图像对应的深度估计图，可以包括：车辆将该当前待处理位置图像向该训练好的resnet输入，得到n层特征(multi
‑
level features)，n为大于等于1的整数；该车辆在该n层特征中选择n层特征向该训练好的fpn输入，得到第一融合特征(fpn feature)，n为大于等于1的整数；该车辆将该第一融合特征通过深度卷积层(depth head)，得到该当前待处理位置图像对应的深度估计图。示例性的，假设n取5，n取4。
58.可以理解的是，车辆在n层特征中选择n层特征向训练好的fpn输入，即n≥n。车辆在得到n层特征之后，不需要将n层特征全部输入训练好的fpn，只需要在该n层特征中选择部分层数特征(如n层特征)向该训练好的fpn输入，就可以得到第一融合特征。可选的，n层特征的选择可以是车辆随机的，也可以是用户自定义的，此处不做具体限定。
59.需要说明的是，训练好的resnet指的是可以提取到当前待处理位置图像中不同层特征的网络。其中，该训练好的resnet的网络层数越多，该训练好的resnet在该当前待处理位置图像中提取的特征越丰富；该训练好的resnet的网络深度越深，该训练好的resnet在该当前待处理位置图像中提取的特征越抽象。
60.可选的，该训练好的resnet可以是训练好的resnet34。该训练好的resnet34具有更好的网络收敛效果。
61.需要说明的是，训练好的fpn指的是可以进行传统的自上而下的特征卷积，将多层特征进行融合。
62.可选的，深度卷积层可以是二维卷积(2dimensional convolution，2dconvolution)。
63.该depth head可以是conv(output_chn，input_chn，width_kernel_size，height_kernel_size) batchnorm relu conv(output_chn，input_chn，width_kernel_size，height_kernel_size) batchnorm relu。
64.示例性的，depth head可以是conv(64，128，3，3) batchnorm relu conv(1，64，3，3) batchnorm relu。
65.可选的，车辆将该当前待处理位置图像向该训练好的resnet输入，得到n层特征，可以包括：车辆将该当前待处理位置图像的高度(height，h)、宽度(width，w)和色彩通道数，向该训练好的resnet输入，得到n层特征。
66.其中，n层特征中每层特征对应的当前待处理位置图像的高度不同、每层特征对应的当前待处理位置图像的宽度不同，以及每层特征对应的当前待处理位置图像的色彩通道数不同。
67.示例性的，车辆将当前待处理位置图像的高度h，宽度w和3个色彩通道数，向训练好的resnet34输入，得到5层特征；其中，高度h，宽度w和3个色彩通道数可以用(h，w，3)表示；然后，该车辆将5层特征中的4层特征，向训练好的fpn输入，得到第一融合特征；其中，该4层特征分别为(h/4，w/4，64)、(h/8，w/8，128)、(h/16，w/16，256)和(h/32，w/32，512)，第一融合特征为(h/4，w/4，128)；最后，该车辆将该第一融合特征通过深度卷积层，得到该当前
待处理位置图像对应的深度估计图；其中，该深度估计图可以用(h/4，w/4)表示。
68.可以理解的是，这4层特征中每层特征对应的当前待处理位置图像的高度不同、这4层特征中每层特征对应的当前待处理位置图像的宽度不同，以及这4层特征中每层特征对应的当前待处理位置图像的色彩通道数不同。
69.需要说明的是，由于训练好的图像识别模型的准确性较高，所以，车辆通过训练好的图像识别模型对当前待处理位置图像进行深度估计，得到该当前待处理位置图像对应的深度估计图的准确性也较高。
70.103、根据所述深度估计图确定所述当前待处理位置图像包括的二维可达空间对应的深度值，以将所述二维可达空间转换为三维可达空间。
71.需要说明的是，当前待处理位置图像包括的二维可达空间对应的深度值为车辆的单目摄像头到当前待处理位置之间的距离。
72.可选的，车辆根据该深度估计图确定该当前待处理位置图像包括的二维可达空间对应的深度值，以将该二维可达空间转换为三维可达空间，可以包括：车辆根据第一公式，将该二维可达空间转换为三维可达空间。
73.其中，该第一公式为x1＝[(u
‑
c
x
)z1]/f
x
，y1＝[(v
‑
c
y
)z1]/f
y
；f
x
表示单目摄像头在世界坐标系下x轴上的焦距，f
y
表示单目摄像头在该世界坐标系下y轴上的焦距，(c
x
，c
y
)表示该单目摄像头的光圈中心，z1表示该当前待处理位置图像包括的二维可达空间对应的深度值。
[0074]
这样一来，车辆可以根据该第一公式，可以得到x1值的大小和y1值的大小。即车辆可以将当前待处理位置图像中的像素坐标(u，v)转换为三维可达空间中对应的世界坐标(x1，y1，z1)，从而将该当前待处理位置对应的二维可达空间转换为三维可达空间。
[0075]
其中，x1表示当前待处理位置图像中的像素点在世界坐标系下x轴的坐标，y1表示当前待处理位置图像中的像素点在世界坐标系下y轴的坐标，z1也可以表示当前待处理位置图像中的像素点在世界坐标系下z轴的坐标。
[0076]
可以理解的是，上述方法是车辆通过神经网络模型(即训练好的图像识别模型)对当前待处理位置图像对应的深度估计图进行预测输出的过程，再根据该深度估计图，确定该当前待处理位置对应的三维可达空间。车辆利用深度估计图像作为冗余的监督信息(即作为图像识别模型训练的训练依据)，加强神经网络模型的学习，使车辆得到的深度估计图的准确性较高，从而可以获取准确性较高的三维可达空间。这样一来，车辆不需要借助激光雷达，只需要借助单目摄像头，在通过该单目摄像头获取一张当前待处理位置图像之后，可以直接通过该神经网络模型，在车辆中得到准确性较高的三维可达空间。
[0077]
在本发明实施例中，获取待识别的当前待处理位置图像；通过训练好的图像识别模型对所述当前待处理位置图像进行深度估计，得到所述当前待处理位置图像对应的深度估计图；所述图像识别模型是利用样本图像、与所述样本图像分别对应的深度真值参考图和可达空间掩模进行训练得到的，所述可达空间掩模用于指示车辆可达空间在所述样本图像中的图像位置；根据所述深度估计图确定所述当前待处理位置图像包括的二维可达空间对应的深度值，以将所述二维可达空间转换为三维可达空间。由于训练好的图像识别模型中，深度估计图的准确性较高，所以，当待识别的当前待处理位置图像输入该训练好的图像识别模型时，会输出准确性较高的深度估计图，这样一来，再根据准确性较高的深度估计
图，就可以得到车辆对应的准确性较高的三维可达空间。
[0078]
如图2所示，为本发明实施例中三维可达空间的确定方法的另一个实施例示意图，可以包括：
[0079]
201、通过待训练的所述图像识别模型对所述样本图像进行深度估计，得到所述样本图像对应的预测深度图。
[0080]
可选的，该待训练的图像识别模型包括待训练的resnet和待训练的fpn；车辆通过待训练的图像识别模型对该样本图像进行深度估计，得到该样本图像对应的深度估计图，可以包括：车辆将该样本图像向该待训练的resnet输入，得到m层特征，m为大于等于1的整数；该车辆在该m层特征中选择m层特征向该待训练的fpn输入，得到第二融合特征，m为大于等于1的整数；该车辆将该第二融合特征通过深度卷积层，得到该样本图像对应的深度估计图。示例性的，假设m取5，m取4。
[0081]
可以理解的是，车辆在m层特征中选择m层特征向待训练的fpn输入，即m≥m。车辆在得到m层特征之后，不需要将m层特征全部输入至待训练的fpn，只需要在该m层特征中选择部分层数特征(如m层特征)向该待训练的fpn输入，就可以得到第二融合特征。可选的，m层特征的选择可以是车辆随机的，也可以是用户自定义的，此处不做具体限定。
[0082]
需要说明的是，待训练的resnet指的是可以提取到样本图像中不同层特征的网络。其中，该待训练的resnet的网络层数越多，该待训练的resnet在该样本图像中提取的特征越丰富；该待训练的resnet的网络深度越深，该待训练的resnet在该样本图像中提取的特征越抽象。
[0083]
可选的，该待训练的resnet可以是待训练的resnet34。该待训练的resnet34具有更好的网络收敛效果。
[0084]
需要说明的是，待训练的fpn指的是可以进行传统的自上而下的特征卷积，将多层特征进行融合。
[0085]
可选的，车辆将该样本图像向该待训练的resnet输入，得到m层特征，可以包括：车辆将该样本图像的高度、宽度和色彩通道数，向该待训练的resnet输入，得到m层特征。
[0086]
其中，m层特征中每层特征对应的样本图像的高度不同、每层特征对应的样本图像的宽度不同，以及每层特征对应的样本图像的色彩通道数不同。
[0087]
需要说明的是，由于待训练的图像识别模型的准确性较差，所以，车辆通过待训练的图像识别模型对样本图像进行深度估计，得到该样本图像对应的深度估计图的准确性也较差。
[0088]
202、根据所述预测深度图、所述深度真值参考图和所述可达空间掩模，计算得到损失总值。
[0089]
可选的，步骤202之前，该方法还可以包括：车辆获取与该样本图像对应的预测高度图，以及与该样本图像对应的高度真值参考图。
[0090]
可选的，车辆获取与该样本图像对应的预测高度图，可以包括：该车辆将该预测深度图进行几何转换，得到该样本图像对应的预测高度图。
[0091]
可选的，车辆将该预测深度图进行几何转换，得到该样本图像对应的预测高度图，可以包括：车辆根据该第二公式，得到该样本图像对应的预测高度图。
[0092]
其中，该第二公式为x2＝[(u
‑
c
x
)z2]/f
x
，y2＝[(v
‑
c
y
)z2]/f
y
；f
x
表示单目摄像头在
世界坐标系下x轴上的焦距，f
y
表示单目摄像头在该世界坐标系下y轴上的焦距，(c
x
，c
y
)表示该单目摄像头的光圈中心，z2表示该样本图像包括的二维可达空间对应的深度值。
[0093]
这样一来，车辆可以根据该第二公式，可以得到y2值的大小，y2表示该样本图像对应的预测高度图对应的高度值。
[0094]
其中，x2表示样本图像中的像素点在世界坐标系下x轴的坐标，z2表示样本图像中的像素点在世界坐标系下z轴的坐标，y2也可以表示样本图像中的像素点在世界坐标系下y轴的坐标。
[0095]
可以理解的是，因为高度值与样本图像的像素点位置无关，所以，车辆根据预测高度图对应的高度预测值得到的高度损失总值，更利于更新图像识别模型中的参数。
[0096]
可选的，车辆根据该预测深度图、该深度真值参考图和该可达空间掩模，计算得到损失总值，可以包括：车辆根据该预测深度图、该深度真值参考图、该预测高度图、该高度真值参考图以及该可达空间掩模，计算得到损失总值。
[0097]
可选的，车辆根据该预测深度图、该深度真值参考图、该预测高度图、该高度真值参考图以及该可达空间掩模，计算得到损失总值，可以包括：车辆根据该预测深度图、该深度真值参考图以及该可达空间掩模计算深度损失；该车辆根据该预测高度图、该高度真值参考图以及该可达空间掩模计算高度损失；该车辆根据该深度损失和该高度损失计算损失总值。
[0098]
可选的，车辆根据该预测深度图、该深度真值参考图以及该可达空间掩模计算深度损失，可以包括：车辆根据第三公式，计算得到深度损失。
[0099]
其中，该第三公式为depth_loss_total＝sum(depth_loss)；
[0100]
depth_loss＝l1_loss(depth_map_gt，depth_map_pred)*drivable space mask；
[0101]
depth_map_gt表示该深度真值参考图对应的深度真值，depth_map_pred表示该预测深度图对应的深度预测值，drivable space mask表示该可达空间掩模。
[0102]
可以理解的是，该第三公式是一种深度损失函数，该深度损失函数是用来估量待处理位置图像中待预测的可达空间对应的深度值和实际输出的三维可达空间对应的深度值的不一致程度。该深度损失函数为一种非负实值函数。
[0103]
可选的，车辆根据该预测高度图、该高度真值参考图以及该可达空间掩模计算高度损失，可以包括：车辆根据第四公式，计算得到高度损失。
[0104]
其中，该第四公式为height_loss_total＝sum(height_loss)；
[0105]
height_loss＝l1_loss(height_map_gt，height_map_pred)*drivable space mask；height_map_gt表示高度真值参考图对应的高度真值，height_map_pred表示预测高度图对应的高度预测值。
[0106]
可以理解的是，该第四公式是一种高度损失函数，该高度损失函数是用来估量待处理位置图像中待预测的可达空间对应的高度值和实际输出的三维可达空间对应的高度值的不一致程度。该高度损失函数为一种非负实值函数。
[0107]
需要说明的是，车辆可以将该深度损失作为损失总值，或者，可以将该深度损失和该高度损失同时作为损失总值，此处不做具体限定。
[0108]
203、根据所述损失总值更新所述图像识别模型中的参数。
[0109]
需要说明的是，由于待训练的图像识别模型的准确性较差，所以，车辆根据损失总
值更新待训练的图像识别模型中的参数，可以得到识别准确度较高的图像识别模型。即车辆对待训练的图像识别模型进行参数更新，可以得到训练好的图像识别模型，车辆通过该训练好的图像识别模型对单目摄像头获取的图像进行深度估计，可以得到准确性较高的该图像对应的深度估计图。
[0110]
204、获取待识别的当前待处理位置图像。
[0111]
205、通过训练好的图像识别模型对所述当前待处理位置图像进行深度估计，得到所述当前待处理位置图像对应的深度估计图。
[0112]
其中，该图像识别模型是利用样本图像、与该样本图像分别对应的深度真值参考图和可达空间掩模进行训练得到的，该可达空间掩模用于指示车辆可达空间在该样本图像中的图像位置。
[0113]
206、根据所述深度估计图确定所述当前待处理位置图像包括的二维可达空间对应的深度值，以将所述二维可达空间转换为三维可达空间。
[0114]
需要说明的是，步骤204
‑
206与图1所示的步骤101
‑
103类似，此处不做具体赘述。
[0115]
在本发明实施例中，车辆不需要借助激光雷达，只需要借助单目摄像头，在通过该单目摄像头获取一张当前待处理位置图像之后，可以直接将该当前待处理位置图像输入该训练好的图像识别模型，输出准确性较高的深度估计图，这样一来，再根据准确性较高的深度估计图，就可以得到车辆对应的准确性较高的三维可达空间。
[0116]
如图3所示，为本发明实施例中三维可达空间的确定方法的另一个实施例示意图，可以包括：
[0117]
301、获取待识别的当前待处理位置图像；
[0118]
需要说明的是，步骤301与图1所示的步骤101类似，此处不做具体赘述。
[0119]
302、通过训练好的图像识别模型对所述当前待处理位置图像进行高度估计，得到所述当前待处理位置图像对应的高度估计图。
[0120]
其中，该图像识别模型是利用样本图像、与该样本图像分别对应的高度真值参考图和可达空间掩模进行训练得到的，该可达空间掩模用于指示车辆可达空间在该样本图像中的图像位置。
[0121]
需要说明的是，与该样本图像分别对应的高度真值参考图中的高度真值可以是根据设置在车辆上的激光雷达所采集的光束得到的。其中，高度真值是车辆通过激光雷达测得的较为准确的高度标注数据。
[0122]
可选的，该训练好的图像识别模型包括训练好的resnet和训练好的fpn；车辆通过训练好的图像识别模型对该当前待处理位置图像进行高度估计，得到该当前待处理位置图像对应的高度估计图，可以包括：车辆将该当前待处理位置图像向该训练好的resnet输入，得到a层特征，a为大于等于1的整数；该车辆在该a层特征中选择a层特征向该训练好的fpn输入，得到第三融合特征，a为大于等于1的整数；该车辆将该第三融合特征通过高度卷积层(height head)，得到该当前待处理位置图像对应的高度估计图。
[0123]
可以理解的是，车辆在a层特征中选择a层特征向训练好的fpn输入，即a≥a。车辆在得到a层特征之后，不需要将a层特征全部输入至训练好的fpn，只需要在该a层特征中选择部分层数特征(如a层特征)向该训练好的fpn输入，就可以得到第三融合特征。可选的，a层特征的选择可以是车辆随机的，也可以是用户自定义的，此处不做具体限定。
[0124]
可选的，高度卷积层可以是2d convolution。
[0125]
该height head可以是conv(output_chn，input_chn，width_kernel_size，height_kernel_size) batchnorm relu conv(output_chn，input_chn，width_kernel_size，height_kernel_size) batchnorm relu。
[0126]
示例性的，depth head可以是conv(64，128，3，3) batchnorm relu conv(1，64，3，3) batchnorm relu。
[0127]
303、根据所述高度估计图确定所述当前待处理位置图像包括的二维可达空间对应的高度值，以将所述二维可达空间转换为三维可达空间。
[0128]
需要说明的是，当前待处理位置图像包括的二维可达空间对应的深度值为车辆的单目摄像头到当前待处理位置之间的距离。
[0129]
可选的，车辆根据该高度估计图确定该当前待处理位置图像包括的二维可达空间对应的高度值，以将该二维可达空间转换为三维可达空间，可以包括：车辆根据该第一公式，将该二维可达空间转换为三维可达空间。
[0130]
其中，该第一公式为x1＝[(u
‑
c
x
)z1]/f
x
，y1＝[(v
‑
c
y
)z1]/f
y
；f
x
表示单目摄像头在世界坐标系下x轴上的焦距，f
y
表示单目摄像头在该世界坐标系下y轴上的焦距，(c
x
，c
y
)表示该单目摄像头的光圈中心，y1表示该当前待处理位置图像包括的二维可达空间对应的高度值。
[0131]
可以理解的是，y1也可以是当前待处理位置图像中的像素点在世界坐标系下y的坐标。
[0132]
这样一来，车辆可以根据该第一公式，可以得到x1值的大小和z1值的大小。即车辆可以将当前待处理位置图像中的像素坐标(u，v)转换为三维可达空间中对应的世界坐标(x1，y1，z1)，从而将该当前待处理位置对应的二维可达空间转换为三维可达空间。
[0133]
其中，x1表示当前待处理位置图像中的像素点在世界坐标系下x轴的坐标，z1表示该当前待处理位置图像中的像素点在世界坐标系下z轴的坐标。
[0134]
可以理解的是，上述方法是车辆通过训练好的图像识别模型对当前待处理位置图像对应的高度估计图进行预测输出的过程，再根据该高度估计图，确定该当前待处理位置对应的三维可达空间。车辆利用高度估计图像作为图像识别模型训练的训练依据，加强神经网络模型的学习，使车辆得到的高度估计图的准确性较高，从而可以获取准确性较高的三维可达空间。这样一来，车辆不需要借助激光雷达，只需要借助单目摄像头，在通过该单目摄像头获取一张当前待处理位置图像之后，可以直接通过该神经网络模型，在车辆中得到准确性较高的三维可达空间。
[0135]
在本发明实施例中，获取待识别的当前待处理位置图像；通过训练好的图像识别模型对所述当前待处理位置图像进行高度估计，得到所述当前待处理位置图像对应的高度估计图；所述图像识别模型是利用样本图像、与所述样本图像分别对应的高度真值参考图和可达空间掩模进行训练得到的，所述可达空间掩模用于指示车辆可达空间在所述样本图像中的图像位置；根据所述高度估计图确定所述当前待处理位置图像包括的二维可达空间对应的高度值，以将所述二维可达空间转换为三维可达空间。由于训练好的图像识别模型中，高度估计图的准确性较高，所以，当待识别的当前待处理位置图像输入该训练好的图像识别模型时，会输出准确性较高的高度估计图，这样一来，再根据准确性较高的高度估计
图，就可以得到车辆对应的准确性较高的三维可达空间。
[0136]
需要说明的是，车辆可以先执行图1所示的步骤101
‑
103，也可以先执行图3所示的步骤301
‑
303，也可以同时执行图1所示的步骤101
‑
103与图3所示的步骤301
‑
303，此处不做具体限定。
[0137]
如图4所示，为本发明实施例中三维可达空间的确定方法的另一个实施例示意图，可以包括：
[0138]
401、通过待训练的所述图像识别模型对所述样本图像进行高度估计，得到所述样本图像对应的预测高度图。
[0139]
402、根据所述预测高度图、所述高度真值参考图和所述可达空间掩模，计算得到损失总值。
[0140]
可选的，步骤402之前，该方法还可以包括：车辆获取与该样本图像对应的预测深度图，以及与该样本图像对应的深度真值参考图。
[0141]
可选的，车辆获取与该样本图像对应的预测深度图，可以包括：车辆将该预测高度图进行几何转换，得到该样本图像对应的预测深度图。
[0142]
可选的，步骤402之前，该方法还可以包括：车辆获取可达空间掩模。
[0143]
其中，该可达空间掩模用于指示车辆可达空间在该高度真值参考图中的图像位置。
[0144]
可选的，车辆根据该预测高度图、该高度真值参考图和该可达空间掩模，计算得到损失总值，可以包括：车辆根据该预测高度图、该高度真值参考图、该预测深度图、该深度真值参考图以及该可达空间掩模，计算得到损失总值。
[0145]
可选的，车辆根据该预测高度图、该高度真值参考图、该预测深度图、该深度真值参考图以及该可达空间掩模，计算得到损失总值，可以包括：车辆根据该预测高度图、该高度真值参考图以及该可达空间掩模计算高度损失；该车辆根据该预测深度图、该深度真值参考图以及该可达空间掩模计算深度损失；该车辆根据该高度损失和该深度损失计算损失总值。
[0146]
需要说明的是，车辆可以将该高度损失作为损失总值，或者，可以将该高度损失和该深度损失同时作为损失总值，此处不做具体限定。
[0147]
403、根据所述损失总值更新所述图像识别模型中的参数。
[0148]
404、获取待识别的当前待处理位置图像。
[0149]
405、通过训练好的图像识别模型对所述当前待处理位置图像进行高度估计，得到所述当前待处理位置图像对应的高度估计图。
[0150]
其中，该图像识别模型是利用样本图像、与该样本图像分别对应的高度真值参考图和可达空间掩模进行训练得到的，该可达空间掩模用于指示车辆可达空间在该样本图像中的图像位置。
[0151]
406、根据所述高度估计图确定所述当前待处理位置图像包括的二维可达空间对应的高度值，以将所述二维可达空间转换为三维可达空间。
[0152]
需要说明的是，步骤401
‑
406与图2所示的步骤201
‑
206类似，此处不做具体赘述。
[0153]
在本发明实施例中，车辆不需要借助激光雷达，只需要借助单目摄像头，在通过该单目摄像头获取一张当前待处理位置图像之后，可以直接将该当前待处理位置图像输入该
训练好的图像识别模型，输出准确性较高的高度估计图，这样一来，再根据准确性较高的高度估计图，就可以得到车辆对应的准确性较高的三维可达空间。
[0154]
如图5所示，为本发明实施例中车辆的一个实施例示意图，可以包括：获取模块501和处理模块502；
[0155]
获取模块501，用于获取待识别的当前待处理位置图像；
[0156]
处理模块502，用于通过训练好的图像识别模型对该当前待处理位置图像进行深度估计，得到该当前待处理位置图像对应的深度估计图；该图像识别模型是利用样本图像、与该样本图像分别对应的深度真值参考图和可达空间掩模进行训练得到的，该可达空间掩模用于指示车辆可达空间在该样本图像中的图像位置；根据该深度估计图确定该当前待处理位置图像包括的二维可达空间对应的深度值，以将该二维可达空间转换为三维可达空间。
[0157]
可选的，在本发明的一些实施例中，
[0158]
处理模块502，还用于通过待训练的该图像识别模型对该样本图像进行深度估计，得到该样本图像对应的预测深度图；根据该预测深度图、该深度真值参考图和该可达空间掩模，计算得到损失总值；根据该损失总值更新该图像识别模型中的参数。
[0159]
可选的，在本发明的一些实施例中，
[0160]
获取模块501，还用于获取与该样本图像对应的预测高度图，以及与该样本图像对应的高度真值参考图；
[0161]
处理模块502，还用于根据该预测深度图、该深度真值参考图、该预测高度图、该高度真值参考图以及该可达空间掩模，计算得到损失总值。
[0162]
可选的，在本发明的一些实施例中，
[0163]
获取模块501，具体用于将该预测深度图进行几何转换，得到该样本图像对应的预测高度图。
[0164]
可选的，在本发明的一些实施例中，
[0165]
处理模块502，具体用于根据该预测深度图、该深度真值参考图以及该可达空间掩模计算深度损失；根据该预测高度图、该高度真值参考图以及该可达空间掩模计算高度损失；根据该深度损失和该高度损失计算损失总值。
[0166]
可选的，在本发明的一些实施例中，
[0167]
获取模块501，还用于获取待识别的当前待处理位置图像；
[0168]
处理模块502，还用于通过训练好的图像识别模型对该当前待处理位置图像进行高度估计，得到该当前待处理位置图像对应的高度估计图；该图像识别模型是利用样本图像、与该样本图像分别对应的高度真值参考图和可达空间掩模进行训练得到的，该可达空间掩模用于指示车辆可达空间在该样本图像中的图像位置；根据该高度估计图确定该当前待处理位置图像包括的二维可达空间对应的高度值，以将该二维可达空间转换为三维可达空间。
[0169]
可选的，在本发明的一些实施例中，
[0170]
处理模块502，还用于通过待训练的该图像识别模型对该样本图像进行高度估计，得到该样本图像对应的预测高度图；
[0171]
获取模块501，还用于获取与该样本图像对应的高度真值参考图和可达空间掩模；
该可达空间掩模用于指示车辆可达空间在该高度真值参考图中的图像位置；
[0172]
处理模块502，还用于根据该预测高度图、该高度真值参考图和该可达空间掩模，计算得到损失总值；根据该损失总值更新该图像识别模型中的参数。
[0173]
如图6所示，为本发明实施例中车辆的另一个实施例示意图，可以包括：存储器601和处理器602；存储器601和处理器602耦合，处理器602调用存储器601中存储的可执行程序代码；
[0174]
处理器602具有以下功能：
[0175]
获取待识别的当前待处理位置图像；
[0176]
通过训练好的图像识别模型对该当前待处理位置图像进行深度估计，得到该当前待处理位置图像对应的深度估计图；该图像识别模型是利用样本图像、与该样本图像分别对应的深度真值参考图和可达空间掩模进行训练得到的，该可达空间掩模用于指示车辆可达空间在该样本图像中的图像位置；
[0177]
根据该深度估计图确定该当前待处理位置图像包括的二维可达空间对应的深度值，以将该二维可达空间转换为三维可达空间。
[0178]
可选的，处理器602还具有以下功能：
[0179]
通过待训练的该图像识别模型对该样本图像进行深度估计，得到该样本图像对应的预测深度图；根据该预测深度图、该深度真值参考图和该可达空间掩模，计算得到损失总值；根据该损失总值更新该图像识别模型中的参数。
[0180]
可选的，处理器602还具有以下功能：
[0181]
获取与该样本图像对应的预测高度图，以及与该样本图像对应的高度真值参考图；以及，根据该预测深度图、该深度真值参考图、该预测高度图、该高度真值参考图以及该可达空间掩模，计算得到损失总值。
[0182]
可选的，处理器602还具有以下功能：
[0183]
将该预测深度图进行几何转换，得到该样本图像对应的预测高度图。
[0184]
可选的，处理器602还具有以下功能：
[0185]
根据该预测深度图、该深度真值参考图以及该可达空间掩模计算深度损失；根据该预测高度图、该高度真值参考图以及该可达空间掩模计算高度损失；根据该深度损失和该高度损失计算损失总值。
[0186]
可选的，处理器602还具有以下功能：
[0187]
获取待识别的当前待处理位置图像；通过训练好的图像识别模型对该当前待处理位置图像进行高度估计，得到该当前待处理位置图像对应的高度估计图；该图像识别模型是利用样本图像、与该样本图像分别对应的高度真值参考图和可达空间掩模进行训练得到的，该可达空间掩模用于指示车辆可达空间在该样本图像中的图像位置；根据该高度估计图确定该当前待处理位置图像包括的二维可达空间对应的高度值，以将该二维可达空间转换为三维可达空间。
[0188]
可选的，处理器602还具有以下功能：
[0189]
通过待训练的该图像识别模型对该样本图像进行高度估计，得到该样本图像对应的预测高度图；获取与该样本图像对应的高度真值参考图和可达空间掩模；该可达空间掩模用于指示车辆可达空间在该高度真值参考图中的图像位置；根据该预测高度图、该高度
真值参考图和该可达空间掩模，计算得到损失总值；根据该损失总值更新该图像识别模型中的参数。
[0190]
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。
[0191]
所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(dsl))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存储的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，dvd)、或者半导体介质(例如固态硬盘solid state disk(ssd))等。
[0192]
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
[0193]
在本发明所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
[0194]
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0195]
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
[0196]
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(read
‑
only memory，rom)、随机存取存储器(random access memory，ram)、磁碟或者光盘等各种可以存储程序代码的介质。
[0197]
以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前
述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。