信息处理装置、信息处理方法和程序与流程

1.本公开涉及信息处理装置、信息处理方法和程序，并且更具体地涉及在自动驾驶期间当发生紧急情况时允许适当地停靠到安全路肩的信息处理装置、信息处理方法和程序。


背景技术：

2.在自动驾驶普遍化并投入实际使用的情况下，通过在正常状态下在检查周围情况的同时在被假设为到目的地的路线的行驶车道上行驶来安全地执行自主行驶。
3.但是，在紧急车辆正在接近的紧急情况下，有必要将车身安全地停靠到与行驶车道不同的路边区等，即，通常不用于行驶的区，并且为紧急车辆让出行驶车道。
4.因此，提出了一种安全地将车辆停靠的技术，其中，在紧急情况时检测路肩，确定路肩是否可用于停靠，如果路肩可用于停靠则将车辆停靠(参见专利文献1)。
5.引用列表
6.专利文献
7.专利文献1：日本专利申请特许公开no.2010-020371


技术实现要素：

8.本发明要解决的问题
9.但是，在专利文献1的技术中，虽然基于是否存在障碍物来搜索可用于安全停车的路肩，例如，在设有排水沟的路肩或由于积雪等而冻结的路肩的情况下，即使路肩不可用于安全停靠，也有可能将路肩搜索为可用于安全停靠的路肩。
10.因此，在专利文献1中描述的技术中，有可能将可能不可用于安全停靠的路肩视作并搜索为可用于安全停靠的路肩，因此存在以下可能性：当由于接近的紧急车辆而发生紧急情况时，试图停靠到不安全的路肩。
11.本公开就是针对这种情况而提出的，特别是旨在允许在驾驶期间当发生紧急情况时适当地停靠到安全的路肩。
12.问题的解决方案
13.根据本公开的一个方面的信息处理装置是一种信息处理装置，该信息处理装置包括：距离信息获取部，该距离信息获取部获取距离信息；图像获取部，该图像获取部获取图像；图像属性识别部，该图像属性识别部将所获取的图像中的每个区域的属性识别为图像属性信息；以及退避空间地图创建部，该退避空间地图创建部基于距离信息和图像属性信息创建退避空间地图，该退避空间地图是由可用于车辆安全退避的退避空间构成的地图，其中，退避空间地图创建部通过基于距离信息设置可用于车辆行驶的可行驶区域并基于图像属性信息根据可行驶区域的路面的情况在可行驶区域中设置退避空间来创建退避空间地图。
14.根据本公开的一个方面的信息处理方法和程序与信息处理装置对应。
15.在本公开的一个方面中，获取距离信息，获取图像，将所获取的图像中的每个区域的属性识别为图像属性信息，基于距离信息和图像属性信息创建退避空间地图(该退避空间地图是由可用于车辆安全退避的退避空间构成的地图)，基于距离信息设置可用于车辆行驶的可行驶区域，基于图像属性信息根据可行驶区域的路面的情况在可行驶区域中设置退避空间，从而创建退避空间地图。
附图说明
16.图1是图示当紧急车辆正在接近时的操作的图，这是本公开的概要。
17.图2是图示其中深度传感器不能适当地检测路面的危险状态的示例的图，这是本公开的概要。
18.图3是图示退避空间地图的图，这是本公开的概要。
19.图4是图示退避空间地图的图，这是本公开的概要。
20.图5是图示本公开所应用于的车辆控制系统的配置示例的图。
21.图6是图示配置示例的图，其是从图5中的车辆控制系统的配置示例中提取的本公开的生成退避空间地图的一部分。
22.图7是图示与车辆的周边的实际状态对应的退避空间地图的示例的图。
23.图8是图示生成退避空间地图的方法的图。
24.图9是图示用于生成退避空间地图的极坐标网格的图。
25.图10是图示使用极坐标网格生成退避空间地图的方法的图。
26.图11是图示使用极坐标网格生成退避空间地图的方法的图。
27.图12是图示使用极坐标网格生成退避空间地图的方法的图。
28.图13是图示退避空间地图的随时间的累积的图。
29.图14是图示退避空间地图生成处理的流程图。
30.图15是图示使用退避空间地图的第一退避方法的示例的图。
31.图16是图示使用退避空间地图的第二退避方法的示例的图。
32.图17是图示使用退避空间地图的第三退避方法的示例的图。
33.图18是图示使用退避空间地图的第一退避方法的示例的图。
34.图19是图示紧急退避处理的流程图。
35.图20是图示通用计算机的配置示例的图。
具体实施方式
36.下面将参考附图详细描述本公开的优选实施例。注意的是，在本说明书和附图中，具有基本相同功能配置的组件由相同的附图标记表示，因此将不重复对其的描述。
37.下面将描述用于执行本技术的模式。将按以下次序进行描述。
38.1.本公开的概要
39.2.优选实施例
40.3.由软件执行的示例
41.《《1.本公开的概要》》
42.本公开允许在发生紧急情况的情况下迅速停靠到安全区域。
43.首先，将参考图1描述本公开的概要。
44.将考虑这样的情况，其中，如图1的左部所示，通过自动驾驶在行驶车道l1中行驶的本车cs跟随作为前车的另一车辆ca1在箭头的方向上(例如，图中是向上)行驶。
45.而且，假设作为对向车辆的另一车辆ca2正在图中行驶车道l1的右侧的对向车道l2中行驶(如图中向下箭头所指示的)，并且紧急车辆ce正在从本车cs后面接近。
46.注意的是，用户所乘坐的车辆被称为本车cs，而其它车辆被称为其它车辆ca1和ca2。
47.此时，如图1的右部的黑色箭头er所指示的，通过自动驾驶行驶的本车cs需要通过停靠到未达到作为前车的其它车辆ca1的行驶车道l1的路肩来退避，以便为紧急车辆ce让出行驶车道l1。
48.在执行这一系列操作时，本车cs有必要停靠并进入路肩，该路肩不是本车cs在正常状态下按照交通规则应当行驶的行驶车道l1，即，采取违反交通规则的动作。
49.此外，在这种情况下，本车cs在行驶车道l1的左侧搜索本车cs可以安全停靠的路肩，并停靠到已确认安全性的搜索到的路肩。
50.在此，在本车cs包括诸如lidar(“光检测和测距”或“激光成像检测和测距”)之类的深度传感器的情况下，深度传感器检测相对于本车cs正在行驶的方向的左侧上的路肩的情况，基于是否存在被视作障碍物的物体搜索可用于安全停靠的路肩，无障碍物区域被视为可用于安全停靠的路肩，并将本车cs停靠到路肩。
51.例如，假设提供了从本车cs的左侧表面用红外激光照射左侧的路肩的lidar，根据反射光来测量到路肩周边的距离，并获取深度图像。
52.此时，在本车cs基于由lidar的距离测量结果构成的深度图像检测路肩上是否有障碍物的情况下，即使在可以从深度图像适当地检测到路面的情况下，本车cs也可能无法适当地检测路肩的情况。
53.例如，即使在相对于图2的上部中本车cs的行驶方向在路面rf的左侧的路肩上设有排水沟g的情况下，取决于lidar的分辨率或相对于路面的安装位置/角度，存在于路肩上的排水沟g也可能无法从由lidar检测到的深度图像中检测到。
54.注意的是，图2是其中当从在本车cs后面行驶的紧急车辆ce的驾驶座看本车cs时由本车cs中提供的lidar发射的红外激光由辐射线表示的图。
55.即，在来自lidar的红外激光相对于图2的上部中的本车cs的行驶方向朝左发射的情况下，在路面rf的左侧的路肩上提供排水沟g的情况下，用红外激光照射路面rf，从而可以检测到路面rf。
56.但是，取决于红外激光的分辨率和入射角，可能无法用来自lidar的红外激光照射排水沟g，如图2的上部所示。
57.如图2的上部所示，在由lidar获得的深度图像中，存在无法获得指示实际上存在的排水沟g的检测结果的情况，因此，存在尽管事实是路肩由于排水沟g而不可用于安全停靠但仍将路肩视为可用于安全停靠的路肩的可能性。
58.此外，如图2的中间部分中所示，即使在路肩上存在障碍物b的情况下，但由于红外激光的分辨率，障碍物b可以适配在红外激光的波束之间的间隔内。
59.如图2的中间部分中所示，在由lidar检测到的深度图像中无法获得指示实际上存
在的障碍物b的存在的检测结果，因此，存在尽管事实是路肩由于障碍物b而不可用于安全停靠但仍将路肩视为可用于安全停靠的路肩的可能性。
60.而且，如图2的下部中所示，在路肩上没有本车cs可能碰撞的障碍物但是路面rf的路肩具有冻结路面fz的情况下，不可能从由lidar检测到的深度图像中识别出路肩具有冻结路面fz。
61.如上所述，在由lidar检测到的深度图像中，即使在实际上没有障碍物或排水沟的情况下，存在尽管事实是路肩由于冻结路面fz而不可用于安全停靠但仍将路肩视为可用于安全停靠的路肩的可能性。
62.因此，在本公开中，在行驶期间按照时间顺序生成由可用于安全停靠的退避空间构成的地图作为退避空间地图，并且在紧急情况下，基于退避空间地图将本车cs安全停靠。
63.在此，例如如图3中所示，退避空间地图是在环境地图层结构中在占用地图m4、车道地图m2和移动物体地图m1当中设置在占用地图m4和车道地图m2之间的退避空间地图m3。
64.在此，占用地图m4是从由lidar、立体相机等构成的深度传感器获得的深度图像in3和由自身位置传感器(诸如全球定位系统(gps)、惯性测量单元(imu)或视觉里程计(vo))检测到的自身位置信息in4获得的图。
65.更具体而言，占用地图m4指示，当从本车cs查看时，在本车cs行驶通过该区域的情况下存在具有本车cs可能接触到的高度的物体的区域以及其余区域。
66.此外，车道地图m2指定车辆在其中行驶的车道(行驶车道)的位置，并且从自身位置信息in4、深度图像in3、由识别对象(诸如在由rgb相机、偏光相机、红外相机等捕获的图像中路面上的白线)的结果构成的图像识别结果in2以及指示车道的位置的先前地图in1。
67.而且，移动物体地图m1指示在从自身位置信息in4、深度图像in3和图像识别结果in2获得的实时图像中存在于本车cs周围的移动物体的位置。
68.即，本车cs的自动驾驶是通过基于从移动物体地图m1获得的移动物体在从车道地图m2获得的行驶车道中的位置在本车cs行驶通过占用地图m4中的区域并且没有移动物体的情况下使本车cs在不存在本车cs可能接触的物体的区域中行驶的控制来执行的。
69.在本公开中，作为占用地图m4和车道地图m2之间的中间层，生成退避空间地图m3，该退避空间地图m3由退避不可用区域和退避空间(退避可用区域)构成，该退避不可用区域不可用于安全退避，该退避空间没有在本车cs行驶通过占用地图m4中的区域的情况下可能与本车cs接触的物体，并且可用于在从车道地图m2获得的行驶车道的两侧上在路肩安全停靠。
70.然后，在发生紧急情况时，基于退避空间地图m3将本车cs停靠到可用于安全停靠的退避空间，并且这允许在发生紧急情况时停靠到安全退避空间(路肩)。
71.基于自身位置信息in4、深度图像in3和图像识别结果in2，退避空间地图m3指示退避不可用区域和退避可用区域(退避空间)，该退避可用区域是占用地图m4中的无障碍物区域并且包括偏离车道地图m2中的行驶车道(车道)的路肩等。
72.更具体而言，退避空间地图m3是例如如图4中所示的地图。
73.在图4中，在其中存在障碍物的当从本车cs看在左侧和右侧的区域z1和作为无障碍物区域z2的其余区域中，退避可用区域是由作为行驶车道的车道区域z12和不包括危险区域z3的区域z11构成的区域。因此，危险区域z3是退避不可用区域。
74.在紧急情况时，本车cs为紧急车辆让出例如在由区域z11和z12构成的退避可用区域中作为行驶车道的车道区域z12，设置可用于安全停靠的退避空间，并且停靠。
75.在此，在指定退避可用区域时，基于本车cs周围的图像，通过例如语义分割来识别图像中的每个物体，并且将不是危险区域(诸如，排水沟或冻结的路面)的区域指定为退避可用区域。
76.如上所述，在紧急情况下，由指示本车cs可以安全退避的退避可用区域构成的区域z11和z12的地图是退避空间地图m3。基于退避空间地图m3，本车sc根据情况指定退避可用区域内的退避空间，并停靠。
77.在本公开中，在行驶期间连续生成退避空间地图m3，并且当发生紧急情况时，根据生成的退避空间地图m3的信息将退避可用区域中可用于安全停靠的区域指定为退避空间，并将本车安全停靠到指定的退避空间。
78.因此，在发生紧急情况的情况下，有可能将本车停靠到无障碍物且安全的区域。
79.《《2.优选实施例》》
80.图5是图示车辆控制系统100的示意性功能配置示例的框图，车辆控制系统100是本技术可以应用于的移动物体控制系统的示例。
81.注意的是，在以下描述中，区别于其它车辆，设有车辆控制系统100的车辆被称为本车或主体车。即，设有车辆控制系统100的车辆对应于图1中的本车sc，而其它车辆对应于其它车辆ca1和ca2对应。
82.车辆控制系统100包括输入部101、数据获取部102、通信部103、车内设备104、输出控制部105、输出部106、驱动系统控制部107、驱动系统108、车身系统控制部109、车身系统110、存储部111和自动驾驶控制部112。输入部101、数据获取部102、通信部103、输出控制部105、驱动系统控制部107、车身系统控制部109、存储部111和自动驾驶控制部112经由通信网络121连接到彼此。通信网络121由例如控制器局域网(can)、局域互连网(lin)、局域网(lan)或车载通信网络或符合可选标准(诸如flexray(注册商标))的总线构成。注意的是，车辆控制系统100的各部可以不经由通信网络121直接连接。
83.注意的是，在车辆控制系统100的各部经由通信网络121执行通信的情况下，以下描述中将省略对通信网络121的描述。例如，在输入部101和自动驾驶控制部112经由通信网络121彼此通信的情况下，简单地描述的是输入部101和自动驾驶控制部112彼此通信。
84.输入部101包括由乘员用于输入各种类型的数据、指令等的设备。例如，输入部101包括诸如触摸板、按钮、麦克风、开关或控制杆之类的操作设备，以及允许通过除了手动操作以外的方法(诸如声音或手势)输入的操作设备。此外，例如，输入部101可以是使用红外线或其它无线电波的远程控制设备，或者支持车辆控制系统100的操作的外部连接设备(诸如移动设备或可穿戴设备)。输入部101基于由乘员输入的数据、指令等生成输入信号，并将输入信号供应给车辆控制系统100的各部。
85.数据获取部102包括用于获取用于由车辆控制系统100处理的数据的各种传感器等，并将获取的数据供应给车辆控制系统100的各部。
86.例如，数据获取部102包括用于检测本车的状态等的各种传感器。具体而言，例如，数据获取部102包括陀螺仪传感器、加速度传感器、惯性测量单元(imu)，以及用于检测加速器踏板的操作量、制动踏板的操作量、方向盘的转向角度、发动机速度、马达速度、车轮转速
等的传感器。
87.此外，例如，数据获取部102包括用于检测本车外部的信息的各种传感器。具体而言，例如，数据获取部102包括成像设备，诸如飞行时间(tof)相机、立体相机、单目相机、红外相机或另一种相机。此外，例如，数据获取部102包括用于检测天气、气象现象等的环境传感器，以及用于检测在本车周围的物体的周围信息检测传感器。环境传感器由例如雨滴传感器、雾传感器、阳光传感器或雪传感器构成。周围信息检测传感器由例如超声传感器、雷达、lidar(“光检测和测距”或“激光成像检测和测距”)或声纳构成。
88.而且，例如，数据获取部102包括用于检测本车的当前位置的各种传感器。具体而言，例如，数据获取部102包括全球导航卫星系统(gnss)接收器等，其从gnss卫星接收gnss信号。
89.此外，例如，数据获取部102包括用于检测车内信息的各种传感器。具体而言，例如，数据获取部102包括对驾驶员成像的成像设备、检测驾驶员的生物信息的生物传感器、收集车辆内部的声音的麦克风等。生物传感器在例如座椅表面或方向盘处提供，并检测坐在座椅上的乘员或握住方向盘的驾驶员的生物信息。
90.通信部103与车内设备104、车辆外部的各种设备、服务器、基站等通信，传输从车辆控制系统100的各部供应的数据，并将接收到的数据供应给车辆控制系统100的各部。注意的是，通信部103支持的通信协议没有特别限制，并且通信部103可以支持多种类型的通信协议。
91.例如，通信部103通过无线lan、蓝牙(注册商标)、近场通信(nfc)、无线usb(wusb)等与车内设备104执行无线通信。此外，例如，通信部103通过通用串行总线(usb)、高清多媒体接口(hdmi)(注册商标)、移动高清链路(mhl)等经由连接端子(未示出)(以及在必要的情况下线缆)与车内设备104执行有线通信。
92.而且，例如，通信部103经由基站或接入点与外部网络(例如，互联网、云网络或运营者专用网络)上存在的装备(例如，应用服务器或控制服务器)通信。此外，例如，通信部103使用点对点(p2p)技术与存在于本车附近的终端(例如，行人或商店的终端，或机器类型通信(mtc)终端)通信。而且，例如，通信部103执行v2x通信，诸如车辆对车辆通信、车辆对基础设施通信、本车对家庭通信或车辆对行人通信。此外，例如，通信部103包括信标接收部，并且接收从安装在道路上的无线站等传输的无线电波或电磁波，以获取诸如当前位置、交通拥堵、交通限制或所需时间之类的信息。
93.车内设备104包括例如乘员所拥有的移动设备或可穿戴设备、本车中携带或附接到本车的信息设备以及搜索到可选目的地的路线的导航设备。
94.输出控制部105控制各种类型的信息向本车的乘员或车辆外部的输出。例如，输出控制部105生成包括视觉信息(例如，图像数据)或听觉信息(例如，音频数据)中的至少一种的输出信号，并且将输出信号供应给输出部106，从而控制视觉信息和听觉信息从输出部106的输出。具体而言，例如，输出控制部105通过对由数据获取部102的不同成像设备捕获的多条图像数据进行合成来生成俯视图像、全景图像等，并将包括所生成的图像的输出信号供应给输出部106。此外，例如，输出控制部105针对诸如碰撞、接触或进入危险区之类的危险生成包含警告声音、警告消息等的音频数据，并将包含所生成的音频数据的输出信号供应给输出部106。
95.输出部106包括能够将视觉信息或听觉信息输出到本车的乘员或车辆外部的设备。例如，输出部106包括显示设备、仪表板、音频扬声器、耳机、可穿戴设备(诸如乘员穿戴的眼镜式显示器)、投影仪、灯等。包括在输出部106中的显示设备除了具有通常显示器的设备之外，还可以是在驾驶员的视场中显示视觉信息的设备，诸如抬头显示器、透射式显示器，或具有增强现实(ar)显示功能的设备。
96.驱动系统控制部107通过生成各种控制信号并将控制信号供应给驱动系统108来控制驱动系统108。此外，驱动系统控制部107在必要时向除驱动系统108以外的各部供应控制信号以给出关于驱动系统108的控制状态等的通知。
97.驱动系统108包括与本车的驱动系统相关的各种设备。例如，驱动系统108包括用于生成驱动力的驱动力生成设备(诸如内燃机或驱动马达)、用于将驱动力传递到车轮的驱动力传递机构、用于调整转向角的转向机构、生成制动力的制动设备、防抱死制动系统(abs)、电子稳定控制(esc)和电动助力转向设备。
98.车身系统控制部109通过生成各种控制信号并将控制信号供应给车身系统110来控制车身系统110。此外，车身系统控制部109在必要时向车身系统110以外的各部供应控制信号，以给出关于车身系统110的控制状态等的通知。
99.车身系统110包括车身上安装的车身系统的各种设备。例如，车身系统110包括无钥匙进入系统、智能钥匙系统、电动车窗设备、电动座椅、方向盘、空调和各种灯(例如，头灯、尾灯、刹车灯、闪光灯和雾灯)。
100.存储部111包括例如只读存储器(rom)、随机存取存储器(ram)、磁存储设备(诸如硬盘驱动器(hdd))、半导体存储设备、光存储设备以及磁光存储设备。存储部111存储由车辆控制系统100的各部使用的各种程序、数据等。例如，存储部111存储地图数据，诸如三维高清地图，诸如动态地图，不如高清地图准确但覆盖范围更广的全球地图以及包含关于本车的周围的信息的本地地图。
101.自动驾驶控制部112执行与自动驾驶相关的控制，诸如自主行驶或驾驶支持。具体而言，例如，自动驾驶控制部112为了实现高级驾驶辅助系统(adas)的功能而执行协同控制，adas的功能包括本车的防碰撞或减震、基于车辆间距离的跟随行驶、车速维持行驶、本车的碰撞警告或本车的偏离车道警告。此外，例如，出于车辆在不依赖于驾驶员的操作等的情况下自主行驶的自动驾驶的目的，自动驾驶控制部112执行协同控制。自动驾驶控制部112包括检测部131、自身位置估计部132、情况分析部133、计划部134和操作控制部135。
102.检测部131检测自动驾驶的控制所需的各种类型的信息。检测部131包括车外信息检测部141、车内信息检测部142和车辆状态检测部143。
103.车外信息检测部141基于来自车辆控制系统100的各部的数据或信号执行检测本车外部的信息的处理。例如，车外信息检测部141执行在本车周围的物体的检测处理、识别处理、跟踪处理，以及用于检测到该物体的距离的处理。要检测的物体的示例包括车辆、人、障碍物、结构、道路、交通灯、交通标志和道路标记。此外，例如，车外信息检测部141执行检测本车的周围环境的处理。要检测的周围环境的示例包括天气、温度、湿度、亮度和路面的状态。车外信息检测部141将指示检测处理的结果的数据供应给自身位置估计部132、情况分析部133的地图分析部151、交通规则识别部152和情况识别部153、操作控制部135的紧急情况避免部171等。
104.车内信息检测部142基于来自车辆控制系统100的各部的数据或信号来执行检测车内信息的处理。例如，车内信息检测部142执行驾驶员认证处理和识别处理、驾驶员状态检测处理、乘员检测处理、车内环境检测处理等。要检测的驾驶员状态的示例包括身体状况、清醒水平、注意力水平、疲劳水平和视线方向。要检测的车内环境的示例包括温度、湿度、亮度和气味。车内信息检测部142将指示检测处理的结果的数据供应给情况分析部133的情况识别部153、操作控制部135的紧急情况避免部171等。
105.车辆状态检测部143基于来自车辆控制系统100的各部的数据或信号来执行检测本车的状态的处理。要检测的本车的状态的示例包括速度、加速度、转向角、异常的存在与否和内容、驾驶操作的状态、电动座椅的位置和倾斜度、门锁的状态以及其它车载设备的状态。车辆状态检测部143将指示检测处理的结果的数据供应给情况分析部133的情况识别部153、操作控制部135的紧急情况避免部171等。
106.自身位置估计部132基于来自车辆控制系统100的各部(诸如车外信息检测部141和情况分析部133的情况识别部153)的数据或信号来执行估计本车的位置、姿势等的处理。此外，自身位置估计部132在必要时生成用于估计自身位置的局部地图(下文中称为自身定位地图)。自身定位地图是例如使用诸如同步定位和建图(slam)之类的技术的高准确地图。自身位置估计部132将指示估计处理的结果的数据供应给情况分析部133的地图分析部151、交通规则识别部152和情况识别部153等。此外，自身位置估计部132将自身定位地图存储在存储部111中。
107.情况分析部133执行分析本车和周围的情况的处理。情况分析部133包括地图分析部151、交通规则识别部152、情况识别部153和情况预测部154。
108.地图分析部151在必要时在使用来自车辆控制系统100的各部(诸如自身位置估计部132和车外信息检测部141)的数据或信号的同时执行分析存储在存储部111中的各种地图的处理，并且构建包含自动驾驶的处理所需的信息的地图。地图分析部151将构建的地图供应给例如交通规则识别部152、情况识别部153、情况预测部154以及计划部134的路线计划部161、动作计划部162和操作计划部163。
109.交通规则识别部152基于来自车辆控制系统100的各部(诸如自身位置估计部132、车外信息检测部141和地图分析部151)的数据或信号来执行识别本车周围的交通规则的处理。通过这个识别处理，例如，识别本车周围的信号的位置和状态、本车周围的交通规则的内容、可用于行驶的车道等。交通规则识别部152将指示识别处理的结果的数据供应给情况预测部154等。
110.情况识别部153基于来自车辆控制系统100的各部(诸如自身位置估计部132、车外信息检测部141、车内信息检测部142、车辆状态检测部143和地图分析部151)的数据或信号来执行识别与本车相关的情况的处理。例如，情况识别部153执行识别本车的情况、本车周围的情况、本车的驾驶员的情况等的处理。此外，情况识别部153生成用于在必要时识别本车周围的情况的本地地图(下文中称为情况识别地图)。情况识别图是例如占用网格地图(occupancy grid map)。
111.要识别的本车的情况的示例包括本车的位置、姿势和移动(例如，速度、加速度和移动方向)以及异常的存在与否和内容。要识别的本车周围的情况的示例包括周围的静止物体的类型和位置，周围的移动物体的类型、位置和移动(例如，速度、加速度和移动方向)，
周围的道路的构造和路面的状态，以及周围的天气、温度、湿度和亮度。要识别的驾驶员的状态的示例包括身体状况、清醒水平、注意力水平、疲劳水平、视线移动和驾驶操作。
112.情况识别部153向自身位置估计部132、情况预测部154等供应指示识别处理的结果的数据(在必要时包含情况识别地图)。此外，情况识别部153在存储部111中存储情况识别地图。
113.情况预测部154基于来自车辆控制系统100的各部(诸如地图分析部151、交通规则识别部152和情况识别部153)的数据或信号来执行预测与本车相关的情况的处理。例如，情况预测部154执行预测本车的情况、本车周围的情况、驾驶员的情况等的处理。
114.要预测的本车的情况的示例包括本车的行为、异常的发生和里程数。要预测的本车周围的情况的示例包括本车周围的移动物体的行为、信号的状态的改变以及诸如天气之类的环境的改变。要预测的驾驶员的情况的示例包括驾驶员的行为和身体状况。
115.情况预测部154将指示预测处理的结果的数据与来自交通规则识别部152和情况识别部153的数据一起供应给计划部134的路线计划部161、动作计划部162和操作计划部163等。
116.路线计划部161基于来自车辆控制系统100的各部(诸如地图分析部151和情况预测部154)的数据或信号来计划到目的地的路线。例如，路线计划部161基于全球地图设置从当前位置到指定目的地的路线。此外，例如，路线计划部161基于诸如交通拥堵、事故、交通限制或施工之类的情况以及驾驶员的身体状况来适当地改变路线。路线计划部161将指示计划的路线的数据供应给动作计划部162等。
117.动作计划部162基于来自车辆控制系统100的各部(诸如地图分析部151和情况预测部154)的数据或信号来计划本车在计划的时间内安全地行驶由路线计划部161计划的路线的动作。例如，动作计划部162计划起动、停止、行驶方向(例如，向前移动、向后移动、左转、右转或改变方向)、行驶车道、行驶速度、超车等。动作计划部162将指示本车的计划的行动的数据供应给操作计划部163等。
118.操作计划部163基于来自车辆控制系统100的各部(诸如地图分析部151和情况预测部154)的数据或信号来计划本车的操作，以实现由动作计划部162计划的动作。例如，操作计划部163计划加速、减速、行驶轨迹等。操作计划部163将指示本车的计划的操作的数据供应给操作控制部135的加速/减速控制部172和方向控制部173等。
119.操作控制部135控制本车的操作。操作控制部135包括紧急情况避免部171、加速/减速控制部172和方向控制部173。
120.紧急情况避免部171基于车外信息检测部141、车内信息检测部142和车辆状态检测部143的检测结果来执行对诸如碰撞、接触、进入危险区、驾驶员异常或车辆异常之类的紧急情况的检测的处理。在检测到紧急情况发生的情况下，紧急情况避免部171计划本车的操作以避免紧急情况，诸如突然停止或突然转弯。
121.紧急情况避免部171将指示本车的计划的操作的数据供应给加速/减速控制部172、方向控制部173等。
122.加速/减速控制部172执行加速/减速控制，以实现操作计划部163或紧急情况避免部171所计划的本车的操作。例如，加速/减速控制部172计算驱动力生成设备或制动设备的控制目标值以实现计划的加速、减速或突然停止，并将指示计算出的控制目标值的控制命
令供应给驱动系统控制部107。
123.方向控制部173执行方向控制，以实现操作计划部163或紧急情况避免部171所计划的本车的操作。例如，方向控制部173计算转向机构的控制目标值以实现由操作计划部163或紧急情况避免部171计划的行驶轨迹或突然转弯，并将指示计算出的控制目标值的控制命令供应给驱动系统控制部107。
124.《生成退避空间地图以在紧急情况下指定退避空间并将车辆停靠的配置示例》
125.接下来，参考图6，将描述从图5中的车辆控制系统100中提取的配置，其中生成退避空间地图，并且在紧急情况下，基于该退避空间地图指定退避空间，并且将车辆停靠。
126.用于生成退避空间地图、在紧急情况下基于退避空间地图指定退避空间并将车辆停靠的配置包括数据获取部102、输出部106、存储部111以及自动驾驶控制部112中的检测部131的车外信息检测部141、自身位置估计部132、情况分析部133的地图分析部151、交通规则识别部152和情况识别部153、计划部134和操作控制部135。
127.数据获取部102包括例如相机201、深度传感器202和gps 203。
128.相机201由例如rgb相机或偏光相机构成，捕获本车周围的图像，至少包括本车正在行驶的方向，并将捕获的图像输出到车外信息检测部141和自身位置估计部132。
129.深度传感器202由例如lidar或立体相机构成，以像素为单位检测关于距本车周围的物体的距离的信息，至少包括本车正在行驶的方向，并且将作为检测结果的深度图像输出到车外信息检测部141和自身位置估计部132。
130.gps 203接收来自卫星(未示出)的信号，确定由地球上的纬度和经度构成的本车的位置，并将位置确定的结果输出到自身位置估计部132。
131.车外信息检测部141基于分别从数据获取部102的相机201、深度传感器202和gps 203供应的图像、深度图像和位置确定的结果来检测各种类型的车外信息，并将检测到的信息输出到情况识别部153。
132.更具体而言，车外信息检测部141包括车辆检测部211、属性识别部212和深度感测部213。
133.车辆检测部211基于由相机201捕获的图像(包括二维图像和立体图像)执行图像识别以检测图像中车辆的区域，并将指示车辆的区域的检测结果输出到情况识别部153。
134.属性识别部212对由相机201捕获的图像(包括二维图像和立体图像)执行物体识别处理，诸如语义分割，其中利用例如深度学习来执行学习，以像素为单位识别图像中的每个区域所属的物体，并将识别结果作为图像属性信息输出到情况识别部153。
135.例如，基于图像属性信息，属性识别部212在图像属性信息中包括本车可以在其中安全行驶的安全区域和本车不能在其中安全行驶的区域或被识别为危险区域的应当避免在其中行驶的区域，然后输出图像属性信息。
136.更具体而言，在图像属性信息中检测到排水沟、具有可能碰撞的高度的物体(诸如坠落的物体)、冻结的路面等的情况下，属性识别部212除了以像素为单位的属性信息之外还通过添加指示这些区域是危险区域的属性信息来生成图像属性信息。
137.例如，在相机201是偏光相机的情况下，属性识别部212通过对通过去除路面上的镜面反射部分而获得的图像的深度学习(例如基于由偏光相机捕获的偏光图像)来识别冻结部分等，将冻结部分等视为危险区域，并生成图像属性信息。
138.此外，例如，在相机201是红外光相机的情况下，属性识别部212通过其中水和冰吸收的波段中的红外反射率(例如，基于由红外光相机捕获的红外光图像)来识别路面上的水坑、冻结部分等，将水坑、冰冻部分等视为危险区域，并生成图像属性信息。
139.深度感测部213基于从深度传感器202供应的深度图像的信息以与相机201中的图像对应的像素为单位生成距离信息，并将距离信息输出到情形识别部153。
140.自身位置估计部132基于从相机201供应的图像、从深度传感器202供应的深度图像、由从gps 203供应的纬度和经度构成的自身位置信息以及存储在存储部111中的先前地图的信息来估计高度准确的自身位置和姿势。
141.然后，自身位置估计部132将关于自身位置和姿势的信息作为估计结果输出到地图分析部151、交通规则识别部152和情况识别部153。
142.情况识别部153基于车辆检测结果指定接近的紧急车辆，向输出部106输出进入退避模式的指令，并在扬声器、显示器等上显示指令。
143.此外，基于车辆检测结果、图像属性信息和距离信息，情况识别部153生成关于包括紧急车辆在内的前方车辆和对向车辆的信息和退避空间地图，并将其输出到计划部134。
144.更具体而言，情况识别部153包括紧急车辆识别部231、车辆跟踪部232、极坐标网格处理部233和退避空间制图(mapping)部234。
145.紧急车辆识别部231基于以下中的至少一个来识别紧急车辆是否正在接近：从车辆检测部211供应的关于图像中的车辆的区域的信息、关于由周边的紧急车辆使用的无线通信的信息、由紧急车辆发出的警报声的声音、或从用户发送或由用户输入的指示紧急车辆正在接近的信息。在识别出紧急车辆接近的情况下，向情况预测部154输出指示紧急车辆正在接近的信息和用于给出进入退避模式的指令的信息。
146.在从紧急车辆识别部231供应指示紧急车辆正在接近的信息和用于给出进入退避模式的指令的信息的情况下，情况预测部154基于供应的信息向输出部106输出指示紧急车辆正在接近的信息以及用于给出进入退避模式的指令的信息。
147.响应于此，输出部106通过使用扬声器、显示器等通过图像或声音向正在驾驶本车的驾驶员呈现指示紧急车辆正在接近的信息和指示已给出进入退避模式的指令的信息。
148.车辆跟踪部232按时间次序获取由车辆检测部211供应的关于图像中的车辆的区域的信息，跟踪包括紧急车辆在内的所有前方车辆和对向而来的车辆的移动，并将跟踪结果输出到情况预测部154。
149.极坐标网格处理部233基于图像属性信息、距离信息、先前地图以及作为自身位置估计结果的关于自身位置和姿势的信息执行极坐标网格处理，生成退避空间地图，并将生成的退避空间地图输出到退避空间制图部234。
150.在此，在极坐标网格处理中，首先，极坐标网格处理部233基于图像属性信息、距离信息、先前地图和作为自身位置估计结果的关于自身位置和姿势的信息将极坐标系中以本车位置为中心的网格设置为极坐标网格。
151.然后，极坐标网格处理部233基于要在后文描述的以极坐标网格中的水平区域为单位的距离信息来设置存在障碍物的不可行驶区域和作为可行驶区域的其余区域。
152.而且，基于图像属性信息，极坐标网格处理部233设置退避可用区域，该退避可用区域由行驶车道的区域和在行驶车道外但是是路肩等并且在可行驶区域内可用于安全退
避的空间构成，并设置既不可用于行驶又不可用于退避的危险区域(退避不可用区域)。
153.然后，极坐标网格处理部233在极坐标网格中以水平区域为单位按时间次序生成由不可行驶区域、退避可用区域和危险区域(退避不可用区域)构成的退避空间地图。
154.注意的是，稍后将参考图7至图13详细描述极坐标网格处理。
155.退避空间制图部234通过将由极坐标网格处理部233按时间次序生成的退避空间地图随时间进行累积来扩展并存储退避空间地图，并在退避模式下向情况预测部154输出退避空间地图。
156.即，退避空间制图部234将由极坐标网格处理部233按时间次序依次生成的退避空间地图随时间进行累积，以生成覆盖更广范围的广域退避空间地图，并在退避模式下经由情况预测部154将该广域退避空间地图输出到计划部134。
157.当获取指示紧急车辆在接近时的信息、用于给出进入退避模式的指令的信息、包括紧急车辆在内的所有前车和对向车辆的跟踪信息、退避空间地图和作为从交通规则识别部152供应的关于行驶车道的位置的信息的车道信息时，情况预测部154将这些信息作为情况预测结果输出到计划部134。
158.交通规则识别部152基于存储在存储部111中的先前地图的信息和作为自身位置估计结果的关于自身位置和姿势的详细信息执行识别本车周围的交通规则的处理，并将例如本车周围的信号的位置和状态、本车周围的交通规则的内容、指示可用于行驶的车道的车道信息输出到情况预测部154。
159.当从自身位置估计部132获取作为自身位置估计结果的关于自身位置和姿势的详细信息时，地图分析部151基于存储部111中存储的先前地图生成计划自动驾驶的路线所必需的地图信息，并将地图信息输出到计划部134。
160.计划部134计划到目的地的路线，生成按计划的路线行驶所需的操作控制信息，并将操作控制信息输出到操作控制部135。
161.此时，在从情况预测部154供应用于给出进入退避模式的指令的信息的情况下，计划部134基于一起供应的退避空间地图的信息来搜索退避空间，生成用于将车辆安全地停靠到搜索出的退避空间的操作控制信息，并将操作控制信息输出到操作控制部135。
162.操作控制部135基于从计划部134供应的操作控制信息来控制本车的加速器、制动器、转向装置等，以使本车按到目的地的计划的路线行驶，并且当给出进入退避模式的指令时，使本车安全停靠到基于退避空间地图计划的退避空间。
163.《退避空间地图》
164.接下来，将参考图7描述按时间次序生成的退避空间地图。
165.例如，如图7的左部所示，将给出本车sc正在图中向上行驶的情况的考虑。
166.在图7的左部，在本车sc的两侧存在区域z1，该区域z1是存在具有本车sc行驶时可能导致碰撞的高度的障碍物的不可行驶区域，而其余区域z2是可行驶区域。
167.此外，在区域z2中，道路上识别出的白线等之间的区域通过诸如语义分割之类的物体识别被识别为行驶车道。
168.在此，在图7左部的行驶车道左侧的路肩上，假设存在由冻结路面、洼地等构成的对于行驶而言危险的区域z3。
169.在用于按到目的地的路线行驶的行驶模式(下文中也称为正常模式)下，识别行驶
车道，以便在不偏离行驶车道的范围内计划路线，并且实现通过自动驾驶的行驶。
170.因此，在正常模式下，只要获得图7左部所示的信息，就可以继续自动驾驶。只要车辆在行驶车道中行驶，自动驾驶就尤其不受对于行驶而言可能危险的区域z3的影响。
171.但是，例如，在紧急车辆正在从本车sc后方接近的情况下，需要将本车sc停靠到诸如在行驶车道外的路肩之类的安全区域以进行退避，以便为紧急车辆让出行驶车道。
172.注意的是，如上述那样将车辆停靠到诸如在行驶车道外的路肩之类的安全区域以进行退避以便为紧急车辆让出行驶车道的行驶模式下文中也被称为退避模式。
173.即，在退避模式的情况下，与正常模式的情况不同，车辆需要离开行驶车道然后停靠。
174.因此，为了实现退避模式，如图7的中央部分所示，除了作为行驶车道的车道区域z12之外，有必要在可行驶区域z2中设置由指示可用于安全退避的退避空间的区域z11构成的退避可用区域，以及不可用于安全退避的危险区域(退避不可用区域)z3。
175.即，如图7的中央部分所示，退避空间地图是这样的地图，其中在可行驶区域z2中，设置由作为行驶车道的车道区域z12和指示可用于安全退避的退避空间的区域z11构成的退避可用区域，以及不可用于安全退避的危险区域(退避不可用区域)z3。
176.注意的是，图7的中央部分中的退避空间地图与上述图4中的退避空间地图对应。
177.在由图7的中央部分中所示的退避空间地图所指示的情况实际存在的情况下，在图中本车sc的驾驶员座椅中央的相机201的视场v中捕获的图像是例如图7中右部所示的图像。
178.即，在图7的右部，在视场v中的左右两侧存在诸如墙壁之类的障碍物区域(不可行驶区域)z1，并且在其间设有可行驶区域z2。此外，由可行驶区域z2中央的行驶车道构成的区域z12和在区域z12外的路肩中可用于安全退避的退避空间区域z11被设置为退避可用区域。而且，在区域z11中，由于障碍物、排水沟等的存在而不可用于安全退避的区域被设置为危险区域(退避不可用区域)z3。
179.退避空间地图由包括由行驶车道构成的区域z12的区域和退避空间区域z11中不包括危险区域(退避不可用区域)z3的区域构成的退避可用区域以及危险区域(退避不可用区域)z3构成。
180.例如，当在图7的左部和中间部分的视场v中捕获如图7右部所示的图像时，通过诸如语义分割之类的物体识别处理识别出在图像中的区域z1中存在障碍物。
181.此外，在区域z12中识别出可用于行驶和退避两者的行驶车道，在区域z11中识别出可用于退避的路肩，并且将区域z11和z12的组合识别为退避可用区域。
182.而且，识别出对于行驶可能有危险并且不可用于退避的危险区域(退避不可用区域)z3。
183.即，当相机201捕获到图7的左部所示的图像时，属性识别部212输出物体识别结果作为图像属性信息，该物体识别结果由退避可用区域以及针对作为可行驶区域的区域z2的危险区域(退避不可用区域)z3构成，该退避可用区域由区域z12和不包括区域z3的区域z11构成，如图7的右部所示。
184.《生成退避空间地图的方法》
185.接着，将描述生成退避空间地图的具体方法。
186.例如通过合成从属性识别部212供应的图像属性信息和从深度感测部213供应的距离信息，极坐标网格处理部233生成如图8所示的图像。
187.图8图示了作为从图7右部所示的属性识别部212供应的图像属性信息的图像与例如在深度传感器202由lidar构成的情况下作为图像中的对应距离信息的距离测量结果dp进行组合的状态。
188.注意的是，例如，来自由lidar构成的深度传感器202的距离测量结果dp是具有比相机201捕获的图像的分辨率低的分辨率的信息，因此，在图8中，距离测量结果dp在图像上以斑点的形状示出。
189.极坐标网格处理部233在如图8所示的图像中设置如图9上部所示的网格状极坐标网格gd。
190.在图9的上部，极坐标网格gd被设置为由水平方向上的10列和垂直方向上的6行构成的单元格，但列数和行数不限于此。
191.顺便提及，图9上部的极坐标网格gd中单元格的水平位置与当从图9下部所示的本车sc观察时极坐标网格gd的水平角度方向对应，而图9上部的极坐标网格gd中单元格的垂直位置与图9下部的距本车sc的极坐标网格gd范围方向对应。
192.因此，在图9的上部中极坐标网格gd中较低的单元格的图像与图9的下部中极坐标网格gd中距本车sc距离较近的区域中的单元格的图像对应。
193.即，极坐标网格gd是如图9的下部所示的在从本车sc的上方查看时的顶视图中表达时的扇形坐标系所指示的网格。注意的是，比图9下部的网格gd中的点线更靠近本车sc的区域不被包括在视角中，因此不会反映在图9上部的网格gd中。
194.更具体而言，图9上部左起第三列的单元格所表示的范围gda中的六行的单元格与图9下部的径向极坐标网格gd中的六个单元格的范围gda对应。
195.即，图9上部的范围gda中从顶部起的六个单元格的图像的信息与图9下部的六个单元格的着色范围距范围gda的周边部分的距离信息对应。注意的是，虽然省略了描述，但其它列的单元格以类似的方式彼此对应。
196.在图9的极坐标网格gd中，同样以由其它单元格指示的列为单位，图9的上部和下部的单元格彼此对应。
197.极坐标网格处理部233生成图9上部的网格gd中由范围gda所指示的每一列的退避空间地图，即，以水平角区域为单位，每个单位在图9下部的网格gd中的范围gda所指示的水平角方向中具有预定范围。
198.在此，在图9上部的范围gda的情况下，如图10的左部所示，极坐标网格处理部233通过针对每个单元格将先前地图信息、图像属性信息和距离信息彼此关联来生成退避空间地图。
199.例如，在图10左部的范围gda的情况下，从顶部起的三个单元格是被识别为障碍物的区域z1。如图10的右部所示，从本车sc的相机201或深度传感器202到从顶部起的三个单元格的距离分别是从顶部到障碍物的距离d1至d3。
200.此外，危险区域z3被包括在图10左部的范围gda中从顶部起的第四个单元格中。如图10的右部所示，从本车sc的相机201或深度传感器202到从顶部起的第四个单元的距离是距离d4。
201.而且，在图10的左部的范围gda中从顶部起的第五个单元格包括由路肩构成的区域z11。如图10的右部所示，从本车sc的相机201或深度传感器202到从顶部起的第五个单元格的距离是距离d5。
202.此外，在图10的左部的范围gda中从顶部起的第六个单元格包括由行驶车道构成的区域z12。如图10的右部所示，从本车sc的相机201或深度传感器202到从顶部起的第六个单元格的距离是距离d6。由行驶车道构成的区域z12也可以利用先前地图信息和本车的自身位置进行识别。
203.因此，首先，极坐标网格处理部233基于距离信息、先前地图信息和图像属性信息设置不可行驶区域和可行驶区域。即，当图10中的范围gda中的每个单元格的信息与占用地图相关联时，如图11的左部所示，从顶部起的三个单元格被表达为由不可行驶区域构成的区域z1，并且从底部起的三个单元格被表达为由可行驶区域构成的区域z2。极坐标网格处理部233将位于三维平面上的区域设置为可行驶区域z2，该区域上放置有从先前地图信息、图像属性信息等获得的本车行驶车道区域z12，并且在距传感器位置的达不到距离信息不在三维平面上的点的距离处，还将图像属性信息中被识别为障碍物或与距离信息不在包括本车行驶车道区域的三维平面上的点对应的区域设置为不可行驶区域z1，并且设置由不可行驶区域构成的区域z1和由可行驶区域构成的区域z2，如图11的左部中所示的占用地图中那样。
204.接下来，极坐标网格处理部233基于图像属性信息在由可行驶区域构成的区域z2中设置退避可用区域和退避不可用区域。即，图像属性信息被应用于图11左部的可行驶区域z2，从而生成针对一列的退避空间地图，其中从底部起的第三个单元格的范围被设置为退避不可用区域(危险区域z3)，而从底部起的两个单元格中的由路肩构成的区域z11和由行驶车道构成的区域z12被设置为由退避可用区域构成的区域z21，如图11的右部中所示。
205.注意的是，参考图9至图11描述的退避可用区域是行驶车道和路肩的范围，并且危险区域不包括在该范围内。
206.即，首先，作为第一阶段处理，基于距离信息设置不可行驶区域和可行驶区域，并且实质上设置占用地图。
207.然后，接下来，作为第二阶段处理，在占用地图已经被设置之后，图像属性信息被应用于占用地图中的可行驶区域的内部，从而设置退避可用区域和退避不可用区域，因此生成退避空间地图。
208.通过上述两阶段处理，与由图12左上部分中的范围gda指示的根据图像属性信息和距离信息的合成图像对应的退避空间地图如图12的中上部分所示。
209.在此，在图12的中上部分所示的范围gda的退避空间地图中，如图12的右上部分所示，从相机201和深度传感器202的视场v的视点位置的距离到由障碍物构成的区域z1的距离被定义为距离dc，到危险区域z3的距离被定义为距离db，到作为行驶车道的车道区域z12的距离被定义为距离da，并且到由路肩等构成的区域z11的距离被定义为距离de。
210.因此，极坐标网格处理部233将图12右上部所示的范围gda的退避空间地图设置为图12下部所示的范围gda的退避空间地图。
211.极坐标网格处理部233针对极坐标网格gd的整个范围生成退避空间地图，将退避空间地图输出到退避空间制图部234，并且使退避空间地图被存储和随时间累积。
212.退避空间制图部234按时间次序存储退避空间地图，并随时间累积退避空间地图，从而按时间次序扩展退避空间地图。
213.更具体而言，如图13的右部所示，退避空间制图部234在预定定时存储从相机201和深度传感器202的视点位置css的视场v的退避空间地图zv，并依次重复这个处理以随时间进行累积。
214.即，如图13的左部所示，退避空间制图部234存储在时间t1从相机201和深度传感器202的视点位置css1的视场v1的退避空间地图zv1，然后将在时间t2从视点位置css2的视场v2的退避空间地图zv2叠加在退避空间地图zv1上以随时间进行累积。
215.以类似的方式，退避空间制图部234存储在时间t3从视点位置css3的视场v3的退避空间地图zv3，然后将退避空间地图zv3叠加在在时间t1和t2的视场v1和v2的退避空间地图zv1和zv2上，以随时间进行累积。
216.然后，通过重复类似的处理，退避空间制图部234与自身位置相关联地重复退避空间地图随时间的累积，从而按时间次序在空间方向上依次扩展退避空间地图。
217.注意的是，这种时间累积方法类似于用于占用地图的一般时间累积方法。例如，可以使用二元贝叶斯滤波器(binary bayes filter)等。
218.《退避空间地图生成处理》
219.接下来，将参考图14的流程图描述退避空间地图生成处理。
220.在步骤s11中，相机201捕获本车sc正在行驶的方向前方的图像，并将该图像输出到车外信息检测部141。
221.在步骤s12中，属性识别部212通过诸如语义分割之类的物体识别处理对由相机201捕获的图像以像素为单位执行属性确定，并生成作为确定结果的图像属性信息。
222.在步骤s13中，属性识别部212将生成的图像属性信息输出到情况识别部153的极坐标网格处理部233。
223.在步骤s14中，深度传感器202通过使用lidar等捕获范围图像，并将范围图像输出到深度感测部213。深度感测部213基于范围图像以像素为单位生成距离信息，并将范围信息输出到情况识别部153的极坐标网格处理部233。
224.在步骤s15中，极坐标网格处理部233通过根据图像属性信息和距离信息进行合成来生成合成图像，并通过参考图9描述的方法为合成图像设置极坐标网格gd。
225.在步骤s16中，极坐标网格处理部233将图9中的极坐标网格gd中未处理的水平角区域设置为处理目标。这里的水平角区域是例如图9中的范围gda，并且极坐标网格gd中的未处理的范围gda被设置为要处理的水平角区域。
226.在步骤s17中，基于在极坐标网格gd中被设置为要处理的水平角区域的列中的单元格中的距离信息，极坐标网格处理单元233在要处理的水平角区域中设置不可行驶区域和可行驶区域。
227.即，通过步骤s17中的处理，如参考图11的左部所描述的，设置不可行驶区域和可行驶区域，从而生成与占用地图对应的地图。
228.在步骤s18中，基于极坐标网格gd中的要处理的水平角区域中的可行驶区域的图像属性信息，极坐标网格处理部233设置退避可用区域和退避不可用区域。
229.然后，极坐标网格处理部233生成由可行驶区域中设置的退避可用区域和退避不
可用区域构成的退避空间地图，并将退避空间地图存储在退避空间制图部234中。
230.即，如参考图11的右部所描述的，通过步骤s18中的处理，退避可用区域和退避不可用区域被设置在与占用地图对应的地图中的可行驶区域中，从而生成退避空间地图。
231.在步骤s19中，极坐标网格处理部233确定是否存在未处理的水平角区域。在存在未处理的水平角区域的情况下，处理返回到步骤s16。
232.即，在步骤s16中，重复步骤s16至s19的处理，直到针对所有水平角区域生成退避空间地图为止。
233.然后，当在步骤s19中已经生成所有水平角区域的退避空间地图时，处理前进到步骤s20。
234.在步骤s20中，退避空间制图部234与自身位置相关联地随时间累积所有水平角区域的退避空间地图，并按时间次序扩展退避空间地图。
235.在步骤s21中，极坐标网格处理部233确定是否已经给出结束处理的指令。如果尚未给出结束设置的指令，那么处理返回到步骤s11，并且重复随后的处理。
236.然后，在步骤s21中，如果已经给出结束设置的指令，那么处理结束。
237.通过上述处理，在基于图像属性信息和距离信息设置了不可行驶区域和可行驶区域之后，进一步在可行驶区域中设置退避可用区域和退避不可用区域，从而可以生成由退避可用区域构成的退避空间地图。
238.注意的是，虽然在上述处理中本车sc自身生成退避空间地图，但也可以获取由另一车辆生成的退避空间地图。
239.此外，由多个车辆生成的退避空间地图可以在云服务器等中聚合，并且可以由各种车辆下载和使用。
240.从这个角度来说，退避空间地图可以是在行驶期间由车辆自己生成的，或者可以是事先从其它车辆、云服务器等获取的。
241.但是，由于退避空间地图的信息是基于时时刻刻变化的关于道路、天气等的各种信息而生成的，因此在信息不是由车辆自己生成的情况下，期望的是以预定时间间隔更新信息的情况，从而获取在某种程度上新的信息。
242.《紧急退避的示例》
243.(no.1)
244.接下来，将描述通过使用通过上述处理生成的退避空间地图响应于接近的紧急车辆而向退避空间紧急退避的示例。
245.将给出对退避空间地图的情况的考虑，例如，其中，如图15中所示，所有三种类型的区域(即，障碍物区域z1、行驶车道区域z12和由可用于退避的路肩等构成的区域z11)相对于本车cs的前进方向被设置在右侧。
246.在此，假设的是图15中的区域z11和z12的水平方向的宽度等于或大于通过将用于本车cs退避的宽度w11和紧急车辆通过所必需的宽度w12相加而获得的宽度。
247.即，在图15中，由区域z11和z12构成的不包括障碍物区域z1的区域z2的整个面积在退避空间地图中被登记为退避可用区域(z21)。
248.在图15的情况下，计划部134基于退避空间地图在退避可用区域(其是区域z2的整个面积)中搜索用于本车cs的退避空间候选，并将在搜索到的退避空间候选当中最适合退
避的区域指定为退避空间。
249.更具体而言，在紧急车辆ec正在从后方接近的情况下，退避空间是本车sc出于为紧急车辆ec让出行驶车道的目的而进行退避和停靠的空间。
250.因此，在图15的情况下，在退避空间地图中的退避可用区域中，计划部134将包括具有在行驶车道侧上允许紧急车辆ec通过的宽度w12的区域的区域设置为让出区域z31。
251.在此，当设置让出区域z31时，例如，计划部134基于图像属性信息设置由具有针对紧急车辆ec的宽度w12的区域构成的让出区域z31，使得被识别为由行驶车道构成的区域z12的区域被包括。
252.此外，计划部134在退避可用区域中搜索不包括让出区域z31的区域(即，在让出区域z31的边界bb的路肩侧、具有本车cs退避所必需的宽度w11并且在图中由点划线包围的区域z51)作为退避空间候选区域。
253.而且，计划部134将图中被虚线包围的区域z51a指定为退避空间，该区域z51a是在已经被搜索到的退避空间候选的区域z51中在本车cs的制动距离b11前方的最靠近的区域并且具有供本车cs退避到行驶车道的路肩侧的宽度w11。
254.然后，计划部134在由指定的退避空间构成的区域z51a中计划用于退避本车cs的路线，并且向操作控制部135输出用于遵循该计划的路线移动和停靠的操作控制信息。
255.基于来自计划部134的操作控制信息，操作控制部135操作加速器、制动器和转向装置以将本车cs移动并停靠到退避空间，以便实现用于停靠到由指定的退避空间构成的区域z51a的行为。
256.利用这样的一连串操作，在紧急车辆接近的情况下，本车cs可以在为紧急车辆让出行驶车道的同时安全地停靠并退避。
257.注意的是，在图15的情况下，已经描述了一个示例，其中障碍物区域z1被设置在由行驶车道构成的区域z12的右侧，并且由路肩构成的区域z11存在于行驶车道区域z12的左侧，从而在由行驶车道构成的区域z12的左侧设置区域z51作为退避空间。
258.但是，由于只需要为紧急车辆让出由行驶车道构成的区域z12，因此在由路肩构成的区域z11仅设在区域z12的右侧的情况下，让出区域z31被设置在行驶车道区域z12的左侧，而作为退避空间的区域z51a被设置在由行驶车道构成的区域z12的右侧。
259.即，在响应于紧急车辆接近的退避处理中，搜索允许本车sc退避以使得可以设置让出区域z31的退避空间候选区域z51，并且在搜索到的退避空间候选区域z51中，在本车sc的制动距离前方并且作为最靠近的区域的区域被指定为由退避空间构成的区域z51a。
260.注意的是，由于包括在让出区域z31中的供紧急车辆行驶的行驶车道区域z12更宽，因此有可能确保紧急车辆更快且更安全地移动。因此，期望的是设置退避空间候选区域z51和由退避空间构成的区域z51a，使得让出区域z31中包括的行驶车道区域z12变得尽可能更宽。例如，当设置让出区域z31时，可以设置比用于紧急车辆的宽度w12宽预定比率的宽度。
261.(no.2)
262.此外，将给出退避空间地图的情况的考虑，其中，例如，如图16中所示，三种类型的区域(即，障碍物区域z1、行驶车道区域z12以及由可用于退避的路肩等构成的区域z11-1至z11-3)相对于本车cs的前进方向被设置在右侧。
263.在此，假设的是区域z11-1至z11-3和z12的水平方向上的宽度各自等于或大于通过将用于本车cs退避的宽度w11和紧急车辆通过所必需的宽度w12相加所获得的宽度。
264.即，在图16所示的情况下，区域z11-1至z11-3和z12在退避空间地图中被登记为退避可用区域。
265.因此，在图16的情况下，在退避空间地图中的退避可用区域中，计划部134将附图中被点划线包围的区域z51-1至z51-3搜索为退避空间候选区域，这些区域z51-1至z51-3在由在行驶车道侧具有允许紧急车辆ec通过的宽度w12的区域构成的让出区域z31的边界bb的路肩侧上并具有供本车cs退避所必需的宽度w11。
266.而且，计划部134将图中用点线包围的区域z51-2指定为退避空间，该区域z51-2是作为已经被搜索到的退避空间候选区域的区域z51-1至z51-3当中在本车cs的制动距离b11前方最靠近的并且具有供本车cs退避到行驶车道的路肩侧的宽度w11。
267.即，在图16的情况下，计划部134计划用于将本车cs退避到区域z51-2的路线。
268.后续操作与图15的情况类似。
269.利用这种操作，即使在用作退避空间的区域被限制到路肩的一部分的情况下，本车cs也可以在紧急车辆正在接近的情况下为紧急车辆让出行驶车道的同时安全地停靠并退避。
270.(no.3)
271.而且，将给出退避空间地图的情况的考虑，其中，例如，如图17中所示，相对于本车cs的前进方向在右侧设置仅两种类型的区域(即，障碍物区域z1和行驶车道区域z12)，并且z12的水平宽度各自小于通过将用于本车cs退避的宽度w11和紧急车辆通过所必需的宽度w12相加所获得的宽度。
272.在图17的情况下，由于退避空间地图中的退避可用区域是行驶车道区域z12的整个面积，因此在行驶车道侧具有允许紧急车辆ec通过的宽度w12的区域的边界bb的路肩侧上不存在具有供本车cs退避所必需的宽度w11的区域，并且没有搜索到退避空间候选区域。因此，在图17的情况下，没有指定退避空间。
273.即，在图17中，如果本车cs停靠以在用作行驶车道的区域z12的左侧上设置退避空间，那么本车cs正在挡住行驶车道，使得从后面接近的紧急车辆ec不能通过由行驶车道构成的区域z12。
274.因此，在图17所示的情况下，由于本车cs无法指定退避场所，因此本车cs继续行驶到可以指定退避场所的位置。
275.利用这种处理，有可能防止本车cs阻碍紧急车辆的通过。
276.(no.4)
277.此外，将给出以下情况的考虑，其中，例如，如图18中所示，退避空间地图类似于图15的情况，并且还包括在本车cs前方的前车ca。
278.在图18的情况下，本车cs继续跟随前车ca行驶。
279.利用这种处理，有可能防止本车cs阻碍紧急车辆的通过。
280.注意的是，在图18的情况下，例如，由于如图15中所示的有可能指定用作退避空间的区域z51a，因此在跟随前车ca行驶达预定时间之后，由退避空间构成的区域z51a可以在未达到前车ca的位置被指定，并且本车cs可以移动并停靠以进行退避。
281.《紧急退避处理》
282.接下来，将参考图19中的流程图描述本公开的车辆控制系统的紧急退避处理。注意的是，紧急退避处理是基于如下前提：退避空间地图是通过作为并行处理或预处理而执行的上述退避空间地图生成处理而生成的。
283.在步骤s41中，车外信息检测部141获取由相机201捕获的图像、由深度传感器202检测到的深度图像以及在存储部111中存储的先前地图信息，这些信息由数据获取部102获取以检测车辆，并且车外信息检测部141还检测图像属性信息和距离信息并将图像属性信息和距离信息输出到情况识别部153。
284.此时，基于从gps 203供应的位置信息、图像、深度图像和先前地图的信息，自身位置估计部132向情况识别部153输出本车cs的详细位置信息和姿势信息。
285.更具体而言，车辆检测部211通过图像识别从图像中检测车辆，并将检测的结果输出到情况识别部153的紧急车辆识别部231和车辆跟踪部232。
286.在此，车辆跟踪部232按时间次序存储并跟踪关于从图像中检测到的车辆的信息，并将用于识别该车辆是远离本车sc行驶的前车、是从前方接近本车sc的对向车辆还是从后方接近本车sc的后车的信息输出到紧急车辆识别部231，并且还经由情况预测部154将信息输出到计划部134。
287.此外，属性识别部212基于图像以像素为单位识别图像中物体的属性，生成图像属性信息，并将图像属性信息输出到情况识别部153的极坐标网格处理部233。
288.而且，深度感测部213基于深度图像的信息以像素为单位生成距离信息，并将距离信息输出到极坐标网格处理部233。
289.此时，极坐标网格处理部233获取存储部111中存储的先前地图的信息以及由自身位置估计部132供应的详细的自身位置信息和姿势信息。
290.在步骤s42中，紧急车辆识别部231确定紧急车辆是否正在接近以及紧急退避是否有必要。
291.更具体而言，对于从图像中检测到的车辆，例如，紧急车辆识别部231基于从车辆跟踪部232供应的跟踪信息根据是否有紧急车辆正在接近本车sc来确定紧急车辆是否正在接近。
292.此外，例如，紧急车辆识别部231基于是否有从紧急车辆发出的警报声以及在基于由数据获取部102中的麦克风收集的在车辆外部的声音而已检测到警报声的情况下图像中是否有紧急车辆来确定是否有紧急车辆接近。
293.而且，紧急车辆识别部231控制通信部103，以基于各种通信信号来确定紧急车辆是否正在接近，诸如，是否可以拦截由紧急车辆使用的频带中的通信，是否有来自设在道路上的信标的信号通知紧急车辆接近，以及是否有车对车通信通知紧急车辆接近。
294.此外，基于是否已经对操作设备(诸如，输入部101中的触摸板、按钮、麦克风、开关或控制杆)进行了操作，紧急车辆识别部231通过作为本车sc的驾驶员的用户的干预来确定紧急车辆是否正在接近。
295.紧急车辆识别部231通过这些确定处理中的至少一个来确定紧急车辆是否正在接近，并且确定紧急退避是否有必要。
296.如果在步骤s42中确定紧急退避是必要的，那么处理前进到步骤s43。
297.在步骤s43中，紧急车辆识别部231经由情况预测部154向输出部106和计划部134输出指示紧急车辆正在接近的信息和指示模式响应于接近的紧急车辆而将转移到退避模式的信息。
298.此时，输出部106使用显示器、扬声器等通过图像或声音向作为驾驶员的用户通知已经检测到的接近的紧急车辆，并且通知响应于紧急车辆的检测而转移到退避模式。
299.在步骤s44中，计划部134生成用于使本车sc减速到预定速度的操作控制信息，并将该操作控制信息输出到操作控制部135。通过这个处理，操作控制部135控制制动器等以将本车sc的行驶速度降低到预定速度。
300.在步骤s45中，计划部134基于从车辆跟踪部232经由情况预测部154供应的跟踪信息来确定是否存在前车。
301.在步骤s45中，如果计划部134确定存在前车，那么处理前进到步骤s46。
302.在步骤s46中，计划部134生成操作控制信息，使得本车sc跟随前车行驶，同时将与前车的距离保持在足以确保安全性的预定距离，并将操作控制信息输出到操作控制部135。
303.操作控制部135基于操作控制信息来控制本车sc的加速器、制动器、转向装置等，以使本车sc跟随前车行驶，同时将与前车的距离维持在足以确保安全性的预定距离。
304.注意的是，在前车在没有可用于退避的退避空间的状态下已停靠的情况下，步骤s46中的处理包括即使在不可能在维持距前车的预定距离的同时为紧急车辆让出行驶车道的状态下也停靠车辆的处理。
305.在步骤s47中，计划部134基于跟踪信息确定前车是否已经停靠。
306.在步骤s47中，在前车没有停靠并继续行驶的情况下，处理前进到步骤s48。
307.在步骤s48中，计划部134确定跟随前车的行驶是否已持续达预定时间或更多。
308.如果在步骤s48中确定跟随前车的行驶尚未持续达预定时间，那么处理返回到步骤s46。
309.即，在存在前车的情况下，只要前车正在行驶而不停靠，如果跟随前车行驶的状态尚未持续达预定时间，那么本车sc继续跟随前车行驶。
310.然后，在步骤s48中，如果跟随前车辆行驶的状态已持续达预定时间或更多，那么处理前进到步骤s49。
311.此外，在步骤s47中，如果前车已停止行驶，那么处理前进到步骤s49。
312.即，在存在前车的情况下，如果跟随行驶已持续达预定时间或更多，或者如果前车已经停靠，那么处理前进到步骤s49。
313.在步骤s49中，计划部134经由情况预测部154读取在退避空间制图部234中累积的退避空间地图。
314.在步骤s50中，计划部134基于退避空间地图指定退避空间，该退避空间未达到前车，比在本车的制动距离内允许安全停靠的距离远，是最靠近的，并且允许确保紧急车辆的宽度。
315.更具体而言，计划部134基于退避空间地图搜索退避空间候选区域，并且从搜索到的退避空间候选区域当中指定退避空间，该退避空间未达到前车，比在本车的制动距离内允许安全停靠的距离远，是最靠近的，并且允许确保紧急车辆的宽度。
316.在步骤s51中，计划部134确定退避空间是否存在并已被指定。
317.在步骤s51中，如果不能指定退避空间，那么处理返回到步骤s45。
318.即，在没有退避空间的情况下，重复步骤s45至s51中的处理。
319.即，由于本车sc不能在为从后方接近的紧急车辆让出行驶车道的同时安全地停靠并退避，因此本车sc在维持与前车的预定距离的同时继续跟随行驶，或者在维持预定距离的同时停靠。
320.此外，如果在步骤s51中指定退避空间，那么处理前进到步骤s52。
321.在步骤s52中，计划部134计划以退避空间为目的地的路线，生成用于实现计划的操作的操作控制信息，并将操作控制信息输出到操作控制部135。
322.在步骤s53中，操作控制部135基于从计划部134供应的操作控制信息来控制本车sc的加速器、制动器、转向装置等，并使本车sc沿着以退避空间为目的地的路线行驶。
323.在步骤s54中，计划部134基于本车sc的详细的位置信息和姿势信息来确定本车sc是否已到达作为目的地的退避空间。
324.如果在步骤s54中本车sc尚未到达退避空间，则重复步骤s53和s54中的处理，并且本车sc继续朝着作为目的地的退避空间行驶。
325.如果在步骤s54中确定本车sc已经到达作为目的地的退避空间，那么处理前进到步骤s55。
326.在步骤s55中，计划部134生成用于将本车sc停靠的操作控制信息，并将操作控制信息输出到操作控制部135。利用这种布置，操作控制部135基于操作控制信息将本车sc停靠到退避空间。
327.在步骤s56中，紧急车辆识别部231确定有必要紧急退避的状态是否已结束，并重复类似的处理，直到确定有必要紧急退避的状态已结束为止。
328.然后，在步骤s56中，例如，在紧急车辆从后方接近、行驶并通过已通过退避到退避空间并停靠而让出的行驶车道并且确定有必要紧急退避的状态已经结束的情况下，处理前进到步骤s57。
329.在步骤s57中，紧急车辆识别部231经由情况预测部154向输出部106和计划部134输出指示行驶模式从退避模式转移到正常模式的信息。
330.利用这种布置，输出部106通过声音或图像向作为驾驶员的用户呈现指示行驶模式从退避模式转移到正常模式的信息。
331.此外，计划部134重新计划到原始目的地的路线，生成操作控制信息以实现重新计划的操作，并将操作控制信息输出到操作控制部135。
332.操作控制部135基于操作控制信息控制加速器、制动器、转向装置等，以实现按重新计划的路线行驶到原始目的地的操作，使得本车sc按路线行驶到目的地。
333.在步骤s58中，计划部134确定是否已经给出结束操作的指令。如果尚未给出结束操作的指令，那么处理返回到步骤s41，并且重复随后的处理。
334.此外，在步骤s45中，如果没有前车，那么处理前进到步骤s59。
335.在步骤s59中，计划部134经由情况预测部154读取在退避空间制图部234中累积的退避空间地图。
336.在步骤s60中，计划部134基于退避空间地图指定退避空间，该退避空间比本车的制动距离内允许安全停靠的距离远，是最靠近的，并允许确保用于紧急车辆的宽度。
337.更具体而言，计划部134基于退避空间地图搜索退避空间候选区域，并且从搜索到的退避空间候选区域当中指定退避空间，该退避空间比本车的制动距离内允许安全停靠的距离远，是最靠近的，并允许确保用于紧急车辆的宽度。
338.然后，处理前进到步骤s51。
339.即，如果没有前车，那么立即读取退避空间地图并开始指定退避空间。
340.通过以上处理，如果确定由于紧急车辆接近而有必要紧急退避，那么行驶模式从正常模式转变到退避模式，并且如果有前车，那么车辆跟随前车行驶。
341.然后，在继续跟随前车行驶达预定时间或更多的情况下，或者在前车已停止行驶的情况下，读取退避空间地图，指定退避空间，计划以指定的退避空间为目的地的路线，并执行操作控制以按计划的路线行驶。
342.此外，在没有前车的情况下，立即读取退避空间地图，指定退避空间，计划以指定的退避空间为目的地的路线，并执行操作控制以按计划的路线行驶。
343.而且，在无法指定退避空间的情况下，继续行驶直到检测到退避空间为止。
344.因此，在识别出接近的紧急车辆的情况下，有可能在为紧急车辆让出行驶车道的同时确保安全性并且将车辆停靠到退避空间。
345.注意的是，在以上描述中，已经描述了在存在前车的情况下车辆跟随前车行驶的示例。可替代地，即使在存在前车的情况下，在有可能立即读取退避空间地图并指定未达到前车的退避空间的情况下，车辆也可以停靠到指定的退避空间以便为紧急车辆让出行驶车道。
346.此外，在以上描述中，描述了当检测到紧急车辆接近时车辆进入退避模式、指定退避空间并停靠到指定的退避空间作为紧急退避处理的示例。但是，在紧急车辆接近太快以至于在车辆仅在向退避空间移动而尚未到达退避空间的阶段紧急车辆在行驶车道上行驶并经过的情况下，模式可以在车辆停靠之前返回到正常模式。
347.即，在这种情况下，在紧急车辆太快通过的情况下，车辆可以只进入退避空间作为紧急退避处理而不停靠，然后返回正常模式。
348.此外，例如，在车辆已经为紧急车辆让出行驶车道并移动到作为退避空间候选区域的区域z51并且区域z51包括如图15中所示的足够大小的行驶车道的情况下，车辆可以在速度降低到可以在向区域z51退避的同时确保行驶车道中的安全性的预定速度的状态下继续行驶。
349.而且，在以上描述中，已经描述了在紧急车辆正在从本车后方接近本车的情况下执行紧急退避处理的示例。但是，也可以在发生其它类型的紧急情况的情况下执行紧急退避处理。
350.例如，在驾驶员或乘客出现意外情况时，诸如已经检测到驾驶员驾驶打瞌睡的情况、驾驶员或乘客感到不适的情况，检测到诸如心率之类的医疗数据并从检测到的医疗数据中检测到身体状况恶化的情况，以及用户宣布紧急情况的情况，可以执行用于将车辆停靠到退避空间的紧急退避处理。
351.此外，在已经检测到本车状态异常(诸如轮胎漏气、发动机问题或传感器故障)的情况下，可以执行用于将本车停靠到退避空间的紧急退避处理。
352.而且，在本车前方检测到危险物体或坠落物体并可能造成碰撞的情况下，可以执
行用于将本车停靠到退避空间的紧急退避处理，以减轻损害。
353.在此，即使作为驾驶员的用户已经在本车前方发现危险物体或坠落物体，在本车正在直线行驶的情况下，作为驾驶员的用户也可以发出退避指令以实现紧急退避处理。
354.此外，在作为驾驶员的用户为了与后车会合或接人而故意将本车停靠的情况下，作为驾驶员的用户可以发出退避指令以实现紧急处理。
355.而且，退避空间地图可以由多个车辆共享以使得来自多个车辆的信息由服务器或云计算经由网络管理并且由多个车辆随时间累积。
356.《《3.软件执行的示例》》
357.顺便提及，上述一系列处理不仅可以由硬件执行，还可以由软件执行。在一系列处理由软件执行的情况下，构成软件的程序从记录介质安装到内置于能够通过安装在其中的各种程序来执行各种功能的专用硬件中的计算机、通用计算机等中，等等。
358.图20图示了通用计算机的配置示例。该个人计算机具有内置的中央处理器(cpu)1001。cpu 1001经由总线1004与输入/输出接口1005连接。总线1004与只读存储器(rom)1002和随机存取存储器(ram)1003连接。
359.输入/输出接口1005与输入部1006、输出部1007、存储部1008和通信部1009连接。输入部1006包括用户用来输入操作命令的输入设备，诸如键盘和鼠标。输出部1007将处理操作屏幕和处理结果的图像输出到显示设备。存储部1008包括用于存储程序和各种类型的数据的硬盘驱动器等。通信部1009包括局域网(lan)适配器等并且经由由互联网表示的网络执行通信处理。此外，输入/输出接口1005与驱动器1010连接，该驱动器1010从可移除介质1011(诸如磁盘(包括软盘)、光盘(包括压缩盘-只读存储器(cd-rom)和数字多功能光盘(dvd))、磁光盘(包括迷你光盘(md))或半导体存储器)读取数据或向其写入数据。
360.cpu 1001根据存储在rom 1002中的程序或从诸如磁盘、光盘、磁光盘或半导体存储器之类的可移除介质1011读取、安装在存储部1008中并从存储部1008加载到ram 1003中的程序来执行各种类型的处理。ram 1003还适当地存储cpu 1001执行各种类型的处理所必需的数据等。
361.为了执行上述一系列处理，如上所述配置的计算机使cpu 1001例如经由输入/输出接口1005和总线1004将存储在存储部1008中的程序加载到ram 1003中，然后执行程序。
362.要由计算机(cpu 1001)执行的程序可以通过例如被记录在作为封装介质等的可移除介质1011上来提供。此外，可以经由有线或无线传输介质(诸如局域网、互联网或数字卫星广播)来提供程序。
363.将可移除介质1011插入驱动器1010允许计算机经由输入/输出接口1005将程序安装到存储部1008中。此外，程序可以经由有线或无线传输介质由通信部1009接收并安装到存储部1008中。此外，程序可以预先安装在rom 1002或存储部1008中。
364.注意的是，要由计算机执行的程序可以是按照本说明书中描述的时间次序执行各条处理的程序，或者可以并行地或在需要时(例如，当处理被调用时)执行各条处理的程序。
365.注意的是，图20中的cpu 1001实现图5中的自动驾驶控制部112的功能。此外，图20中的存储部1008用作图5中的存储部111。
366.此外，在本说明书中，系统是指多个组件(设备、模块(部件)等)的集合，并且所有组件是否都在同一壳体中无关紧要。因此，容纳在不同壳体中并经由网络连接的多个设备
和具有容纳在一个壳体中的多个模块的一个设备都是系统。
367.注意的是，本公开的实施例不限于上述实施例，并且可以在本公开的范围内以各种方式修改。
368.例如，本公开可以具有云计算配置，其中多个设备共享一个功能并在处理中经由网络协作。
369.此外，上述流程图中描述的每个步骤可以由一个设备执行，或者可以由多个设备共享。
370.而且，在一个步骤中包括多条处理的情况下，那个步骤中包括的多条处理可以由一个设备执行或者可以由多个设备共享。
371.注意的是，本公开也可以如下所述配置。
372.《1》一种信息处理装置，包括：
373.距离信息获取部，所述距离信息获取部获取距离信息；
374.图像获取部，所述图像获取部获取图像；
375.图像属性识别部，所述图像属性识别部将所获取的图像中的每个区域的属性识别为图像属性信息；以及
376.退避空间地图创建部，所述退避空间地图创建部基于距离信息和图像属性信息创建退避空间地图，所述退避空间地图是由可用于车辆安全退避的退避空间构成的地图，
377.其中，退避空间地图创建部通过基于距离信息设置可用于车辆行驶的可行驶区域并基于图像属性信息根据可行驶区域的路面的情况在可行驶区域中设置退避空间来创建退避空间地图。
378.《2》根据《1》所述的信息处理装置，其中
379.退避空间地图创建部通过基于距离信息设置可用于车辆行驶的可行驶区域并且然后基于图像属性信息根据可行驶区域的路面的情况在可行驶区域中设置退避空间来创建退避空间地图。
380.《3》根据《2》所述的信息处理装置，其中
381.退避空间地图创建部通过基于可行驶区域中的图像属性信息根据可行驶区域的路面的情况在可行驶区域中设置可用于车辆安全退避的区域和不可用于车辆安全退避的区域并将可用于车辆安全退避的区域设置为退避空间来创建退避空间地图。
382.《4》根据《3》所述的信息处理装置，其中
383.退避空间地图创建部为在其中叠加距离信息和图像属性信息的信息设置极坐标网格，并以极坐标网格中的水平角区域为单位创建退避空间地图。
384.《5》根据《3》所述的信息处理装置，其中
385.退避空间地图创建部与自身位置相关联地依次随时间累积所创建的退避空间地图。
386.《6》根据《1》至《5》中的任一项所述的信息处理装置，还包括：
387.退避模式设置部，所述退避模式设置部响应于紧急情况的发生而设置退避模式；以及
388.计划部，所述计划部计划车辆的操作，
389.其中，在设置退避模式的情况下，计划部基于退避空间地图来计划车辆的操作。
390.《7》根据《6》所述的信息处理装置，其中
391.计划部基于退避空间地图来搜索退避空间，并计划用于将车辆停靠到搜索到的退避空间的操作。
392.《8》根据《6》所述的信息处理装置，其中
393.计划部基于退避空间地图来搜索比车辆的制动距离远并且最靠近的退避空间，并计划用于将车辆停靠到搜索到的退避空间的操作。
394.《9》根据《6》所述的信息处理装置，其中
395.在紧急情况是紧急车辆从后方接近的情况下，计划部在将车辆减速至预定速度之后基于退避空间地图搜索退避空间，并计划用于将车辆停靠到搜索到的退避空间的操作。
396.《10》根据《6》所述的信息处理装置，其中
397.在紧急情况是紧急车辆从后方接近的情况下，计划部基于退避空间地图搜索退避空间，并计划用于将车辆停靠到由行驶车道的路肩构成的退避空间的操作，以在搜索到的退避空间的宽度大于通过将车辆的宽度和紧急车辆的宽度相加所获得的宽度的情况下为紧急车辆让出行驶车道。
398.《11》根据《6》所述的信息处理装置，其中
399.计划部基于退避空间地图来搜索退避空间，并在退避空间的搜索失败的情况下计划用于使车辆继续行驶的操作。
400.《12》根据《6》所述的信息处理装置，其中
401.在紧急情况是紧急车辆从后方接近的情况下，计划部基于退避空间地图来搜索退避空间，并在搜索到的退避空间的宽度不大于车辆和紧急车辆的总宽度的情况下计划用于使车辆继续行驶的操作。
402.《13》根据《6》所述的信息处理装置，其中
403.在存在前车的情况下，计划部计划用于在确保与前车的安全性的同时使车辆跟随前车行驶的操作。
404.《14》根据《13》所述的信息处理装置，其中
405.在存在前车的情况下，在车辆被操作为在确保与前车的安全性的同时跟随前车行驶的状态持续达预定时间的情况下，计划部基于退避空间地图来计划用于将车辆停靠到未达到前车、比车辆的制动距离远并且最靠近的退避空间的操作。
406.《15》根据《6》所述的信息处理装置，其中
407.紧急情况包括紧急车辆从后方接近的情况、检测到驾驶员的瞌睡驾驶的情况、驾驶员或乘客感觉不适的情况、根据包括驾驶员的心率在内的医疗数据检测到驾驶员身体状况恶化的情况、驾驶员宣布紧急情况的情况、驾驶员或乘客发生意外情况的情况、检测到车辆状态异常的情况、在车辆前方检测到危险物体或坠落物体并存在碰撞可能性的情况以及驾驶员故意将本车停靠以与后车会合或接人的情况。
408.《16》根据《1》至《15》中的任一项所述的信息处理装置，其中
409.图像属性识别部通过语义分割将所获取的图像中以像素为单位的属性识别为图像属性信息。
410.《17》根据《1》至《16》中的任一项所述的信息处理装置，其中
411.图像获取部获取由红外光相机捕获的图像。
412.《18》根据《1》至《16》中的任一项所述的信息处理装置，其中
413.图像获取部获取由偏光相机捕获的图像。
414.《19》一种信息处理方法，包括：
415.距离信息获取处理，所述距离信息获取处理获取距离信息；
416.图像获取处理，所述图像获取处理获取图像；
417.图像属性识别处理，所述图像属性识别处理将所获取的图像中的每个区域的属性识别为图像属性信息；以及
418.退避空间地图创建处理，所述退避空间地图创建处理基于距离信息和图像属性信息创建退避空间地图，所述退避空间地图是由可用于车辆安全退避的退避空间构成的地图，
419.其中，退避空间地图创建处理通过基于距离信息设置可用于车辆行驶的可行驶区域并基于图像属性信息根据可行驶区域的路面的情况在可行驶区域中设置退避空间来创建退避空间地图。
420.《20》一种使计算机具有以下功能的程序：
421.距离信息获取部，所述距离信息获取部获取距离信息；
422.图像获取部，所述图像获取部获取图像；
423.图像属性识别部，所述图像属性识别部将所获取的图像中的每个区域的属性识别为图像属性信息；以及
424.退避空间地图创建部，所述退避空间地图创建部基于距离信息和图像属性信息创建退避空间地图，所述退避空间地图是由可用于车辆安全退避的退避空间构成的地图，
425.其中，退避空间地图创建部通过基于距离信息设置可用于车辆行驶的可行驶区域并基于图像属性信息根据可行驶区域的路面的情况在可行驶区域中设置退避空间来创建退避空间地图。
426.附图标记列表
427.100 车辆控制系统
428.102 数据获取部
429.106 输出部
430.111 存储部
431.112 自动驾驶控制部
432.131 检测部
433.132 自身位置估计部
434.133 情况分析部
435.134 计划部
436.135 操作控制部
437.141 车外信息检测部
438.151 地图分析部
439.152 交通规则识别部
440.153 情况识别部
441.154 情况预测部
442.201 相机
443.202 深度传感器
444.203 gps
445.211 车辆检测部
446.212 属性识别部
447.213 深度感测部
448.231 紧急车辆识别部
449.232 车辆跟踪部
450.233 极坐标网格处理部
451.234 退避空间制图部