一种车外信息展示方法、装置、设备及存储介质与流程

1.本发明涉及车辆技术领域，具体涉及一种车外信息展示方法、装置、设备及存储介质。


背景技术：

2.随着汽车产业的逐渐发展，车辆功能日益丰富，车载智能座舱系统得到了广泛的应用。在车辆行驶过程中，车载智能座舱系统能够为用户提供智能、舒适的驾乘体验，然而，乘客有时会希望了解实时变化的车外信息，例如山脉，建筑，河流等，当前智能座舱系统聚焦于车内娱乐系统，娱乐系统的信息来源局限于车载内置信息源，不能满足乘客了解车外信息的需求。
3.为了改善乘车体验，人们通过在车辆/车窗上逐步集成一些硬件，例如透明显示屏、摄像头和定位器件等，来增加车窗的功能，以便在乘客想要了解车外信息时为乘客提供更好的交互体验。然而现有技术中，通过摄像头、定位器件等获取的车外信息一般局限于特定线路上的特定地标建筑，体验较为单调；而实际应用中，汽车的行驶路线具有极大的灵活性，同时乘客想要了解的车外信息也具不确定性和多样性，例如还可以是山脉，建筑，河流等。因此，有必要对现有技术加以改进以更好的满足乘客了解车外信息的需求。


技术实现要素：

4.本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明第一方面提出一种车外信息展示方法，包括：
5.在车外信息交互功能开启状态下，实时采集乘客视线信息；
6.根据所述乘客视线信息确定乘客正在观察的车外目标物；
7.采集所述车外目标物的图像信息；
8.获取车辆位置信息；
9.基于所述车外目标物的图像信息和所述车辆位置信息获取所述车外目标物的基本信息；其中，所述基本信息包括所述车外目标物对应的车外场景信息、位置信息、名称和外观中的一个或多个的组合；
10.在车窗显示模块展示所述车外目标物的基本信息。
11.本发明第二方面提出一种车外信息展示装置，包括：
12.车内图像采集模块，用于在车外信息交互功能开启状态下，实时采集乘客视线信息；
13.图像处理模块，用于根据所述乘客视线信息确定乘客正在观察的车外目标物；
14.车外图像采集模块，用于采集所述车外目标物的图像信息；
15.车辆定位模块，用于获取车辆位置信息；
16.基本信息获取模块，用于基于所述车外目标物的图像信息和所述车辆位置信息获取所述车外目标物的基本信息；其中，所述基本信息包括所述车外目标物对应的车外场景
信息、位置信息、名称和外观中的一个或多个的组合；
17.基本信息展示模块，用于在车窗显示模块展示所述车外目标物的基本信息。
18.本发明第三方面提出一种电子设备，其特征在于，所述电子设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如本发明第一方面所述的车外信息展示方法。
19.本发明第四方面提出一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如本发明第一方面所述的车外信息展示方法。
20.本发明针对现有的车载智能座舱系统信源输入单一，不能根据车外实时的信息变化智能展示车外信息的问题，在当前车载智能座舱系统的基础上，增加车外信息的采集与分析功能，快速分析乘客意图，判断出乘客是否有了解车外信息的需求，并根据分析结果在车窗上实时展示对应的车外信息，从而使乘客快速获取车外信息，获得丰富的娱乐信息和有趣的乘车体验。
21.本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
22.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
23.图1是本发明实施例提供的一种车外信息展示方法的流程图；
24.图2是本发明实施例提供的步骤s104的流程图；
25.图3是本发明实施例提供的另一种车外信息展示方法的流程图；
26.图4是本发明实施例提供的又一种车外信息展示方法的流程图；
27.图5是本发明实施例提供的一种车外信息展示装置的结构框图。
具体实施方式
28.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。需要说明的是，尽管本发明实施例提供了如实施例或流程图所述的方法操作步骤，但基于常规或者无创造性的劳动可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式，不代表唯一的执行顺序。在实际中的系统或服务器产品执行时，可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境)。
29.并且所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。所述实施例的示例在附图中示出，其中自始至终相同或类似
的标号表示相同或类似的元件或具有相同或类似功能的元件。
30.实施例
31.在车辆行驶过程中，乘客有时会希望了解车外信息，例如山脉、建筑、河流等，现有的车载智能座舱系统信源输入单一，例如，娱乐系统的信息来源局限于车载内置信息源，无法对车外信息进行快速有效的获取，缺乏车外实时数据的更新与交互。
32.其他应用提供的车外信息展现形式单一且不能充分根据乘客意图做合理化展示，例如，当前部分地图软件集成有基于gps的景区信息播报功能，形式仅限于语音播放、播报内容单一、不能根据乘客意图有针对性的进行展示车外信息。
33.针对上述问题，本发明实施例在当前车载智能座舱系统的基础上，增加了车外信息的采集与分析功能以快速分析乘客意图，并在车窗上实时展示车外信息，能够使乘客快速获取车外信息，获得丰富的娱乐信息和有趣的乘车体验。图1是本发明实施例提供的一种车外信息展示方法的流程图，具体的如图1所示，该方法可以包括如下步骤：
34.s101：在车外信息交互功能开启状态下，实时采集乘客视线信息；
35.例如，采集乘客视线信息可以是使用内置车载图像采集设备采集用户的面部图像，并从面部图像中提取乘客的视线信息；内置车载图像采集设备可以是安装在车辆内部的摄像头；
36.其中，乘客的视线信息可以是乘客面部、眼部几何特征信息，例如瞳孔位置信息、虹膜位置信息。
37.s102：根据乘客视线信息确定乘客正在观察的车外目标物；
38.例如，可以采用图像预处理和瞳孔定位算法，根据预先建立的乘客瞳孔位置与车外图像之间的映射关系计算乘客视线在车外图像上的停留位置，识别该停留位置对应的目标物，将该停留位置对应的目标物作为乘客正在观察的车外目标物。
39.需要说明的是，上述确定乘客正在观察的车外目标物的方法仅用于对本发明实施例进行举例说明，根据实际需要，其他计算方法也可以在本文中应用。
40.车外目标物可以是建筑、山脉、河流、森林、村镇、公园等，上述关于车外目标物的示例仅用于对车外目标物进行举例说明，不应视为对车外目标物的限制，其他车外目标物也可以在本文中应用。
41.s103：采集车外目标物的图像信息；
42.车外目标物的图像信息可以是通过车载图像采集设备获取，该车载图像采集设备可以设置在车辆外部。
43.s104：获取车辆位置信息；
44.车辆位置信息可以是通过gps定位系统、北斗卫星导航系统、惯性导航系统等获取到的，本实施例不以此为限。
45.s105：基于车外目标物的图像信息和车辆位置信息获取车外目标物的基本信息；
46.车外目标物的基本信息包括但不限于车外目标物所处的车外场景信息、位置信息、名称、外观等，实际应用中车外目标物的基本信息还可以包括更多其他信息，本实施例不以此为限。
47.s106：在车窗显示模块展示车外目标物的基本信息。
48.例如，将车外目标物的基本信息通过文字、图像和视频等形式实时显示在相应侧
的车窗显示模块上。
49.在一个实施例中，车窗显示模块仅设置在乘客侧车窗，以满足乘客了解车外信息的需求；在一个实施例中，考虑到一些场景下司机也有了解车辆前方信息的需求，车窗显示模块可以设置在乘客侧车窗和驾驶员前挡风玻璃上。车窗显示模块在前挡风玻璃上的设置位置应在驾驶员视线范围内且当驾驶员视线投向车窗显示模块时不影响正常驾驶操作。
50.其中，车窗显示模块可以是具有触摸传感器的交互式触摸屏，也可以是投影显示器。
51.图2是本发明实施例提供的步骤s105的流程图，具体的如图2所示，在一种实施方式中，步骤s105包括如下步骤：
52.s1051：识别车外目标物的图像信息得到车外目标物的属性信息；
53.s1052：根据车外目标物的属性信息和车辆位置信息获取车外目标物对应的位置信息；位置信息包括图像信息和属性信息；
54.s1053：匹配车外目标物的图像信息和位置信息中具有相同属性信息物体的图像信息；
55.s1054：将与车外目标物的图像信息匹配的物体的基本信息作为车外目标物的信息进行展示。
56.图3是本发明实施例提供的另一种车外信息展示方法的流程图，具体的如图3所示，步骤s106之后还包括：
57.s107：检测用户脸部表情，根据用户脸部表情识别结果判断用户对当前显示信息是否感兴趣；若是，转向步骤s108；
58.s108：在车窗显示模块展示车外目标物的详细信息。
59.在一种实施方式中，步骤s106之后还包括：
60.响应于采集到的用户控制指令获取车外目标物的详细信息；在车窗显示模块展示车外目标物的详细信息。其中，用户控制指令可以是用户通过语音输入或触控模块输入的控制信号，这样用户可以通过语音输入或触控功能，控制和切换所需展示信息。
61.在一种实施方式中，步骤s106之后还包括：对采集到的用户控制指令进行降噪处理，得到降噪后的用户控制指令；响应于降噪后的用户控制指令展示车外目标物的详细信息。其中，用户输入的控制指令包括语音信号和触控信号中的至少一种，从而使得用户能够基于语音和触控功能实现车外信息显示系统的实时控制。例如，当乘客使用语音输入时，对收集到的语音信息进行降噪处理，进而使得识别语音信息更加准确。
62.图4是本发明实施例提供的又一种车外信息展示方法的流程图，具体的如图4所示，在一种实施方式中，该方法包括如下步骤：
63.s201：在车外信息交互功能开启状态下，实时采集乘客视线信息；
64.s202：根据乘客视线信息判断乘客是否处于看向车外的状态；若是，转向步骤s203；若否，转向步骤s205；
65.s203：判断乘客看向车外的状态持续时间是否超出第一预设时长；在超出第一预设时长时，转向步骤s204；在不超出第一预设时长时，转向步骤s205；也就是说，当乘客看向窗外时间达到第一预设时长时，车窗显示模块会自动切换到车外信息展示模式。
66.s204：根据乘客视线信息确定乘客正在观察的车外目标物；
67.s205：在车窗显示模块不展示车外目标物的基本信息；
68.在一种实施方式中，步骤s205包括如下步骤：
69.获取车窗显示模块的当前展示模式；
70.判断车窗显示模块的当前展示模式是否为车外信息展示模式；
71.若是，将车窗显示模块的展示模式切换为预设展示模式；其中，预设展示模式为不包括车外信息展示模式的其他展示模式，例如，该预设展示模式可以是车内娱乐系统信息展示模式；该预设展示模式也可以是呈现为0灰阶的纯黑画面的状态。
72.若否，保持车窗显示模块的当前展示模式不变。
73.s206：采集车外目标物的图像信息；
74.s207：获取车辆位置信息；
75.s208：基于车外目标物的图像信息和车辆位置信息获取车外目标物的基本信息；其中，基本信息包括车外目标物对应的车外场景信息、位置信息、名称和外观中的一个或多个的组合；
76.s209：在车窗显示模块展示车外目标物的基本信息。
77.这样通过对乘客行为的检测与分析，实现车内娱乐系统信息与车外实时信息的自动切换，丰富乘客的乘坐体验。
78.在一种实施方式中，步骤s106或步骤s209之后还包括：
79.根据乘客视线信息判断乘客是否处于看向车外的状态；
80.若否，判断乘客不看向车外的状态持续时间是否超出第二预设时长；
81.在超出第二预设时长时，在车窗显示模块不展示车外目标物的基本信息。例如，当乘客停止看向车外的时间达到第二预设时长后，关闭车外信息显示系统。
82.需要说明的是，本发明实施例并不受所描述的动作顺序的限制，因为依据本发明实施例，某些步骤可以采用其它顺序或者同时进行。例如，上述基于实时采集到的乘客视线分析判断用户是否仍然有了解车外信息的需求的步骤可以发生在步骤s106或步骤s209之后，还可以发生在步骤s102
‑
步骤s105中的任一步骤之后，或者步骤s204
‑
步骤s208中的任一步骤之后，本实施例不以此为限。这样，当监测到用户不再有了解车外信息的需求时，不再执行在车窗显示模块上展示车外信息的相关操作。
83.图5是本发明实施例提供的一种车外信息展示装置的结构框图，具体的如图5所示，该装置可以包括如下模块：
84.车内图像采集模块301，用于在车外信息交互功能开启状态下，实时采集乘客视线信息；
85.其中，车内图像采集模块301可以是设置在车辆内部的摄像头，摄像头的数量可以是一个或多个；
86.车内图像采集模块301可以与整车控制器连接以获取车外信息交互功能的状态信息，车外信息交互功能的状态信息包括且不限于开启、关闭；车内图像采集模块301与图像处理模块302连接，以将采集到的乘客视线信息发送至图像处理模块302，乘客视线信息可以是能够确定乘客视线的乘客面部图像和/或乘客眼部图像。
87.图像处理模块302，用于根据乘客视线信息确定乘客正在观察的车外目标物；图像处理模块302与车外图像采集模块303连接，车外图像采集模块能够根据图像处理模块302
的处理结果调整车外图像采集装置至采集车外目标物的图像信息所需的适当状态，例如调整车辆外置摄像头的角度、焦距等，以使采集到的车外目标物的图像信息完整、像素满足图像比对需求、能体现车外目标物的主要特征等；
88.车外图像采集模块303，用于采集车外目标物的图像信息；其中，车外图像采集模块可以是设置在车辆外部的摄像头，也可以是激光雷达；
89.车辆定位模块304，用于获取车辆位置信息；
90.基本信息获取模块305，用于基于车外目标物的图像信息和车辆位置信息获取车外目标物的基本信息；其中，基本信息包括车外目标物对应的车外场景信息、位置信息、名称和外观中的一个或多个的组合；位置信息可以采用地图、位置坐标、文字、语音等一种或多种形式组合呈现。
91.基本信息展示模块306，用于在车窗显示模块展示车外目标物的基本信息。
92.需要说明的是，在不偏离本公开的范围的情况下，本发明的车辆可为小汽车、卡车、运动型多用途车、厢式货车、房车或任何其它类型的车辆。
93.本发明的实施例还提供了一种电子设备，该电子设备包括处理器和存储器，存储器中存储有至少一条指令、至少一段程序、代码集或指令集，至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现上述方法实施例提供的车外信息展示方法。
94.本发明的实施例还提供了一种计算机可读存储介质，该存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现上述方法实施例提供的车外信息展示方法。
95.可选地，在本实施例中，上述存储介质可以位于计算机网络的多个网络服务器中的至少一个网络服务器。可选地，在本实施例中，上述存储介质可以包括但不限于：u盘、只读存储器(rom，read
‑
only memory)、随机存取存储器(ram，random access memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
96.由上述本发明提供的车外信息展示方法、装置、电子设备或存储介质的实施例可见，本发明实施例针对现有的车载智能座舱系统信源输入单一，不能根据车外实时的信息变化智能展示车外信息的问题，在当前车载智能座舱系统的基础上，增加车外信息的采集与分析功能，快速分析乘客意图，判断出乘客是否有了解车外信息的需求，并根据分析结果在车窗上实时展示车外信息，从而使乘客快速获取车外信息，获得丰富的娱乐信息和有趣的乘车体验。
97.需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
98.本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置和服务器实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
99.本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
100.以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。