一种基于VIG的车辆辅助驾驶控制系统及方法与流程

一种基于vig的车辆辅助驾驶控制系统及方法
技术领域
1.本技术涉及智能驾驶辅助技术领域，具体涉及一种基于vig的车辆辅助驾驶控制系统及方法。


背景技术：

2.随着人类科技文明和技术不断发展，vr(virtual reality，虚拟现实)、ar(augmented reality，增强现实)和ai(artificial intelligence，人工智能)等技术层出不穷，现在各行各业又都在研究元宇宙技术来作为承接未来发展的一个方向。其中作为元宇宙技术硬件设施的一部分智能可穿戴电子产品如智能眼镜、智能手表发展也很迅速，但传统智能可穿戴设备大多使用场景单一，主要应用于娱乐、运动和健康监控等场景。
3.如何将智能可穿戴产品与智能驾驶辅助系统，实现智能可穿戴产品与车辆智能控制的有机结合，以极大的方便驾乘人员和提高产品的使用率，是目前亟需解决的技术问题。


技术实现要素：

4.针对现有技术中存在的缺陷，本技术的目的在于提供一种基于vig的车辆辅助驾驶控制及方法，利用vig(vehicle intelligent glasses，车载智能眼镜)进行疲劳预警和车辆部件的智能控制，将vig和车辆驾驶辅助有机结合起来，方便驾驶人员使用，提高vig的利用率。
5.为达到以上目的，采取的技术方案是：
6.本技术第一方面提供一种基于vig的车辆辅助驾驶控制，包括：
7.车载智能眼镜vig，其上设有处理模块、微动传感器、以及红外摄像头；微动传感器用于采集振动加速度值，处理模块在判断指定时间段内振动加速度值多次超出设定阈值时，输出疲劳驾驶告警信息；红外摄像头用于采集环境图像，处理模块在判断指定时间段内多个环境图像中包含同一个车辆部件，输出针对相应车辆部件的启闭控制信息；
8.车载信息娱乐系统ivi，其用于接收启闭控制信息，并控制相应车辆部件进行启闭操作。
9.一些实施例中，所述vig上还设有扬声器，用于播放疲劳驾驶告警信息；
10.所述ivi还用于接收疲劳驾驶告警信息，并进行显示。
11.一些实施例中，所述ivi通过车身控制器bcm控制相应车辆部件进行启闭操作；当相应车辆部件的当前状态为开启时，所述启闭操作为控制该部件关闭；当相应车辆部件的当前状态为关闭时，所述启闭操作为控制该部件开启；
12.所述车辆部件包括后背门、车门锁、车窗、以及内饰灯。
13.一些实施例中，所述vig上还设有感光传感器，用于采集当前光照强度；
14.所述处理模块还用于将当前光照强度与设定阈值进行比对，并通过调节镜片的通光率使透过vig的光照强度符合预设阈值。
15.一些实施例中，所述vig上还设有麦克风和电气接口；
16.处理模块在检测电气接口与数据接口电连接后，控制红外摄像头采集车辆前方的道路图像，处理模块将采集到的道路图像发送至ivi，ivi对道路图像进行图像识别，在判断车辆前方的道路上出现障碍物时显示障碍物告警信息；
17.处理模块在检测电气接口与数据接口电连接、且振动加速度超出设定阈值时，控制红外摄像头采集车辆前方的道路视频，并将采集到的道路视频发送至ivi；
18.处理模块在检测电气接口与数据接口电连接、且麦克风采集到用户输入的视频采集语音指令时，控制红外摄像头采集车辆前方的道路视频，并将采集到的道路视频发送至ivi。
19.一些实施例中，所述系统还包括：
20.手机移动终端，其通过ivi与vig通信连接，用于分别与ivi和vig进行数据交互；
21.云端服务器，其与手机移动终端和ivi通信连接，用于分别与手机移动终端、ivi、以及vig进行数据交互。
22.一些实施例中，所述云端服务器与vig进行数据交互包括向vig下发版本更新信息、以及接收vig或手机发送的版本更新请求，以对vig进行版本更新；所述云端服务器向vig下发版本更新信息后，vig向ivi或手机移动终端发送版本更新申请，在用户通过ivi或手机移动终端通过版本更新申请后，vig根据版本更新信息进行版本更新；
23.所述云端服务器与vig进行数据交互还包括向vig下发指令照片更新数据包，vig根据指令照片更新数据包更新内置的指令照片，指令照片中包含车辆部件；
24.所述手机移动终端与vig进行数据交互还包括向vig下发指令照片更新数据包，vig根据指令照片更新数据包更新内置的指令照片，指令照片中包含车辆部件。
25.一些实施例中，所述vig上还设有功能开关和状态指示灯；
26.功能开关用于开启和关闭vig的增强模式，以实现不同的功能；
27.状态指示灯用于指示增强模式是否开启、以及vig是否与ivi通信连接。
28.一些实施例中，所述ivi还用于在用户点击新功能学习界面时，获取用户佩戴vig采集的环境图像和用户通过ivi输入的启闭控制信息，将环境图像中的车辆部件与启闭控制信息进行绑定。
29.一些实施例中一种基于vig的车辆辅助驾驶控制方法，基于所述的基于vig的车辆辅助驾驶控制系统；所述方法包括：
30.利用vig采集振动加速度值，在判断指定时间段内振动加速度值多次超出设定阈值时，输出疲劳驾驶告警信息；
31.利用vig采集环境图像，在判断指定时间段内多个环境图像中包含同一个车辆部件，输出针对相应车辆部件的启闭控制信息，并根据启闭控制信息控制相应车辆部件进行启闭操作。
32.本技术提供的技术方案带来的有益效果包括：
33.利用vig进行疲劳预警和车辆部件的智能控制，利用ivi具体实现智能控制，将vig和车辆驾驶辅助有机结合起来，方便驾驶人员使用，提高vig的利用率。
34.vig通光率可调，光强阈值可调，能配合不同用户的使用需求，使用户佩戴vig时感受到的光强处于最佳区间，提高舒适性。
35.vig还可作为智能驾驶的图像和视频采集部件，在与ivi有线连接时，采集道路前
方的图像并输出给ivi进行图像识别，以判断道路前方是否有障碍物，调高驾驶安全性，扩展vig的应用场景。
36.vig还能与手机或云端进行交互，通过手机或云端进行版本升级，灵活更新vig可识别的车辆部件，扩展vig可进行智能控制的车辆部件。
37.vig还能在ivi上进行新功能学习，灵活更新vig可识别的车辆部件，扩展vig可进行智能控制的车辆部件。
附图说明
38.图1为本发明实施例中vig的正视示意图。
39.图2为本发明实施例中vig的左镜腿的示意图。
40.图3为本发明实施例中vig的右镜腿的流程图。
41.图4为本发明实施例中车辆辅助驾驶控制系统的功能模块示意图。
42.图5为本发明实施例中车辆辅助驾驶控制系统的应用示意图。
43.附图标记：
44.101-固定锁止机构；102-仪表台上护板；103-数据接口；104-vig本体；105-ivi；106-ic；107-bcm；108-后背门控制器；109-门锁执行器；110-车窗执行器；111-内饰灯；112-云端服务器；113-手机移动终端；114-bcm 201-上机体；202-镜片；203-感光传感器；204-感光摄像头；205-电气接口；206-镜腿和镜体铰链接口；207-功能开关；208-麦克风；209-左镜腿；210-右镜腿；211-扬声器；212-状态指示灯。
具体实施方式
45.以下结合附图及实施例对本技术作进一步详细说明。
46.如图1所示，本发明实施例提供一种基于vig的车辆辅助驾驶控制系统，包括vig和ivi 105(in-vehic 106le infotainment，车载信息娱乐系统)。vig上设有处理模块、微动传感器、以及红外摄像头。微动传感器用于采集振动加速度值，处理模块在判断指定时间段内振动加速度值多次超出设定阈值时，输出疲劳驾驶告警信息。红外摄像头用于采集环境图像，处理模块在判断指定时间段内多个环境图像中包含同一个车辆部件，输出针对相应车辆部件的启闭控制信息。ivi 105用于接收启闭控制信息，并控制相应车辆部件进行启闭操作。
47.在本实施例中，利用vig进行疲劳预警和车辆部件的智能控制，利用ivi 105具体实现智能控制，将vig和车辆驾驶辅助有机结合起来，方便驾驶人员使用，提高vig的利用率。
48.如图1至图4所示，本发明的一种具体实施例中，vig包括上机体201、镜片202、感光传感器203、感光摄像头204、电气接口205、镜腿和镜体铰链接口206、功能开关207、左镜腿209、右镜腿210、扬声器211、状态指示灯212、麦克风208。
49.具体的，上机体201，为智能眼镜主体部分，用于支撑镜片202，连接左镜腿209和右镜腿210，表面纹理图文和车辆外观造型保持统一，内部嵌入采集控制电路、存储芯片、两块电池、微动传感器。电池用于给vig供电，可充电，不可拆卸。微动传感器作为监测疲劳驾驶重要输入信号。控制模块包括采集控制电路、存储芯片、以及两块电池。
50.镜片202，可通过手机或者ivi 105进行设置，令vig适应于用户偏好，自动调节镜片202的通光率和滤光性能。
51.感光传感器203，用于采集环境光线强弱，以便对镜片202进行通光/偏光调节。
52.感光摄像头204(一般采用红外摄像头)，在上机体201的左右各嵌入一颗，每颗都拥有红外增强功能。
53.电气接口205，为母端，在上机体201的的中间，具有用于防水的防水橡胶塞盖帽，具有防反接限位结构，整个电气接口205采用磁吸设计。
54.镜腿和镜体铰链接口206，用于拆卸和更换左镜腿209和右镜腿210。
55.功能开关207(一般布置在右镜腿210)，功能开关207用于开启和关闭vig的增强模式，以实现不同的功能。例如，用于激活/关闭语音控制命令采集和车辆辅助功能、手动拍照触发和手动短视频录制。长按保持3s以上可激活/关闭语音控制命令采集和车辆辅助功能，在激活车辆辅助功能后，(语音)短按可手动触发拍照功能，连续短按两下可手动触发短视频录制功能，再短按一下关闭短视频录制功能。
56.扬声器211，左镜腿209和右镜腿210各设一个。
57.状态指示灯212，用于指示增强模式是否开启、以及vig是否与ivi 105通信连接。例如，可指示vig不同的工作场景，灯光显示为红色表示vig异常，如电压低、vig和车辆连接断开，灯光显示为绿色表示vig为增强模式，如被激活了车辆辅助功能并且和车辆网络(通过wifi或数据线)连接正常或充电完成，无指示表示vig为普通模式。
58.麦克风208，嵌入左镜腿209，用于采集语音控制的相关指令。
59.如图1至图4所示，本发明的一种具体实施例中，基于vig的车辆辅助驾驶控制系统包括vig及其附件、ivi 105及其接口、云端服务器112、以及手机移动终端113等。vig和整车连接的数据接口103设计在司机侧仪表台上方，vig通过电气接口205、充电数据线、以及数据接口103与仪表台连接后，可进行充电，还可以和ivi 105进行数据交互。在车辆上用户可以佩戴vig也可以将vig正向放置连接到仪表台上，vig可通过充电数据线和ivi 105进行数据交互，也可通过wifi和ivi 105进行数据交互。vig不仅拥有一般眼镜的功能特性，满足用户平常使用，而且满足特殊驾驶场景所需的功能特性。
60.具体的，固定锁止机构101，为磁吸卡扣结构，便于用户灵活插接和使用vig。vig放置到仪表台上护板102上后，可通过固定锁止机构101与仪表台上护板102连接。
61.仪表台上护板102，为搪塑材料。
62.数据接口103，接口vig侧为母端，接口车身侧为公端，带有dc/dc转换模块和数据传输接口，用于vig充电和数据交互。
63.vig本体104，正向插接到数据接口103上，即vig镜腿指向驾驶者。
64.ivi 105，主机拥有t-box功能，vig通过wifi/充电/数据线进行数据交互，ivi 105显示大屏用于人机交互，可用于设置vig个人偏好(提示音大小、镜片202参数、语音指令、版本升级、图片视频处理查看)。
65.ic 106(instrument cluster，组合仪表)，用于显示一些车辆辅助功能。
66.bcm 107(body control module，车身控制器)，用于接收和判断vig的控制请求指令，如解锁指令、打开后背门指令等。
67.后背门控制器108，用于执行打开/关闭后背门。
68.门锁执行器109，用于执行车门锁解锁/上锁动作。
69.车窗执行器110，用于执行车窗升降动作。
70.内饰灯111，用于执行内饰灯111的打开/关闭。
71.云端服务器112，用于vig软件版本管理更新、以及用户图片、短视频和个性数据的保存、上传和下载等功能。
72.手机移动终端113，可以通过app(applic 106ation，手机软件)对vig进行控制，通过wifi实时同步vig照片、短视频或者从云端服务器112上下载相关图片和短视频。
73.在本实施例中，上述vig上还设有扬声器211，用于播放疲劳驾驶告警信息。
74.上述ivi 105还用于接收疲劳驾驶告警信息，并进行显示。
75.具体的，ivi 105利用其自身嵌入的微动传感器作为感知模块参与疲劳驾驶预警功能，微动传感器可采集用户的头部动作，判断用户是否疲劳驾驶，增强系统疲劳驾驶预警功能的准确率。如果功能开关207状态为关闭，vig将不参与疲劳驾驶预警功能。
76.疲劳驾驶预警功能主要判断软件模块嵌入在ivi 105主机，也就是由ivi 105主机汇总感知信息进行疲劳驾驶预警判断，然后发出疲劳驾驶告警信息，最后在ic 106上警示并触发内置的扬声器211进行声音警示。
77.进一步的，上述ivi 105通过车身控制器bcm 107控制相应车辆部件进行启闭操作。当相应车辆部件的当前状态为开启时，上述启闭操作为控制该部件关闭。当相应车辆部件的当前状态为关闭时，上述启闭操作为控制该部件开启。
78.上述车辆部件包括后背门、车门锁、车窗、以及内饰灯111。
79.具体的，vig可以作为车辆钥匙解锁车辆，可以控制车辆如升降玻璃、打开后背门等。用户佩戴vig，通过功能开关207设置vig为增强模式，当用户靠近目标车辆时，vig将通过wifi和ivi 105连接，此时功能开关207207发出嘀嘀两次声响后表示连接成功，用户目视驾驶侧车门门锁区域保持3s，vig将采集到的环境图像与预先内置的指令照片进行比对，如果多张环境图像中的部件均与指令照片中的车辆部件比对中，说明用户正佩戴vig注视该车辆部件，有开启或关闭的意图，根据当前车辆部件的状态是开启还是关闭，生成启闭控制信息，vig将启闭控制信息加密发送至ivi 105，ivi 105对数据包进行验签和解启闭控制信息密，如果解密和验签成功，将唤醒bcm 107，并将解密后的通过车载总线传递给bcm 107，bcm 107将控制车辆部件开启或关闭，完成开启或关闭后，bcm 107向ivi 105反馈已完成的操作vig触发功能开关207发出解锁成功音效用于告知用户。
80.以控制车窗升降为例，用户佩戴vig，并置vig为增强模式，当用户目视车窗区域下半部分区域保持3s以上，vig将触发发送对应车窗开窗的启闭控制信息，bcm 107接收到ivi 105转发过来的启闭控制信息校验无误，将驱动门窗升降电机打开对应车窗，直到完全打开。同样若用户目视车窗区域上半部分区域保持3s以上，将触发vig发送对应车窗闭窗的启闭控制信息，bcm 107接收到ivi 105转发过来的请求指令校验无误，将驱动门窗升降电机关闭对应车窗，直到完全关闭直到对应车窗。
81.以控制后背门开闭为例，用户佩戴vig，并置vig为增强模式，当用户目视目标车辆后背门标记区域保持3s，vig将触发发送对应后背门开启的启闭控制信息，bcm 107接收到ivi 105转发过来的启闭控制信息校验无误，并判断此时车速为0等其它限制条件都满足的情况下，将驱动后背门电机开启后背门。
82.进一步的，vig上还设有感光传感器203，用于采集当前光照强度。
83.上述处理模块还用于将当前光照强度与设定阈值进行比对，并通过调节镜片202的通光率使透过vig的光照强度符合预设阈值。
84.进一步的，处理模块在检测数据接口103与电气接口205电连接后，控制红外摄像头采集车辆前方的道路图像，处理模块将采集到的道路图像发送至ivi 105，ivi 105对道路图像进行图像识别，在判断车辆前方的道路上出现障碍物时显示障碍物告警信息。
85.处理模块在检测数据接口103与电气接口205电连接、且振动加速度超出设定阈值时，控制红外摄像头采集车辆前方的道路视频，并将采集到的道路视频发送至ivi 105。
86.处理模块在检测数据接口103与电气接口205电连接、且麦克风208采集到用户输入的视频采集语音指令时，控制红外摄像头采集车辆前方的道路视频，并将采集到的道路视频发送至ivi 105。
87.具体的，将vig放置插接到目标车辆仪表台上护板102上的数据接口103，可以利用两颗内置带有红外增强的感光摄像头204实时捕获目标车辆前方视觉信息即道路图像，并使用数据传输线将道路图像传输给ivi 105，ivi 105可将道路图像显示在车机大屏上，也可进行隐藏。ivi 105分析道路图像，当检测到前方有障碍物时，进行预警。
88.当用户想要存储道路图像作为短视频时，可以通过视频采集语音指令开启短视频，也可以手动拍打仪表台上护板102上方使微动传感器采集到的振动，视频录制时长可根据用户偏好进行设置，默认为3min。ivi 105将会对录制的视频进行存储，并在空闲时通过4g/5g上传到云端服务器112，用户可以通过手机移动终端113访问云端服务器112进行下载和分享。
89.进一步的，手机移动终端113通过ivi 105与vig通信连接，用于分别与ivi 105和vig进行数据交互。
90.云端服务器112与手机移动终端113和ivi 105通信连接，用于分别与手机移动终端113、ivi 105、以及vig进行数据交互。
91.具体的，用户需要使用手机移动终端113下载官方app绑定vig，再通过ivi 105输入手机移动终端113信息、vig信息、以及车辆信息，最后，与云端服务器112进行双向认证确认，从而完成通信连接。
92.进一步的，上述云端服务器112与vig进行数据交互包括向vig下发版本更新信息、以及接收vig或手机发送的版本更新请求，以对vig进行版本更新；上述云端服务器112向vig下发版本更新信息后，vig向ivi 105或手机移动终端113发送版本更新申请，在用户通过ivi 105或手机移动终端113通过版本更新申请后，vig根据版本更新信息进行版本更新。
93.上述云端服务器112与vig进行数据交互还包括向vig下发指令照片更新数据包，vig根据指令照片更新数据包更新内置的指令照片，指令照片中包含车辆部件。
94.上述手机移动终端113与vig进行数据交互还包括向vig下发指令照片更新数据包，vig根据指令照片更新数据包更新内置的指令照片，指令照片中包含车辆部件。
95.具体的，oem(original equipment manufacturer，原始设备制造商)根据目标车型给不同车型客户的vig和ivi 105分配不同的软件安装包，用户通过下载安装就可以获得初始数据库，如功能音效、指令照片数据库等，开通相关功能就可直接进行使用。在以后的使用过程中，用户可以对其进行个性化变更和增加功能。oem在获取用户同意后也可以通过
云端服务器112进行远程更新和新功能推送。
96.vig和ivi 105连接成功功能开关207音效可以通过手机移动终端113或者ivi 105进行设置，vig其它功能的音效也可以通过手机移动终端113或者ivi 105进行设置。
97.进一步的，上述ivi 105还用于在用户点击新功能学习界面时，获取用户佩戴vig采集的环境图像和用户通过ivi 105输入的启闭控制信息，将环境图像中的车辆部件与启闭控制信息进行绑定。
98.具体的，vig可以通过车端进行车辆辅助驾驶新动作库学习，也可以通过云端进行个性化配置和升级。
99.vig可以通过手机移动终端113进入驾驶辅助个性化动作学习模式，首先命名新的个性化动作，然后按照手机移动终端113操作提示进行下一步动作，例如，新增加的驾驶辅助功能为通过vig注视采集空调的图像，来控制空调的开启和关闭。具体设置步骤为用户佩戴vig，保证与ivi 105网络连接正常，保证手机移动终端113网络信号正常。进入ivi 105驾驶辅助个性化学习界面，点击新动作学习，点击开始学习。当听到vig提示音后，用户佩戴vig盯着空调，同时用户手动启动空调。操作完成后，长按功能开关207，当ivi 105显示配置完成，松开功能开关207，点击ivi 105显示页面新动作上传。等待云端服务器112传递新功能设置完成信息给手机移动终端113。最后，在手机移动终端113上进行确认，完成新功能学习。这样vig就具备远程开启空调的功能。自动关闭空调功能的设置方法与自动开启功能的设置方法一致。
100.本发明实施例还提供一种基于vig的车辆辅助驾驶控制方法，包括利用vig采集振动加速度值，在判断指定时间段内振动加速度值多次超出设定阈值时，输出疲劳驾驶告警信息。利用vig采集环境图像，在判断指定时间段内多个环境图像中包含同一个车辆部件，输出针对相应车辆部件的启闭控制信息，并根据启闭控制信息控制相应车辆部件进行启闭操作。
101.在本实施例中，采用vig上的多种传感器感知环境信息，一方面vig根据外部场景自动调节其眼镜片202的通光率和监控驾驶者的疲劳情况，另一方面vig将采集到的环境信息进行处理并通过wifi或者总线和其它车载控制器或绑定的用户手机进行交互，辅助车辆进行驾驶辅助预警、无钥匙进入、自动后背门开启/关闭、自动车窗升降等车辆辅助功能，vig还可以通过云端进行个性化学习和升级，进行短视频和照片的上传下载以及分享，提高用户的驾驶乐趣。
102.具体的，ivi 105利用其自身嵌入的微动传感器作为感知模块参与疲劳驾驶预警功能，微动传感器可采集用户的头部动作，判断用户是否疲劳驾驶，增强系统疲劳驾驶预警功能的准确率。如果功能开关207状态为关闭，vig将不参与疲劳驾驶预警功能。
103.疲劳驾驶预警功能主要判断软件模块嵌入在ivi 105主机，也就是由ivi 105主机汇总感知信息进行疲劳驾驶预警判断，然后发出疲劳驾驶告警信息，最后在ic 106上警示并触发内置的扬声器211进行声音警示。
104.进一步的，上述ivi 105通过车身控制器bcm 107控制相应车辆部件进行启闭操作。当相应车辆部件的当前状态为开启时，上述启闭操作为控制该部件关闭。当相应车辆部件的当前状态为关闭时，上述启闭操作为控制该部件开启。
105.将vig放置插接到目标车辆仪表台上护板102上的数据接口103，可以利用两颗内
置带有红外增强的感光摄像头204实时捕获目标车辆前方视觉信息即道路图像，并使用数据传输线将道路图像传输给ivi 105，ivi 105可将道路图像显示在车机大屏上，也可进行隐藏。ivi 105分析道路图像，当检测到前方有障碍物时，进行预警。
106.当用户想要存储道路图像作为短视频时，可以通过视频采集语音指令开启短视频，也可以手动拍打仪表台上护板102上方使微动传感器采集到的振动，视频录制时长可根据用户偏好进行设置，默认为3min。ivi 105将会对录制的视频进行存储，并在空闲时通过4g/5g上传到云端服务器112，用户可以通过手机移动终端113访问云端服务器112进行下载和分享。
107.上述车辆部件包括后背门、车门锁、车窗、以及内饰灯111。
108.本实施例的控制方法，适用于上述各控制系统。
109.本技术不局限于上述实施方式，对于本技术领域的普通技术人员来说，在不脱离本技术原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本技术的保护范围之内。