辅助交通驾驶的智能眼镜、交通驾驶辅助系统及方法与流程

本技术属于智能穿戴设备，特别是涉及一种辅助交通驾驶的智能眼镜、交通驾驶辅助系统及方法。

背景技术：

1、先天性色觉障碍通常称为色盲，它不能分辨自然光谱中的各种颜色或某种颜色；而对颜色的辨别能力差的则称色弱，色弱者，虽然能看到正常人所看到的颜色，但辨认颜色的能力迟缓或很差，在光线较暗时，有的几乎和色盲差不多，或表现为色觉疲劳，它与色盲的界限一般不易严格区分。色盲与色弱以先天性因素为多见。男性患者远多于女性患者。色盲和色弱者在生活中会有诸多不便，如不能很好的阅读有红色绿色标志的地图，建筑标志，各种包装产品。色盲色弱群体在交通活动中也面临着诸多困难，如驾驶看不清红绿色、交通考试颜色分辨困难等。

2、为了提高色盲色弱人的生活质量和社会参与度，开发适合色盲色弱人使用的辅助器具成为了迫切的需求。

技术实现思路

1、本技术提供一种辅助交通驾驶的智能眼镜、交通驾驶辅助系统及方法，用于辅助色盲色弱用户活动。

2、第一方面，本技术实施例提供一种辅助交通驾驶的智能眼镜，包括：镜架主体，检测模块，控制模块以及语音引导模块；其中：所述镜架主体包括镜框和连接于所述镜框两侧的第一镜腿和第二镜腿；所述检测模块包括设置于所述镜框中间的音视频传感器和磁力计传感器；所述控制模块包括分别装设于所述第一镜腿和所述第二镜腿的内部的第一控制板、第二控制板以及装设于所述第一镜腿和所述第二镜腿的外表面的至少一个功能按键；其中，所述音视频传感器和所述磁力计传感器通过柔性电路板与所述第一控制板和/或所述第二控制板相连；所述控制模块基于接收到的语音启动指令控制所述音视频传感器启动图像采集，将从所述音视频传感器接收的视频图像数据和从所述磁力计传感器接收到的地磁方向数据传输至用户终端，并从所述用户终端接收基于所述视频图像数据和所述地磁方向数据生成的语音导航数据和色盲色弱适配图像；其中，所述用户终端基于预先训练的图像识别模型识别所述视频图像数据中的信号灯、前方车辆尾灯和/或高架信息，并基于所述视频图像数据中的信号灯、前方车辆尾灯和/或高架信息以及从磁力计传感器获取的地磁方向数据生成所述语音导航数据；所述用户终端将所述视频图像数据由rgb色彩空间转换为hsv色彩空间，并将h通道颜色范围调整至(0，180)范围，生成所述色盲色弱适配图像；所述语音引导模块与所述控制模块相连，从所述控制模块接收并播放所述语音导航数据，且于所述镜框的镜片上显示所述色盲色弱适配图像，以辅助色盲色弱用户进行交通驾驶。

3、在所述第一方面的一种实现方式中，所述控制模块还从所述用户终端接收颜色图形识别语音数据和/或颜色图形识别图像，所述语音引导模块播放所述颜色图形识别语音数据，和/或于所述镜框的镜片上显示所述颜色图形识别图像，以辅助色盲色弱用户识别色盲色弱颜色识别测试考试；其中，所述用户终端在检测到所述视频图像数据中包含颜色测试图片时，通过ocr识别方式识别所述颜色测试图片中的颜色图形，并在识别失败时通过所述图像识别模型以颜色识别方式识别所述颜色测试图片中的颜色图形，基于识别的所述颜色图形生成颜色图形识别语音数据和/或颜色图形识别图像，并将所述颜色图形识别语音数据和/或颜色图形识别图像反馈至所述辅助交通驾驶的智能眼镜。

4、在所述第一方面的一种实现方式中，所述第一镜腿内部的前端设置有第一控制板，后端设置有与所述第一控制板相连的第一电池模块；所述第二镜腿内部的前端设置有第二控制板，后端设置有与所述第二控制板相连的第二电池模块；其中，所述第一镜腿位于所述第一控制板对应的位置或者所述第二镜腿位于所述第二控制板对应的位置设置有为所述第一电池模块和所述第二电池模块充电的磁吸式充电接口。

5、在所述第一方面的一种实现方式中，所述语音引导模块包括与所述第二控制板相连的耳机；所述第二镜腿设置有供所述耳机的耳机线穿过的耳机孔，所述第二镜腿外表面的底部设置有磁铁，吸附所述耳机的耳塞部。

6、在所述第一方面的一种实现方式中，所述镜框内设置有容纳所述柔性电路板的镜框信号槽，所述第一镜腿内部设置有容纳所述柔性电路板的第一镜腿信号槽，所述第二镜腿内部设置有容纳所述柔性电路板的第二镜腿信号槽；所述镜框信号槽、所述第一镜腿信号槽以及所述第二镜腿信号槽相连通。

7、在所述第一方面的一种实现方式中，所述镜框的中间设有至少一个传声孔，所述传声孔上贴装有透声膜。

8、在所述第一方面的一种实现方式中，还包括：gps定位模块；所述控制模块从所述gps定位模块接收gps数据，并将所述gps数据传输至所述用户终端，以供所述用户终端结合所述gps数据生成所述语音导航数据。

9、第二方面，本技术实施例提供一种交通驾驶辅助系统，包括：如上所述的辅助交通驾驶的智能眼镜和与所述辅助交通驾驶的智能眼镜无线通信的用户终端；所述用户终端用于：基于预先训练的图像识别模型识别所述视频图像数据中的信号灯、前方车辆尾灯和/或高架信息，并基于所述视频图像数据中的信号灯、前方车辆尾灯和/或高架信息以及从磁力计传感器获取的地磁方向数据生成所述语音导航数据，并反馈给所述辅助交通驾驶的智能眼镜；将所述视频图像数据由rgb色彩空间转换为hsv色彩空间，并将h通道颜色范围调整至(0，180)范围，生成所述色盲色弱适配图像，并反馈给所述辅助交通驾驶的智能眼镜；基于从所述辅助交通驾驶的智能眼镜接收到的所述视频图像数据、所述地磁方向数据以及gps数据生成导航数据，并反馈给所述辅助交通驾驶的智能眼镜；检测所述视频图像数据中是否包含颜色测试图片，并在检测到所述视频图像数据中包含颜色测试图片时，通过ocr识别方式识别所述颜色测试图片中的颜色图形，在识别失败时通过所述图像识别模型以颜色识别方式识别所述颜色测试图片中的颜色图形，基于识别的所述颜色图形生成颜色图形识别语音数据和/或颜色图形识别图像，并将所述颜色图形识别语音数据和/或颜色图形识别图像反馈至所述辅助交通驾驶的智能眼镜。

10、第三方面，本技术实施例提供一种交通驾驶辅助方法，应用于如上所述的交通驾驶辅助系统，包括：响应于接收到语音启动指令，开机启动所述辅助交通驾驶的智能眼镜，并启动所述辅助交通驾驶的智能眼镜中的音视频传感器，并将所述音视频传感器采集的视频图像数据、磁力计传感器获取的地磁方向数据以及gps数据传输至用户终端；从所述用户终端接收由所述用户终端基于所述视频图像数据和所述地磁方向数据生成的语音导航数据和色盲色弱适配图像；其中，所述用户终端基于预先训练的图像识别模型识别所述视频图像数据中的信号灯、前方车辆尾灯和/或高架信息，并基于所述视频图像数据中的信号灯、前方车辆尾灯和/或高架信息以及从磁力计传感器获取的地磁方向数据生成所述语音导航数据；所述用户终端将所述视频图像数据由rgb色彩空间转换为hsv色彩空间，并将h通道颜色范围调整至(0，180)范围，生成所述色盲色弱适配图像；所述辅助交通驾驶的智能眼镜播放所述语音导航数据，且于辅助交通驾驶的智能眼镜上显示所述色盲色弱适配图像，以辅助色盲色弱用户进行交通驾驶。

11、在所述第三方面的一种实现方式中，在所述第一方面的一种实现方式中，还包括：训练所述图像识别模型，包括：获取色盲色弱测试图片集和基于随机算法自动生成的色卡图片集，并基于所述色盲色弱测试图片集和所述色卡图片集构建颜色数据训练集：使用所述颜色数据训练集对卷积神经网络进行训练，生成所述图像识别模型：将所述图像识别模型每次的识别结果与实际图片进行对比，并基于对比结果更新所述图像识别模型。

12、本技术实施例提供的辅助交通驾驶的智能眼镜、交通驾驶辅助系统及方法，具有以下有益效果：

13、本技术中色盲色弱用户通过语音控制智能眼镜使用，智能眼镜通过语音方式对色盲色弱人前方的红绿灯和前方车辆进行播报提示，且于智能眼镜上显示色盲色弱适配的前方图像，有效辅助色盲色弱用户进行交通驾驶；同时本技术还可以对颜色测试图片中的颜色图形进行识别，以辅助色盲色弱用户识别色盲色弱颜色识别测试考试，并且可远程为色盲色弱人提供服务。本技术的辅助交通驾驶的智能眼镜结构新颖，使用简单，可以有效引导色盲色弱人员进行交通驾驶及考试，有效提高色盲色弱用户的用户体验。