一种辅助盲人行走及位姿控制的导盲仪及导盲方法

本发明及导盲设备，更具体的说，涉及一种使用电磁铁阵列来辅助盲人行走及位姿控制的导盲仪及导盲方法。

背景技术：

1、随着社会的进步与发展，社会越来越注重人们的生活质量。然而盲人的出行一直是一个问题，现在，虽然不少的城市都建设有盲道，但是，盲道覆盖率并不高，而且，经常被各种物品堆放侵占。目前的导盲基本是采用导盲犬，培训一只导盲犬难度较大，不仅周期长、费用高，而且导盲犬也有消费开支，有生命周期。

2、尽管盲人按摩工作给盲人就业带来了亮丽的一面，但从全国盲人的总数来看，它毕竟是盲人中为数很少的一小部分。还有相当多的盲人群众、尤其是在广大农村地区的盲人，他们仍然在就业方面蒙受巨大的压力、遇到种种的困扰。

3、人类在生活过程中，有90％以上对外界信息的感知是依靠视觉获得的。这给生活在黑暗中的盲人工作、生活、社交活动带来了诸多不便。盲人在独自行走时，需要各种导盲装置加以辅助。头盔可谓是最为常见的导盲装置，然而其缺点也很明显，戴在头上体积如果太大，将影响使用者的行动。另外，盲人还可以利用导盲犬带路，但过长的训练周期与巨大的训练成本，使之难以成为普遍适用的选择。为了保障盲人安全出行，世界各国一直致力于导盲系统的研制。目前研发成功并进入应用领域的导盲装置主要有红外线导向灯系统、卫星导盲、无线电导盲系统等。但大多成本较高，如各类导盲机器人及其它电子装置，不利于普及。因此，价格低廉、测量精度高、测量范围相对较大、方便携带、实用性强的导盲装置，应是解决盲人安全行走问题的理想选择。

4、当前智能手机的导航已非常成熟，盲人模式已经在手机中普遍应用。所以，室外导航这一任务不需要作为重点，但是导航应用与盲人的衔接存在“最后一公里”缝隙，即盲人无法得知“左转、右转、直行”的具体执行量，所以需要装置来辅助盲人用户完成“恰当”的执行量。同时，行人在遇到红绿灯时，需要停在停止线什么位置，也许要辅助“定位”。此外，在盲道上，如何辅助导引盲道，如何躲避在路面上会出现的障碍物，最后，如何在卫星导航被屏蔽的室内或建筑物下方进行盲人的步行导航与导引，均是亟待解决的问题。

技术实现思路

1、本发明的目的在于提供一种辅助盲人行走及位姿控制的导盲仪及导盲方法，以解决现有技术中存在的导盲设备反馈方式不直接、无法让盲人直观感受障碍物位置、无法让盲人始终正确的行走在盲道、测量精度低、无法进行合适的位姿控制等技术问题。

2、为实现上述目的，本发明采用如下技术方案：

3、第一方面，本发明提供了一种辅助盲人行走及位姿控制的导盲仪，包括：头盔和半圈形电磁铁阵列，所述头盔前部设置有rgb-d景深摄像机，所述头盔内部设置有微处理器和语音播报装置，所述电磁铁阵列用于安装在使用者腿部前半圈，所述rgb-d景深摄像机、电磁铁阵列和语音播报装置均与所述微处理器连接，所述微处理器包括图像处理模块、测距模块和控制模块；

4、所述rgb-d景深摄像机，用于采集使用者前方道路环境图像、发射红外光波和接收障碍物反射的回波信号；

5、所述图像处理模块，用于对采集到的图像进行分析处理，识别出盲道、斑马线和红绿灯的位置；

6、所述测距模块，用于根据发射红外光波和接收到回波信号的时间计算障碍物与使用者的距离；

7、所述控制模块，用于根据接收到的回波信号以及障碍物与使用者的距离识别障碍物的位置和个数；根据识别出的盲道、斑马线和红绿灯的位置，控制向电磁铁阵列不同位置的电磁铁通电，使电磁铁施加作用力于使用者腿部，从而引导使用者前进；以及根据障碍物的位置和个数进行路径规划，并控制电磁铁阵列引导使用者前进，同时通过语音播报装置发出语音提示。

8、进一步地，所述图像处理模块对盲道的识别，包括：

9、将采集的图像转换为hsv颜色空间；

10、根据盲道的颜色特征对转换后的图像进行阈值分割，得到黑白图像；

11、对黑白图像进行连通域分析，得到各个连通域的位置和大小信息；

12、根据盲道的形状和大小特征，筛选出符合条件的连通域，将其标记为盲道。

13、进一步地，所述图像处理模块对斑马线的识别，包括：

14、将采集的图像转化为灰度图；

15、对灰度图进行预处理；

16、采用边缘检测算法，对预处理后的图像提取斑马线的边缘；

17、根据提取的斑马线边缘，通过直线拟合算法，拟合出斑马线的位置和方向。

18、进一步地，所述图像处理模块对红绿灯的识别，包括：

19、将采集的图像转化为灰度图；

20、对灰度图进行预处理；

21、将预处理后的图像输入预先训练好的yolov5模型，检测红绿灯区域；

22、基于hsv色彩空间，从检测到的红绿灯区域中提取颜色信息，并进行颜色分类判断，确定红绿灯的状态。

23、进一步地，所述图像处理模块，还用于检测障碍物为静止物体还是运动物体，具体包括：

24、将当前帧图像与前一帧或多帧图像进行比较，计算障碍物的位移，根据计算出的位移判断物体是否在运动。

25、进一步地，所述rgb-d景深摄像机，还用于获取室内场景或建筑物下方的rgb图像和深度图像；

26、所述图像处理模块，还用于根据获取的室内场景或建筑物下方的rgb图像和深度图像，对室内环境或建筑物下方进行建模；

27、所述控制模块，还用于根据建立的室内环境模型或建筑物下方环境模型给使用者提供合适的路线，通过控制电磁铁阵列引导使用者出入室内或建筑物下方，并通过语音播报装置进行语音提示。

28、进一步地，所述对室内环境或建筑物下方环境进行建模，包括：

29、将采集的rgb图像和深度图像对齐；

30、将深度图像转换为点云数据，对点云数据进行滤波处理；

31、从滤波处理后的点云中提取用于场景分割和物体识别的特征；

32、根据提取的特征，将点云分割成不同的物体或场景区域；

33、根据分割结果，使用三维重建算法对每个物体或场景区域进行建模；

34、将各个物体或场景区域的模型融合在一起，生成完整的室内环境模型或建筑物下方环境模型。

35、进一步地，所述头盔上还设置有蓝牙模块，所述蓝牙模块与微处理器连接，所述微处理器通过蓝牙模块与使用者绑定的手机进行通信。

36、所述微处理器通过蓝牙模块接收手机中导航app提供的导航信息以及语音提醒信息，并通过语音播报装置进行播放。所述微处理器还用于在使用者需要帮助或求救时通过蓝牙模块主动联系手机绑定的紧急联系人。所述微处理器还用于从手机接收天气预报情况，并通过语音播报装置告诉使用者天气情况。

37、进一步地，所述微处理器还连接有语音识别模块，所述语音识别模块用于识别使用者发出的求助语音，所述控制模块根据识别到的求助语音，通过蓝牙模块主动联系绑定的紧急联系人。

38、进一步地，所述头盔上还设置有蜂鸣器，所述蜂鸣器与控制模块连接，所述控制模块还用于在判断障碍物与使用者的距离小于设定距离阈值时，控制向电磁铁阵列中的所有电磁铁同时加满电压，同时触发蜂鸣器，提示使用者及时规避。

39、进一步地，所述rgb-d景深摄像机用于接收到使用者前方120°范围内、半径为5米内的障碍物。

40、第二方面，本发明提供了一种辅助盲人行走及位姿控制的导盲方法，利用第一方面所述的导盲仪实现，所述方法包括：

41、通过rgb-d景深摄像机连续采集使用者前方道路图像并将其发送至微处理器；

42、通过微处理器对接收到的图像进行识别和判断，若判断盲道上没有障碍物，且盲道在使用者正前方，则通过语音播报装置提示使用者位姿位置正确可以继续前进；

43、若判断盲道上没有障碍物，且盲道在使用者左侧，则控制向电磁铁阵列中左边的电磁铁通电，且通电的电磁铁作用力方向与盲道相对使用者正前方的方向一致，提示使用者向左侧调整方向，当使用者位姿调整到盲道正确方向时，通过语音播报装置提醒使用者位姿正确；

44、若判断盲道上没有障碍物，且盲道在使用者右侧，则控制向电磁铁阵列中右边的电磁铁通电，且通电的电磁铁作用力方向与盲道相对使用者正前方的方向一致，提示使用者向右侧调整方向，当使用者位姿调整到盲道正确方向时，通过语音播报装置提醒使用者位姿正确。

45、进一步地，所述的一种辅助盲人行走及位姿控制的导盲方法，还包括：

46、若判断盲道上有障碍物，且障碍物静止，且障碍物仅有一个，则通过语音播报装置提示前方有障碍物，并根据障碍物的位置，控制向电磁铁阵列通电，引导使用者前进；

47、若判断盲道上有障碍物，且障碍物静止，且障碍物有多个，则通过语音播报装置提示障碍物的个数及位置，并根据障碍物的个数及位置进行路径规划，通过控制向电磁铁阵列通电，引导使用者前进；

48、若判断盲道上有障碍物，且障碍物为运动物体，则通过语音播报装置提示前方有运动的物体经过，并控制向电磁铁阵列前边的电磁铁通电，提示使用者停下等候，当检测到运动物体已经离去时，通过音播报装置提示使用者运动物体已离去，并通过电磁铁阵列引导使用者前行。

49、进一步地，所述的一种辅助盲人行走及位姿控制的导盲方法，还包括：

50、若识别到红绿灯，且检测到盲道停止线与使用者距离达到安全距离阈值，则通过语音播报装置提示使用者驻足等待红绿灯，并通过向电磁铁阵列前边的电磁铁通电，提示使用者在此处停下等候；

51、若识别到红绿灯变为绿灯，且检测到前方设定距离内没有障碍物，则通过音播报装置提示使用者没有障碍物，并通过控制电磁铁阵列引导使用者前进；

52、若识别到红绿灯变为绿灯，且检测到前方设定距离内有障碍物，且障碍物为静止物体，则通过音播报装置提示使用者障碍物的个数和位置，并通过路径规划给出正确路线，通过控制电磁铁阵列引导使用者前进；

53、若识别到红绿灯变为绿灯，且检测到前方设定距离内有障碍物，且障碍物为运动物体，则通过语音播报装置提示使用者前方有运动物体，并且间隔设定时间后再次判断是否还有运动物体：

54、若再次判断还有运动物体，通过语音播报装置提示使用者长时间有障碍物，建议等待下一个红绿灯；

55、若再次判断没有运动物体，则通过音播报装置提示使用者运动物体已离去，并通过控制电磁铁阵列引导使用者前行。

56、进一步地，所述的一种辅助盲人行走及位姿控制的导盲方法，还包括：

57、在使用者停下等待红绿灯时，判断使用者位姿是否正朝红绿灯，若否，根据斑马线和使用者的角度，控制向电磁铁阵列对应方向的电磁铁通电，引导使用者调整位姿。

58、进一步地，所述的一种辅助盲人行走及位姿控制的导盲方法，还包括：

59、在判断障碍物与使用者的距离小于设定距离阈值时，控制向电磁铁阵列中的所有电磁铁同时加满电压，同时触发蜂鸣器，提示使用者及时规避。

60、与现有技术相比，本发明具有以下有益技术效果：

61、本发明通过设置rgb-d景深摄像机和电磁铁阵列，以电磁铁向使用者腿部施加作用力的方式直接反馈给使用者，同时通过语音播报装置发出语音提示，提升了导盲仪避障功能的可靠性，可以让盲人直观感受红绿灯、障碍物等的位置，确保盲人始终正确地行走在盲道上，提高了导航准确性，能够很好的解决盲人安全行走的问题。本发明提供的导盲仪测量精度高、测量范围相对较大、装置体积小、方便携带。此外，本发明提供的导盲仪具备多种功能，实现一机多用，降低了用户导盲成本。