一种基于智能设备的盲人辅助导航系统及方法与流程

本申请涉及图像识别，尤其涉及一种基于智能设备的盲人辅助导航系统及方法。

背景技术：

1、盲人出行困难，盲人基础设施建设水平层次不齐，为盲人出行增加了重重考验。

2、随着人工智能图像处理以及自然语言处理的发展，图像识别能够识别动态以及静态的事物，而自然语言处理技术可以与人进行沟通，并根据指令信息操作智能设备。但是目前技术手段以及使用情况并不乐观，盲人出行依赖的导盲杖，智能眼镜，头盔等依然存在很多不足，例如无法准确帮助盲人构建行进路线，无法及时纠正盲人行进是否正确，无法判断小物体如香蕉皮西瓜皮，陷阱如井盖丢失等复杂情况，在十字路口也无法及时准确判断红绿灯。

技术实现思路

1、为了解决背景技术中提到的至少一个技术问题，本申请的目的在于提供一种基于智能设备的盲人辅助导航系统及方法，可以提高对小物体障碍的识别精度，精确障碍物与用户之间的步数距离，帮助用户规避危险。

2、为实现上述目的，本申请提供如下技术方案：

3、第一方面，本申请实施例提供了一种基于智能设备的盲人辅助导航系统，包括自然语言处理单元、位置信息单元、图像识别分析单元和云端存储计算单元；

4、所述自然语言处理单元，用于从与用户的对话中获取用户目的地信息，并在用户行走过程中实时提供指引；

5、所述位置信息单元，用于根据所述用户目的地信息，结合用户初始位置信息以及当前城市实时交通情况，获得至少一条行进路线，并通过所述自然语言处理单元与用户沟通，从所述至少一条行进路线中确定一条行进路线；

6、所述图像识别分析单元，用于采集道路图像，识别所述道路图像中的道路信息，所述道路信息包括交通信号灯、交通标志、障碍物；其中，所述障碍物包括小物体；

7、所述云端存储计算单元，用于存储每个用户行走途经的道路信息作为历史数据，以及收集当前用户的个人习惯，并结合所述历史数据和所述当前用户的个人习惯，个性化推荐最佳行进路线，在用户下次使用时优先提供所述最佳行进路线。

8、进一步的，所述图像识别分析单元，还用于根据行进路线和移动物体的移动路径，计算通过率；

9、当所述通过率大于预设阈值时，不改变行进路线；当所述通过率不大于预设阈值时，纠正行进路线，并调用所述自然语言处理单元发出指令，提醒用户避让。

10、进一步的，所述图像识别分析单元采用集成了边框校准算法的yolov4模型。

11、进一步的，所述图像识别分析单元采用锚框稠密化策略。

12、进一步的，所述当前用户的个人习惯包括用户行走速度、用户步幅、用户情绪识别信息。

13、第二方面，本申请实施例提供了一种基于智能设备的盲人辅助导航方法，包括以下步骤：

14、s1，从与用户的对话中获取用户目的地信息，并在用户行走过程中实时提供指引；

15、s2，根据所述用户目的地信息，结合初始用户位置信息以及当前城市实时交通情况，获得至少一条行进路线，并从所述至少一条行进路线中确定一条行进路线；

16、s3，采集道路图像，识别所述道路图像中的道路信息，所述道路信息包括交通信号灯、交通标志、障碍物；其中，所述障碍物包括小物体；

17、s4，存储每个用户行走途经的道路信息作为历史数据，以及收集当前用户的个人习惯，并结合所述历史数据和所述当前用户的个人习惯，个性化推荐最佳行进路线，在用户下次使用时优先提供所述最佳行进路线。

18、进一步的，根据行进路线和移动物体的移动路径，计算通过率；

19、当所述通过率大于预设阈值时，不改变行进路线；当所述通过率不大于预设阈值时，纠正行进路线，并提醒用户避让。

20、进一步的，所述当前用户的个人习惯包括用户行走速度、用户步幅、用户情绪识别信息。

21、进一步的，若识别到存在障碍物，提醒用户障碍物的方向和障碍物的距离，并指引用户进行避让，其中，所述障碍物的距离用步数表示，所述步数是根据所述用户步幅得到的。

22、进一步的，识别所述道路图像中的道路信息时，采用集成了边框校准算法的yolov4模型和锚框稠密化策略。

23、与现有技术相比，本申请的有益效果是：

24、将道路信息与个人习惯相结合，形成最佳行进路线，根据用户所在位置的路况进行避障提醒，图像识别分析单元可以识别行进路线中遇到的小物体障碍物，引导用户走安全路线，保障用户生命安全；

25、自然语言处理单元会在用户行走过程中实时提供指引，在离障碍物具有一定距离的时候，提前提醒用户与障碍物之间相差的步数，并给出具体的避让指引，该步数是根据用户的步幅确定的，可以提高用户的行进速度，提升用户体验。

技术特征：

1.一种基于智能设备的盲人辅助导航系统，其特征在于，包括自然语言处理单元、位置信息单元、图像识别分析单元和云端存储计算单元；

2.根据权利要求1所述的基于智能设备的盲人辅助导航系统，其特征在于，所述图像识别分析单元，还用于根据行进路线和移动物体的移动路径，计算通过率；

3.根据权利要求1所述的基于智能设备的盲人辅助导航系统，其特征在于，所述图像识别分析单元采用集成了边框校准算法的yolov4模型。

4.根据权利要求1所述的基于智能设备的盲人辅助导航系统，其特征在于，所述图像识别分析单元采用锚框稠密化策略。

5.根据权利要求1所述的基于智能设备的盲人辅助导航系统，其特征在于，所述当前用户的个人习惯包括用户行走速度、用户步幅、用户情绪识别信息。

6.一种基于智能设备的盲人辅助导航方法，其特征在于，包括以下步骤：

7.根据权利要求6所述的基于智能设备的盲人辅助导航方法，其特征在于，根据行进路线和移动物体的移动路径，计算通过率；

8.根据权利要求6所述的基于智能设备的盲人辅助导航方法，其特征在于，所述当前用户的个人习惯包括用户行走速度、用户步幅、用户情绪识别信息。

9.根据权利要求8所述的基于智能设备的盲人辅助导航方法，其特征在于，若识别到存在障碍物，提醒用户障碍物的方向和障碍物的距离，并指引用户进行避让，其中，所述障碍物的距离用步数表示，所述步数是根据所述用户步幅得到的。

10.根据权利要求6所述的基于智能设备的盲人辅助导航方法，其特征在于，识别所述道路图像中的道路信息时，采用集成了边框校准算法的yolov4模型和锚框稠密化策略。

技术总结本申请公开了一种基于智能设备的盲人辅助导航系统及方法，涉及图像识别技术领域。将道路信息与个人习惯相结合，形成最佳行进路线，根据用户所在位置的路况进行避障提醒，图像识别分析单元可以识别行进路线中遇到的小物体障碍物，引导用户走安全路线，保障用户生命安全；自然语言处理单元会在用户行走过程中实时提供指引，在离障碍物具有一定距离的时候，提前提醒用户与障碍物之间相差的步数，并给出具体的避让指引，该步数是根据用户的步幅确定的，可以提高用户的行进速度，提升用户体验。技术研发人员：周雁,滕勇隽,姜励,李世琦,聂劲松,诸葛晨乾受保护的技术使用者：浙江省公众信息产业有限公司技术研发日：技术公布日：2024/9/9