一种车辆内部遗失物品查找系统及其方法与流程

本发明涉及ar应用，具体是一种车辆内部遗失物品查找系统及其方法。

背景技术：

1、目前hmi系统基于车辆内部的监控设备或传感器，以及车载娱乐系统的显示屏幕能够实现车内物品查找功能。用户可以通过操作中控面板或触摸屏幕，触发车内监控设备，以寻找遗落物品。还可以通过图像识别技术来分析车内图像，并在显示屏上标示出可能存在物品的位置。此外，还有一些基于蓝牙或wi-fi的追踪设备，用户可以将其附加到物品上，然后通过手机应用来追踪遗失物品的位置。

2、上述车内物品查找方式存在以下缺点：

3、1) 用户操作繁琐：用户需要手动操纵中控面板或触摸屏幕，不够便捷，且不能直观的查找到车内物品。

4、2) 蓝牙或wi-fi追踪设备的局限性：追踪设备的定位精度受限于蓝牙或wi-fi信号的覆盖范围，如果物品移动到不可控制的范围，将无法定位。

技术实现思路

1、针对现有技术中车内遗失物品查找功能的不足，本发明提供了一种能够提高遗失物品搜索效率和趣味性的车辆内部遗失物品查找系统及其方法。

2、为了实现上述目的，本发明是通过以下技术方案来实现的：

3、本发明是一种车辆内部遗失物品查找系统，所述系统包括手机、权限控制模块、车机摄像头、车机灯光、ar呈现模块；

4、所述手机用于通过权限控制模块控制所述车机摄像头和车机灯光的开启和关闭；

5、所述车机摄像头用于获取车内、车外图像，并向ar呈现模块输出车内的实时图像；

6、所述ar呈现模块用于根据车内的实时图像生成实时ar图像，根据不同场景调整实时ar图像的参数，并将调整后的实时ar图像输送至手机应用。

7、本发明的进一步改进在于：所述系统还包括目标图像上传与处理模块和目标图像标记模块；

8、所述目标图像上传与处理模块用于上传作为目标图像的遗失物品图像，并对遗失物品图像进行分析处理，提取图像特征；

9、所述目标图像标记模块用于对ar呈现模块输出的实时图像中的目标图像进行图像特征识别，并对实时图像中匹配的图像进行标记。

10、本发明的进一步改进在于：所述目标图像上传与处理模块对遗失物品图像进行如下处理：

11、利用目标检测算法识别遗失物品图像中的目标对象；

12、利用图像分割算法对识别到的目标对象进行图像分割；

13、利用特征提取算法对分割后的图像进行目标对象的特征提取，存储所提取到的目标对象特征，并将所提取到的目标对象特征输入至目标图像标记模块。

14、本发明的进一步改进在于：所述目标图像标记模块进行如下操作：利用训练好的深度学习模型进行实时ar图像与目标对象特征匹配操作，若匹配成功，则得到目标对象的标签和位置信息，根据目标对象的标签和位置信息在实时ar图像中生成标记。

15、本发明的进一步改进在于：所述系统还包括云服务器和预设图像处理单元；

16、所述预设图像处理单元用于存储所述手机上传的预设图像，并对预设图像进行分析处理；

17、所述云服务器用于存储并分析车机摄像头获取的图像信息，并与所述手机通过通讯模块进行信息交互。

18、本发明的进一步改进在于：所述实时ar图像的参数包括透明度参数、缩放参数、光照阴影参数，所述透明度参数、缩放参数、光照阴影参数通过自适应算法调整。

19、本发明是一种车辆内部遗失物品查找方法，包括如下步骤：

20、获取车辆内部的实时ar图像；

21、通过实时ar图像查找遗失物品，若未查找到遗失物品，则利用图像识别技术对车机摄像头获取的视频数据进行目标图像匹配，并提取含有目标图像的视频段，通过视频段对遗失物品进行追踪查找。

22、本发明的进一步改进在于：所述获取车辆内部的实时ar图像的具体步骤为：

23、步骤a，用户请求控制车机摄像头和车机灯光权限，具体包括：

24、步骤a1，用户打开ar查找遗失物品的手机应用；

25、步骤a2，手机应用检查手机权限状态，查看是否具有控制车机摄像头和车机灯光的权限；

26、步骤a3，如果权限未开启，手机应用向用户显示请求控制权限的提示，并等待用户授权；

27、步骤b，用户获取控制车机摄像头和车机灯光权限后，通过手机打开车机灯光和车机摄像头；

28、步骤c，车机摄像头获取车内实时图像，并将车内实时图像输送至ar呈现模块，ar呈现模块生成实时ar图像，并传送至手机应用。

29、本发明的进一步改进在于：所述通过实时ar图像查找遗失物品具体包括以下方式中的任意一种或两种：

30、方式一：

31、用户通过手机应用观看车内实时ar图像，查找遗失物品；

32、方式二：

33、用户上传遗失物品图像至手机应用，并采用目标检测算法识别遗失物品图像中的目标对象；

34、利用图像分割算法对识别到的目标对象进行图像分割；

35、利用特征提取算法对分割后的图像进行目标对象的特征提取，存储所提取到的目标对象特征，并将所提取到的目标对象特征输入到训练好的深度学习模型中对实时ar图像与目标对象特征进行匹配，若匹配成功，则得到目标对象的标签和位置信息，根据目标对象的标签和位置信息在实时ar图像中生成标记。

36、本发明的进一步改进在于：在未查找到遗失物品的情况下，通过上传预设图像，预设图像为包含遗失物品图像以及与遗失物品相关的目标图像，通过图像识别技术识别预设图像中的包括遗失物品在内的多个目标，提取多个目标的目标特征，并通过训练好的图像识别模型对通过车机摄像头获取的视频进行目标特征识别，若识别成功，则对含有多个目标的视频段进行提取，用户通过所提取的视频段对遗失物品进行追踪查找。

37、本发明的有益效果是：本发明将ar技术应用于车内遗失物品的查找系统，提供了全新的查找方式，能够在手机屏幕上实时显示车内或周围环境的虚拟信息，用户可以通过视觉感知更直观地进行搜索，避免翻找等耗时的操作。本发明提供了多种查找方式，利用ar技术查找遗失物品，在提高搜索遗失物品的趣味性的基础上，用户还可以选择对实时ar图像中遗失物品进行标记的方式，实现快速查找遗失物品；此外，在通过以上两种方式均没有找到遗失物品的情况下，用户还可以选择上传遗失物品图像以及与遗失物品相关的目标图像，通过图像识别技术调取车机摄像头存储的历史视频数据，可以根据历史视频数据实现对遗失物品的追踪查找。

技术特征：

1.一种车辆内部遗失物品查找系统，其特征在于：所述系统包括手机、权限控制模块、车机摄像头、车机灯光、ar呈现模块；

2.根据权利要求1所述的一种车辆内部遗失物品查找系统，其特征在于：所述系统还包括云服务器和预设图像处理单元；

3.一种车辆内部遗失物品查找方法，其特征在于：包括如下步骤：

4.根据权利要求3所述的一种车辆内部遗失物品查找方法，其特征在于：在未查找到遗失物品的情况下，通过上传预设图像，预设图像为包含遗失物品图像以及与遗失物品相关的目标图像，通过图像识别技术识别预设图像中的包括遗失物品在内的多个目标，提取多个目标的目标特征，并通过训练好的图像识别模型对通过车机摄像头获取的视频进行目标特征识别，若识别成功，则对含有多个目标的视频段进行提取，用户通过所提取的视频段对遗失物品进行追踪查找。

技术总结本发明公开了一种车辆内部遗失物品查找系统及其方法，系统包括手机、权限控制模块、车机摄像头、车机灯光、AR呈现模块；手机用于通过权限控制模块控制所述车机摄像头和车机灯光的开启和关闭；车机摄像头用于获取车内、车外图像，并向AR呈现模块输出车内的实时图像；AR呈现模块用于根据车内的实时图像生成实时AR图像，根据不同场景调整实时AR图像的参数，并将调整后的实时AR图像输送至手机应用。本发明的系统和方法通过实时AR图像将虚拟世界和现实世界进行互动，提高搜索的效率和趣味性。技术研发人员：刘青受保护的技术使用者：润芯微科技（江苏）有限公司技术研发日：技术公布日：2024/7/29