一种基于视觉SLAM的看护机器人实现方法、设备及介质与流程

一种基于视觉slam的看护机器人实现方法、设备及介质
技术领域
1.本说明书涉及人工智能技术领域，尤其涉及一种基于视觉slam的看护机器人实现方法、设备及介质。


背景技术：

2.随着人工智能技术的发展，越来越多成熟的ai方案应用到生活中，例如各类机器人的出现让生活更加智能、工作更加高效。机器人不仅在工业、医学、农业或者军事上应用广泛，更是在生活上开始慢慢地融入人类的社交或者家庭。
3.随着社会的发展，母婴市场成为白热化的竞争市场，消费人群多、消费逐年升级、高端消费等一直是母婴产品的主题。在众多的儿童看护产品中，仍然依靠人工干预实现看护功能，若监护人无法及时发现危险，将无法保障婴幼儿的人身安全，现有的看护产品无法脱离人工干预，给婴幼儿带来安全隐患，也进一步增加了监护人的负担。


技术实现要素：

4.本说明书一个或多个实施例提供了一种基于视觉slam的看护机器人实现方法、设备及介质，用于解决如下技术问题：现有的看护产品无法脱离人工干预，给婴幼儿带来安全隐患。
5.本说明书一个或多个实施例采用下述技术方案：
6.本说明书一个或多个实施例提供一种基于视觉slam的看护机器人实现方法，应用于所述看护机器人，所述看护机器人包括slam采集模块、slam处理模块，所述方法包括：通过slam采集模块采集待看护用户所处的环境信息以及所述待看护用户的动作信息；将所述环境信息和所述动作信息输入至所述slam处理模块，以便于所述slam处理模块根据预先训练的危险信息识别模型，识别所述环境信息中的危险物品与所述动作信息中的危险动作；当所述slam处理模块识别出危险物品和危险动作中的一项或多项时，发送告警信息，以便于实现看护功能。
7.进一步地，所述危险物品包括以下一项或多项：装有高于预设温度液体的容器、处于运行状态的家用电器以及锋利工具；所述危险动作包括以下一项或多项：冲撞动作、摔倒动作以及捡拾入口动作。
8.进一步地，所述看护机器人还包括告警模块和远程服务器；所述当所述slam处理模块识别出危险物品和危险动作中的一项或多项时，发送告警信息，具体包括：当所述slam处理模块识别出待看护用户所处的环境中存在危险物品时，通过所述告警模块向所述待看护用户发送告警信息；当所述slam处理模块识别出所述待看护用户存在危险动作时，通过所述远程服务器向待看护用户的监护人的终端发送告警信息；当所述slam处理模块识别出所述待看护用户所处的环境中存在危险物品，且所述待看护用户存在危险动作时，通过所述告警模块向所述待看护用户发送告警信息，并通过所述远程服务器向待看护用户的监护人的终端发送告警信息。
9.进一步地，所述实现看护功能，具体包括：当所述slam处理模块识别出，待看护用户所处的环境中存在危险物品时，控制所述看护机器人移动至预设位置处，其中，所述预设位置位于所述待看护用户与所述危险物品之间；当所述slam处理模块识别出，所述待看护用户存在危险动作时，根据所述待看护用户的危险动作，控制所述看护机器人执行相应的制止操作。
10.进一步地，所述slam处理模块根据预先训练的危险信息识别模型，识别所述环境信息中的危险物品与所述动作信息中的危险动作，具体包括：所述slam处理模块对所述环境信息进行环境特征提取，并对所述待看护用户的动作信息进行动作特征提取，将提取到的环境特征和动作特征输入至预先训练的危险信息识别模型中，所述危险信息识别模型对所述环境特征和所述动作特征进行识别，分别输出所述环境特征和所述动作特征对应的类别，并根据所述类别确定出环境中的危险信息以及动作信息中的危险动作。
11.进一步地，所述将提取到的环境特征和动作特征输入至预先训练的危险信息识别模型之前，所述方法还包括：预先采集多组环境信息，对所述环境数据进行危险信息和安全信息的特征提取和分类，并构建环境信息数据库；采集用户的动作信息，对所述动作信息进行危险动作和安全动作的特征提取和分类，并构建动作信息数据库；将所述环境信息数据库中的数据和所述动作信息数据库中的数据输入至预先构建的危险信息识别模型中，并基于opencv对所述危险信息识别模型进行训练，得到符合要求的危险信息识别模型。
12.进一步地，所述将所述环境信息和所述动作信息输入至所述slam处理模块之后，所述方法还包括：所述slam处理模块基于视觉slam技术，构建环境路径模型，以用于控制所述看护机器人完成定位并进行移动，其中所述视觉slam技术包括：视觉里程计、位姿优化、闭环检测以及制图中的一项或多项。
13.进一步地，所述slam处理模块包括a311d核心板，所述slam采集模块包括rgbd slam。
14.本说明书一个或多个实施例提供一种基于视觉slam的看护机器人实现设备，包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够：通过slam采集模块采集待看护用户所处的环境信息以及所述待看护用户的动作信息；将所述环境信息和所述动作信息输入至所述slam处理模块，以便于所述slam处理模块根据预先训练的危险信息识别模型，识别所述环境信息中的危险物品与所述动作信息中的危险动作；当所述slam处理模块识别出危险物品和危险动作中的一项或多项时，发送告警信息，以便于实现看护功能。
15.本说明书一个或多个实施例提供的一种非易失性计算机存储介质，存储有计算机可执行指令，所述计算机可执行指令设置为：通过slam采集模块采集待看护用户所处的环境信息以及所述待看护用户的动作信息；将所述环境信息和所述动作信息输入至所述slam处理模块，以便于所述slam处理模块根据预先训练的危险信息识别模型，识别所述环境信息中的危险物品与所述动作信息中的危险动作；当所述slam处理模块识别出危险物品和危险动作中的一项或多项时，发送告警信息，以便于实现看护功能。
16.本说明书实施例采用的上述至少一个技术方案能够达到以下有益效果：
17.通过本说明书实施例中的技术方案自动识别用户的危险动作和所处的危险环境，
当用户正处于危险环境中或发生危险动作时，向用户进行示警，吸引注意力，使用户远离危险物品或终止危险动作，同时还可以吸引监护人注意力，实现智能看护的作用。
附图说明
18.为了更清楚地说明本说明书实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。在附图中：
19.图1为本说明书实施例提供的一种基于视觉slam的看护机器人实现方法流程示意图；
20.图2为本说明书实施例提供的另一种基于视觉slam的看护机器人实现方法流程示意图；
21.图3为本说明书实施例提供的一种基于视觉slam的看护机器人实现设备的结构示意图。
具体实施方式
22.为了使本技术领域的人员更好地理解本说明书中的技术方案，下面将结合本说明书实施例中的附图，对本说明书实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本说明书一部分实施例，而不是全部的实施例。基于本说明书实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本说明书保护的范围。
23.随着人工智能技术的发展，越来越多成熟的ai方案应用到生活中，例如各类机器人的出现让生活更加智能、工作更加高效。机器人不仅在工业、医学、农业或者军事上应用广泛，更是在生活上开始慢慢地融入人类的社交或者家庭。
24.随着社会的发展，母婴市场成为白热化的竞争市场，消费人群多、消费逐年升级、高端消费等一直是母婴产品的主题。在众多的儿童看护产品中，仍然依靠人工干预实现看护功能，若监护人无法及时发现危险，将无法保障婴幼儿的人身安全，现有的看护产品无法脱离人工干预，给婴幼儿带来安全隐患，也进一步增加了监护人的负担。本说明书实施例提供一种基于视觉slam的看护机器人实现方法、设备及介质。视觉slam是指同时定位与构建地图(simultaneous localization andmapping,slam)，是基于相机来完成环境的感知工作，相对而言，相机成本较低，容易放到商品硬件上，且图像信息丰富。
25.本说明书实施例提供一种基于视觉slam的看护机器人实现方法，图1为本说明书实施例提供的一种基于视觉slam的看护机器人实现方法流程示意图，如图1所示，方法包括如下步骤：
26.步骤s101，通过slam采集模块采集待看护用户所处的环境信息以及待看护用户的动作信息。
27.具体地，基于视觉slam的看护机器人实现方法应用于看护机器人，看护机器人包括slam采集模块、slam处理模块，其中，slam处理模块包括a311d核心板，slam采集模块包括rgbd slam。
28.在本说明书的一个实施例中，slam采集模块可以采用rgbd slam，也可以是其他具备采集能力的设备或装置。需要说明的是，视觉slam可分为单目、双目(多目)、rgbd这三类，另外还有鱼眼、全景等特殊相机，但目前在研究和产品中还属于少数。rgbd相机是指能够同时输出rgb图像和对应的深度图的相机，其测量像素深度不再通过耗时的被动双目匹配计算，而是通过激光散斑增加图像纹理加速计算或者硬件测量(结构光、tof等)实现。因此它可以看做减小了计算量的双目slam，rgbd尤其适合室内环境使用。
29.slam处理模块可以包括a311d核心板，也可以是其他具备处理能力的处理器等。需要说明的是，采用amlogic的a311d六核(cortex
‑
a73(2.2ghz)x 4 cortex
‑
a53(1.8ghz)x 2)64位处理器，集成多核malitm
‑
g52 gpu，计算能力达到5tops@int8,12.8gflops@fp16 or 6.4gflops@fp32的npu ai neural network accelerator(nna)，性能优异。板载hdmi接口，mipi摄像头接口，声音相关接口以及可以选配的wifi模块和4g模块，支持linux/ubuntu系统，开放源代码方便企业二次开发。
30.在本说明书的一个实施例中，智能看护机器人还包括告警模块和远程服务器。告警模块可以采用蜂鸣器，也可以采用功放喇叭等其他发出警示声音的装置。远程服务器可选用阿里云服务器，远程服务器仅需要处理远程告警，相对简单，需要方便部署，成本优势明显的方案。
31.在本说明书的一个实施例中，预先将待看护婴儿、儿童的人脸信息以及监护人的人脸信息输入至智能看护机器人中，将监护人的人脸信息设置为管理员，监护人可以实现对智能看护机器人的操作，待看护婴儿、儿童的人脸信息用于识别待看护人。在监护人的人脸识别下，选定待看护人的人脸信息，看护机器人开始对待看护人进行看护工作。当用户家中存在多名待看护儿童时，可以输入多名儿童的人脸信息，满足用户的不同使用需求。以用户家中存在两名儿童为例，预先输入a儿童和b儿童的人脸信息，当家长需要看护b儿童时，打开看护机器人，选中b儿童的人脸信息，则看护机器人开始对b儿童的看护；当家长需要同时看护a儿童和b儿童时，打开看护机器人，选中a儿童和b儿童的人脸信息，则看护机器人开始对a儿童和b儿童同时看护。
32.在本说明书的一个实施例中，通过slam采集模块采集待看护用户所处的环境信息以及待看护用户的动作信息。其中，待看护用户可以是婴幼儿、儿童、以及其他需要看护的用户。以智能看护婴幼儿睡眠为例，此时的环境为婴幼儿睡眠所处的卧室，环境信息为卧室里的各类家具、物品，还包括各个家具和物品与婴幼儿的位置关系，动作信息可以是翻身动作、啼哭动作等。再如，以智能看护婴幼儿玩耍为例，此时的环境为婴幼儿玩耍区域，环境信息包括玩耍区域内的家具、物品、以及玩具等，还包括家具、物品以及玩具与婴幼儿的位置关系。动作信息可以是行走动作、玩耍动作等。
33.步骤s102，将环境信息和动作信息输入至slam处理模块，以便于slam处理模块根据预先训练的危险信息识别模型，识别环境信息中的危险物品与动作信息中的危险动作。
34.具体地，在步骤s102之前，方法还包括：预先采集多组环境信息，对环境数据进行危险信息和安全信息的特征提取和分类，并构建环境信息数据库；采集用户的动作信息，对动作信息进行危险动作和安全动作的特征提取和分类，并构建动作信息数据库；将环境信息数据库中的数据和动作信息数据库中的数据输入至预先构建的危险信息识别模型中，并基于opencv对危险信息识别模型进行训练，得到符合要求的危险信息识别模型
35.在本说明书的一个实施例中，需要构建危险信息识别模型，其中危险信息识别可以包括危险物品识别模型和危险动作识别模型。构建模型之后对危险物品识别模型和危险动作识别模型进行模型训练，以便于两个识别模型可以根据环境信息识别出环境信息中的危险物品、根据动作信息识别出动作信息中的危险动作。
36.采集大量的环境信息，环境信息中包括各种物品，对环境信息中的各类物品进行危险物品和安全物品的特征提取，并进行分类，构建环境信息数据库。将环境信息数据库中的数据输入至危险物品识别模型中，基于opencv对模型进行模型训练，使得危险物品识别模型可以根据环境信息识别出危险物品。需要说明的是，open cv是open source computer vision library的简称，是一个用bsd协议开发源代码的计算机视觉库。opencv中提供了一些训练好的分类器便于调用，从而实现物体识别和分类，在原有数据库的基础上增加了待看护用户的环境信息，增加训练数据库的数据信息，进一步增强模型的识别准确度。
37.采集大量的动作信息，动作信息中包括各种动作，对动作信息中的各类物品进行危险动作和安全动作的特征提取，并进行分类，构建环境信息数据库。将环境信息数据库中的数据输入至危险物品识别模型中，基于opencv对模型进行模型训练，使得危险物品识别模型可以根据环境信息识别出危险物品。
38.具体地，步骤s102还包括：slam处理模块对环境信息进行环境特征提取，并对待看护用户的动作信息进行动作特征提取，将提取到的环境特征和动作特征输入至预先训练的危险信息识别模型中，危险信息识别模型环境特征和所述动作特征进行识别，分别输出所述境特征和动作特征对应的类别，并根据类别确定出环境中的危险信息以及动作信息中的危险动作。
39.在对模型进行训练之后，对slam采集模块采集到的环境信息和动作信息分别进行特征提取，将提取到的特征分别输入至预先训练的危险物品识别模型和危险动作识别模型中，对危险物品和危险动作进行识别，输出物品和动作对应的类别，进一步确定出物品与动作是否是危险物品或危险动作。
40.具体地，危险物品包括以下一项或多项：装有高于预设温度液体的容器、处于运行状态的家用电器以及锋利工具；危险动作包括以下一项或多项：冲撞动作、摔倒动作以及捡拾入口动作。
41.在本说明书的一个实施例中，危险物品可以包括装有高于预设温度液体的容器，例如热水杯；也可以包括处于运行状态的家用电器，例如风扇、电热壶；还可以包括锋利工具，如刀具、螺丝刀等，还可以是其他可以具备潜在风险以及危害儿童身心健康的物品。危险动作包括以下一项或多项：冲撞动作、摔倒动作以及捡拾入口动作，还可以包括其他具备潜在风险以及危害儿童身心健康的动作。
42.具体地，步骤s102还包括：slam处理模块基于视觉slam技术，构建环境路径模型，以用于控制看护机器人完成定位并进行移动，其中视觉slam技术包括：视觉里程计、位姿优化、闭环检测以及制图中的一项或多项。
43.在本说明书的一个实施例中，slam处理模块基于视觉slam技术建环境路径模型，用于控制看护机器人完成定位并进行移动。视觉slam技术包括：视觉里程计、位姿优化、闭环检测以及制图中的一项或多项。其中，视觉里程计的主要任务是估算相邻图像间相机运动以及局部地图的样子，最简单的是两张图像之间的运动关系。计算机是如何通过图像确
定相机的运动的。在图像上只能看到一个个的像素，知道是某些空间点在相机的成像平面投影的结果。所以必须先了解相机跟空间点的几何关系。前能够通过相邻帧间的图像估计相机运动，并恢复场景的空间结构，称它为里程计。被称为里程计是因为它只计算相邻时刻的运动，而和再往前的过去信息没有关联。相邻时刻运动串联起来，就构成了机器人的运动轨迹，从而解决了定位问题。另一方面，根据每一时刻的相机位置，计算出各像素对应的空间点的位置，就得到了地图。
44.另外，位姿优化主要是处理slam过程中噪声的问题。任何传感器都有噪声，所以除了要处理“如何从图像中估计出相机运动”，还要关心这个估计带有多大的噪声。在视觉slam中，前端和计算接视觉研究领域更为相关，比如图像的特征提取与匹配等，后端则主要是滤波和非线性优化算法。回环检测也可以称为闭环检测，是指机器人识别曾到达场景的能力。如果检测成功，可以显著地减小累积误差。回环检测实质上是一种检测观测数据相似性的算法。对于视觉slam，多数系统采用目前较为成熟的词袋模型。词袋模型把图像中的视觉特征聚类，然后建立词典，进而寻找每个图中含有哪些“单词”。也有研究者使用传统模式识别的方法，把回环检测建构成一个分类问题，训练分类器进行分类。
45.建图主要是根据估计的轨迹建立与任务要求对应的地图，在机器人学中，地图的表示主要有栅格地图、直接表征法、拓扑地图以及特征点地图。而特征点地图是用有关的几何特征(如点、直线、面)表示环境，常见于视觉slam技术中。这种地图一般通过如gps、uwb以及摄像头配合稀疏方式的vslam算法产生，优点是相对数据存储量和运算量比较小，多见于最早的slam算法中。
46.步骤s103，当slam处理模块识别出危险物品和危险动作中的一项或多项时，发送告警信息，以便于实现看护功能。
47.在本说明书的一个实施例中，当slam处理模块识别出危险物品和危险动作中的一项或多项时，发送告警信息向婴幼儿发出告警，并告知监护人，实现智能看护的功能，保障被看护人的安全。
48.具体地，步骤s103包括：当slam处理模块识别出待看护用户所处的环境中存在危险物品时，通过告警模块向所述待看护用户发送告警信息；slam处理模块识别出待看护用户存在危险动作时，通过远程服务器向待看护用户的监护人的终端发送告警信息；当slam处理模块识别出待看护用户所处的环境中存在危险物品，且待看护用户存在危险动作时，通过告警模块向待看护用户发送告警信息，并通过远程服务器向待看护用户的监护人的终端发送告警信息。
49.在本说明书的一个实施例中，若slam处理模块识别出待看护用户所处的环境中存在危险物品，通过蜂鸣器或功放喇叭向用户发送告警信息。例如，当环境中存在工作的烧水壶时，通过蜂鸣器或功放喇叭发出告警声音，可以吸引儿童的注意，若此时看护人与儿童不处于统一房间内，还可以吸引看护人的注意。若slam处理模块识别出待看护用户存在危险动作时，通过远程服务器向待看护用户的监护人的终端发送告警信息，可以通过向监护人的手机终端发送告警信息，告知监护人婴幼儿存在危险动作，吸引监护人到达婴幼儿所处的位置处加以制止。若slam处理模块识别出待看护用户所处的环境中存在危险物品，且待看护用户存在危险动作时，通过告警模块向待看护用户发送告警信息，并通过远程服务器向待看护用户的监护人的终端发送告警信息；例如，在婴幼儿所处的环境中存在正在工作
的烧水壶，且婴幼儿正在奔跑玩耍，则通过蜂鸣器或功放喇叭发出告警声音，并向监护人的手机终端发送信息，既可以通过声音吸引儿童注意力，也可以告知监护人加以制止。
50.具体地，步骤s103还包括：当slam处理模块识别出，待看护用户所处的环境中存在危险物品时，控制看护机器人移动至预设位置处，其中，预设位置位于待看护用户与危险物品之间；当slam处理模块识别出，待看护用户存在危险动作时，根据待看护用户的危险动作，控制看护机器人执行相应的制止操作。
51.在本说明书的一个实施例中，在所述slam处理模块识别出，待看护用户所处的环境中存在危险物品时，控制看护机器人移动至危险物品与儿童之间，进行阻挡，可以避免用户与危险物品的接触；当slam处理模块识别出，待看护用户存在危险动作时，根据待看护用户的危险动作，控制看护机器人执行相应的制止操作。通过本说明书实施例中的技术方案自动识别用户的危险动作和所处的危险环境，当用户正处于危险环境中或发生危险动作时，向用户进行示警，吸引注意力，使用户远离危险物品或终止危险动作，同时还可以吸引监护人注意力，还可以通过机器人对儿童的危险动作加以制止，并控制看护机器人移动至危险物品与儿童之间，进行阻挡，避免用户与危险物品的接触，实现智能看护的作用。
52.图2为本说明书实施例提供的另一种基于视觉slam的看护机器人实现方法流程示意图，如图2所示，
53.slam视频采集模块采集原始数据，并将原始数据发送给a311d核心板进行数据特征提取、分类、训练、建模，用于绘制室内环境信息图。
54.slam视频采集模块采集实时数据进行特征提取，a311d将特征值套入训练模型进行比对，发现危险动作则发出告警；若未发现危险动作则继续采集实时数据进行回环检测。
55.本说明书实施例提供一种基于视觉slam的看护机器人实现设备，如图3所示，包括：至少一个处理器；以及，与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被所述至少一个处理器执行，以使至少一个处理器能够：通过slam采集模块采集待看护用户所处的环境信息以及待看护用户的动作信息；将环境信息和动作信息输入至所述slam处理模块，以便于slam处理模块根据预先训练的危险信息识别模型，识别环境信息中的危险物品与动作信息中的危险动作；当slam处理模块识别出危险物品和危险动作中的一项或多项时，发送告警信息，以便于实现看护功能。
56.本说明书实施例还提供一种非易失性计算机存储介质，存储有计算机可执行指令，所述计算机可执行指令设置为：通过slam采集模块采集待看护用户所处的环境信息以及待看护用户的动作信息；将环境信息和动作信息输入至所述slam处理模块，以便于slam处理模块根据预先训练的危险信息识别模型，识别环境信息中的危险物品与动作信息中的危险动作；当slam处理模块识别出危险物品和危险动作中的一项或多项时，发送告警信息，以便于实现看护功能。
57.本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置、设备、非易失性计算机存储介质实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
58.上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来
执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
59.以上所述仅为本说明书的一个或多个实施例而已，并不用于限制本说明书。对于本领域技术人员来说，本说明书的一个或多个实施例可以有各种更改和变化。凡在本说明书的一个或多个实施例的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本说明书的权利要求范围之内。