机器人异常运行的场景重建方法、装置、电子装置和存储介质与流程

1.本技术实施例涉及机器人技术领域，尤其涉及一种机器人异常运行的场景重建方法、装置、电子装置和计算机可读存储介质。


背景技术：

2.在实际的应用场景中，移动机器人的路径规划功能有时会使得机器人运行异常，而运行异常由于与场景强相关，由于场景的偶然性导致不方便复现。因此，如何复现出现运行异常的现场场景，成为需要解决的一大技术问题。
3.现有技术中，通常采用日志回放进行测试来进行问题定位及修改效果的验证。日志回放可能由于数据错误而无法回放出问题现场，降低查找运行异常原因的效率。


技术实现要素：

4.本技术实施例提供一种机器人异常运行的场景重建方法、装置、电子装置和计算机可读存储介质，可解决机器人运行异常问题和定位问题。
5.本技术实施例一方面提供了一种机器人异常运行的场景重建方法，包括：
6.当机器人发生异常运行时，从所述机器人中获取第一场景重建数据，所述第一场景重建数据包括所述机器人的位姿数据、传感器数据和障碍物地图；
7.确定所述机器人异常运行的计时时刻，所述计时时刻为所述机器人异常运行的时刻之前的时刻；在所述第一场景重建数据中选取第二场景重建数据，所述第二场景重建数据包括在所述计时时刻之后产生的所述机器人的位姿数据、传感器数据和障碍物地图；根据预设的场景重建算法以及所述第二场景重建数据，进行发生所述机器人异常运行的场景的重建，得到包含所述机器人异常运行的信息的场景图。
8.本技术实施例一方面还提供了一种机器人异常运行的场景重建装置，包括：获取模块，用于当机器人发生异常运行时，从所述机器人中获取第一场景重建数据，所述第一场景重建数据包括所述机器人的位姿数据、传感器数据和障碍物地图；确定模块，用于确定所述机器人异常运行的计时时刻，所述计时时刻为所述机器人异常运行的时刻之前的时刻；选取模块，用于在所述第一场景重建数据中选取第二场景重建数据，所述第二场景重建数据包括在所述计时时刻之后产生的所述机器人的位姿数据、传感器数据和障碍物地图；重建模块，用于根据预设的场景重建算法以及所述第二场景重建数据，进行发生所述机器人异常运行的场景的重建，得到包含所述机器人异常运行的信息的场景图。
9.本技术实施例一方面还提供了一种电子装置，包括：
10.存储器和处理器；所述存储器存储有可执行程序代码；与所述存储器耦合的所述处理器，调用所述存储器中存储的所述可执行程序代码，执行如上所述的机器人异常运行的场景重建方法。
11.本技术实施例一方面还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现如上所述的机器人异常运行的场景重建方法。
12.从上述本技术各实施例可知，当机器人发生异常运行时，获取发生异常运行的任务产生的第一场景重建数据，包括机器人的位姿、传感器和障碍物地图等数据，确定发生异常运行的计时时刻，并将第一场景重建数据中该计时时刻之后产生的机器人位姿、传感器和障碍物地图等数据作为第二场景重建数据，根据预设的场景重建算法和第二场景重建数据，对机器人异常运行的场景进行重建，复建当时的场景，得到包含当时机器人异常运行的信息的场景图，可以直观的判断出机器人异常运行的原因，该场景图可以成为解决机器人定位问题的依据，提高解决机器人运行异常以及定位的效率。
附图说明
13.为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
14.图1为本技术一实施例提供的机器人异常运行的场景重建方法的流程示意图；
15.图2为本技术另一实施例提供的机器人异常运行的场景重建方法的流程示意图；
16.图3为本技术一实施例提供的机器人异常运行的场景重建装置的结构示意图；
17.图4为本技术另一实施例提供的机器人异常运行的场景重建装置的结构示意图
18.图5为本技术一实施例提供的电子装置的结构示意图。
具体实施方式
19.为使本技术实施例的目的、技术方案和优点更加清楚，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
20.本技术实施例提供了一种机器人异常运行的场景重建方法。具体地，机器人在执行基于移动的任务时，实时记录如下数据：机器人的位姿数据、传感器数据、障碍物地图、运行路径和运行状态数据，并为记录的数据标记时间信息，具体是可以标记为时间戳，该相对时间的起始时刻为机器人本次任务的起始时刻。具体是将带有时间信息的数据按照发生的时间先后顺序生成日志文件，存储在机器人的存储器中。
21.在机器人移动时，由于路径规划、障碍物突然出现、机器人自身传感器、控制器等出现问题，造成行走状态出现异常，不能以正常姿态在当前场景中移动，例如在一个狭小的范围内转圈、前后来回移动、左右摇摆等，不能继续前进，属于机器人异常运行。当机器人发生异常运行时，终端远程从机器人中获取日志文件，并从日志文件中获取第一场景重建数据，该第一场景重建数据包括机器人的位姿数据、传感器数据和障碍物地图，该第一场景重建数据为发生运行异常的任务中产生的数据。
22.进一步地，通过日志回放或现场人员上报的异常信息，确认机器人发生异常运行的计时时刻。从该第一场景重建数据中选取该计时时刻之后产生的机器人的位姿数据、传感器数据和障碍物地图，按照预先设置的场景重建算法，例如gazebo仿真器进行当时的场景重现。
23.终端可以是计算机、手机或可穿戴智能设备，通常具有运算器、控制器、存储器、输入设备和输出设备等结构。下面详细描述该机器人异常运行的场景重建方法。
24.参见图1，本技术一实施例提供的机器人异常运行的场景重建方法的流程示意图。该方法可应用于终端，如图1所示，该方法具体包括：
25.s101、当机器人发生异常运行时，从机器人中获取第一场景重建数据；
26.具体地，发生异常运行时获取的第一场景重建数据，是发生异常运行的当前任务的数据，没有发生异常运行的任务对应的数据无须获取。
27.第一场景重建数据包括本实施例场景重建算法所需的数据，与该场景重建算法对应，该场景重建算法优选gazebo仿真器，还可以是vrep、coppeliasim、stage、webots等仿真器。
28.该第一场景重建数据包括机器人的位姿数据、传感器数据和障碍物地图；
29.其中，位姿数据包括机器人的运行位置和运行方向等；
30.传感器包括惯性测量单元(由多个加速度计和陀螺仪构成)、大气计、指南针、定位系统、摄像装置、声纳传感器和激光雷达等；
31.障碍物地图是表征障碍物信息的栅格图，该障碍物地图实时更新，具体是生成栅格构成的地图，根据传感器信息，在8
×
8个栅格范围内的出现的障碍物投影到地图上。
32.该第一场景重建数据是机器人在运行过程中实时保存的数据，按照数据的时间先后顺序生成机器人的日志文件并存储在机器人的存储器中，生成日志文件时为数据标记唯一的时间信息，具体表现形式可以是日志文件中加入时间戳，该时间戳可以是绝对时间对应的时间戳，该绝对时间是当前的格林威治时间或北京时间；也可以是相对时间对应的时间戳，该相对时间的起始时刻为机器人本次任务的起始时刻，机器人系统里的时间均以与该起始时刻的时间差作为相对时间的计算依据。
33.具体到本实施例，是获取异常运行发生时机器人所执行任务产生的日志文件，该日志文件中包括了机器人的位姿数据、传感器数据和障碍物地图。
34.s102、确定机器人异常运行的计时时刻；
35.该计时时刻是统计机器人发生异常运行的数据的起始时刻，比机器人发生异常运行的时刻更早的时刻，比该时刻早预设时长，该预设时长例如3秒。为了防止导致异常运行的数据在该时刻之前便已形成，将场景重现时需要的数据的获取时间点再向前移动该预设时长，获取更多的数据进行场景重建，可以提高场景重建后在该重建生成的场景图中发现异常运行原因的成功率。
36.具体可以通过日志回放查看该机器人异常运行的时刻，或者，将用户记录的异常时间确认为该机器人异常运行的时刻，在将该时刻减去该预设时长得到该计时时刻。例如，时刻为当日的上午8:00，预设时长为2秒，则计时时刻为当日上午7:58。
37.s103、在该第一场景重建数据中选取第二场景重建数据，该第二场景重建数据包括在该计时时刻之后产生的机器人的位姿数据、传感器数据和障碍物地图；
38.将该计时时刻及其之后产生的位姿数据、传感器数据和障碍物地图等在内的场景重建所需数据从第一场景重建数据中筛选出来，作为场景重建算法的数据基础。
39.s104、根据预设的场景重建算法以及该第二场景重建数据，进行发生机器人异常运行的场景的重建，得到包含机器人异常运行的信息的场景图。
40.通过该场景重建算法，根据该计时时刻及其之后产生的位姿数据、传感器数据和障碍物地图，重建该机器人异常运行的场景，在重建后的场景图中包含有机器人异常运行的信息，该信息包括机器人异常运行时的位置信息、朝向信息、障碍物信息等，将该场景图从终端的显示界面输出，用户可以直观的看到机器人在异常运行时的情况，判断出机器人异常运行的原因。
41.本技术实施例中，当机器人发生异常运行时，获取发生异常运行的任务产生的第一场景重建数据，包括机器人的位姿、传感器和障碍物地图等数据，确定发生异常运行的计时时刻，并将第一场景重建数据中该计时时刻之后产生的机器人位姿、传感器和障碍物地图等数据作为第二场景重建数据，根据预设的场景重建算法和第二场景重建数据，对机器人异常运行的场景进行重建，复建当时的场景，得到包含当时机器人异常运行的信息的场景图，可以直观的判断出机器人异常运行的原因，该场景图可以成为解决机器人定位问题的依据，提高解决机器人运行异常以及定位的效率。
42.参见图2，本发明另一实施例提供的机器人异常运行的场景重建方法的实现流程图。该方法可应用于终端，如图2所示，该方法具体包括：
43.s201、当机器人发生异常运行时，从机器人发生异常运行的任务的日志文件中获取第一场景重建数据；
44.该第一场景重建数据包括机器人的位姿数据、传感器数据和障碍物地图；
45.机器人实时记录位姿数据、传感器数据、障碍物地图、运行路径和运行状态数据，其中，运行路径为机器人规划好的路径和已经走过的路径，规划好的路径包括全局路径和局部路径；运行状态数据包括：机器人实时的运行形态、运行场景和运行任务的数据，运行形态是指机器人移动中的正常形态和异常形态，其中异常形态包括原地打转，前后短距离往复移动，左右短距离摇摆移动等影响机器人在运行路径上正常移动的形态；运行场景是指执行任务所在的环境，例如餐馆、酒店等；运行任务是指机器人所要执行的任务，包括送餐、运货等。
46.以上数据均按照时间的先后顺序保存为机器人的日志文件。
47.s202、确定机器人异常运行的计时时刻；
48.通过日志回放，根据所述日志文件中的所述机器人的位姿数据、传感器数据、障碍物地图、运行路径和运行状态数据，确认机器人发生异常运行的时刻，或者，从用户上报的异常信息中获取机器人发生异常运行的时刻，并将机器人发生异常运行的时刻减去预设时长得到该计时时刻。
49.s203、在该第一场景重建数据中选取第二场景重建数据，该第二场景重建数据包括在该计时时刻之后产生的机器人的位姿数据、传感器数据和障碍物地图；
50.将该计时时刻及其之后产生的位姿数据、传感器数据和障碍物地图等在内的场景重建所需数据从第一场景重建数据中筛选出来，作为场景重建算法的输入数据。
51.s204、根据预设的场景重建算法以及该第二场景重建数据，进行发生机器人异常运行的场景的重建，得到包含机器人异常运行的信息的场景图；
52.利用预设的gazebo仿真器，以及，在该计时时刻之后产生的机器人的位姿数据、传感器数据和障碍物地图，重建发生所述机器人异常运行的场景图，该场景图中通显示该机器人异常运行的信息。
53.传感器数据可包括：惯性测量单元提供的线性加速度，角速度；大气计提供的机器人高度；指南针提供的方向数据；定位系统提供的经度、纬度和高度数据；摄像装置通过的前方图像；声纳传感器提供的检测前方障碍物数据；激光雷达测距数据；深度摄像装置提供的深度数据等等。
54.位姿数据、传感器数据和障碍物地图包括但不限于上述实施例中的描述，具体以gazebo仿真器的计算需要为准，gazebo仿真器的具体计算原理及计算过程，参见相关公知常识和教程资料，此处不做赘述。
55.s205、在重建的场景中，调用修正的机器人路径规划算法模拟该机器人运行，并根据该机器人的运行状态验证修正的机器人路径规划算法；
56.在完成场景重建后，通过该场景中机器人的异常运行状态，分析得到该机器人异常运行的原因，根据该原因，对机器人当前的路径规划算法进行修正，使得机器人在使用该修正的路径规划算法时，不会再出现上述的异常运行状态。
57.利用预设的场景重建算法，根据机器人实时记录位姿数据、传感器数据、障碍物地图、运行路径和运行状态数据以及修正后的路径规划算法，复现在该场景中，机器人使用修正的机器人路径规划算法重新规划路径，是否解决了上述的异常运行状态，若没解决，则再次修正路径规划算法，再次通过该场景重建算法复现该场景下机器人是否还会出现异常运行状态，直到机器人不再出现异常运行状态，则路径规划算法修正成功。
58.其中，机器人在重建的场景中运行的起点为机器人在计时时刻所处位置，该修正的的机器人路径规划算法是根据在重建的所述场景中分析得到的该机器人异常运行的原因，对所述机器人当前的路径规划算法进行修正后得到的算法。
59.还可以根据获取的机器人日志文件，分析其中的数据，构建与该类型机器人容易发生问题但尚未出现问题的场景，例如构建比现有场景更复杂的障碍物位置、数量、执行任务内容等，利用该预设的场景重建算法得到该场景的仿真场景，在该仿真场景里若出现机器人运行异常，则根据该异常运行的信息修正机器人的路径规划算法，并通过该场景重建算法验证修正后的路径规划算法是否解决了机器人运行异常的问题，如果解决了，则算法修正成功，如果没解决，则重新对路径规划算法修正后，再次进行验证，直到算法修正成功。
60.上述在终端上利用场景重建算法对机器人的路径规划算法进行修正并验证，而无需将修正后的该算法写入到实际的机器人中，并在实际场景中运行，可以极大的提高解决机器人路径规划问题的效率。另外，机器人出现异常运行状态与当时场景相关，在实际场地运行时不一定会必然出现该异常运行状态，但是在终端上且验证了在该场景下，修正后的路径规划算法验证成功，那么该在实际场地上，机器人使用修正后的路径规划算法不会出现异常运行状态，更有效率的保证了机器人正常运行。
61.需要说明的是，机器人的路径规划算法不仅仅包括路径规划，还可以包括避障、稳定、调度等等各个方面的子算法，即机器人可以通过路径规划算法实现整个运行。在具体场景中，也可以针对性对路径规划算法中某个子算法进行修正，这里不做限定。
62.s206、保存修正后的机器人异常运行的数据。
63.具体地，保存该包含该机器人异常运行的信息的场景图，以及保存与该场景图对应的在该机器人异常运行的计时时刻之后的该日志文件中的该机器人的位姿数据、传感器数据、障碍物地图、运行路径和运行状态数据。
64.将上述数据作为历史案例保存，在将来做场景复现有需要时，再调出来作为机器人路径规划算法修正的数据参考。
65.以上各步骤的技术细节，参见前述图2所示实施例的描述，此处不再赘述。
66.需要说明的是，在另一个实施例中，在确定机器人异常运行的计时时刻之后，有两种方式可以得到机器人异常运行的信息，一种是步骤s204～s205，通过场景重建的方式；另一种是通过日志回放的方式。
67.通过日志回放，分析在机器人异常运行的计时时刻之后的日志文件中的机器人的位姿数据、传感器数据、障碍物地图、运行路径和运行状态数据，得到机器人异常运行的信息，该信息包括机器人异常运行时的位置信息、朝向信息、障碍物信息等；
68.若通过日志回放，无法得到机器人异常运行的信息，则执行步骤s203。其他步骤与图2所示实施例相同。
69.本技术实施例中，当机器人发生异常运行时，获取发生异常运行的任务产生的第一场景重建数据，包括机器人的位姿、传感器和障碍物地图等数据，确定发生异常运行的计时时刻，并将第一场景重建数据中该计时时刻之后产生的机器人位姿、传感器和障碍物地图等数据作为第二场景重建数据，根据预设的场景重建算法和第二场景重建数据，对机器人异常运行的场景进行重建，复建当时的场景，得到包含当时机器人异常运行的信息的场景图，可以直观的判断出机器人异常运行的原因，该场景图可以成为解决机器人定位问题的依据，提高解决机器人运行异常以及定位的效率，并在重建出现问题时修正场景重建算法，对修正后的算法进行验证以及对修正后的算法相关的数据进行保存，进一步提高解决机器人运行异常以及定位的效率，以及优化了场景重建算法。。
70.参见图3，本技术一实施例提供的机器人异常运行的场景重建装置的结构示意图。为了便于说明，仅示出了与本技术实施例相关的部分。该装置可设置于终端中。该装置包括：
71.获取模块301，用于当机器人发生异常运行时，从机器人中获取第一场景重建数据，第一场景重建数据包括机器人的位姿数据、传感器数据和障碍物地图；
72.确定模块302，用于确定机器人异常运行的计时时刻，计时时刻为机器人异常运行的时刻之前的时刻；
73.选取模块303，用于在第一场景重建数据中选取第二场景重建数据，第二场景重建数据包括在计时时刻之后产生的机器人的位姿数据、传感器数据和障碍物地图；
74.重建模块304，用于根据预设的场景重建算法以及第二场景重建数据，进行发生机器人异常运行的场景的重建，得到包含机器人异常运行的信息的场景图。
75.本实施例中的技术细节参见前述各实施例的描述，此处不再赘述。
76.本技术实施例中，当机器人发生异常运行时，获取发生异常运行的任务产生的第一场景重建数据，包括机器人的位姿、传感器和障碍物地图等数据，确定发生异常运行的计时时刻，并将第一场景重建数据中该计时时刻之后产生的机器人位姿、传感器和障碍物地图等数据作为第二场景重建数据，根据预设的场景重建算法和第二场景重建数据，对机器人异常运行的场景进行重建，复建当时的场景，得到包含当时机器人异常运行的信息的场景图，可以直观的判断出机器人异常运行的原因，该场景图可以成为解决机器人定位问题的依据，提高解决机器人运行异常以及定位的效率。
77.参见图4，本技术一实施例提供的机器人异常运行的场景重建装置的结构示意图。为了便于说明，仅示出了与本技术实施例相关的部分。该装置可设置于终端中。该装置相对于图3所示实施例，有以下不同之处：
78.获取模块301，还用于当机器人发生异常运行时，从机器人发生异常运行的任务的日志文件中获取第一场景重建数据，日志文件中还包括机器人实时记录的运行路径和运行状态数据，运行状态数据包括机器人实时的运行形态、运行场景和运行任务的数据。
79.确定模块302，还用于通过日志回放，根据日志文件中的机器人的位姿数据、传感器数据、障碍物地图、运行路径和运行状态数据，确认机器人发生异常运行的时刻，或者，从用户上报的异常信息中获取机器人发生异常运行的时刻；以及，将时刻减去预设时长得到计时时刻。
80.该装置还包括分析模块401，用于通过日志回放，分析在机器人异常运行的计时时刻之后的日志文件中的机器人的位姿数据、传感器数据、障碍物地图、运行路径和运行状态数据，得到机器人异常运行的信息；
81.若通过日志回放，无法得到机器人异常运行的信息，则触发重建模块304执行根据预设的场景重建算法以及第二场景重建数据，进行发生机器人异常运行的场景的重建，得到包含机器人异常运行信息的场景图的步骤。
82.进一步地，重建模块304，还用于利用预设的gazebo仿真器，以及，在计时时刻之后产生的机器人的位姿数据、传感器数据和障碍物地图，重建发生机器人异常运行的场景图，场景图中通显示机器人异常运行的信息。
83.该装置还包括：修正模块402，用于在重建的所述场景中，调用修正的机器人路径规划算法模拟所述机器人运行，并根据所述机器人的运行状态验证所述修正的机器人路径规划算法；
84.其中，所述机器人在重建的所述场景中运行的起点为所述机器人在所述计时时刻所处位置，所述修正的的机器人路径规划算法为根据在重建的所述场景中分析得到的所述机器人异常运行的原因，对所述机器人当前的路径规划算法进行修正后得到的算法。
85.保存模块403，用于保存包含机器人异常运行的信息的场景图，以及保存与场景图对应的在机器人异常运行的计时时刻之后的日志文件中的机器人的位姿数据、传感器数据、障碍物地图、运行路径和运行状态数据。
86.本实施例中的技术细节参见前述各实施例的描述，此处不再赘述。
87.本技术实施例中，当机器人发生异常运行时，获取发生异常运行的任务产生的第一场景重建数据，包括机器人的位姿、传感器和障碍物地图等数据，确定发生异常运行的计时时刻，并将第一场景重建数据中该计时时刻之后产生的机器人位姿、传感器和障碍物地图等数据作为第二场景重建数据，根据预设的场景重建算法和第二场景重建数据，对机器人异常运行的场景进行重建，复建当时的场景，得到包含当时机器人异常运行的信息的场景图，可以直观的判断出机器人异常运行的原因，该场景图可以成为解决机器人定位问题的依据，提高解决机器人运行异常以及定位的效率，并在重建出现问题时修正场景重建算法，对修正后的算法进行验证以及对修正后的算法相关的数据进行保存，进一步提高解决机器人运行异常以及定位的效率，以及优化了场景重建算法。
88.如图4所示，本技术实施例还提供了一种电子装置，包括存储器100和处理器200，
处理器200可以是上述实施例中的机器人异常运行的场景重建装置中的处理模块304。存储100例如硬盘驱动存储器，非易失性存储器(例如闪存或用于形成固态驱动器的其它电子可编程限制删除的存储器等)，易失性存储器(例如静态或动态随机存取存储器等)等，本技术实施例不作限制。
89.存储器100存储有可执行程序代码；与存储器100耦合的处理器200，调用所述存储器中存储的所述可执行程序代码，执行如上所述的机器人异常运行的场景重建方法。
90.进一步的，本发明实施例还提供了一种计算机可读存储介质，该计算机可读存储介质可以是设置于上述各实施例中的终端中，该计算机可读存储介质可以是前述图4所示实施例中的存储器100。该计算机可读存储介质上存储有计算机程序，该程序被处理器执行时实现前述图1和图2所示实施例中描述的机器人异常运行的场景重建方法。进一步的，该计算机可存储介质还可以是u盘、移动硬盘、只读存储器(rom，read-onlymemory)、ram、磁碟或者光盘等各种可以存储程序代码的介质。
91.需要说明的是，对于前述的各方法实施例，为了简便描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其它顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定都是本发明所必须的。
92.在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其它实施例的相关描述。
93.以上为对本发明所提供的机器人异常运行的场景重建方法、装置、电子装置和计算机可读存储介质的描述，对于本领域的技术人员，依据本发明实施例的思想，在具体实施方式及应用范围上均会有改变之处，综上，本说明书内容不应理解为对本发明的限制。