一种面向3C的复杂操作技能知识库构建方法

本发明属于数据处理领域。

背景技术：

1、随着信息技术的高速发展，人们对计算机类、通信类和消费类电子产品(3c产品)的需求不断增加。现有的3c装配中刚性零件的智能装配已经基本实现，柔性可变形零件尤其是可变线性物体(dlo)的装配还只能依靠人工装配，也无法实现不同产线的切换和迁移。

2、在3c装配行业中仍需要通过构建智能化柔性装配生产线来解决柔性装配出现的物料异性且易变形、装配工艺复杂等难题，提高装配精度和效率，实现智能化生产的需求，突破传统手工装配的局限，适应智能化装配的高速发展。

3、技能学习与发育是机器人实现精准控制与精细操作的重要手段，知识表达是技能学习的核心要素。当前面向装配场景的知识表达缺乏精准性和有效性，且机器人在智能装配的任务理解、动作控制、记忆、和拓展的新技能与任务等方面仍存在巨大挑战。

4、首先，需要依赖大量的技能知识(几何、物理、功能、工艺、数据等)来支持智能化装配的建模、规划、仿真、控制、优化等环节。现有的知识表示系统主要基于静态知识库，对机器人操纵的物体和行为的描述不够细致和灵活。而且，系统的结构设计不合理，导致查询效率低下。可以说，目前没有专业可用的操作技能知识库，且数据采集和分析困难。

5、由于数据缺乏、环境复杂和安全风险等问题直接实施智能装配策略通常是不可行。需要构建了基于该数字孪生环境的学习训练环境和智能算法的训练与测试平台，且该框架平台需要具有与真实场景一致的物理属性，将训练好的深度强化学习策略迁移到物理机器人。但是，目前操作技能从仿真环境到真实装配环境的虚实迁移存在理解任务能力弱、环境适应性差，执行效率低下的难题。需要提高机器人理解任务并学习技能的能力，增强面对多种复杂环境的适应性，提高执行效率，降低学习成本，提升其泛化能力。

6、其次，不同于人类可天然的可以从视频、自然语言中学习，提高语言指令来完成任务。机器人无法把语言和视觉观察联系起来，并实现细粒的理解学习。精准有效的知识表达方法不仅有助于提升机器人面对复杂装配任务的操作精准性以及记忆之前经验，还易于机器人实现对底层硬件的自动化编程。

7、因此，如何拆分不同的知识表示层，便于机器人理解任务并进行技能学习，如何让机器人可以理解语言指令并且做出正确的学习和模仿，都是对于机器人来说仍然是一个不小的挑战。

技术实现思路

1、本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

2、为此，本发明的目的在于提出一种面向3c的复杂操作技能知识库构建方法，用于构建机器人装配技能知识库。

3、为达上述目的，本发明第一方面实施例提出了一种面向3c的复杂操作技能知识库构建方法，包括：

4、构建智能化装配产线；

5、基于所述智能化装配产线，构建多模态虚拟环境；在多模态虚拟环境中，建立包含视觉、触觉、深度的感知模型，实现对多模态示教数据的采集；

6、对所述多模态示教数据进行多层次多级化解析；

7、根据所述解析的结果构建机器人装配技能知识库。

8、另外，根据本发明上述实施例的一种面向3c的复杂操作技能知识库构建方法还可以具有以下附加的技术特征：

9、进一步地，在本发明的一个实施例中，所述智能化装配产线，包括：

10、循环产线协同装配控制单元、循环导轨控制单元、3c柔性手机载具台上下料装配单元、3c柔性手机软排线的智能装配单元、3c柔性手机前置摄像头的智能装配单元、3c柔性手机sim卡槽的智能装配单元、3c柔性手机同轴缆的智能装配单元。

11、进一步地，在本发明的一个实施例中，所述对所述多模态示教数据进行解析，包括：

12、将所述多模态示教数据划分为区域层、智能体层、实体层、任务层、技能层、动作层、认知层、感知层八个层次，得到所述多模态示教数据的多层次知识表示结构；

13、其中区域层存储机器人实际操作过程中的环境与区域知识；实体层存储机器人实际操作过程中的操作对象，及不同对象之间的关系；智能体层存储机器人实际操作过程中的机器人、传感器、末端执行器和相关配置；任务层存储机器人实际操作过程中的目标与任务；技能层存储机器人实际操作过程中的运动规划，序列化的技能组合可以完成一个任务；动作层存储机器人实际操作过程中所能执行的最小动作单元；认知层存储机器人实际操作过程中涉及到各层次示教数据之间的空间关系，时序关系和属性关系；感知层实时存储机器人实际操作过程中感知到的机器人，环境和操作实体的状态和属性信息。

14、在所述多层次知识表示结构的基础上，优化机器人操作技能的多级化知识表达，划分为本体、母模板、子模板三个级次；

15、其中所述本体级次是静态环境层和动态操作层的语义知识集合，不体现层次知识之间的关联和时序关系，所述母模板级次是面向某一大类操作任务，在相关的语义知识基础上增加必要的逻辑关系，表示的是抽象的动作序列，所述子模板是在所述母模板基础上例化而来，面向具体的操作任务，表示具体的动作序列，每一个动作序列都带有具体的执行参数。

16、进一步地，在本发明的一个实施例中，还包括对所述动作层进行参数化和对所述任务层进行编码化：

17、将所述动作层的数据划分按接触类型、施力方向和运动维度进行分类，并根据类型赋予动作相应的参数表征；其中，位置和位移量属性采用[x,y,z]的三维坐标参数表征，旋转角属性采用[x,y,z,w]的四维坐标参数表征，力、时间和速度属性均采用浮点型数据表示，方向的属性采用向量表征；

18、将所述任务层的数据采用2位的二进制编码表示任务节点，用6位二进制数表示具体的动作；其中，所述节点的编码中00表示任务的开始，01表示下一个动作以及11表示任务结束，所述动作的编码中前两位用于识别动作类型，后四位是对运动的轨迹类型和空间位置进行编码，对应着空间坐标系中x轴、y轴、z轴、旋转运动。

19、将所述认知层的数据采用8位的二进制编码表示各层次知识节点，用16位二进制数表示具体的节点关系，其中所述节点的编码前8位用于识别节点类型，后8位是对节点之间的关系进行编码，对应着空间关系，时序关系和属性关系。

20、进一步地，在本发明的一个实施例中，还包括：

21、在多层次知识表示结构基础上分析零件装配逻辑和任务时序逻辑，其中，所述任务时序逻辑包括不同任务之间的时序逻辑、同步逻辑或组合逻辑，所述时序逻辑特指相邻任务之间存在操作时间上的顺序关系，所述同步逻辑指两个或多个任务是同时进行操作的，所述组合逻辑指的是某个任务可以由其他几个任务组合完成。

22、进一步地，在本发明的一个实施例中，还包括：

23、在多层次知识表示结构基础上分析多智能体协同关系，其中所述多智能体协同关系包括各节点之间的时序关系、同步关系和主从关系，所述时序关系表示动作之间存在先后执行关系，所述同步关系表示多智能体之间可以同时开始某些动作，所述主从关系表示多智能体合作完成同一零件的装配。

24、进一步地，在本发明的一个实施例中，还包括：

25、在多层次知识表示结构基础上分析操作状态切换规则，其中，所述状态切换规则包含6种状态，不同动作的执行结果会导致对应的状态转移；状态1为“待机状态”，如开机或等待后续指令时为待机状态；状态2用于判断是否存在可操作实体，若存在则获取该实体名称、位置、姿态等相关特征属性，若不存在操作实体则返回状态1；状态3用于判断是否达到操作的先决条件，比如末端执行器、传感设备，位置条件是否合适，如果达到执行条件则进入状态4，如果条件不满足则重新执行该动作；状态4用于判断操作后是否达到阶段状态，比如零件是否正确组装，位置是否正确，力条件是否满足，若达到阶段目标则进入状态5，否则重新执行操作直到达到目标；状态5用于判断是否启动状态恢复，如操作未达成指定目标是回归初始执行状态；状态6用于判断是否达到任务目标状态，如果达成则回归待机状态；通过对动作所能达到的状态进行判断可以实现机器人操作中的纠错和自主检测目标状态的功能。

26、为达上述目的，本发明第二方面实施例提出了一种面向3c的复杂操作技能知识库构建装置，包括以下模块：

27、第一构建模块，用于构建智能化装配产线；

28、转换模块，用于基于所述智能化装配产线，构建多模态虚拟环境；在多模态虚拟环境中，建立包含视觉、触觉、深度的感知模型，实现对多模态示教数据的采集；

29、解析模块，用于对所述多模态示教数据进行多层次多级化解析；

30、第二构建模块，用于根据所述解析的结果构建机器人装配技能知识库。

31、为达上述目的，本发明第三方面实施例提出了一种计算机设备，其特征在于，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现如上所述的一种面向3c的复杂操作技能知识库构建方法。

32、为达上述目的，本发明第四方面实施例提出了一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如上所述的一种面向3c的复杂操作技能知识库构建方法。

33、本发明实施例提出的面向3c的复杂操作技能知识库构建方法，实现了不同类型知识的分层解耦，将静态知识和动态知识两个维度，从场景层、智能体层、实体层、任务层、技能层、动作层、认知层、感知层八个层次出发，对机器人装配操作技能知识进行全面地有效地精准地表示，对于装配知识推理和机器人的技能学习与发育有良好的帮助。