用于人形机器人的多模态智能识别与行为控制方法及系统

本发明涉及机器人制造控制，具体为用于人形机器人的多模态智能识别与行为控制方法及系统。

背景技术：

1、随着科技发展，人形机器人越来越频繁地出现在人们的日常生活和工作中，机器人的研究、设计、生产已经成为一个很重要的产业，如一些高危工作，或是需要人形机器人起到教育、陪伴作用的场景，因此也对机器人的要求越来越高。在人形机器人中，为了应对越来越高的要求，实现尽可能对人类型态的仿真，需要提高机器人的自由度，并尽可能减小体积以实现与人形体态的类似。

2、但现有技术中，目前在人形机器人的多模态智能识别与行为控制作用过程中，由于人形机器人需要能够实时地感知环境、识别物体并做出反应，但多模态智能识别与行为控制系统的实时性和稳定性可能受到限制，无法有效保障整体调控系统的响应速度和稳定性，会造成复杂的人形机器人在实际操作中，存在整体行为智能化程度不足以满足使用需求，因此就需要提出用于人形机器人的多模态智能识别与行为控制方法及系统。

技术实现思路

1、本发明的目的在于提供用于人形机器人的多模态智能识别与行为控制方法及系统，以解决上述背景技术提出在人形机器人的多模态智能识别与行为控制作用过程中，由于人形机器人需要能够实时地感知环境、识别物体并做出反应，但多模态智能识别与行为控制系统的实时性和稳定性可能受到限制，无法有效保障整体调控系统的响应速度和稳定性，会造成复杂的人形机器人在实际操作中，存在整体行为智能化程度不足以满足使用需求的问题。

2、为实现上述目的，本发明提供如下技术方案：用于人形机器人的多模态智能识别与行为控制系统，包括驱动机体，所述驱动机体的顶部安装设置轴心角度调节组件，所述轴心角度调节组件的顶部安装设置上肢架中控台，所述驱动机体的底端安装设置信号控制调节组件；

3、所述信号控制调节组件包括同步转盘，所述同步转盘安装在驱动机体的底端表面，所述同步转盘的底部紧固连接有连接架构，所述连接架构的侧端内嵌分别安装设置步态运动控制器和dsp控制器，所述步态运动控制器的侧端连接有控制线路，所述步态运动控制器通过控制线路和dsp控制器进行电性连接，所述dsp控制器的侧端串口连接设置惯性测量单元，所述惯性测量单元的顶部连接有交互线路，所述交互线路的侧端连接设置光纤线路，所述交互线路的侧端和驱动机体内部的处理器进行连接设置，所述连接架构的侧端架设紧固安装激光雷达，所述激光雷达的侧端连接设置有连接三分接线路，所述激光雷达通过连接三分接线路依次分别和步态运动控制器、dsp控制器与惯性测量单元连接设置，所述激光雷达的前侧端安装设置深度交互摄像头，所述深度交互摄像头的顶端连接有输送线路，所述输送线路和光纤线路的侧端均与驱动机体内部的控制单元连接设置，所述控制单元和dsp控制器通过can线路连接设置。

4、优选的，所述驱动机体的底前侧两端对称安装设置下肢架前足调节组件，所述下肢架前足调节组件的边侧设置安装下肢架补偿调节组件，所述上肢架中控台的前端安装设置观测端，所述上肢架中控台的顶端左右两侧对称安装设置连接臂架，所述连接臂架的侧端安装设置自动轴臂，所述自动轴臂的侧端设置上臂调节组件。

5、优选的，所述下肢架前足调节组件包括控制连接架，所述控制连接架的底端安装设置电动转动座，所述电动转动座的底端安装设置液压肢架，所述液压肢架的底端连接设置受力座，所述受力座的侧端紧固连接有连接抵块，所述连接抵块的侧端外部设置安装承载柱架，所述承载柱架的两侧表面开设有竖槽，所述连接抵块在竖槽的内部滑动连接，所述承载柱架的底端两侧安装设置测距传感器，所述承载柱架的底部紧固连接有足底连接板，所述足底连接板的侧端铰接有调向电动轴节，所述调向电动轴节的底部紧固连接有受力连接架，所述受力连接架的底端紧固安装调节受力轮，所述足底连接板的前端安装设置接触反馈传感器，所述接触反馈传感器的顶端连接设置反馈控制导线，所述接触反馈传感器通过两根导线和测距传感器并联，所述足底连接板的底部安装设置有机械足。

6、优选的，所述下肢架补偿调节组件包括连接柱，所述连接柱的顶端和控制连接架紧固安装设置，所述连接柱的底部安装设置轴向转动轨盘，所述轴向转动轨盘的侧端安装设置轴向控制电机，所述轴向转动轨盘的底端安装设置转架。

7、优选的，所述转架的底端紧固连接有连接架轴，所述连接架轴的侧端安装设置支撑柱，所述支撑柱的内部安装设置倾斜灵敏度传感器，所述连接架轴在支撑柱的边侧内部滑动，并和倾斜灵敏度传感器接触设置，所述支撑柱的底部紧固连接有足架板，所述足架板的侧端铰接有电动转轴架，所述足架板的底部安装设置补偿机械足，所述足架板的底部侧端安装设置橡胶轮。

8、优选的，所述轴心角度调节组件包括高精度角度电机，所述高精度角度电机的输出端外部安装设置正反转动调节器，所述高精度角度电机的输出端连接设置转向蜗杆，所述转向蜗杆的侧端啮合连接有轴心调节蜗轮，所述轴心调节蜗轮的轴心端穿插连接有中心轴柱，所述中心轴柱的外部安装设置转动盘，所述转动盘的外部周侧安装设置转动环形轨，所述转动环形轨的顶部边侧和上肢架中控台的底端边侧连接设置。

9、优选的，所述上肢架中控台的顶部安装设置温控散热器，所述温控散热器的侧端连通设置液冷循环管，所述上肢架中控台的内部安装设置分级控制组，所述液冷循环管的底端和上肢架中控台的表面插接设置，且位于分级控制组外部周侧进行循环冷却作业。

10、优选的，所述驱动机体的前侧表面安装设置集成单片机，所述驱动机体的背侧安装设置高效供能蓄电池，所述观测端由视觉传感器、声音传感器、麦克风和交互端组成，所述观测端通过线路和集成单片机连接设置。

11、优选的，所述上臂调节组件包括上肢臂角度调节座，所述上肢臂角度调节座的侧端连接设置连接承载调节架，所述连接承载调节架的前端安装设置机械轴动调节结构，所述机械轴动调节结构的内部安装设置角度控制器，所述机械轴动调节结构的侧端安装设置轴节端，所述机械轴动调节结构的侧端连接有控制调节线路，所述机械轴动调节结构的侧端安装设置承载传感器，所述轴节端的前端安装设置柔性连接端，所述柔性连接端的外部安装设置仿生四指机械爪，所述仿生四指机械爪的前侧指端均安装设置次级接触传感器。

12、用于人形机器人的多模态智能识别与行为控制方法，包括以下步骤：

13、s1、首先，利用驱动机体对下肢架前足调节组件和下肢架补偿调节组件在信号控制调节组件配合下进行控制作业，并利用上肢架中控台对连接臂架、自动轴臂和上臂调节组件在信号控制调节组件配合下同步控制作业，使得驱动机体和上肢架中控台形成分级联控作业，且在集成单片机配合下，形成智能化行为控制调节；

14、s2、接着，当下肢架前足调节组件进行行为控制作业时，使得下肢架补偿调节组件根据下肢架前足调节组件的运动形体进行补偿稳定调节作业；

15、s3、再接着，利用轴心角度调节组件，便于在作业时，可以根据作业需求进行轴向调节，使得上肢架中控台带动连接臂架、自动轴臂和上臂调节组件控制调节；

16、s4、之后，整体再次利用信号控制调节组件进行多模态智能识别与行为控制，并及时发送控制指令信号至下肢架前足调节组件、下肢架补偿调节组件、上臂调节组件和轴心角度调节组件，进行基于深度强化学习的机械臂控制算法让整体轴节进行复位，等待下一步操作。

17、与现有技术相比，本发明的有益效果是：

18、1、本发明中，通过在信号控制调节组件配合下，使得步态运动控制器通过控制线路与dsp控制器进行通信和控制，利用dsp控制器进行处理传感器数据、执行控制算法，并输出控制信号以实现对步态运动控制器的精确控制，通过这种方式，使得步态运动控制器可以根据dsp控制器的指令来调整步态运动的参数和行为，且在步态控制作业中，根据激光雷达和深度交互摄像头配合下，使得可以提供更丰富的环境深度信息，来为整体装置的操作更准确地感知周围环境，并获取环境的三维点云数据，使得整体装置实现精确的环境感知和导航控制，形成精确控制，来实现更灵活和智能的步态控制，进而有效保障整体调控系统的响应速度和稳定性，提高整体操作的使用性。

19、2、本发明中，通过在下肢架前足调节组件和下肢架补偿调节组件配合下，利用控制连接架使得电动转动座进行调节，便于使得液压肢架带动足底连接板、受力连接架和机械足形成步态交错操作，并在受力座、连接抵块、承载柱架和竖槽配合下，使得连接抵块在竖槽内部根据所操作时行走的步态姿势进行受力调节，且在接触反馈传感器配合下，便于当整体装置在限制范围内部进行操作时，可以通过反馈控制导线使得测距传感器将所检测反馈的数据无线输送至步态运动控制器和dsp控制器中，便于进行下一步调整作业，且根据所采集的画面数据，可以通过电动转动座带动受力连接架和调节受力轮进行角度转动，使得根据地形进行移动方式调节，接着当控制连接架作业时，轴向控制电机同步进行启动，根据测距传感器和接触反馈传感器的数据反馈，便于带动轴向转动轨盘转动，进而使得转架带动连接架轴进行微调，当连接架轴微调转动时，同步使得足架板、电动转轴架和橡胶轮进行交错步态行走操作，且使得电动转轴架和橡胶轮同步跟随调节受力轮的角度转动进行调节，形成稳固结构，并在倾斜灵敏度传感器配合下，当行走时，连接架轴在支撑柱的边侧内部滑动，并和倾斜灵敏度传感器接触，进而根据整体装置行走时所产生的倾斜角及灵敏度进行反馈，便于连接架轴的微调转动角度进行精确控制，进一步对下肢架前足调节组件作业时进行补偿。

20、3、本发明中，通过在集成单片机和轴心角度调节组件配合下，基于所形成的分级联控作业，可进行集成式控制调节，从而可根据需求，进行基于深度强化学习的机械臂控制算法让整体轴节形成智能化行为控制操作，同步之后当需要调整所作业的目标时，启动高精度角度电机，在正反转动调节器的控制作业下，对高精度角度电机的转向角度进行控制，并使得转向蜗杆转动，进而使得轴心调节蜗轮带动中心轴柱和转动盘在转动环形轨内部转动，便于下肢结构形成固定，上肢结构形成调节，减少作业偏差。

21、4、本发明中，通过上臂调节组件配合下，当连接臂架和自动轴臂根据需求进行作业时，使得上肢臂角度调节座根据角度转动需求，进一步带动连接承载调节架进行调整，并在机械轴动调节结构和角度控制器的配合下，基于上述多级角度调控后，形成微角度调控，加强操作精细化，在承载传感器配合下，便于使得轴节端带动仿生四指机械爪和次级接触传感器根据目标的承载性进行轴节转动，形成托举夹持操作，减少承载负荷对整体轴节运转的影响。