一种基于多模式视觉系统的举高消防灭火方法及系统

本技术涉及消防灭火，具体地，涉及具有一种基于多模式视觉系统的举高消防灭火方法及系统。

背景技术：

1、火灾是指由于燃烧过程失控而引发的突发性灾害，这一灾害往往造成严重的人员伤亡和财产损失，对社会和经济造成巨大影响，举高消防灭火方法是现有灭火作业过程中常见的消防方法，举高臂的使用扩大了消防作业的维度，提高了高层建筑、储油罐等高大场所的灭火效率，为消防人员提供了有力的装备支持。

2、现有举高消防灭火方法的作业过程主要由消防人员完成，面临危化场景救援时，需要消防人员一同进入火灾场景，给消防人员等带来了不确定的威胁因素，降低了相关人员的安全保障。虽然，随着机器视觉技术的发展，使用视觉技术控制消防炮灭火作业，已经逐步成熟，但是消防炮多为固定在消防车或者消防机器人上，不具备大空间的扩展能力。举高臂可以使消防炮在更大的空间范围内灭火，因此具有更高效的灭火效率。而且，在使用视觉技术控制消防举高臂动作可以提高举高消防灭火系统的自动化程度，尤其是面临危化场景，举高消防灭火的自主能力尤为重要。

3、现有专利中，公开号为cn104127977b的专利提出了消防车定点展开控制方法、设备、系统以及消防车，采用视觉图形检测以及角度检测可以方便、快捷、准确地得到消防车梯架或臂架的俯仰变幅角、转动变幅角度以及伸长长度等主要参数，使得消防车可以快速准确的定点展开。该专利的保护重点在于假设期望点已经给出，举高臂架如何快速到达目标点，然而，目标点的位置如何得到并未给出。

4、公开号为cn109157782b的专利提出了一种举高消防车系统、方法及举高消防车，通过搭载有摄像油头无人机，在不同角度拍摄火场，并记录摄像头的角度变化，然后推导出无人机距离火场的垂直高度、水平移动后距离火场的移动距离以及为消防车距离火场的水平距离等，控制臂架到所述火场上方以喷射灭火剂，该专利主要是使用无人机确定火场距离消防车的距离，然后控制机械臂。然而，在无人机上的摄像头不同于搭载在举高臂上的摄像头，其控制策略不尽相同，此外，实际灭火时，机械臂不一定需要到达火场的上方才可以灭火，需要根据具体的策略确定末端消防炮在空间中的位置，同时公开号为cn109276831a的专利提出了举高消防车灭火系统、方法以及举高消防车，采用的方法类似，区别在于所述无人机搭载了双目摄像头，具备深度测量功能，但是问题仍然存在。

5、公开号为cn112870595b的专利提出一种举高消防机器人控制方法、装置及系统，根据已知的目标高度，联合控制塔臂、联动臂、主臂和伸缩臂，调节消防炮举高高度，使消防炮高度对准消防目标，然后控制消防炮粗对准目标，获取消防炮的喷射轨迹，计算落地点与目标的距离值，根据距离值控制消防炮的俯仰角及消防炮台与伸缩臂关节旋转角度。该专利得到主要重点在于消防炮的对准，举高臂的动作为消防炮的动作服务，虽然已经使用了射流轨迹作经调整，但是并未公开举高臂与消防炮粗对准时的联合期望角度求解方法以及需要考考虑的影响因素。

6、公开号为 cn115708940a的专利提出一种自主溯源消防机器人，其搭载了一个三自由度机械臂，具备双目视觉传感器、红外图像传感器、激光雷达等，双目视觉传感器识别火点及坐标，根据火点坐标控制消防炮头对准火点，同时激光雷达用于实现自主避障。由于搭载的机械臂较为简单，且体型简单，该专利公开的方法中不涉及臂架的自主展开，其灭火作业主要考虑消防炮动作，未考虑机械臂的联动。该专利公开的设备中搭载了多种类型的传感器，但是公开方法并没有将多个传感器用于机械臂的作业中。

7、综上所述，现有技术存在的问题如下：

8、1.消防车虽然可以快速准确的定点展开，假设期望点已经给出，但是，举高臂架如何快速展开到达的目标点不明确，展开策略简单；

9、2.消防车主要是使用无人机确定火场距离消防车的距离，然后控制机械臂，实际灭火时，机械臂不一定需要到达火场的上方才可以灭火，不能根据具体的策略确定机械臂末端消防炮在空间中的位置；

10、3.举高消防机器人，虽然，已经使用了射流轨迹作经调整，但是，并未公开举高臂与消防炮粗对准时的联合期望角度求解方法以及需要考考虑的影响因素；

11、4.消防机器人，在灭火作业时，主要考虑消防炮动作，未考虑传感器与机械臂的联动，导致机械臂在复杂环境中展开时容易触碰障碍物，安全性低。

12、因此，急需一种基于多模式视觉系统的举高消防灭火方法来解决上述出现的问题。

技术实现思路

1、针对现有技术存在的不足，本技术目的是提供一种基于多模式视觉系统的举高消防灭火方法及系统，以解决上述背景技术中提出的问题。

2、为了实现上述目的，本技术提供了一种基于多模式视觉系统的举高消防灭火方法，其中，多模式视觉系统包括举高臂末端感知系统、车体感知视觉系统、压力传感系统、流量传感系统和控制器，

3、举高消防灭火方法包括以下步骤：

4、s1、举高臂末端感知系统检测火点并将计算获得的该火点的空间位置传送至控制器获得期望灭火点；

5、s2、车体感知视觉系统对作业范围内进行扫描与环境建模，获得在作业范围内存在的若干障碍物位置坐标即障碍物的分布位置，并将若干障碍物位置坐标传送至控制器；

6、s3、压力传感系统、流量传感系统分别将检测的灭火剂出入口的压力数据、灭火剂出入口的流量数据传送至控制器以获得举高臂的关节变化对灭火剂出入口的压力数据、灭火剂出入口的流量数据进行影响的关系数据；

7、s4、控制器建立包括灭火剂射流姿态、举高臂以及消防炮的灭火剂射流轨迹模型以获得灭火剂射流落点的空间位置点，然后以灭火剂射流落点的空间位置点与期望灭火点的偏差小于一定阈值为目标，以举高臂的各臂关节角度为求解变量，基于若干障碍物的分布位置、举高臂的关节变化对灭火剂出入口的压力数据、灭火剂出入口的流量数据进行影响的关系数据为约束条件，建立优化目标函数，并对优化目标函数采用优化算法进行寻优获得举高臂的关节期望角度和消防炮的水平与俯仰关节角度；

8、s5、控制器基于获得的举高臂的关节期望角度和消防炮的水平与俯仰关节角度控制举高臂及消防炮的各个关节运动到期望角度位置，并通过车体感知视觉系统提供举高臂运动时的冗余安全保护；

9、s6、举高臂末端感知系统基于冗余安全保护进行火点追踪并确保火点始终出现在举高臂末端感知系统的检测视场内，到达期望角度位置后，控制器控制消防炮喷射灭火剂，打击火点，灭火成功后，选择下一火点，重复以上步骤。

10、优选的，获得期望灭火点包括以下步骤：

11、s11、基于举高臂末端感知系统中的上侧二自由度云台进行360°旋转带动其上的红外双目相机转动发现高温区域并映射到其上的监视相机的画面中获得火场像素区域a1，监视相机通过语义分割进行视野的计算以获得火灾在图像中的占比区域a2；

12、s12、监视相机基于得到的火场像素区域a1和火灾在图像中的占比区域a2计算图像交并比，如果结果大于阈值tfire，则确认该点为火点；

13、s13、基于确认的火点，将举高臂末端感知系统中的上侧二自由度云台上的自然光双目相机的视场、红外双目相机的视场映射到监视相机的视场中，形成多相机视场重叠映射区域，以多相机视场重叠映射区域的图像中心位置( u c, v c)为期望点，监视相机实时检测火点的图像位置( u f, v f)；

14、s14、在监视相机的视场下设置视觉伺服控制器，其中输入为多相机视场重叠映射区域的图像中心位置与监视相机实时检测火点的图像位置的偏差，输出为上侧二自由度云台的水平和俯仰转动速度，公式如下：，其中， k为整定系数，为图像逆雅可比矩阵；

15、s15、基于输出的上侧二自由度云台的水平和俯仰转动速度带动自然光双目相机、红外双目相机和监视相机转动，直至多相机视场重叠映射区域的图像中心位置与监视相机实时检测火点的图像位置的偏差为0后，火点出现在自然光双目相机和红外双目相机的视场中，并进行火点的空间定位得到自然光双目相机定位信息和红外双目相机定位信息，然后，采用加权方式对自然光双目相机定位信息和红外双目相机定位信息进行融合，得到火点的空间位置信息( x f ,y f ,z f)；

16、s16、控制器记录上侧二自由度云台的水平角度和俯仰角度以及火点的空间位置信息( x f ,y f ,z f)，并将火点的空间位置信息转换至举高臂的基座系下得到转换后的期望灭火点( x t ,y t ,z t)。

17、优选的，步骤s11中红外双目相机发现高温区域，通过下式映射到监视相机的画面中获得火场像素区域a1的公式如下：

18、，

19、其中，和 是红外双目相机的火点水平与垂直像素占比；和 是监视相机的火点水平与垂直像素占比，为监视相机的水平像素，为监视相机的垂直像，为红外双目相机和监视相机之间的距离，为红外双目相机的水平视场角，为红外双目相机的垂直视场角，为监视相机的水平视场角，为监视相机的垂直视场角，为火点的深度信息由红外双目相机获取。

20、优选的，步骤s16中将火点的空间位置信息转换至举高臂的基座坐标系下得到转换后的期望灭火点公式如下：，其中，[ x f,m ,y f,m ,z f,m]t为消防炮与上侧二自由度云台的空间位置偏差且t表示向量的转置，为根据举高臂结构推导的 dh运动学模型，反映了消防炮在举高臂基坐标系下的空间坐标。

21、优选的，步骤s2中获得若干障碍物位置坐标的具体步骤如下:

22、步骤s21、使车体感知视觉系统中的左侧边二自由度云台带动其上的左侧边激光雷达和左侧边相机旋转，使车体感知视觉系统中的右侧边二自由度云台带动右侧边激光雷达和右侧边相机旋转，从而对举高臂的作业范围内进行扫描与环境建模，获得在作业范围内存在的若干障碍物坐标即若干障碍物的分布位置。

23、优选的，步骤s3中获得举高臂的关节变化对灭火剂出入口的压力数据、灭火剂出入口的流量数据进行影响的关系数据的公式为：，其中，车体底盘入口灭火剂的压力 p in和流量 q in，消防炮出口压力 p out和流量 q out为输出，g为还函数，为根据举高臂结构推导的 dh运动学模型。

24、优选的，步骤s4中控制器建立灭火剂射流轨迹模型以获得灭火剂射流落点的空间位置点公式如下：

25、，其中，为射流轨迹方程，、分别为控制器记录上侧二自由度云台的水平角度和俯仰角度。

26、优选的，步骤s4中以灭火剂射流落点的空间位置点与期望灭火点的偏差小于一定阈值为目标，以举高臂的各臂关节角度为求解变量，基于若干障碍物的分布位置、举高臂的关节变化对灭火剂出入口的压力数据、灭火剂出入口的流量数据进行影响的关系数据为约束条件建立的优化目标函数的公式具体为：

27、 ，

28、其中， a、b、c、d为控制系数，条件1的定义为：灭火剂射流轨迹的三维空间轨迹与障碍物的空间坐标发生交叉。

29、优选的，步骤s5中的提供举高臂运动时的冗余安全保护具体步骤如下：

30、s51、控制器基于获得的举高臂的关节期望角度和消防炮的水平与俯仰关节角度控制举高臂及消防炮的各个关节运动到期望角度位置的过程中，车体感知视觉系统的左侧边二自由度云台带动左侧边激光雷达和左侧边相机旋转，车体感知视觉系统的右侧边二自由度云台带动右侧边激光雷达和右侧边相机旋转，实现实时对举高臂三维扫描，得到举高臂在空间中的实时位置信息parm，实时检测举高臂周边的障碍物，并通过传给控制器实时判断parm与的交并比；

31、s52、基本实时判断parm与的交并比，当大于0时，认为有碰撞损害风险，则举高臂停止运动，重新进行期望角度位置规划；

32、反之，继续运动。

33、优选的，步骤s6中举高臂末端感知系统基于冗余安全保护进行火点追踪并确保火点始终出现在举高臂末端感知系统的检测视场内具体步骤如下：

34、举高臂及消防炮的各个关节运动到期望角度位置的过程中，举高臂末端感知系统中的上侧二自由度云台上的自然光双目相机的视场、红外双目相机的视场映射到监视相机的视场中，形成多相机视场重叠映射区域，以多相机视场重叠映射区域的图像中心位置( u c, v c)为期望点，监视相机实时检测火点的图像位置( u f, v f)，并在监视相机下设置视觉伺服控制器以控制上侧二自由度云台转动，确保举高臂及消防炮的各个关节运动到期望角度位置的过程中，火点始终处于自然光双目相机、红外双目相机和监视相机的视场中。

35、一种基于多模式视觉系统的举高消防灭火系统，包括：

36、车体底盘、举高臂、多模式视觉系统、消防炮和控制器，车体底盘顶部设置有举高臂，举高臂的末端设置有消防炮，车体底盘顶部设置有控制器；

37、多模式视觉系统包括设置在举高臂末端上的举高臂末端感知系统和设置在车体底盘侧壁的车体感知视觉系统；

38、举高臂末端感知系统包括设置在举高臂末端的上侧二自由度云台，上侧二自由度云台的驱动轴顶部对称设置有一对自然光双目相机，上侧二自由度云台的驱动轴顶部对称设置有一对置于一对自然光双目相机之间的红外双目相机，上侧二自由度云台的驱动轴的顶部中心位置处设置有置于一对红外双目相机之间的监视相机；

39、车体感知视觉系统包括对称设置在车体底盘两侧壁的左侧边二自由度云台和右侧边二自由度云台；

40、左侧边二自由度云台顶部的驱动轴上设置有左侧边激光雷达和左侧边相机；

41、右侧边二自由度云台顶部的驱动轴上设置有右侧边激光雷达和右侧边相机；

42、车体底盘的灭火剂进口处、消防炮出口处和举高臂各臂的连接处均设置有压力传感系统和流量传感系统。

43、优选的，举高臂末端感知系统用于检测火点并将计算出该火点的空间位置传送至控制器得到期望灭火点；

44、车体感知视觉系统用于对作业范围内进行扫描与环境建模，确定在作业范围内存在的若干障碍物位置坐标即障碍物的分布位置，并将若干障碍物位置坐标传送至控制器；

45、压力传感系统、流量传感系统分别用于将检测的灭火剂出入口的压力数据、灭火剂出入口的流量数据传送至控制器以得到举高臂的关节变化对灭火剂出入口的压力数据、灭火剂出入口的流量数据进行影响的关系数据；

46、控制器用于建立灭火剂射流轨迹模型以得到灭火剂射流落点的空间位置点，然后以灭火剂射流落点的空间位置点与期望灭火点的偏差小于一定阈值为目标，以举高臂的各臂关节角度为求解变量，以障碍物的分布位置、举高臂的关节变化对灭火剂出入口的压力数据、灭火剂出入口的流量数据进行影响的关系数据为约束条件，建立优化目标函数，并对优化目标函数采用优化算法进行寻优得到考虑障碍物的分布位置、举高臂的关节变化对灭火剂出入口的压力数据、灭火剂出入口的流量数据进行影响的举高臂的关节期望角度和消防炮的水平与俯仰关节角度；

47、控制器用于根据得到的举高臂的关节期望角度和消防炮的水平与俯仰关节角度控制举高臂及消防炮的各个关节运动到期望角度位置，并通过车体感知视觉系统提供举高臂运动时的冗余安全保护，举高臂末端感知系统用于追踪火点并确保火点始终出现在举高臂末端感知系统的检测视场内，到达期望角度位置后，控制器控制消防炮喷射灭火剂，打击火点，灭火成功后，选择下一火点继续灭火操作。

48、根据本技术的一种基于多模式视觉系统的举高消防灭火方法及系统，能够对期望灭火点的位置进行确认，能够得到考虑障碍物的分布为位置、举高臂动作对流量和压力的影响的举高臂的关节期望角度和消防炮的水平与俯仰关节角度，使消防炮的灭火剂射流落点精确命中期望灭火点进行灭火，同时在举高臂运动的过程中考虑障碍物的分布并确保火点始终出现在举高臂末端感知系统的检测视场内，提高灭火的精度。