一种全天候违法行为自动化巡检方法及系统与流程

1.本发明涉及无人机技术领域，特别涉及一种全天候违法行为自动化巡检方法及系统。


背景技术：

2.特定场景下的违法行为实时检测以及取证一直以来是相关部门的痛点。目前常规的检测方式包括：1、人工巡检，其需要耗费大量的人力成本，而且随着工作时间的增加，人工判断的标准存在一定的不稳定性；2、采用高点固定摄像头对指定警戒区域进行监测，然后通过目标检测算法检测行人、船只等目标，并发送到指挥平台，根据目标是否处于警戒区域判断其是否为非法目标，但该方法中常规摄像头无法检测到夜间的违法行为，不能实现全天候监测，同时在远距离场景下，可能会存在摄像头初步识别出来的目标过小，导致检测的目标不清晰，无法取证等情况，其仍然需要进行人工确认，导致其检测效率低下，不能及时快速捕捉到非法行为并进行判断和取证。


技术实现要素：

3.本发明的目的在于提供一种全天候违法行为自动化巡检方法及系统，其可以在远距离场景下获取小目标的清晰图像信息，以此实现对小目标的准确检测，提高检测的准确度，同时减轻检测任务量，提高检测效率。
4.为解决上述技术问题，本技术提供以下技术方案：一方面，提供了一种全天候违法行为自动化巡检方法，其包括如下步骤：s1、确定警戒区域；s2、通过成像设备在不同姿态下实时获取n帧待检区域的图像，并对待检区域图像逐帧进行待检目标识别；s3、若从某一帧待检区域图像中首次识别出待检目标，则进一步判断该首次识别出的待检目标是否在所述警戒区域内，且若判断得出该待检目标在所述警戒区域内，则认定该首次识别出的待检目标进入警戒区域的行为为非法入侵行为，该首次识别出的待检目标为首次入侵目标；同时记录成像设备获取包含有该首次入侵目标的待检区域图像时的姿态信息，并将该首次入侵目标的图像信息以及成像设备获取包含有该首次入侵目标的待检区域图像时的姿态信息存储在非法入侵数据库中；s4、判断该首次入侵目标是否存在除入侵行为以外的其他违法行为；若存在，则将该首次入侵目标的图像信息以及成像设备获取包含有该首次入侵目标的待检区域图像时的姿态信息存储在对应的、除非法入侵数据库以外的其他违法行为数据库中；以及s5、依次对剩余帧待检区域图像逐帧进行待检目标识别，且在每次识别出待
检目标后，判断该次识别出的待检目标是否在所述警戒区域内，且若判断得出该待检目标在所述警戒区域内，则将该待检目标认定为入侵目标，且判断该入侵目标是否为首次出现在警戒区域内的目标；若判断得出该入侵目标为首次出现在警戒区域内的目标，则将该入侵目标的图像信息以及成像设备获取包含有该入侵目标的待检区域图像时的姿态信息存储在非法入侵数据库中。
5.优选的，步骤s2中，所述成像设备分时段实时获取待检区域的图像。
6.优选的，步骤s3中，根据待测目标的gps坐标和/或像素坐标判断待检目标是否在所述警戒区域内。
7.优选的，步骤s5中还包括：根据该入侵目标像素大小控制成像设备调整变焦倍数，以获取该入侵目标的图像信息，并将该入侵目标的图像信息发送至指挥中心等终端，以对其再次进行判断，以确定该入侵目标是否存在除入侵行为以外的其他违法行为。
8.优选的，步骤s5中还包括：若确定该入侵目标存在除入侵行为以外的其他违法行为，则将该入侵目标的图像信息以及成像设备获取包含有该入侵目标的待检区域图像时的姿态信息存储在对应的、除非法入侵数据库以外的其他违法行为数据库中。
9.优选的，步骤s5中，“判断该入侵目标是否为首次出现在警戒区域s内的目标”包括如下步骤：在违法行为数据库中确定若干参照目标；获取该入侵目标的特征信息f以及每一参照目标的特征信息f1,f2
…
,fi；其中，所述入侵目标的特征信息f以及每一参照目标的特征信息f1,f2
…
,fi均包括灰度特征、颜色特征等；分别对应计算入侵目标的特征信息f与每一参照目标的特征信息f1,f2
…
,fi之间的汉明距离d1,d2…
,di；根据公式计算入侵目标的特征信息f与每一参照目标的相似度 、 、... ，并将相似度最大值与预设的相似度阈值进行比较，若满足条件，则认定该入侵目标为首次出现在警戒区域内的目标。
10.优选的，“在违法行为数据库中确定若干参照目标”包括如下步骤：将某一帧待检区域图像中的待检目标认定为入侵目标的同时记录成像设备获取包含有该入侵目标的待检区域图像时的姿态信息；根据该成像设备获取包含有该入侵目标的待检区域图像时的姿态信息确定搜索范围；将所述违法行为数据库中的、且在所述搜索范围内的目标确定为参照目标。
11.优选的，步骤s4-s5中，若确定入侵目标存在除非法入侵以外的其他违法行为时，将入侵目标的图像信息进行保存，同时产生报警信息。
12.还提供一种用于实现上述自动化巡检方法的全天候违法行为自动化巡检系统，其包括：
成像设备，其用于在不同姿态下实时获取n帧待检区域的图像；识别单元，其连接所述成像设备，用于按照获取时间先后顺序对待检区域图像逐帧进行待检目标识别，从中识别出待检目标；入侵目标判断单元，其用于判断待检目标是否在所述警戒区域内，且若判断得出待检目标在所述警戒区域内，则将该待检目标认定为入侵目标；首次入侵判断单元，其连接所述入侵目标判断单元，用于判断该入侵目标是否为首次出现在警戒区域内的目标；调焦控制单元，其分别连接所述首次入侵判断单元和成像设备，用于在认定首次入侵目标后，并在依次对剩余帧待检区域图像逐帧进行待检目标识别，且将待检目标认定为入侵目标后，在判断得出该入侵目标为首次出现在警戒区域内的目标时产生调焦控制信号，并发送至成像设备，使得成像设备根据该入侵目标像素大小调整变焦倍数，以获取该入侵目标的图像信息；二次判断单元，其用于对通过调焦控制单元获取的入侵目标的图像信息进行再次判断，以确定该入侵目标是否存在除非法入侵以外的其他违法行为。
13.优选的，所述首次入侵判断单元还连接所述二次判断单元以及违法行为数据库，用于在依次对剩余帧待检区域图像逐帧进行待检目标识别，将待检目标认定为入侵目标后，且确定该入侵目标存在除非法入侵以外的其他违法行为时，将该入侵目标的图像信息以及成像设备获取包含有该入侵目标的待检区域图像时的姿态信息存储在对应的违法行为数据库中。
14.本发明的技术效果：本发明可在当待检目标被判断为首次出现在警戒区域的目标后，再根据可变焦成像设备获取待检目标的图像信息，以在远距离场景下获取小目标的清晰图像信息，并进一步进行二级检测，以此实现对小目标的准确检测，提高检测的准确度；同时，在判断该入侵目标是否为首次出现在警戒区域内的目标时，通过成像设备的姿态信息快速去重，由此可极大减少对于冗余重复目标的检测，减轻检测任务量，提高检测效率。
附图说明
15.图1是本发明全天候违法行为自动化巡检方法的总体流程图；图2是本发明警戒区域的示意图；图3是本发明全天候违法行为自动化巡检系统的结构示意图；图4是本发明首次入侵判断单元的结构示意图。
具体实施方式
16.为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地描述。
17.需要说明的是，本技术中的违法行为包括但不限于非法入侵、非法垂钓、非法滞留等，违法行为数据库包括非法入侵数据库，除非法入侵数据库以外的其他违法行为数据库，如非法垂钓数据库、非法滞留数据库等。
18.实施例1：请参照图1-2，本实施例提供一种全天候违法行为自动化巡检方法，其包括如下步
骤：s1、确定警戒区域s，且所述警戒区域s为闭环形式；具体的，本实施例中可根据gps坐标，在电子地图上划定警戒区域，或者，如图2所示，在图像上确定顶点，再连接顶点，以确定警戒区域；s2、通过成像设备在不同姿态下实时获取n帧待检区域的图像，并按照获取时间先后顺序对待检区域图像逐帧进行待检目标识别；其中，所述成像设备包括可见光摄像头和/或红外摄像头等可变焦成像设备，所述图像包括可见光图像和/或红外图像；所述待检目标包括人、动物、船只、机动车、非机动车等可移动目标；进一步的，“进行待检目标识别”的过程包括基于深度学习目标检测算法，通过大量采集数据集进行模型训练，以从待检区域图像中识别出对应的待检目标；s3、若从某一帧待检区域图像中首次识别出待检目标，则进一步判断该首次识别出的待检目标是否在所述警戒区域s内，且若判断得出该待检目标在所述警戒区域s内，则认定该首次识别出的待检目标进入警戒区域s的行为为非法入侵行为（违法行为的一种），该首次识别出的待检目标为首次入侵目标；同时记录成像设备获取包含有该首次入侵目标的待检区域图像时的姿态信息，并将该首次入侵目标的图像信息以及成像设备获取包含有该首次入侵目标的待检区域图像时的姿态信息存储在非法入侵数据库中；其中，所述姿态信息包括俯仰角和/或航向角；s4、通过算法检测等方式判断该首次入侵目标是否存在除入侵行为以外的其他违法行为，如非法垂钓、非法滞留等；若存在，则将该首次入侵目标的图像信息以及成像设备获取包含有该首次入侵目标的待检区域图像时的姿态信息存储在对应的、除非法入侵数据库以外的其他违法行为数据库中；例如，若判断得出该首次入侵目标还存在非法垂钓，则将该首次入侵目标的图像信息以及成像设备获取包含有该首次入侵目标的待检区域图像时的姿态信息存储在非法垂钓数据库中；由此，对于首次入侵目标而言，其同时存在非法入侵以及非法垂钓两种违法行为，因此，该首次入侵目标的图像信息以及成像设备获取包含有该首次入侵目标的待检区域图像时的姿态信息对应存储在入侵行为数据库以及非法垂钓数据库中；s5、按照获取时间先后顺序依次对剩余帧待检区域图像逐帧进行待检目标识别，且在每次识别出待检目标后，判断该次识别出的待检目标是否在所述警戒区域s内，且若判断得出该待检目标在所述警戒区域s内，则将该待检目标认定为入侵目标，且判断该入侵目标是否为首次出现在警戒区域s内的目标；若判断得出该入侵目标为首次出现在警戒区域s内的目标，则将该入侵目标的图像信息以及成像设备获取包含有该入侵目标的待检区域图像时的姿态信息存储在非法入侵数据库中；以及根据该入侵目标像素大小控制成像设备调整变焦倍数（如放大变焦倍数），以获取该入侵目标的图像信息，并将该入侵目标的图像信息发送至指挥中心等终端，以对其再次进行判断，以确定该入侵目标是否存在除入侵行为以外的其他违法行为，如非法垂钓、非法滞留等；若确定该入侵目标存在除入侵行为以外的其他违法行为，则将该入侵目标的图像信息以及成像设备获取包含有该入侵目标的待检区域图像时的姿态信息存储在对应的、除
非法入侵数据库以外的其他违法行为数据库中；其中，入侵目标的图像信息包括图片和/或视频，依次在剩余帧待检区域图像中进行待检目标识别以及判断该首次识别出的待检目标是否在所述警戒区域s内的方法参见步骤s2、s3、不再赘诉。
19.由此，本实施例中可通过成像设备获取待检目标的图像，且当待检目标被判断为首次出现在警戒区域的目标后，再根据可变焦成像设备获取待检目标的图像信息，以在远距离场景下获取小目标的清晰图像信息，并进一步进行二级检测，以此实现对小目标的准确检测，提高检测的准确度；同时入侵目标进行筛选，仅在确定入侵目标为首次进入警戒区域时才加入对应的数据库进行监控，以实现目标的快速去重，极大减轻工作运算量。
20.实施例2：本实施例与实施例1的不同之处仅在于，步骤s2中，所述成像设备搭载在无人机上，且分时段实时获取待检区域的图像，如白天开启可见光摄像头，晚上开启红外摄像头，由此实现对警戒区域s的全天候自动巡检监测，确保及时发现违法行为。
21.实施例3：本实施例与实施例1或2的不同之处仅在于，步骤s3中，根据待测目标的gps坐标和/或像素坐标判断待检目标是否在所述警戒区域s内，其中，gps坐标通过对地目标定位算法获得，像素坐标根据目标检测算法获得。
22.实施例4：本实施例与实施例1或2或3的不同之处仅在于，步骤s5中，“判断该入侵目标是否为首次出现在警戒区域s内的目标”包括如下步骤：在违法行为数据库（即非法入侵数据库和/或除非法入侵数据库以外的其他违法行为数据库）中确定若干参照目标；获取该入侵目标的特征信息f以及每一参照目标的特征信息f1,f2
…
,fi；其中，所述入侵目标的特征信息f以及每一参照目标的特征信息f1,f2
…
,fi均包括灰度特征和/或颜色特征；分别对应计算入侵目标的特征信息f与每一参照目标的特征信息f1,f2
…
,fi之间的汉明距离d1,d2…
,di；根据公式 计算入侵目标的特征信息f与每一参照目标的相似度 、 、... ，并将相似度最大值与预设的相似度阈值进行比较，若满足条件（如相似度最大值小于预设的相似度阈值），则认定该入侵目标为首次出现在警戒区域s内的目标，由此可仅对相似度满足条件的入侵目标进行后续的变焦、成像以及存入对应数据库的步骤，对相似度不满足条件的入侵目标则认定为重复目标，不进行后续步骤，由此可极大减少对于冗余重复目标的检测，减轻检测任务量，提高检测效率。
23.进一步的，“在违法行为数据库（即非法入侵数据库和/或除非法入侵数据库以外的其他违法行为数据库）中确定若干参照目标”包括如下步骤：将某一帧待检区域图像中的待检目标认定为入侵目标的同时记录成像设备获取包含有该入侵目标的待检区域图像时的姿态信息；根据该成像设备获取包含有该入侵目标的待检区域图像时的姿态信息确定搜索
范围（如俯仰角
±5°
范围）；将所述违法行为数据库中的、且在所述搜索范围内的目标确定为参照目标。
24.例如，首先进行步骤s3-s4，且认定某一帧待检区域图像中的a目标为首次入侵目标，且还有非法垂钓行为，则将a目标的图像信息以及成像设备获取包含有a目标的待检区域图像的姿态信息（如俯仰角12
°
）存储在非法入侵数据库以及存储在非法垂钓数据库中；对剩余帧待检区域图像依次逐帧进行待检目标识别，若识别出b目标，且将其认定为入侵目标，则同时记录成像设备获取包含有b目标的待检区域图像时的姿态信息，如此时成像设备的俯仰角为10
°
，即可将入侵目标与此时的成像设备姿态信息进行对应；根据所述与入侵目标（即b目标）对应的成像设备姿态信息（即俯仰角10
°
）确定搜索范围（如俯仰角10
°±5°
范围）；在所述数据库中的进行搜索，俯仰角5-15
°
范围内的目标图像信息所对应的目标（如a目标）即确定为参照目标。
25.同时，非法入侵数据库、除非法入侵数据库以外的其他违法行为数据库定期删除选中的目标，以控制对比时的运算量。
26.由此可有针对性的将预定范围内的目标作为参照目标，其他范围内的目标不作考虑，以实现目标的快速去重，极大减轻后续相似度计算的运算量，提高运算速率。
27.实施例5：本实施例与实施例1-4任一项的不同之处仅在于，步骤s4-s5中，若确定入侵目标存在除非法入侵以外的其他违法行为时，将入侵目标的图像信息进行保存，以作为证据，同时产生报警信息，提醒相关人员/部门及时进行处理。
28.实施例6：本实施例提供了一种用于实现实施例1-5任一项所述自动化巡检方法的全天候违法行为自动化巡检系统，如图3所示，其包括：无人机1；成像设备2，其搭载在所述无人机1上，用于在不同姿态下实时获取n帧待检区域的图像；识别单元3，其连接所述成像设备2，用于按照获取时间先后顺序对待检区域图像逐帧进行待检目标识别，从中识别出待检目标；入侵目标判断单元4，其用于判断待检目标是否在所述警戒区域s内，且若判断得出待检目标在所述警戒区域s内，则将该待检目标认定为入侵目标；首次入侵判断单元5，其连接所述入侵目标判断单元4，用于判断该入侵目标是否为首次出现在警戒区域s内的目标。
29.进一步的，如图4所示，所述首次入侵判断单元5包括：违法行为数据库51，其用于存储入侵目标的图像信息以及成像设备获取包含有该入侵目标的待检区域图像时的姿态信息，且每一个入侵目标的图像信息均有唯一的编号；所述违法行为数据库51包括：非法入侵数据库和/或除非法入侵数据库以外的其他违法行为数据库；参照目标确定单元52，其连接所述违法行为数据库51，用于在将待检目标认定为入侵目标的同时记录成像设备获取包含有该入侵目标的待检区域图像时的姿态信息，且根
据该成像设备获取包含有该入侵目标的待检区域图像时的姿态信息确定搜索范围，并将所述数据库中的、且在所述搜索范围内的目标确定为参照目标；特征信息获取单元53，其用于获取入侵目标的特征信息f以及每一参照目标的特征信息f1,f2
…
,fi；相似度计算单元54，其用于根据公式 计算入侵目标的特征信息f与每一参照目标的相似度、、... ；其中， 为入侵目标的特征信息f与每一参照目标的特征信息f1,f2
…
,fi之间的汉明距离d1,d2…
,di；以及确定单元55，其连接所述相似度计算单元54，用于将相似度最大值与预设的相似度阈值进行比较，若满足条件（如相似度最大值小于预设的相似度阈值），则认定入侵目标为首次出现在警戒区域s内的目标。
30.实施例7：本实施例与实施例6的不同之处仅在于，所述自动化巡检系统还包括：调焦控制单元6，其分别连接所述首次入侵判断单元5和成像设备2，用于在认定首次入侵目标后（“确定首次入侵目标”方法与步骤s3相同），并在依次对剩余帧待检区域图像逐帧进行待检目标识别，且将待检目标认定为入侵目标后，在判断得出该入侵目标为首次出现在警戒区域s内的目标时产生调焦控制信号，并发送至成像设备2，使得成像设备2根据该入侵目标像素大小调整变焦倍数，以获取该入侵目标的图像信息，并将该入侵目标的图像信息发送至指挥中心等终端。
31.二次判断单元7，其用于对通过调焦控制单元6获取的入侵目标的图像信息进行再次判断，以确定该入侵目标是否存在除非法入侵以外的其他违法行为。
32.实施例8：本实施例与实施例7的不同之处仅在于，所述确定单元55还连接所述二次判断单元7以及违法行为数据库51，用于在依次对剩余帧待检区域图像逐帧进行待检目标识别，将待检目标认定为入侵目标后，且确定该入侵目标存在除非法入侵以外的其他违法行为时，将该入侵目标的图像信息以及成像设备获取包含有该入侵目标的待检区域图像时的姿态信息存储在对应的违法行为数据库中。
33.综上所述，本发明可通过成像设备获取待检目标的图像，且当待检目标被判断为首次出现在警戒区域的目标后，再根据可变焦成像设备获取待检目标的图像信息，以在远距离场景下获取小目标的清晰图像信息，并进一步进行二级检测，以此实现对小目标的准确检测，提高检测的准确度；同时，在判断该入侵目标是否为首次出现在警戒区域内的目标时，通过成像设备的姿态信息快速去重，由此可极大减少对于冗余重复目标的检测，减轻检测任务量，提高检测效率。
34.在不冲突的情况下，本文中上述实施例及实施例中的特征可以相互结合。
35.以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。