基于图像识别的车用气瓶充装过程隐患监测方法及系统与流程

1.本发明属于气瓶充装监测技术领域，具体涉及基于图像识别的车用气瓶充装过程隐患监测方法及系统。


背景技术：

2.本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。
3.车用气瓶与充装站是随着经济发展出现的新兴事物，车用气瓶充装介质包括cng、lng、lpg、氢，由于车用气瓶压力可以高达70mpa，如果气瓶非法改装、无证充装、超期未检充装等非法充装问题出现，容易出现安全问题。
4.按照安全标准要求，气瓶充装需要记录充装数据，充装数据包括充装前检查、充装检查和充装后检查，并生成相应的检查记录，且要求充装前检查人员、充装人员和充装后检查人员不可为同一人，同时，为了避免安全隐患，充装前检查和充装后检查需要在站外进行。
5.为了实现充装前检查、充装检查和充装后检查，部分充装站安装了电子化识读设备，通过扫描气瓶上的电子标签或者气瓶所在车辆的车牌号，判断气瓶安全性，判定是否允许进厂或者充装，并将记录存储至服务器。
6.当前主要通过查验各检查的检查记录的方法，判断气瓶是否存在非法充装，但是发明人认为，对于充装前检查、充装检查和充装后检查的实际操作人员与检查记录中的操作人员是否一致，充装前检查和充装后检查是否在指定位置进行并没有进行验证，有可能出现检查记录与实际情况不一致的问题，进而导致对气瓶是否存在非法充装的判断不准确，为车用气瓶的安全使用带来了隐患。


技术实现要素：

7.为了解决上述问题，本发明提出了基于图像识别的车用气瓶充装过程隐患监测方法及系统，通过获取气瓶充装过程中各检查站点的工作视频，确定各检查站点工作时的操作人员信息和车用气瓶信息；进而将各检查站点工作时的操作人员信息和车用气瓶信息，与检查记录中的操作人员信息和车用气瓶信息进行比对；来判定车用气瓶是否存在非法充装，实现了对充装前检查、充装检查和充装后检查的实际操作人员与检查记录中的操作人员是否一致的判断，及是否在指定位置进行充装前检查和充装后检查的判断，提高了气瓶非法充装判断的准确性。
8.根据一些实施例，本发明的第一方案提供了基于图像识别的车用气瓶充装过程隐患监测方法，采用如下技术方案：基于图像识别的车用气瓶充装过程隐患监测方法，包括：获取气瓶充装过程中各检查站点的操作人员信息和车用气瓶信息，生成不同检查站点的检查记录；
获取气瓶充装过程中各检查站点的工作视频；根据工作视频，确定各检查站点工作时的操作人员信息和车用气瓶信息；将各检查站点工作时的操作人员信息和车用气瓶信息，与检查记录中的操作人员信息和车用气瓶信息进行比对；当某检查站点的信息不一致时，判定车用气瓶在该检查站点存在非法充装。
9.进一步的，对各检查站点的工作视频的每一帧进行识别，获得每一帧的操作人员信息和车用气瓶信息；当存在某一帧的操作人员信息和车用气瓶安全信息，与检查记录中的操作人员信息和车用气瓶信息不一致时，判定车用气瓶在该检查站点存在非法充装。
10.进一步的，当检查站点的工作视频中，识别不出操作人员信息或车用气瓶信息时，判定车用气瓶在该检查站点存在非法充装。
11.进一步的，在每个检查站点操作人员工作前，均获取该站点的操作人员信息；根据操作人员信息，验证操作人员权限；将操作人员权限验证通过的时间，作为该站点的工作开始时间；将下一站点的工作开始时间作为上一站点的工作结束时间；将生成最后一个站点的检查记录的时间作为最后一个站点的工作结束时间；每个检查站点的工作开始时间与工作结束时间之间的视频，为该站点的工作视频。
12.进一步的，只有权限验证通过的操作人员，才能在该站点工作，并生成该站点的检查记录。
13.进一步的，所述检查站点包括充装前检查站点、充装区检查站点以及充装后检查站点，三个站点的操作人员均不相同。
14.进一步的，每个检查站点的检查记录中还包括该站点的工作信息；充装前检查站点的工作信息包括是否经过充装前检查及充装前检查是否合格；充装区检查站点的工作信息包括充气所用的加气机编号和充气介质；充装后检查站点的工作信息包括充装后检查结果信息。
15.进一步的，在车用气瓶充气前，还获取充装区检查站点的车用气瓶信息；根据车用气瓶信息，获取充装前检查站点的工作信息；根据充装前检查站点的工作信息，判断气瓶充装前检查是否合格；当气瓶充装前检查合格和充装区操作人员权限验证通过时，充装区操作人员才会对该气瓶进行充气。
16.进一步的，获取每个检查站点的车用气瓶所属车辆的车牌信息或车用气瓶的标签信息；根据车牌信息或标签信息，获得车用气瓶信息。
17.根据一些实施例，本发明的第二方案提供了基于图像识别的车用气瓶充装过程隐患监测系统，包括：图像获取模块、检查记录终端和第一服务器；检查记录终端，用于获取气瓶充装过程中各检查站点的操作人员信息和车用气瓶信息，生成不同检查站点的检查记录；图像获取模块，用于获取气瓶充装过程中各检查站点的工作视频；
第一服务器，用于根据工作视频，确定各检查站点工作时的操作人员信息和车用气瓶信息；将各检查站点工作时的操作人员信息和车用气瓶信息，与检查记录中的操作人员信息和车用气瓶信息进行比对；当某检查站点的信息不一致时，判定车用气瓶在该检查站点存在非法充装。
18.与现有技术相比，本发明的有益效果为：1、本发明通过获取气瓶充装过程中各检查站点的工作视频，确定各检查站点工作时的操作人员信息和车用气瓶信息；进而将各检查站点工作时的操作人员信息和车用气瓶信息，与检查记录中的操作人员信息和车用气瓶信息进行比对；来判定车用气瓶是否存在非法充装，实现了对充装前检查、充装检查和充装后检查的实际操作人员与检查记录中的操作人员是否一致的判断，及是否在指定位置进行充装前检查和充装后检查的判断，提高了气瓶非法充装判断的准确性。
19.2、本发明的每个检查站点在操作人员工作前，都对操作人员的权限进行了判断，只有通过权限的操作人员才能在该检查站点进行检查或充装工作，有效防止了非法充装问题的发生。
20.3、本发明在气瓶充气前，对气瓶充装前检查是否合格进行判断，当气瓶充装前检查合格时，充装区操作人员才会对该气瓶进行充气，有效防止了充气时非法充装问题的发生。
附图说明
21.构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
22.图1是本发明实施例中基于图像识别的车用气瓶充装过程隐患监测方法流程图；图2是本发明实施例中车用气瓶充装流程图；图3是本发明实施例中第一服务器与摄像头的连接关系图。
具体实施方式
23.下面结合附图与实施例对本发明作进一步说明。
24.应该指出，以下详细说明都是例示性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
25.实施例一在该实施例中，公开了基于图像识别的车用气瓶充装过程隐患监测方法，如图1-图3所示，包括：获取气瓶充装过程中各检查站点的操作人员信息和车用气瓶信息，生成不同检查站点的检查记录；获取气瓶充装过程中各检查站点的工作视频；根据工作视频，确定各检查站点工作时的操作人员信息和车用气瓶信息；将各检查站点工作时的操作人员信息和车用气瓶信息，与检查记录中的操作人员信息和车用气瓶信息进行比对；
当某检查站点的信息不一致时，判定车用气瓶在该检查站点存在非法充装；当判定车用气瓶在某检查站点存在非法充装时，该检查站点的下一检查站点停止对该车用气瓶的检查，并提醒存在非法充装的检查站点对该车用气瓶重新进行检查，直至判定车用气瓶在该检查站点不存在非法充装。
26.其中，获取的操作人员信息包括操作人员身份信息、面部信息以及规定着装信息。
27.车用气瓶信息包括注册登记信息、气瓶检验信息、车用气瓶所属车辆的车牌信息、充装介质、车用气瓶的标签信息、气瓶使用年限、气瓶充装总次数以及气瓶是否在黑名单中。
28.能够通过车用气瓶所属车辆的车牌信息或车用气瓶的标签信息，调用获得整个的车用气瓶信息。
29.气瓶充装需要经历三个检查站点，包括充装前检查站点、充装区检查站点以及充装后检查站点，通过充装前检查站点对车用气瓶进行充装前检查，通过充装区检查站点对充装前检查合格的车用气瓶进行检查充装，通过充装后检查站点对完成充气的车用气瓶进行充装后检查。
30.为了保证气瓶充装过程中每个检查站点检查结果的准确性，保证车用气瓶充气后的安全，限定三个检查站点的操作人员均不相同，防止将不合格的气瓶，判定为合格气瓶，进而对不合格的气瓶进行充气，或，防止将充气不合格的车用气瓶判定为合格。
31.此外，每个检查站点的操作人员均配备手持终端，通过该手持终端能够获取操作人员图像、车用气瓶所属车辆的车牌图像和车用气瓶的标签。
32.在每个检查站点操作人员工作前，均获取该站点的操作人员信息；根据操作人员信息，验证操作人员权限；只有权限验证通过的操作人员，才能在该站点工作，并生成该站点的检查记录。
33.具体的，通过对操作人员图像进行识别，获得操作人员信息，根据操作人员信息中的面部信息，验证操作人员权限。
34.通过对车用气瓶所属车辆的车牌图像或车用气瓶的标签进行识别，获得车用气瓶信息。
35.每个检查站点的检查记录中还包括该站点的工作信息。即每个检查站点的检查记录包括该站点的操作人员信息、车用气瓶信息和工作信息。
36.其中，充装前检查站点的工作信息包括是否经过充装前检查及充装前检查是否合格；充装区检查站点的工作信息包括充气所用的加气机编号和充气介质；充装后检查站点的工作信息包括充装后检查结果信息。
37.为了保证充装区检查站点仅对充装前检查合格的车用气瓶进行充气，充装区检查检查站点，在判定该检查站点的操作人员权限验证通过后，在对车用气瓶充气前，还获取了充装区检查站点的车用气瓶信息；根据车用气瓶信息，获取充装前检查站点的工作信息；根据充装前检查站点的工作信息，判断气瓶充装前检查是否合格；当气瓶充装前检查合格时，充装区操作人员才会对该气瓶进行充气。
38.为了对各检查站点的工作过程进行监督，还在每个检查站点设置了摄像头，通过摄像头获取各检查站点的视频图像，并从视频图像中截取出各检查站点的工作视频。
39.截取工作视频的过程为：对于每个检查站点，记录操作人员权限验证通过的时间，将操作人员权限验证通过的时间，作为该站点的工作开始时间；将下一站点的工作开始时间作为上一站点的工作结束时间，将生成最后一个站点的检查记录的时间作为最后一个站点的工作结束时间，每个检查站点的工作开始时间与工作结束时间之间的视频，为该站点的工作视频。
40.将每个检查站点视频图像中从工作开始时间至工作结束时间的视频截取出来，获得每个检查站点的工作视频。
41.对每个检查站点的工作视频进行分析识别，确定每个检查站点工作时的操作人员信息和车用气瓶信息。
42.其中，可以通过从工作视频中识别出车用气瓶所属车辆的车牌信息或车用气瓶的标签信息，来获得车用气瓶信息。
43.将每个检查站点工作时的操作人员信息和车用气瓶信息，与检查记录中的操作人员信息和车用气瓶信息进行比对；当某检查站点的信息不一致时，判定车用气瓶在该检查站点存在非法充装；当判定车用气瓶在某检查站点存在非法充装时，该检查站点的下一检查站点停止对该车用气瓶的检查，并提醒存在非法充装的检查站点对该车用气瓶重新进行检查，直至判定车用气瓶在该检查站点不存在非法充装，该检查站点的下一检查站点才会对该车用气瓶进行检查。
44.比如，操作人员信息不一致时，判定可能出现无权限操作人员进行操作的问题；车用气瓶信息不一致时，判定可能出现车用气瓶误充气的问题，该种情况下，有可能会出现对充装前检查不合格的气瓶或没有进行充装前检查的气瓶进行充气的问题，也可能在充装后检查站点将充气不合格的气瓶判定为充气合格，使得充气后车用气瓶存在安全隐患。
45.为了保证非法充装判断的准确性，对各检查站点的工作视频的每一帧进行识别，获得每一帧的操作人员信息和车用气瓶信息；将每一帧的操作人员信息和车用气瓶信息与检查记录中的操作人员信息和车用气瓶信息进行比对；当存在某一帧的操作人员信息和车用气瓶安全信息，与检查记录中的操作人员信息和车用气瓶信息不一致时，判定车用气瓶在该检查站点存在非法充装。防止了检查站点工作过程中对操作人员进行更换或对车用气瓶进行更换。
46.此外，当检查站点的工作视频中，识别不出操作人员信息或车用气瓶信息时，判定车用气瓶在该检查站点存在非法充装，如车用气瓶没有在充装前检查站点进行充装前检查，或充气后车用气瓶没有在充装后检查站点进行充装后检查等。
47.以某车用气瓶的充气过程为例，对本实施例公开的方法进行详细说明。
48.该车用气瓶的充气过程包括充装前检查、充装中和充装后检查。
49.如图1所示，该车用气瓶的充气过程，具体为：在充装前检查站点a1，该站点的操作人员即充前检查人员，通过手持终端扫描获得操作人员图像，进而获得操作人员信息，将操作人员信息发送给第二服务器b，对操作人员权限进行验证，第二服务器b判断该人员身份和权限，权限验证通过时记为a1时刻，当操作人员权限验证不通过时，发出报警，提醒存在非法操作，手持终端扫描获得车用气瓶所属车辆的车牌信息或车用气瓶的标签信息，将车牌信息或车用气瓶的标签信息上传到第二服
务器b，调取车用气瓶信息，当权限验证通过时，根据车用气瓶信息进行充装前检查，充装前检查完成，获得包括是否经过充装前检查及充装前检查是否合格的工作信息，将操作人员信息、车用气瓶信息和工作信息，生成充装前检查记录r1，并将该充装前检查记录r1上传到第二服务器b。
50.具体的，当通过车用气瓶信息判定气瓶已经注册登记、没有超过检验周期、充装介质相匹配、气瓶没有超过使用年限、气瓶充装总次数小于设定的次数阈值和气瓶没有在黑名单中时，判定该车用气瓶充装前检查合格。
51.在充装前检查站点a1还部署了摄像头c1，摄像头c1对充装前检查站点a1进行全覆盖，通过摄像头c1获取充装前检查站点的视频，该视频中包含充前检查人员对车用气瓶进行充装前检查的工作视频，并将该视频发送至第一服务器a。
52.当车用气瓶充装前检查合格后，进入充装检查站点a2，充装检查站点的充气机处于锁定状态，充装检查站点的操作人员为充装人员，充装人员通过手持终端扫描获得充装人员图像，根据充装人员图像获得充装人员信息，将充装人员信息发送给第二服务器b，对充装人员的权限进行验证，验证通过时，记为a2时刻，该手持终端还获取车用气瓶所属车辆的车牌信息或车用气瓶的标签信息，将车用气瓶所属车辆的车牌信息或车用气瓶的标签信息发送给第二服务器b，调取车用气瓶信息和充装前检查记录r1，并确认该车用气瓶是否进行了充装前检查及充装前检查是否合格，当操作人员权限验证通过，且确认该车用气瓶进行了充装前检查且充装前检查合格时，与车用气瓶的充气介质相匹配的加气机解锁，对该车用气瓶进行充气，记录包括加气机编号和充气介质的工作信息，通过充装人员信息、车用气瓶信息和工作信息，生成充装检查站点的充装检查记录r2，并将r2上传到第二服务器b。充装完成后，加气机重复进入锁定状态。当操作人员权限验证不通过，或确认该车用气瓶没有进行充装前检查、或充装前检查不合格时，发出报警。
53.手持终端通过wifi、蓝牙或者lora等无线协议匹配加气机枪号。
54.在充装检查站点a2还部署了摄像头c2，摄像头c2对充装检查站点a2进行全覆盖，通过摄像头c2获取充装检查站点的视频，该视频包含了充装人员对车用气瓶进行充装检查，及充气机对车用气瓶进行充气的工作视频，并将该视频发送至第一服务器a。
55.车用气瓶充装完成后，进入充装后检查站点a3，该站点的操作人员为充后检查人员，通过手持终端扫描获得充后检查人员图像，进而获得充后检查人员信息，将充后检查人员信息发送给第二服务器b，通过充后检查人员信息对充后检查人员权限进行验证，权限验证通过时，记为a3时刻，手持终端扫描获得车用气瓶所属车辆的车牌信息或车用气瓶的标签信息，将车牌信息或车用气瓶的标签信息上传到第二服务器b，调取车用气瓶信息、充装前检查记录r1和充装检查记录r2，当操作人员权限验证不通过时，发出报警，提醒存在非法操作，当权限验证通过时，根据车用气瓶信息、充装前检查记录r1和充装检查记录r2进行充装后检查，充装后检查完成，获得包括充装后检查结果信息的工作信息，将操作人员信息、车用气瓶信息和工作信息，生成充装后检查记录r3，并将该充装后检查记录r3上传到第二服务器b，记录此时为a4时刻。
56.在充装后检查站点a3还部署了摄像头c3，摄像头c3对充装后检查站点a3进行全覆盖，通过摄像头c3获取充装后检查站点的视频，该视频包含了充后检查人员对车用气瓶进行充装后检查的工作视频，并将该视频发送至第一服务器a。
57.第二服务器b将检查记录r1、r2和r3进行拼接，获得该车用气瓶的充装记录r。
58.第一服务器a与第二服务器b进行时钟校准，保持时钟同步，第一服务器a从充装前检查站点的视频中截取a1-a2时刻的视频，获得充装前检查站点的工作视频d1；从充装检查站点的视频中截取a2-a3时刻的视频，获得充装检查站点的工作视频d2；从充装后检查站点的视频中截取a3-a4时刻的视频，获得充装后检查站点的工作视频d3；将工作视频d1、d2和d3进行拼接，获得该车用气瓶的工作视频d。
59.对工作视频d1、d2和d3分别进行识别，确定每个工作视频中的操作人员身份信息和车用气瓶信息，分别为充装前检查站点、充装检查站点及充装后检查站点工作时的操作人员信息和车用气瓶信息。
60.将充装前检查站点工作时的操作人员信息和车用气瓶信息，与检查记录r1中的操作人员信息和车用气瓶信息进行比对，当信息不同时，判定该车用气瓶在充装前检查站点出现非法充装，发出报警，充装检查站点停止对该车用气瓶的检查充气，并退回至充装前检查站点，重新进行充装前检查，直至判定车用气瓶在充装前检查站点没有出现非法充装。
61.由充装检查站点对在充装前检查站点没有出现非法充装的车用气瓶进行检查充气工作，将充装检查站点工作时的操作人员信息和车用气瓶信息，与检查记录r2中的操作人员信息和车用气瓶信息进行比对，当信息不同时，判定充装检查站点出现非法充装，发出报警，且充装后检查站点停止对该车用气瓶进行充装后检查，并退回至充装检查站点，由充装检查站点重新进行充装，直至判定车用气瓶在充装检查站点没有出现非法充装。
62.由充装后检查站点对在充装检查站点没有出现非法充装的车用气瓶进行充装后检查，将充装后检查站点工作时的操作人员信息和车用气瓶信息，与检查记录r3中的操作人员信息和车用气瓶信息进行比对，当信息不同时，判定充装后检查站点出现非法充装，发出报警，并由充装后检查站点对车用气瓶重新进行充装后检查，直至判定车用气瓶在充装后检查站点没有出现非法充装。
63.当工作视频d1、d2和d3中无法识别出操作人员信息和车用气瓶信息时，判定在相应的检查站点出现非法充装，发出报警。
64.在车用气瓶充装完成，获得充装记录r和工作视频d后，再次，将充装记录r和工作视频d整体进行比对，对车用气瓶的充装全程进行再次确认，判断该车用气瓶是否存在非法充装的问题，当不存在非法充装时，允许气瓶离开加气站，当判定存在非法充装时，由出现非法充装的站点开始重新对气瓶进行检查操作，直至该气瓶充装全程不存在非法充装问题。
65.本实施例公开方法通过获取气瓶充装过程中各检查站点的工作视频，确定各检查站点工作时的操作人员信息和车用气瓶信息；进而将各检查站点工作时的操作人员信息和车用气瓶信息，与检查记录中的操作人员信息和车用气瓶信息进行比对；来判定车用气瓶是否存在非法充装，实现了对充装前检查、充装检查和充装后检查的实际操作人员与检查记录中的操作人员是否一致的判断，及是否在指定位置进行充装前检查和充装后检查的判断，提高了气瓶非法充装判断的准确性，同时，通过对车用气瓶的充装过程进行管控，只有权限验证通过的操作人员才能进行操作工作及生成检查记录工作，且在充装时，只有充装人员权限验证通过，且车用气瓶充装前检查合格时，才能开启充气，防止了非法充气问题的发生。
66.本实施例公开的方法，当判定车用气瓶在某检查站点存在非法充装时，该检查站点的下一检查站点停止对该车用气瓶的检查，并提醒存在非法充装的检查站点对该车用气瓶重新进行检查，直至判定车用气瓶在该检查站点不存在非法充装，保证了车用气瓶在每个检查站点均不存在非法充装问题；且在车用气瓶充装完成后，对气瓶充装全程是否存在非法充装进行再次确认，有效保证了车用气瓶全程不存再非法充装问题，保证了车用气瓶的安全充装。
67.本实施例公开的方法，充装检查站点在仅对在充装前检查站点不存在非法充装的车用气瓶进行充装的基础上，还对充装检查站点操作人员的权限和车用气瓶充装前检查是否合格进行了验证，只有车用气瓶在充装前检查站点不存在非法充装、且操作人员权限验证通过和车用气瓶充装前检查合格时，充装检查站点才会对该气瓶进行充气，有效保证充装检查站点对气瓶的安全充装。
68.实施例二本实施例提供了基于图像识别的车用气瓶充装过程隐患监测系统，包括：图像获取模块、检查记录终端和第一服务器；检查记录终端，用于获取气瓶充装过程中各检查站点的操作人员信息和车用气瓶信息，生成不同检查站点的检查记录；图像获取模块，用于获取气瓶充装过程中各检查站点的工作视频；第一服务器，用于根据工作视频，确定各检查站点工作时的操作人员信息和车用气瓶信息；将各检查站点工作时的操作人员信息和车用气瓶信息，与检查记录中的操作人员信息和车用气瓶信息进行比对；当某检查站点的信息不一致时，判定车用气瓶在该检查站点存在非法充装。
69.其中，图像获取模块，可以为设置于每个检查站点的摄像头。
70.检查记录终端包括每个检查站点设置的手持终端和第二服务器，手持终端，用于获取操作人员身份信息、车用气瓶所属车辆的车牌信息和车用气瓶的标签信息。
71.第二服务器，用于根据操作人员身份信息、车用气瓶所属车辆的车牌信息和车用气瓶的标签信息，获得各检查站点的操作人员信息、车用气瓶信息和工作信息，生成不同检查站点的检查记录。
72.为了减少充装站端投入，第一服务器a可以部署在充装站本地电脑上，与充装站端的摄像头连接。为了减少站端投入，可以复用目前充装站已有的摄像头，接入第一服务器a。
73.对第一服务器a进行深度学习模型训练，包括识别车辆、人员。进一步识别车辆车牌号码，识别人员面部信息，识别人员工作服装信息。
74.第一服务器a中存储充装前检查站点a1的视频、充装检查站点a2的视频和充装后检查站点a3的视频。
75.第二服务器b存储每个检查站点的检查记录，第二服务器b设置规则，设置人员工种信息，是否允许其登陆等数据，通过设置可以让指定的工种干制定的工作，满足充装、检查由不同的人员来操作，从而能够判断操作人员权限。
76.将第一服务器a和第二服务器b进行时钟校准，保持时钟同步。
77.上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不
需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。