加能站内的引车入站动作识别方法、装置、设备及介质与流程

本技术涉及引车入站动作识别，特别是涉及一种加能站内的引车入站动作识别方法、装置、设备及介质。

背景技术：

1、加油站是一个对安全要求极高的场所，因为涉及到易燃易爆的燃料。通过引车入站动作识别，可以确保车辆有序、安全地进入指定位置，避免车辆之间或车辆与加油站设施之间的碰撞，从而减少火灾、爆炸等安全事故的发生。

2、目前，引车入站动作的识别主要是通过人员的动作的姿势直接分类，该方法数据偏差大，当数据分布不均匀时，或缺少某些重要的特征时，会导致分类结果不准确，训练时模型过于或者训练的数据量不足，容易产生过拟合问题，使得在加油站现场推理的时候效果非常差。也有通过基于关键点检测算法的引车入站动作的识别方式，其是使用人体关键点，加上后处理逻辑能够判断简单的动作，比如一些手势等，但是缺乏时序性，根据单帧判断缺乏可信度。

技术实现思路

1、本技术实施例所要解决的技术问题是提供一种加能站内的引车入站动作识别方法、装置、设备及介质，以提高引车入站动作的识别精度。

2、第一方面，本技术实施例提供了一种加能站内的引车入站动作识别方法，所述方法包括：

3、获取采集的加能站的加能站视频图像；

4、调用预先训练的人车检测模型对所述加能站视频图像进行人车检测，得到所述加能站视频图像中包含人和车的第一图像；

5、调用预先训练的工装分类模型对所述第一图像进行工装分类，得到所述第一图像内中包含有穿戴所述加能站指定工装的工作人员的第二图像；

6、调用预先训练的关键点检测模型对所述第二图像内的工作人员进行关键点检测，得到所述工作人员的人体关键点；

7、调用预先训练的入站动作识别模型对第三图像进行人体关节特征及特征权重检测，并基于得到的检测结果确定所述工作人员的引车入站动作的识别结果，所述第三图像为基于所述人体关键点对所述第二图像进行标注得到的图像。

8、可选地，在所述调用预先训练的人车检测模型对所述加能站视频图像进行人车检测，得到所述加能站视频图像中包含人和车的第一图像之前，还包括：

9、获取用于训练人车检测模型的第一样本图像，所述第一样本图像为在不同角度和不同光照条件下拍摄的包含人和车的图像，所述第一样本图像上标注有人的第一标注框和车的第二标注框；

10、将所述第一样本图像输入至待训练人车检测模型，并获取由所述待训练人车检测模型输出的人车检测结果，所述人车检测结果包含人的第一检测框和车的第二检测框；

11、基于所述第一标注框、所述第二标注框、所述第一检测框和所述第二检测框，计算得到所述待训练人车检测模型的第一损失值；

12、在所述第一损失值处于预设范围内的情况下，将训练后的待训练人车检测模型作为最终的所述人车检测模型。

13、可选地，在所述调用预先训练的工装分类模型对所述第一图像进行工装分类，得到所述第一图像内中包含有穿戴所述加能站指定工装的工作人员的第二图像之前，还包括：

14、获取用于训练工装分类模型的第二样本图像，所述第二样本图像包括：穿戴所述加能站的工装的用户图像和穿戴非加能站的服装的用户图像，所述第二样本图像上标注有工装分类信息，所述工装包括所述指定工装；

15、将所述第二样本图像输入至待训练工装分类模型，并获取由所述待训练工装分类模型输出的所述第二样本图像对应的预测工装分类信息；

16、基于所述工装分类信息和所述预测工装分类信息，计算得到所述待训练工装分类模型的第二损失值；

17、在所述第二损失值处于预设范围内的情况下，将训练后的待训练工装分类模型作为最终的所述工装分类模型。

18、可选地，所述调用预先训练的工装分类模型对所述第一图像进行工装分类，得到所述第一图像内中包含有穿戴所述加能站指定工装的工作人员的第二图像，包括：

19、获取所述人车检测模型输出的所述第一图像对应的人物检测框；

20、基于所述人物检测框对所述第一图像进行裁剪处理，得到仅包含人物的裁剪图像；

21、调用所述工装分类模型对所述裁剪图像进行工装分类，得到所述第一图像内包含有所述工作人员的第二图像。

22、可选地，在所述调用预先训练的关键点检测模型对所述第二图像内的工作人员进行关键点检测，得到所述工作人员的人体关键点之前，还包括：

23、获取用于训练关键点检测模型的第三样本图像，所述第三样本图像包含加能站的用户在引车入站动作的姿态下的用户图像和非引车入站动作的姿态下的用户图像，所述第三样本图像上标注有用户的标注人体关键点；

24、将所述第三样本图像输入至待训练关键点检测模型，并获取由所述待训练关键点检测模型输出的所述第三样本图像内的用户的预测人体关键点；

25、基于所述标注人体关键点和所述预测人体关键点，计算得到所述待训练关键点检测模型的第三损失值；

26、在所述第三损失值处于预设范围内的情况下，将训练后的待训练关键点检测模型作为最终的所述关键点检测模型。

27、可选地，在所述调用预先训练的入站动作识别模型对第三图像进行人体关节特征及特征权重检测，并基于得到的检测结果确定所述工作人员的引车入站动作的识别结果之前，还包括：

28、获取用于训练入站动作识别模型的第四样本图像，所述第四样本图像包括所述加能站的指定工装用户的引车入站动作下的用户图像和非引车入站动作下的用户图像，所述第四样本图像上标注有真实引车入站动作信息；

29、将所述第四样本图像输入至待训练入站动作识别模型，并获取由所述待训练入站动作识别模型输出的所述第四样本图像对应的预测引车入站动作信息；

30、基于所述真实引车入站动作信息和所述预测引车入站动作信息，计算得到所述待训练入站动作识别模型的第四损失值；

31、在所述第四损失值处于预设范围内的情况下，将训练后的待训练入站动作识别模型作为最终的所述入站动作识别模型。

32、可选地，所述调用预先训练的入站动作识别模型对第三图像进行人体关节特征及特征权重检测，并基于得到的检测结果确定所述工作人员的引车入站动作的识别结果，包括：

33、从所述第二图像内抽取n帧连续的第二图像，n为大于等于2的正整数；

34、基于所述人体关键点对所述n帧连续的第二图像内的所述工作人员进行关键点标注，得到所述第三图像；

35、调用所述入站动作识别模型对所述第三图像进行处理，确定所述工作人员的引车入站动作的识别结果。

36、可选地，所述入站动作识别模型包括：多尺度时空图卷积层和时空注意力机制层，

37、所述调用预先训练的入站动作识别模型对第三图像进行人体关节特征及特征权重检测，并基于得到的检测结果确定所述工作人员的引车入站动作的识别结果，包括：

38、调用所述多尺度时空图卷积层对n帧连续的所述第三图像进行关节特征检测，得到所述工作人员的人体关节变化特征；

39、调用所述时空注意力机制层对所述人体关节变化特征进行处理，得到所述工作人员的人体关节之间的注意力权重；

40、基于所述人体关节变化特征和所述注意力权重，确定所述工作人员的引车入站动作的识别结果。

41、第二方面，本技术实施例提供了一种加能站内的引车入站动作识别装置，所述装置包括：

42、视频图像获取模块，用于获取采集的加能站的加能站视频图像；

43、第一图像获取模块，用于调用预先训练的人车检测模型对所述加能站视频图像进行人车检测，得到所述加能站视频图像中包含人和车的第一图像；

44、第二图像获取模块，用于调用预先训练的工装分类模型对所述第一图像进行工装分类，得到所述第一图像内中包含有穿戴所述加能站指定工装的工作人员的第二图像；

45、人体关键点获取模块，用于调用预先训练的关键点检测模型对所述第二图像内的工作人员进行关键点检测，得到所述工作人员的人体关键点；

46、识别结果确定模块，用于调用预先训练的入站动作识别模型对第三图像进行人体关节特征及特征权重检测，并基于得到的检测结果确定所述工作人员的引车入站动作的识别结果，所述第三图像为基于所述人体关键点对所述第二图像进行标注得到的图像。

47、可选地，所述装置还包括：

48、第一样本获取模块，用于获取用于训练人车检测模型的第一样本图像，所述第一样本图像为在不同角度和不同光照条件下拍摄的包含人和车的图像，所述第一样本图像上标注有人的第一标注框和车的第二标注框；

49、人车检测结果获取模块，用于将所述第一样本图像输入至待训练人车检测模型，并获取由所述待训练人车检测模型输出的人车检测结果，所述人车检测结果包含人的第一检测框和车的第二检测框；

50、第一损失值计算模块，用于基于所述第一标注框、所述第二标注框、所述第一检测框和所述第二检测框，计算得到所述待训练人车检测模型的第一损失值；

51、人车检测模型获取模块，用于在所述第一损失值处于预设范围内的情况下，将训练后的待训练人车检测模型作为最终的所述人车检测模型。

52、可选地，所述装置还包括：

53、第二样本获取模块，用于获取用于训练工装分类模型的第二样本图像，所述第二样本图像包括：穿戴所述加能站的工装的用户图像和穿戴非加能站的服装的用户图像，所述第二样本图像上标注有工装分类信息，所述工装包括所述指定工装；

54、工装分类信息获取模块，用于将所述第二样本图像输入至待训练工装分类模型，并获取由所述待训练工装分类模型输出的所述第二样本图像对应的预测工装分类信息；

55、第二损失值计算模块，用于基于所述工装分类信息和所述预测工装分类信息，计算得到所述待训练工装分类模型的第二损失值；

56、工装分类模型获取模块，用于在所述第二损失值处于预设范围内的情况下，将训练后的待训练工装分类模型作为最终的所述工装分类模型。

57、可选地，所述第二图像获取模块包括：

58、人物检测框获取单元，用于获取所述人车检测模型输出的所述第一图像对应的人物检测框；

59、裁剪图像获取单元，用于基于所述人物检测框对所述第一图像进行裁剪处理，得到仅包含人物的裁剪图像；

60、第二图像获取单元，用于调用所述工装分类模型对所述裁剪图像进行工装分类，得到所述第一图像内包含有所述工作人员的第二图像。

61、可选地，所述装置还包括：

62、第三样本获取模块，用于获取用于训练关键点检测模型的第三样本图像，所述第三样本图像包含加能站的用户在引车入站动作的姿态下的用户图像和非引车入站动作的姿态下的用户图像，所述第三样本图像上标注有用户的标注人体关键点；

63、预测关键点获取模块，用于将所述第三样本图像输入至待训练关键点检测模型，并获取由所述待训练关键点检测模型输出的所述第三样本图像内的用户的预测人体关键点；

64、第三损失值计算模块，用于基于所述标注人体关键点和所述预测人体关键点，计算得到所述待训练关键点检测模型的第三损失值；

65、关键点检测模型获取模块，用于在所述第三损失值处于预设范围内的情况下，将训练后的待训练关键点检测模型作为最终的所述关键点检测模型。

66、可选地，所述装置还包括：

67、第四样本获取模块，用于获取用于训练入站动作识别模型的第四样本图像，所述第四样本图像包括所述加能站的指定工装用户的引车入站动作下的用户图像和非引车入站动作下的用户图像，所述第四样本图像上标注有真实引车入站动作信息；

68、预测动作信息获取模块，用于将所述第四样本图像输入至待训练入站动作识别模型，并获取由所述待训练入站动作识别模型输出的所述第四样本图像对应的预测引车入站动作信息；

69、第四损失值计算模块，用于基于所述真实引车入站动作信息和所述预测引车入站动作信息，计算得到所述待训练入站动作识别模型的第四损失值；

70、入站动作识别模型获取模块，用于在所述第四损失值处于预设范围内的情况下，将训练后的待训练入站动作识别模型作为最终的所述入站动作识别模型。

71、可选地，所述识别结果确定模块包括：

72、第二图像抽取单元，用于从所述第二图像内抽取n帧连续的第二图像，n为大于等于2的正整数；

73、第三图像获取单元，用于基于所述人体关键点对所述n帧连续的第二图像内的所述工作人员进行关键点标注，得到所述第三图像；

74、识别结果确定单元，用于调用所述入站动作识别模型对所述第三图像进行处理，确定所述工作人员的引车入站动作的识别结果。

75、可选地，所述入站动作识别模型包括：多尺度时空图卷积层和时空注意力机制层，

76、所述识别结果确定模块包括：

77、人体关节特征获取单元，用于调用所述多尺度时空图卷积层对n帧连续的所述第三图像进行关节特征检测，得到所述工作人员的人体关节变化特征；

78、注意力权重获取单元，用于调用所述时空注意力机制层对所述人体关节变化特征进行处理，得到所述工作人员的人体关节之间的注意力权重；

79、入站动作识别结果确定单元，用于基于所述人体关节变化特征和所述注意力权重，确定所述工作人员的引车入站动作的识别结果。

80、第三方面，本技术实施例提供了一种电子设备，包括：

81、处理器、存储器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现上述任一项所述的加能站内的引车入站动作识别方法。

82、第四方面，本技术实施例提供了一种计算机可读存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行上述任一项所述的加能站内的引车入站动作识别方法。

83、与现有技术相比，本技术实施例包括以下优点：

84、本技术实施例中，通过获取采集的加能站的加能站视频图像。调用预先训练的人车检测模型对加能站视频进行人车检测，得到加能站视频图像中包含人和车的第一图像。调用预先训练的工装分类模型对第一图像进行工装分类，得到第一图像内中包含有加能站指定工装的工作人员的第二图像。调用预先训练的关键点检测模型对第二图像内的用户进行关键点检测，得到工作人员的人体关键点。调用预先训练的入站动作识别模型对第三图像进行人体关节特征及特征权重检测，并基于得到的检测结果确定工作人员的引车入站动作的识别结果，第三图像为基于人体关键点对第二图像进行标注得到的图像。本技术实施例通过采用人车检测模型、工装分类模型、关键点检测模型和入站动作识别模型进行入站动作识别的方式，经过一系列的识别检测算法，能够以较高的精度识别加能站工作人员的引车入站动作。

85、应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本技术。