铁路机车乘务员驾驶行为识别方法与流程

本发明属于轨道交通行车安全管理，具体涉及一种铁路机车乘务员驾驶行为识别方法。

背景技术：

1、交通安全现在已经成为一个普遍被关注的社会问题，而加强对铁路交通安全的管控已经迫在眉睫，目前机车上安装了机车车载安全防护系统(简称6a系统)的视频监控设备，目前对该视频监控设备的视频数据的地面分析任务通常采用人工浏览察看方式，一方面分析全部机车的视频录像需要配备大量且足够的地面视频数据分析人员和设备，分析效率低，特别对于特定事件查找的情况下，分析工作量巨大，且容易遗漏。另一方面，由于是事后做人工分析，无法对乘务员在机车运行过程中不当行为进行实时提醒。

2、另外，列车司机行为的识别还可依托于机器视觉对司机室的视频图像进行识别，检测列车司机疲劳、离岗等行为。由于受到实际环境条件、处理器运算性能和算法等方面的局限，在识别率和误报率方面，距离满足成熟推广应用还存在一定差距。

技术实现思路

1、本发明的目的是针对现有技术存在的问题，提出一种铁路机车乘务员驾驶行为识别方法，以提高司机行为识别效率和识别准确性。

2、为实现上述目的，所采取的技术方案是：

3、一种铁路机车乘务员驾驶行为识别方法，该方法包含：

4、采集司机驾驶室内的视频，对视频进行抽帧处理，建立包含多类别司机行为的数据集；

5、基于上述构建的数据集，采用卷积神经网络和循环神经网络，通过训练方式获得司机行为识别模型；

6、采集司机的实时工作视频使用司机行为识别模型进行逐帧识别，识别出每帧图像中司机行为的类别。

7、根据本发明铁路机车乘务员驾驶行为识别方法，进一步地，司机行为数据集的构建包括：

8、使用车载摄像头采集司机驾驶室内的工作视频，并在采集过程结束后从工作视频中提出相应的图像帧，图像帧中包含司机的某种行为动作；

9、对图像帧中司机行为进行分类，并按照类别对图像帧进行标注，生成司机行为数据集。

10、根据本发明铁路机车乘务员驾驶行为识别方法，进一步地，所述司机行为包含违规行为和标准操作动作；所述违规行为包括盹睡、离岗/站立和间断瞭望，其中离岗/站立表示离开座位或者在座位前站立超过规定时间，间断瞭望表示规定时间不看前方；所述标准操作动作包括剑指、手掌和拳头，当起车时判断剑指和拳头手势是否合规，过分相时判断手掌、剑指和拳头手势是否合规，进站停车时判断剑指和拳头手势是否合规。

11、根据本发明铁路机车乘务员驾驶行为识别方法，进一步地，司机行为识别模型的建立包括：

12、首先准确样本，将样本分为训练集和测试集；

13、然后构建卷积神经网络结构和循环神经网络结构；

14、再将训练集图像导入建立的卷积神经网络结构和循环神经网络结构中进行训练；

15、训练完成后，得到司机行为识别模型。

16、根据本发明铁路机车乘务员驾驶行为识别方法，进一步地，所述卷积神经网络结构包含backbone、neck和head三个部分：

17、backbone采用特征提取网络cspdarknet53，该网络包括5个csp模块，每个csp模块中包含基础构件cbm和res unit，其中cbm由卷积层、批量归一化层和激活函数构成，resunit由resnet改进，由cbm构成；图像经过backbone完成下采样，得到原图像的三个降维特征图；

18、neck采用panet，backbone的三个降维特征图采用panet进行特征融合，输出三个具有丰富语义信息和位置信息的特征图；

19、head对neck的三个特征图进行解码，得到司机行为分类和坐标结果。

20、根据本发明铁路机车乘务员驾驶行为识别方法，进一步地，所述循环神经网络结构如下：

21、以rnn为基础，网络包括recurrent neural层、linear层后加sigmoid处理，得到司机行为的概率；

22、将卷积神经网络和循环神经网络的结果相融合得到图像帧司机行为的分类和坐标位置；训练司机行为识别模型时，通过sgd随机梯度下降法不断调整卷积神经网络和循环神经网络权重和偏置，重新计算损失函数值，直至损失函数值趋于稳定或到达设定迭代次数，获得最终司机行为识别模型。

23、根据本发明铁路机车乘务员驾驶行为识别方法，进一步地，司机行为识别模型识别司机行为的类别包括：

24、将司机视频逐帧送入司机行为识别模型进行识别；

25、司机行为模型输出的数组，第一个元素值为图像帧概率最大的司机行为，后四个元素值为司机行为动作的坐标值(x,y,w,h)，识别结果的计算公式为：

26、result＝[argmax(ri)，x，y，w，h],i＝0，1，2，3，4，5

27、其中，result为图像帧的结果，i是司机行为动作的种类，ri为每种司机行为动作的概率数组，argmax函数是找到概率数组中最大概率的标签，x为司机做动作时身体中心点的横坐标，y为司机做动作时身体中心点的纵坐标，w为司机做动作时身体的宽，h为司机做动作时身体的高。

28、根据本发明铁路机车乘务员驾驶行为识别方法，进一步地，该方法还包括：

29、以视频的帧数为横坐标，每图像帧中司机行为所属类别为纵坐标，绘制司机行为时间序列图；

30、通过时间序列图获得视频中司机每类行为出现次数以及持续时长，并判断司机行为是否规范。

31、根据本发明铁路机车乘务员驾驶行为识别方法，进一步地，绘制司机行为时间序列图包括：

32、以帧数i为横坐标，以图像帧得到的行为结果result为纵坐标，构造时间序列图。

33、根据本发明铁路机车乘务员驾驶行为识别方法，进一步地，判断司机行为是否规范包括：

34、(1)计算时间序列图中每个result第一个元素值出现的次数：

35、suma＝enumerate(i|result＝a),a＝0,1,2,3,4,5

36、(2)计算每次司机行为的持续时长，计算公式如下：

37、

38、其中，ln表示每次行为的总帧数，fps为每秒传输帧数；

39、(3)根据result值对应的行为类别，得到一段视频内司机每类行为发生的次数以及持续时长；

40、(4)判断时间序列图中司机一系列行为操作是否符合司机作业标准化操作手册中司机的操作规范。

41、采用上述技术方案，所取得的有益效果是：

42、本发明司机行为识别模型需要识别司机的违规行为和标准操作动作，其中违规行为包括盹睡、离岗/站立和间断瞭望，标准操作动作包括起车、过分相和进站停车时剑指、手掌和拳头手势是否合规。本发明通过构建丰富的司机行为数据集，该数据集包含了以上违规行为和标准操作动作各类常见影响安全驾驶的司机行为，利用该数据集训练采用卷积神经网络和循环神经网络构建的司机行为识别模型，模型识别的结果直接在客户端展示。本发明可以对司机姿态和手势进行自动识别，提高了识别准确率和分析效率，减少误报、漏报的情况，在发现司机有危险驾驶行为时及时进行提醒，有效避免安全事故发生。