设备工件异常动作的检测方法、装置和电子设备与流程

技术特征：
1.一种设备工件异常动作的检测方法，其特征在于，包括：通过第一线程实时对待检测设备工件的视频流进行视频帧拉取处理，并将得到的待检测视频帧存储至所述第一线程的数据队列中；当所述数据队列中的待检测视频帧达到预设数量后，通过第二线程复制所述数据队列中的多帧待检测视频帧，并清空所述数据队列中存储的待检测视频帧；所述第二线程对多帧所述待检测视频帧进行预处理，得到多帧处理后的待检测视频帧；所述第二线程采用视频动作分析模型对多帧所述处理后的待检测视频帧进行动作分析，得到所述待检测设备工件的异常动作检测结果，其中，所述预处理和所述动作分析的耗时和不大于所述数据队列存储预设数量的待检测视频帧的耗时。2.根据权利要求1所述的方法，其特征在于，在通过第一线程实时对待检测设备工件的视频流进行视频帧拉取处理之前，所述方法还包括：获取图像采集装置对所述待检测设备工件进行拍摄得到的所述待检测设备工件的视频流。3.根据权利要求1所述的方法，其特征在于，所述第二线程对多帧所述待检测视频帧进行预处理，包括：所述第二线程对多帧所述待检测视频帧进行归一化处理，得到多帧归一化处理后的待检测视频帧；所述第二线程对多帧所述归一化处理后的待检测视频帧进行双线性插值处理，得到多帧所述处理后的待检测视频帧。4.根据权利要求1所述的方法，其特征在于，所述第二线程采用视频动作分析模型对多帧所述处理后的待检测视频帧进行动作分析，得到所述待检测设备工件的异常动作检测结果，包括：将多帧所述处理后的待检测视频帧输入至所述视频动作分析模型，输出得到多帧所述待检测视频帧属于每种异常动作类别的概率；将所述概率中最大概率对应的异常动作类别作为所述待检测设备工件的异常动作检测结果。5.根据权利要求1所述的方法，其特征在于，所述方法还包括：部署原始视频动作分析模型，其中，所述原始视频动作分析模型的网络结构为基于movinet的网络结构；根据设备工件的原始视频流确定训练样本，并对各训练样本进行异常动作类别标注，其中，每个所述训练样本包括所述预设数量的设备工件的视频帧；通过所述训练样本对所述原始视频动作分析模型进行训练，得到所述视频动作分析模型。6.根据权利要求5所述的方法，其特征在于，根据设备工件的原始视频流确定训练样本，包括：对所述原始视频流进行裁剪，裁剪得到多个视频片段，其中，每个所述视频片段携带有异常动作类别的信息；按照预设采样帧率对每个所述视频片段进行视频帧采样，得到多组视频帧，其中，每组
所述视频帧携带有异常动作类别的信息；对每组所述视频帧中的各个视频帧进行预处理，得到所述训练样本。7.根据权利要求1所述的方法，其特征在于，所述方法还包括：若所述待检测设备工件的异常动作检测结果表示所述待检测设备工件存在异常动作，则进行报警。8.一种设备工件异常动作的检测装置，其特征在于，包括：视频帧拉取处理单元，用于通过第一线程实时对待检测设备工件的视频流进行视频帧拉取处理，并将得到的待检测视频帧存储至所述第一线程的数据队列中；复制单元，用于当所述数据队列中的待检测视频帧达到预设数量后，通过第二线程复制所述数据队列中的多帧待检测视频帧，并清空所述数据队列中存储的待检测视频帧；预处理单元，用于所述第二线程对多帧所述待检测视频帧进行预处理，得到多帧处理后的待检测视频帧；动作分析单元，用于所述第二线程采用视频动作分析模型对多帧所述处理后的待检测视频帧进行动作分析，得到所述待检测设备工件的异常动作检测结果，其中，所述预处理和所述动作分析的耗时和不大于所述数据队列存储预设数量的待检测视频帧的耗时。9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述权利要求1至7中任一项所述的方法的步骤。10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有机器可运行指令，所述机器可运行指令在被处理器调用和运行时，所述机器可运行指令促使所述处理器运行上述权利要求1至7中任一项所述的方法。

技术总结
本发明提供了一种设备工件异常动作的检测方法、装置和电子设备，包括：通过第一线程实时对待检测设备工件的视频流进行视频帧拉取处理，并将得到的待检测视频帧存储至第一线程的数据队列中；当数据队列中的待检测视频帧达到预设数量后，通过第二线程复制数据队列中的多帧待检测视频帧，并清空数据队列中存储的待检测视频帧；对多帧待检测视频帧进行预处理，得到多帧处理后的待检测视频帧；采用视频动作分析模型对多帧处理后的待检测视频帧进行动作分析，得到待检测设备工件的异常动作检测结果。本发明的方法能够基于待检测设备工件的视频流对待检测设备工件的异常动作进行自动检测识别，智能性好，减少了人工成本，且提高了检测的准确性。测的准确性。测的准确性。


技术研发人员：庞健
受保护的技术使用者：树根互联股份有限公司
技术研发日：2022.02.15
技术公布日：2022/5/31