一种基于特征金字塔的疑似睡觉识别方法与流程

本发明涉及睡觉行为识别领域，具体涉及一种基于特征金字塔的疑似睡觉识别方法。

背景技术：

1、船舶航行过程中，值班工作人员需要时刻观察海域，保证船舶航行过程中的安全。如果工作人员在值班时间睡觉，一旦前方出现障碍物，将有可能发生严重的事故，对船上工作人员造成伤害以及船舶公司的重大经济损失。因此，对船上值班工作人员进行睡觉识别可以降低碰撞险情的风险。

技术实现思路

1、针对现有技术中的上述不足，本发明提供的一种基于特征金字塔的疑似睡觉识别方法能实时地对目标人员进行睡觉监控，为安全作业保驾护航。

2、为了达到上述发明目的，本发明采用的技术方案为：

3、提供一种基于特征金字塔的疑似睡觉识别方法，其包括以下步骤：

4、s1、获取实时图像；

5、s2、通过yolov8算法对实时图像进行人体检测，若检测到人体则添加人体框并进入步骤s3；否则返回步骤s1；

6、s3、通过bytetrack算法对人体框进行跟踪，若未跟踪到人体目标则返回步骤s1；若跟踪到人体目标则将同一个目标赋予同一个跟踪id并进入步骤s4；

7、s4、对于每一个跟踪id，保存其过去k帧的跟踪结果，使每一个跟踪id对应一个睡觉识别基础数据集；

8、s5、将睡觉识别基础数据集中的帧图像统一尺寸后转换为灰度图像，得到灰度图像集；

9、s6、将同一张灰度图像分别均分为4个区域、16个区域和64个区域；

10、s7、对于切分前的灰度图像、同种切分方式下的区域图像，分别通过图像差分法计算前后帧的变化矩阵，并获取不同切分方式对应的运动变化率；

11、s8、将同一张帧图像对应的4种不同切分方式运动变化率的平均值作为该帧图像的最终运动变化率；其中切分前的灰度图像对应的运动变化率为一种切分方式对应的运动变化率；

12、s9、将同一个跟踪id的k帧跟踪结果的最终运动变化率的方差作为识别参数，若识别参数小于阈值，则判定该跟踪id发生疑似睡觉行为；否则判定该跟踪id未出现睡觉行为。

13、进一步地，获取实时图像的具体方法为：

14、通过拉流程序对相机进行硬解码，按照1秒10帧的方式来获取实时图像。

15、进一步地，k的值为900。

16、进一步地，睡觉识别基础数据集中的帧图像尺寸统一为240×240。

17、进一步地，对于切分前的灰度图像通过图像差分法计算前后帧的变化矩阵，并获取对应的运动变化率的表达式为：

18、d1,1＝|pk―pk―1|

19、b1,1＝binarize(d1,1)

20、a1,1＝contour_area(b1,1)

21、

22、其中d1,1表示切分前的第k帧灰度图像pk与切分前的第k―1帧灰度图像pk―1的差分结果，即变化矩阵；b1,1为二值化结果；binarize(.)为opencv的二值化计算函数；a1,1为变化区域轮廓面积；contour_area(.)为opencv的轮廓计算函数；pk,1为第k帧图像的运动变化率。

23、进一步地，对切分方式为4个区域的区域图像，通过图像差分法计算前后帧的变化矩阵，并获取对应的运动变化率的表达式为：

24、d2,2(i4)＝|pk(i4)―pk―1(i4)|i4＝1,2,3,4

25、b2,2(i4)＝binarize(d2,2(i4))

26、a2,2(i4)＝contour_area(b2,2(i4))

27、

28、

29、其中d2,2(i4)表示切分方式为4个区域时，第k帧灰度图像pk中第i4个区域图像与第k―1帧灰度图像pk―1中第i4个区域图像的差分结果，即变化矩阵；b2,2(i4)为切分方式为4个区域时，第i4个区域图像的二值化结果；a2,2(i4)为切分方式为4个区域时，第i4个区域图像的变化区域轮廓面积；pk,2(i4)为切分方式为4个区域时，第i4个区域图像的运动变化率；pk,2为切分方式为4个区域时，第k帧灰度图像对应的运动变化率。

30、进一步地，对切分方式为16个区域的区域图像，通过图像差分法计算前后帧的变化矩阵，并获取对应的运动变化率的表达式为：

31、d4,4(i16)＝|pk(i16)―pk―1(i16)|i16＝1,2,…,16

32、b4,4(i16)＝binarize(d4,4(i16))

33、a4,4(i16)＝contour_area(b4,4(i16))

34、

35、

36、其中d4,4(i16)表示切分方式为16个区域时，第k帧灰度图像pk中第i16个区域图像与第k―1帧灰度图像pk―1中第i16个区域图像的差分结果，即变化矩阵；b4,4(i16)为切分方式为16个区域时，第i16个区域图像的二值化结果；a4,4(i16)为切分方式为16个区域时，第i16个区域图像的变化区域轮廓面积；pk,3(i16)为切分方式为16个区域时，第i16个区域图像的运动变化率；pk,3为切分方式为16个区域时，第k帧灰度图像对应的运动变化率。

37、进一步地，对切分方式为64个区域的区域图像，通过图像差分法计算前后帧的变化矩阵，并获取对应的运动变化率的表达式为：

38、d8,8(i64)＝|pk(i64)―pk―1(i64)|i64＝1,2,…,64

39、b8,8(i64)＝binarize(d8,8(i64))

40、a8,8(i64)＝contour_area(b8,8(i64))

41、

42、

43、其中d8,8(i64)表示切分方式为64个区域时，第k帧灰度图像pk中第i64个区域图像与第k―1帧灰度图像pk―1中第i64个区域图像的差分结果，即变化矩阵；b8,8(i64)为切分方式为64个区域时，第i64个区域图像的二值化结果；a8,8(i64)为切分方式为64个区域时，第i64个区域图像的变化区域轮廓面积；pk,4(i64)为切分方式为64个区域时，第i64个区域图像的运动变化率；pk,4为切分方式为64个区域时，第k帧灰度图像对应的运动变化率。

44、进一步地，获取某一帧图像的最终运动变化率的计算表达式为：

45、

46、其中pavgk为第k帧图像的最终运动变化率。

47、进一步地，将同一个跟踪id的k帧跟踪结果的最终运动变化率的平均值作为识别参数的表达式为：

48、

49、

50、其中pa为同一个跟踪id的k帧跟踪结果的最终运动变化率的平均值；value为同一个跟踪id的k帧跟踪结果的最终运动变化率的方差；步骤s9中的阈值为0.25。

51、本发明的有益效果为：

52、1、本方法能够适应各种不同的环境和场景，无论是室内还是室外，都能够有效地进行睡觉识别；可以与现有的监控系统和智能分析平台无缝集成，提供一种增强的行为识别能力，实现高效、精准和鲁棒的睡觉行为识别。

53、2、本方法将帧图像统一尺寸后转换为灰度图像，可以在不改变人体框的整体形态的基础上处理图像数据，便于后续的运动变化率计算，还可以减少受到光线等因素的影响，提高本方法的识别准确率。

54、3、本方法通过对人体运动的全局到局部特征进行建模，使用了4种切分方法，根据区域的不断细分，越能捕捉到细节的运动特征，和前面全局的特征结合，不仅可以直接排除睡觉行为，还能捕捉人体出现的小幅度运动，避免被误判为睡觉行为。