基于红外传感技术的视疲劳智能监测方法和系统与流程

本发明涉及红外传感，特别是涉及基于红外传感技术的视疲劳智能监测方法和系统。

背景技术：

1、视疲劳识别作为一项热点研究内容，不同领域的专家、研究员给出了丰富的方法与策略。从生物医学到计算机科学再到机器视觉，疲劳识别所涉及的学科与技术越发多样化。随着人工智能领域取得的突破性进展，促使疲劳识别朝着智能化的方向迈进。

2、现有技术中的视疲劳监测通常采用以下方法：一是监测人体面部的参数变化，包括眼睛、嘴巴，通过打哈欠频率等综合判定，这种方法需要嘴部的变化参数，人们在戴口罩或者说话的时候很难给出准确的判定；二是通过统计人眼中瞳孔像素的数量来衡量眼睛的开闭程度，这种方法对中驾驶员的眼睛朝向与外界环境要求非常高，因为外界环境或驾驶员的眼睛朝向一旦发生变化，那么瞳孔的像素数量就会发生变化，仅仅依靠统计像素数量来衡量驾驶员的眼部状态有失准确率与可靠性；三是根据通用的经验阈值基于通用阈值行判断，这种方法忽略了驾驶员个体之间差异性，驾驶员情绪的变化导致的数据波动也没有考虑，其结果往往也有失偏颇。

3、上述方法均存在一些不足和局限性，不能很好的适应当前对视疲劳监测的多场景需求，目前亟需一种有效的视疲劳监测方法。

技术实现思路

1、为解决现有技术存在的问题，本发明基于红外线传感器侦测的眼部红外变化数据，提供一种基于红外辐射变化数据的视疲劳监测方法和系统。

2、第一方面，本发明提供基于红外传感技术的视疲劳智能监测方法红外辐射变化数据，利用红外传感器实时捕捉驾驶员的眼睛区域的红外辐射变化数据，所述方法包括以下步骤：

3、步骤s1，连续捕捉驾驶员正常状态下至少一个滑动窗口的红外辐射变化数据红外辐射变化数据集，将红外辐射变化数据进行梯度归一化处理并分割后获得眼部区域数据基于时间序列的横纵坐标；

4、进一步的，所述连续捕捉驾驶员正常状态下至少一个滑动窗口的红外辐射变化数据集，将数据进行梯度归一化处理并分割后获得眼部区域基于时间序列的横纵坐标具体包括以下步骤：

5、步骤s101,将所述集中数据进行静态卷积，在进行静态卷积时，卷积核设置为十字交叉型，中心权重为0，上下左右分别设置为1、-1、1、-1，约束长度值取8～13。

6、步骤s102，将卷积后的数据梯度值进行归一化处理，使用sigmoid函数将梯度值压缩至0～1之间：式中，sigmoid(x,y)为归一化后坐标(x,y)的梯度值，h(x,y)为卷积变换后坐标(x,y)的辐射量。

7、步骤s103，使用graythresh函数计算归一化后的数据最大类间方差δ，基于最大类间方差δ对数据进行分割，得到矩形眼部区域：

8、

9、式中，graythresh(x,y)为数据分割后坐标(x,y)的辐射量。

10、步骤s104，计算矩形眼部区域每一个横坐标x在纵坐标方向的辐射量序列的平均值保留大于平均值的区域的辐射量，得到眼部区域基于时间序列的横纵坐标gt(x,y)：

11、式中，n为横坐标x处纵坐标坐标方向的红外辐射量，yi为第i个坐标点的辐射量。

12、

13、式中，gt(x,y)为t时刻对应的眼部区域数据坐标(x,y)的辐射量。

14、步骤s2，根据眼部区域数据基于时间序列的横纵坐标，提取眼部红外特征点坐标，得到驾驶员红外辐射变化数据的ear值，根据驾驶员的ear值计算得到驾驶员的眼部疲劳阈值t1。

15、进一步的，所述根据驾驶员的ear值计算得到驾驶员的眼部疲劳阈值t1包括以下步骤：

16、步骤s201,对眼部区域边界坐标基于时间序列的辐射量进行平滑处理，采用中值滤波的方法，取平滑窗口为3×3，则平滑处理后坐标(x,y)的辐射量mt(x,y)＝median[gt(c+c1,y+c2)]，其中，c1,c2∈[-3/2，3/2]，median表示取中值操作。

17、步骤s202，将平滑处理后的眼部区域边缘的左右两端点坐标记为q1和q2，分别对上边缘和下边缘的平滑弧进行3等分，将上边缘的3等分坐标点从左到右记为q3和q4，下边缘的3等分坐标点从左到右记为q5和q6，计算基于时间序列的驾驶员ear值：

18、步骤s203，基于时间序列的ear值计算得到驾驶员的眼部疲劳阈值t1，在一个滑动窗口中，将驾驶员眼睛闭合20％的时刻记为k，则k时刻前5次红外辐射的数据包含了驾驶员眼睛准备闭合到闭合20％的全过程，记驾驶员上一个眼睛睁开80％的时刻记为m，则眼部疲劳阈值t1的计算式为：

19、

20、式中，k-5-m为m时刻至k-5时刻，驾驶员红外辐射变化数据的总辐射次数，t1表征驾驶员的眼部纵横比ear，正常状态下驾驶员的眼部纵横比ear在一个滑动时间窗口的平均值大于阈值t1。

21、步骤s3，基于所述正常状态下至少一个滑动窗口的红外辐射变化数据集，获取驾驶员的眼部闭合时间占比θ，根据驾驶员的眨眼频率f计算驾驶员的眼部疲劳阈值t2。

22、进一步的，所述眼部疲劳阈值t2的计算方法为：

23、记驾驶员在一个滑动窗口内闭眼或睁眼过程中，眼睛张开度小于等于60％的的辐射次数为z1，一个滑动窗口的总辐射次数为z，则眼部闭合时间占比θ＝z1/z。

24、驾驶员的眨眼频率需要更多的滑动窗口进行测量统计，设滑动窗口的数量为i，每个滑动窗口中的统计的眨眼频率为fj,1≤j≤i,其中，fj的最大值为fmax，最小值fmin，则：

25、

26、所述眼部疲劳阈值t2表征驾驶员的眼部闭合时间占比，正常状态下驾驶员眼部闭合时间占比θ不大于阈值t2。

27、步骤s4，保持滑动窗口的时长不变，连续监测驾驶员的红外辐射变化数据，实时计算每个滑动窗口内睁眼状态下的ear平均值以及眼部闭合时间占比θ，将计算值与阈值进行比较，判断驾驶员的眼睛状态。

28、进一步的，当且θ>t2时，判定为驾驶员眼疲劳状态，向驾驶员发送提醒警示信息。

29、进一步的，滑动窗口的时长设置为30s、60s或90s，红外传感器的辐射次数不小于25fps。

30、第二方面，本发明提供一种执行第一方面的基于红外辐射变化数据的监测方法的视疲劳监测系统。

31、所述系统包括：数据采集模块，数据处理模块，数据运算模块，预警模块。

32、进一步的，所述数据采集模块与所述数据处理模块相连，用于连续捕捉驾驶员的红外辐射变化数据并传送至数据处理模块。

33、进一步的，所述数据处理模块于所述数据运算模块相连，用于根据滑动窗口按照时间序列提取眼部特征点坐标并将处理结果发送至数据运算模块。

34、进一步的，所述数据运算模块与所述预警模块连接，所述数据运算模块包括：阈值计算单元，ear计算单元，和眼部闭合占比计算单元，分别用于计算驾驶员的眼部疲劳阈值，驾驶员的ear值，和驾驶员的眼部闭合占比值。

35、进一步的，所述预警模块将所述数据运算模块计算的驾驶员的ear值和驾驶员的眼部闭合占比值分别与驾驶员的眼部疲劳阈值进行比较，当驾驶员的ear值和驾驶员的眼部闭合占比值均超出驾驶员的眼部疲劳阈值时，向驾驶员发送提醒警示信息。

36、进一步的，所述系统还包括：存储模块，供电模块。

37、进一步的，所述存储模块用于存储数据采集模块的原始数据，数据处理模块和数据运算模块产生的中间数据，以及预警模块的预警信息记录。

38、进一步的，所述供电模块用于向系统的各个模块提供工作电源。

39、本发明与现有技术相比，具有如下的优点和有益效果：

40、1、本发明的视疲劳判定设置了两个阈值，分别表征驾驶员的ear值和眼部闭合占比值，通过两个阈值对驾驶员的疲劳状态进行判定，提高了对驾驶员眼疲劳状态判定的准确度，本发明中涉及的阈值是基于驾驶员本身的红外辐射变化数据进行设定，具有自适应性，能够克服不同个体间差异产生的误判。

41、2、本发明在进行眼疲劳状态判定时，只需要关注驾驶员的红外辐射变化数据，在实际应用中具有很强的鲁棒性，能够匹配不同场景的驾驶员需求。