一种远程光电容积描记法信号的增强方法

本技术涉及一种远程光电容积描记法信号的增强方法。远程光电容积描记法(remote photoplethysmography，rppg)，又称成像式光电容积描记法(imaging photoplethysmography，ippg)，通过摄像头感受人体皮肤(主要是面部)反射光的变化来进行生理监测，如图2所示。作为一种非接触、完全无扰、低成本的生理信号测量方式，rppg近十年来，得到了业界的广泛关注和大量研究，不仅被寄希望于在呼吸率测量、心率测量、心率变异性(heart rate variability，hrv)测量等中得到广泛应用，而且被寄希望于在与此相关的血压测量、血氧测量、情绪分析、人脸活伪鉴别等领域中发挥作用。然而，rppg技术现今在实际中应用的情况并不令人满意。人们并不能看到这样的实际系统：(1)在跑步机上安装了摄像头来监测运动者心率变化；(2)在驾驶舱内安装了摄像头监测司机的心率变化，来判断疲劳；(3)在房间天花板上安装了红外摄像头夜晚睡觉时来监测人的心率变化。概言之，基于rppg的成熟应用系统还未出现，或者说rppg技术的理论方法还不成熟。

背景技术：

1、先对rppg方法做一些概述：(1)摄像头根据场景不同，有用彩色摄像头，也有用红外摄像头或黑白摄像头；(2)彩色摄像头记录的一段视频是一个4维数据，红外或黑白摄像头记录的一段视频是一个3维数据，数据量都很大；(3)摄像头传出的一段视频数据可能有压缩、有信息损失，会弱化视频数据的信噪比；(4)后端对一段视频数据的处理，旨在千方百计从中变出一路1维的干净的信噪比高的生理信号序列，据此估计生理参数；(5)心率是最基本最重要的生理参数，rppg方法效果的检验主要是用其估计的心率与作为金标准的心电、传统ppg等波形估计的心率做比较，常用平均绝对误差(mae)、均方误差根(rmse)和皮尔森相关系数(r)作为方法的衡量指标。这里第(4)条是最核心最困难投入研究最多的一个步骤，因为摄像头感应的一段视频信号中，来自血液血管变化的脉搏成分太微弱，而来自光照变化、运动变化等的干扰成分却很大，非常不容易获得一路反映心跳的干净生理信号序列——脉搏波，以稳定地高精度地估计心率参数等。

2、如何通过处理将一段视频数据变成一段高质量的rppg脉搏波形，前人已投入大量研究，业界通常将各种方法粗略地归划为两类——传统方法和机器学习的方法。传统方法依靠人为挖掘和利用先验知识来设计算法，以消除面部视频中的运动伪影和光照噪声等，如绿色通道法，盲源分离(bss，jbss)方法，基于色度模型(chrominance model，chrom)的方法，以及基于与皮肤正交平面的pos模型算法等。

3、机器学习的方法用于rppg，较传统方法，更是国内外的一个热点。有采用2d-cnn来建模的，如hr-cnn，deepphys(又称can)，mtts-can，evm-cnn，结合时空地图(spatial-temporal map)的2d-cnn等，也有采用3d-cnn、带注意力机制(attention mechanism)的3d-cnn网络、循环神经网络(rnn，lstm)、生成对抗网络(gan)、转换器网络(transformer)等来建模的。这些都是有监督网络，依赖包括面部视频和同步真实生理信号的大规模数据集，也有无监督方法用于rppg以获得高质量脉搏信号的研究。对比学习(contrast learning)，是一种广泛使用的用于视频和图像特征嵌入的无监督学习方法，其核心思想是最小化正面样本和锚点样本之间的距离，最大化负面样本和锚样本之间的距离，从而实现聚类效应。

4、通过有监督无监督学习，尤其是深度学习，实现rppg信号增强的范式，包括混合模式和端到端的模式。端到端模式，将一段人脸视频直接送给深度网络来计算脉搏曲线，理论上只要训练数据足够多，模型和正则化机制得当，可获得最优增强或者说最高质量的脉搏曲线，但是，如此端到端网络的计算规模过于庞大，给实际落地带来了巨大挑战，其赖以学习的海量数据的积累也同样是一个巨大挑战。深度学习的混合模式rppg方法，与传统rppg方法相比，具有相同或相似的框架，它们都要先进行人脸检测，只是某些环节步骤采用了学习的方法，它们都是相对轻量化的运算规模，特别是纯的传统rppg方法，易于在普通设备上部署实现，易于做到实时性。

5、本技术是在轻量化的方向上，在混合或传统rppg方法的模式下，挖掘潜力。为了叙述本技术方案的方便，先对传统方法框架做进一步的描述：(1)“人脸检测”是在每帧图像中形成一个矩形框子将图像中的脸部框住，对不需要和不感兴趣的区域进行简单的删除，典型算法为viola and jones(vj)算法，由于对每帧图像进行vj算法人脸检测实时性差，“人脸追踪”技术是在前帧vj算法检测到的人脸边界框的基础上，生成和跟踪面部的可跟踪点，典型算法是kanade-lucas-tomasi(klt)算法；(2)对算法检测的“人脸矩形”，在其角落不可避免地存在非人脸像素，“皮肤检测”是在保留皮肤像素的同时去除所有非皮肤像素(如背景、眼睛、眉毛、头发等)的过程，“皮肤检测”象人脸检测一样有成熟算法，conaite算法是其典型算法；(3)有了检测到的“皮肤”，可以进一步分割出前额和脸颊的几个小矩形区域作为感兴趣区域(regions of interest，rois)，另外，面部特征检测算法用于识别面部图像上各面部组件的关键性地标点的位置，也可由此形成形状不规则的各种rois；(4)在确定了一个个rois后，对每个彩色roi图像序列，通过颜色值求和(或求平均)可以形成r、g和b三条强度曲线，若是红外或黑白相机，每个roi序列，通过算roi的面积或均值可以得到一条强度曲线；(5)有了所有rois得到的对应强度曲线，然后采用线性非线性滤波、信号分解、盲源分离(bss，jbss)或颜色空间的投影等各种融合处理，可增强出一路更高信噪比的脉搏曲线，以求心率；

6、在传统框架下，有一个重要概念叫感兴趣区域rois，现有国内外所有方法基本都是先确定rois，然后只在rois上做文章。而本技术的想法是：(1)要对rois之外的区域也感兴趣，包括图3所示的“含体动背景”区(body background)和“非体动背景”区(otherbackground)，认为它们中也有有用信息；(2)视频rois中无疑有“脉搏波成分”、“呼吸等其他体动干扰成分”、“相机抖动干扰成分”、“光照变化干扰成分”；(3)视频“含体动背景”区中可认为不含“脉搏波成分”，但含有“呼吸等其他体动干扰成分”、“相机抖动干扰成分”、“光照变化干扰成分”；(4)视频“非体动背景”区中，可认为不含“脉搏波成分”，也不含“呼吸波等其他任何体动干扰成分”，但仍含有“相机抖动干扰成分”和“光照变化干扰成分”；(5)以上关于视频rois组成、视频“含体动背景”区组成、视频“非体动背景”区组成的假设，如果成立，则说明rois外的视频背景部分也有重要信息，可以利用这里的双层背景信息，通过维纳滤波、自适应滤波等统计信号处理手段去除rois中的运动伪影干扰和光照变化干扰。表1进一步给出了本技术视频各区域对应强度曲线的成分组成。

7、表1视频各区域对应强度曲线的成分组成

8、

9、参考文献

10、[1]h.xiao，t.liu，y.sun，y.li，s.zhao，a.avolio，remotephotoplethysmography for heart rate measurement：a review，biomedical signalprocessing and control，88(2024)105608

11、[2]r.j.lee，s.sivakumar，k.h.lim，review onremote heart ratemeasurements using photoplethysmography，multimedia tools and applications，2023，https：//doi.org/10.1007/s11042-023-16794-9

12、[3]成娟，武梦影，宋仁成，刘羽，陈勋，模型和盲源分离融合的运动鲁棒视频心率检测，仪器仪表学报，44(8)(2023)289-298

技术实现思路

1、发明目的

2、本技术不仅对视频的面部rois感兴趣，也对rois之外的视频区域感兴趣，认为rois之外的“含体动背景”区和“非体动背景”区中也有有用信息。尽管最终要求的是表1中的脉搏波成分，它只源于面部rois中，与“含体动背景”区和“非体动背景”区无关，但是，面部rois中的干扰成分不能说与“含体动背景”和“非体动背景”两种背景区无关，它们是关联的。

3、本技术旨在提出一种利用体动和非体动双重背景之噪声干扰信息的rppg信号增强方法，使一段人脸视频能转化成一条条对应各rois的高质量脉搏波信号，为进一步的融合增强乃至心率等生理参数的估计创造条件。

4、技术方案

5、一种远程光电容积描记法信号的增强方法，其特征在于，将一段视频的图像分成若干感兴趣区域(rois)、“含体动背景”区、“非体动背景”区，用视频的每个roi区域生成对应的一条roi强度曲线，不妨记作x(n)，用视频的“含体动背景”区生成对应的一条强度曲线，不妨记作r1(n)，用视频的“非体动背景”区生成对应的一条强度曲线，不妨记作r0(n)，通过x(n)与r1(n)和r0(n)三条强度曲线的融合计算，衰减x(n)中的光照变化、相机抖动、呼吸等体动干扰成分，得到一条增强的脉搏波曲线。

6、根据以上所述的一种远程光电容积描记法信号的增强方法，其特征在于，(1)假设视频“非体动背景”区对应强度曲线r0(n)经过一最优滤波器h1后的输出为y1(n)，其与视频“含体动背景”区对应强度曲线r1(n)中的“相机抖动干扰成分”和“光照变化干扰成分”的总和相等，则它们的差e1(n)＝r1(n)-h1(r0(n))即为“呼吸等体动干扰成分”的一个估计，如图1左下支所示，最优滤波器h1可以通过求解优化问题得到；(2)同时，假设视频“非体动背景”区对应强度曲线r0(u)经过一最优滤波器h2后的输出为y2(n)，其与视频roi区域对应强度曲线x(n)中的“相机抖动干扰成分”和“光照变化干扰成分”的总和相等，则它们的差e2(n)＝x(n)-h2(r0(n))即为“脉搏波成分”与“呼吸等体动干扰成分”之和的一个估计，如图1左上支所示，最优滤波器h2可以通过求解优化问题得到；(3)此时，再假设e1(n)经过一最优滤波器h3后的输出为y3(n)，其与e2(n)中的“呼吸等体动干扰成分”相等，则它们的差e(n)＝e2(n)-h3(e1(n))即为要求的脉搏波的一个增强估计，去除了x(n)中的所有的干扰，如图1右部所示，最优滤波器h3可以通过求解优化问题得到。

7、以上一种非接触光电容积描记法信号的增强方法，其特征在于，最优滤波器h1、h2和h3也可以考虑联合求解，通过求解优化问题得到。

8、以上一种非接触光电容积描记法信号的增强方法，其特征在于，当限定h1、h2和h3为线性滤波器并通过以上最小二乘法求解时，不妨称为层级维纳滤波器。

9、以上一种非接触光电容积描记法信号的增强方法，其特征在于，h1、h2和h3可以为fir滤波器，也可以是iir滤波器，也可以是非因果线性滤波器，也可以是非线性滤波器。

10、以上一种非接触光电容积描记法信号的增强方法，其特征在于，其“非体动背景区”的选取，可以选取人头部一端的两个边角区域。如图4所示。

11、有益效果

12、实验。某视频数据一roi区域对应亮度平均强度时间序列的频谱，如图5所示，图5中有1.08hz的心动相关成分(bvp)，也有0.78hz和1.43hz等其他干扰成分。图6为图5关联视频数据的“非体动背景”区对应亮度平均强度时间序列的频谱，图6中1.08hz的心动相关成分(bvp)和1.43hz干扰成分均很弱。图7为图5关联视频数据经本技术方法增强后的roi区域对应亮度平均强度时间序列的频谱，图7中1.1hz的心动相关成分(bvp)得到了显著增强，而其他干扰成分得到有效衰减。

13、进一步实验。采用pure数据集。该数据集记录了10位测试者在摄像机前进行6种不同幅度和方向的头部旋转运动的60个视频。六种不同的运动状态分别为：稳定、说话、缓慢移动、快速移动、小幅度旋转、中幅度旋转。数据集包含视频图像序列以及参考脉搏测量值，每个视频长度为1分钟。其中视频采用eco274cvge相机以30hz的帧率拍摄，单帧尺寸为640×480像素，焦距为4.8mm。参考脉搏测量值采用指夹式脉搏血氧仪(pulox cms50e)录制视频时同步采集，该脉搏血氧计以60hz的采样率获取测试者脉搏率和血氧读数。受试者与摄像机距离约为1.1米。光照来源主要为户外自然光源。

14、对pure数据集的实验结果见表2所示。用本技术方法和著名的pos方法进行比较；对增强的对应一roi区域的rppg信号做频谱，以感兴趣频段的最高谱峰对应频率作为心率，用心率估计绝对误差的平均值mae、均方误差根rmse，以及与标准ppg波形的相关系数r，作为评价指标。可以看出，绝大多数情况，本技术方法优于pos方法。

15、表2 pure数据集测试结果

16、