一种多模态平衡的睡眠阶段分类模型训练方法

本发明涉及机器学习领域，具体来说涉及机器学习领域中的睡眠阶段分类领域，更具体来说，涉及一种多模态平衡的睡眠阶段分类模型训练方法。

背景技术：

1、睡眠监测和分期对人类至关重要，可以提供有关个人睡眠质量和诊断睡眠相关疾病的宝贵见解。睡眠阶段分类在疾病监测、安排和干预中具有广泛应用，并对人类健康具有重要意义。

2、目前常用的睡眠阶段分类标准是美国睡眠医学会(american academy of sleepmedicine，aasm)标准。2007年，aasm标准基于多导睡眠图(polysomnography，psg)的多模态时序生理信号(同构多模态)，包括脑电(electroencephalogram,eeg)、心电(electrocardiogram，ecg)、眼电(electrooculogram，eog)和肌电(electromyography，emg)等，将睡眠分为五个阶段，即清醒(wake)、快速眼动(rapid eye movement，rem)、三个非快速眼动(non-rapid eye movement，nrem)，其中，nrem包含三个阶段，分别命名为阶段1(n1)、阶段2(n2)和阶段3(n3)。n1、n2阶段属于浅睡眠期，n3阶段属于深度睡眠期。这五个睡眠阶段对应睡眠阶段分类(即睡眠分期)任务的五个类别。基于国际公认的睡眠阶段分类标准，睡眠监测在医疗保健、疾病诊断等许多领域中扮演着不可或缺的角色。

3、最初，研究人员根据aasm标准，从信号处理和医学知识的角度对睡眠阶段进行手动分类，以此研究与睡眠分期有关的问题。随着深度学习的兴起，研究人员开始采用自动特征学习来解决睡眠分期中耗时且劳动密集的问题。除了简单的cnn、rnn等模型外，研究人员还引入了注意力机制来基于不同睡眠时段的相对重要性捕捉区分特征。然而，当多个psg的模态共同表示睡眠状态时存在模态差异。为了探索这些差异，研究人员设计了逐模态的特征学习和融合方法，以捕捉跨模态的差异化特征。此外，研究人员还开发了基于注意力的融合技术，使多模态模型能够关注更重要的模态。然而，注意力机制放大了较强模态的主导地位，加剧了它们之间固有的不平衡，而这种不平衡进一步阻碍了模型利用所有模态的潜力。

4、此外，psg信号在不同个体之间存在严重的依赖性，现有的通用睡眠分期方法旨在增强模型的跨个体泛化能力。迁移学习中的预训练和微调方法被引入进行个体个性化校准。不幸的是，该方法需要大量数据和一些目标个体的标记数据，带来了不便之处。因此，领域泛化方被整合进来。例如，部分研究人员引入了领域对抗方法来通过反向传播领域判别损失的负梯度来混淆领域(即被试)的区分，从而使模型能够学习对于未见领域泛化有益的领域不变信息。为了平衡模态的分类能力并使每个模态尽可能达到最佳状态，一部分研究人员根据模态的分类性能平衡两个模态特定的特征提取器的梯度。

5、传统的领域对抗方法一定程度上增强了模型的跨被试泛化能力，但是，在基于多模态数据的任务中，模态的差异会影响多模态的融合效果，并且模态差异不仅仅只体现在分类性能上，还体现在领域判别性能上。不同模态的分类性能存在差异，而在不同个体领域内差异则会更大。

6、需要说明的是：本背景技术仅用于介绍本发明的相关信息，以便于帮助理解本发明的技术方案，但并不意味着相关信息必然是现有技术。在没有证据表明相关信息已在本发明的申请日以前公开的情况下，相关信息不应被视为现有技术。

技术实现思路

1、因此，本发明的目的在于克服上述现有技术的缺陷，提供一种多模态平衡的睡眠阶段分类模型训练方法。

2、本发明的目的是通过以下技术方案实现的：

3、根据本发明的第一方面，提供了一种对睡眠阶段分类模型训练的方法，所述方法包括：获取训练集，所述训练集包括多个样本、每个样本对应的指示睡眠阶段类别的类别标签以及指示每个样本所属领域的领域标签，其中，样本为多模态生理时序信号，所述领域与用户或者用户分组相关；利用所述训练集对预设的睡眠阶段分类模型和领域判别器进行多轮训练，得到经训练的睡眠阶段分类模型，其中，每轮训练中：利用分类模型中的特征提取器从每个模态生理时序信号提取模态特征，利用分类模型中的分类器分别根据每个模态特征和融合特征分别进行睡眠阶段分类，所述融合特征包括所有的模态特征；利用领域判别器根据每个模态特征和融合特征分别进行领域判别；利用根据每个模态特征进行睡眠阶段分类的结果和类别标签确定该模态的分类性能指标，利用根据融合特征进行睡眠阶段分类的结果和类别标签确定分类损失；利用根据每个模态特征进行领域判别的结果和领域标签确定该模态的域判别性能指标，利用根据融合特征领域判别的结果和领域标签确定域判别损失；根据分类损失和域判别损失确定的总损失更新特征提取器的参数，根据分类损失和每个模态的分类性能指标确定的梯度更新分类器中与该模态相关的参数，根据域判别损失和每个模态的域判别性能指标确定的梯度更新领域判别器中与该模态相关的参数，与该模态相关的参数是指用于处理对应模态特征的参数。

4、在本发明的一些实施例中，所述融合特征为u个模态的模态特征按序拼接或者堆叠构成的u×c维的特征，其中，u为多模态生理时序信号对应的模态总数，c为单个模态特征的维度，第n个位置为第n模态的模态特征，n∈[1,u]；利用分类器根据每个模态特征进行睡眠阶段分类以及利用领域判别器根据每个模态特征分别进行领域判别时，所输入的第u个模态的模态特征预先被零填充以构造为与融合特征同尺度的u×c维格式，其中，第u个位置为第u模态的模态特征，除第u个位置以外的其他位置全为0，u∈[1,u]。

5、在本发明的一些实施例中，所述每个模态的分类性能指标和域判别性能指标中的任意一个性能指标按照以下方式确定：将每个模态特征输入分类器或领域判别器，得到每个模态对应的预测值；根据每个模态对应的预测值和对应的标签，确定每个模态对应的性能值；根据每个模态对应的性能值和所有模态的性能值，确定每个模态对应的性能得分；根据每个模态对应的性能得分与模态平均比率之间的方差，确定每个模态的性能指标。

6、在本发明的一些实施例中，每轮训练中，基于每个模态的分类性能指标和根据分类损失计算得到的分类梯度确定的梯度更新分类器中与该模态相关的参数，基于每个模态的域判别性能指标和根据域判别损失计算得到的域判别梯度确定的梯度更新领域判别器中与该模态相关的参数。

7、在本发明的一些实施例中，每轮训练中，分类器和领域判别器中任意一个与模态相关的参数按照以下方式更新：根据每个模态的性能指标和根据对应损失计算得到的对应梯度确定的梯度以及上一轮更新的与该模态相关的一阶矩估计和二阶矩估计更新当前轮中对应的一阶矩估计和二阶矩估计，并根据衰减因子对更新后的一阶矩估计和二阶矩估计进行修正；基于修正后的一阶矩估计、二阶矩估计以及上一轮更新的与该模态相关的参数更新当前轮分类器或领域判别器中与该模态相关的参数。

8、在本发明的一些实施例中，所述当前轮分类器或领域判别器中与该模态相关的参数的更新表示为：

9、

10、其中，a表示分类器或领域判别器，表示第t轮a中与第u个模态相关的参数，表示t-1轮a中更新的与第u个模态相关的参数，表示第t轮修正后与第u个模态相关的一阶矩估计，表示第t轮修正后与第u个模态相关的二阶矩估计，∈1表示常数，η表示学习率。

11、在本发明的一些实施例中，所述分类损失和域判别损失中的任意一个损失按照以下方式计算得到：

12、

13、其中，ga表示分类器或领域判别器，i表示训练样本的总数，ka表示类别标签或领域标签的总数，ga(fi)表示ga输出的第i个样本的融合特征的预测值，fi表示第i个样本的融合特征，表示第i个样本的预测标签，表示指示第i个样本的预测标签与对应的标签是否相等的指示函数，若该函数值为1，反之该函数值为0。

14、根据本发明的第二方面，提供了一种睡眠阶段分类的方法，所述方法包括：获取待分类的多模态生理时序信号；利用如本发明的第一方面所述方法得到的经训练的睡眠阶段分类模型对所述待分类的多模态生理时序信号进行分类，得到睡眠阶段分类结果。

15、与现有技术相比，本发明的优点在于：

16、(1)通过每个模态专属的特征提取器对对应模态生理时序信号进行特征提取，能够更好的捕捉到该模态表现良好的特征，使得分类器和领域判别器能够充分的学习到相关的知识，提高分类能力和领域泛化能力；进一步地，通过分类损失和域判别损失确定的总损失更新特征提取器的参数，能够提高每个模态专属的特征提取器的能力，降低模态之间的差异，使得更新后的特征提取器提取到的模态特征更好；

17、(2)通过每个模态的性能指标对分类器和领域判别器对应的梯度进行自适应调整，通过较大的性能指标提升分类器或领域判别器对不平衡的与模态相关的参数的关注度，通过较小的性能指标降低对平衡良好的参数的关注度，进而在提高分类能力和领域判别能力的同时也能够实现多个模态之间的平衡，解决了现有技术中只考虑了两个模态之间的平衡，而不能扩展到多个模态平衡的问题。