一种优化时间位置编码的人体健康监测数据时序预测方法

本发明属于时间序列预测和人工智能，具体涉及利用时间信息优化可学习位置编码和优化时间位置编码的人体健康监测不规则多变量时间序列预测方法。

背景技术：

1、多变量时间序列预测技术在医疗保健、健康监测及日常生活活动识别等领域展现出其核心价值与面临的挑战。尤其在处理不规则时间序列数据时，诸如脓毒症早期预测、重症监护病房(icu)死亡率和住院时间预测、以及身体活动监测等关键应用场景，不仅要求算法具备高效处理时间序列数据不规则性、缺失值及类别不平衡的能力，还促使不断探索先进的模型架构与数据处理策略以提升预测精度与鲁棒性。

2、cn202311293557.4涉及一种基于iot技术的健康管理系统。其包括个人响应数据库、异常原因分析模块以及健康干预模块。通过个人响应数据库结合用户过往病历数据，确定用户当前健康水平，并制定对应的健康响应阈值，根据用户的健康水平进行适配的健康响应阈值制定，为每个用户制定合理的应急响应方案，提高整个系统的适配效果，通过异常原因分析模块获取所述个人响应数据库反馈的响应数据，并结合健康监测数据，预测引起用户健康监测数据异常的原因，通过健康干预模块结合预测引起用户健康监测数据异常的原因以及过往病历数据，为用户制定对应的健康干预模式。

3、cn202311866136.6是一种基于空间位置与时间跨度的序列推荐方法，涉及序列推荐技术领域，通过tpe模块根据兴趣点之间的时间间隔动态调整兴趣点在序列中的位置，并通过正弦变换生成位置表示，反映兴趣点之间的相对时间接近度，并利用dtw算法的输出来提供更丰富的时间位置信息，这将使时间位置编码器更加敏感于用户行为的时间动态；isab模块交替使用位置感知注意力层和前馈网络，将空间－时间间隔缩放后加到注意力机制中，以增加注意力机制对所有兴趣点之间的空间关系的重视程度，且引入多头注意力机制来提高对序列中多样模式的捕捉能力，缓解局部兴趣点之间关注度的不足。

4、人体健康监测时间序列数据常伴有不均匀的时间间隔及大量缺失值，可能导致有意义信息的丢失，忽视这些依赖关系可能使模型产生错误表示。不规则性给多变量时间序列预测带来的挑战包括信息熵增加、估计偏倚、模型波动性及可能导致模型的误导性评分。为缓解这些挑战，以往常见的做法包括使用缺失值插补以确保模型对非均匀时间间隔的适应性。随着深度学习方法的兴起，一类方法采用长短时记忆网络(lstm)和循环神经网络(rnn)顺序生成数据，捕捉序列数据中的长期依赖并自适应填充缺失值。另一类则利用注意力机制动态聚焦于不同时间位置，从而在不规则时间序列数据集中改善插补效果。此外，生成对抗网络(gan)也被用作协同生成和填补缺失值的方法。但值得注意的是，插补技术可能引入额外噪声，改变时间序列数据的特征分布。

5、因此，许多方法选择跳过数据插补步骤，直接对人体健康监测不规则时间序列数据进行建模，来保留原始数据的内在特性，其中比较常见且表现突出的是基于transformer架构的模型。近年来，transformer因其在多种任务，尤其是自然语言处理领域的卓越表现而受到关注。基于transformer架构的模型能够处理不规则时间序列预测中的长期依赖关系，这些模型通过结合位置编码和注意力机制处理不规则时间序列数据。然而，模型中采用的位置编码方案最初为自然语言处理设计，无法有效捕获时间序列数据固有的时间动态，特别是那些在人体健康监测不规则多变量时间序列预测任务中表现出的时间衰减或非线性趋势。这一局限性可能导致在处理展现随时间衰减或跨不同时间间隔的非线性趋势的人体健康监测不规则时间序列数据时预测不够准确。

技术实现思路

1、本发明的技术目的之一在于，针对在处理人体健康监测不规则多变量时间序列中变化的时间间隔和动态信息时传统位置编码方法所面临的困难，本发明提出了一种优化的位置编码方案，该方案无需解决不规则时间序列缺失值的插补问题，能动态且有效地捕捉局部时间间隔特征及重要的长期时间衰减特征，旨在增强不规则时间序列数据预测方法中时间间隔内的局部动态序列特征及沿时间维度的长期时间衰减趋势的时间动态变化精确表示，特别是那些在时间序列预测任务中表现出时间衰减或非线性趋势的数据。

2、本发明的技术目的之二在于，针对提出的位置编码易于集成到现有的transformer架构的深度学习时间序列预测方法中，本发明进一步提出了一种多视图输入注意力机制的不规则时序预测方法，通过优化时序位置编码和异构数据的多视图交叉注意力的加成增强了模型对时间动态波动(如时间衰减和非线性趋势)的敏感性，使模型能更有效地适应人体健康监测不规则多变量时间序列数据中的变化，以提升对人体健康监测不规则多变量时间序列预测能力。

3、本发明的技术目的之三在于，人体健康监测多变量长期不规则时间序列数据中缺失值的重要性在不同时间位置上有所差异，本发明关注其相邻局部不规则时间间隔和沿时间维度的长期依赖衰减模式，在常规位置编码中融入动态可学习参数以捕获时间序列内的时间间隔，同时利用常微分方程(odes)中的受迫谐振振动方程推导其长期时间衰减特性，以此结合局部时间间隔和长期时间衰减。随后，优化时间位置编码与观测值及缺失标注矩阵集成，构建模型表示的多视图表示序列。

4、本发明的技术目的之四在于，利用异构数据源的潜在优势和模拟人体健康监测不规则多变量时间序列数据与缺失模式之间不同视角的整合，本发明提出了对时间序列、缺失标注矩阵和时间间隔矩阵的多视图输入注意力机制组件来处理缺失数据场景，确保模型能够适应不规则数据固有的不确定性，从而增强模型的稳健性和泛化能力。

5、本发明的具体步骤如下：

6、1)提出一种提取时间间隔和时序衰减特征的人体健康监测时序数据优化时间位置编码。

7、为了对人体健康监测不规则多变量时间序列数据的时间位置进行编码，提出了一种人体健康监测时序数据优化时间位置编码模块，由三层组成：时间间隔映射层(tim层)、时间自注意力机制层(temporal sa层)和时间衰减映射层(tdm层)，通过时间间隔映射层(tim层)提出动态可学习参数来捕获序列内部的时间间隔，使用时间自注意力层(temporalsa层)描绘不同时间间隔矩阵间的时间注意力，随后时间注意力权重与受常微分方程中受迫谐振振动原理启发的时间衰减映射层(tdm层)进行逐元素乘法运算，构建一个创新的时间位置编码组件，有效地提取局部时间间隔和长期时间衰减特征。

8、首先，在transformer架构模型中，人体健康监测时序数据的位置编码表示为pe为序列中每个位置分配唯一值以捕获位置信息。初始化的时间位置编码为peinit：

9、

10、

11、其中，pe(t,2i)和pe(t,2i+1)是peinit的奇数项和偶数项，t表示时间戳位置，i指示位置编码的维度，d代表位置编码隐变量维度。

12、为了获取人体健康监测时序数据不规则时间间隔固有的局部特性，受相对位置编码启发，引入相对位置可学习策略，优化时间位置编码lp et修改调整公式为：

13、lpet＝peinit+σ(w⊙δ+b) (3)其中，δ为不规则时间序列的时间间隔矩阵，σ表示激活函数，⊙是两个向量的点乘，w和b为可学习的权重和偏置项。

14、为改进人体健康监测时间序列数据中动态变化和时间衰减的表示，采用受迫谐振振动微分方程优化时间位置编码。为了增强transformer架构模型对不同时间戳重要性的适应性，在应用受迫谐振振动微分方程前提出时间注意力权重βt。时间注意力机制基于优化时间位置编码和如时间间隔等特征为每个时间戳t生成注意力权重向量。为此，使用多层感知机(mlp)映射时间间隔矩阵δ和多视图输入融合特征ct＝wxx⊕wmm以获得注意力分数αt，其中x是人体健康监测不规则时间序列，m是人体健康监测不规则时间序列的缺失值标注矩阵，wx和wm是x和m对应线性层的可学习权重，⊕表示将两个向量按位相加。

15、使用softmax归一化注意力分数，确保所有时间点权重之和等于1，然后时间注意力权重βt应用于受迫谐振振动二阶非线性齐次常微分方程：

16、αt＝fatt(δ,ct)(4)

17、

18、

19、其中，fatt是自定义的实现两个矩阵相乘的mlp网络，λ表示时间衰减权重，ω是振荡器的自然频率，γ是阻尼系数，f0是外驱力的幅值。

20、以βt的均值作为初始条件x0求解微分方程，提供了随时间变化的位置编码演变。结合时间变化成分与原始位置编码，得到最终的时间注意力且衰减感知的时间位置编码tpefinal：

21、tpefinal＝λ⊙lpet(7)

22、最终的位置编码整合了原始位置编码信息以及通过常微分方程中的受迫谐振振动优化后的动态演变特征，更好地适应了人体健康监测不规则多变量时间序列数据的复杂性。人体健康监测时序数据的优化时间位置编码在训练和测试阶段均被采用，增强了transformer架构模型在处理人体健康监测不规则多变量时间序列数据上的学习性能。

23、2)构建一个人体健康监测不规则多变量时间序列数据的多视图输入注意力机制融合的时序预测模型。

24、鉴于人体健康监测不规则多变量时间序列数据中普遍存在的缺失值问题，采用多视图集成学习策略，通过模拟不规则时间序列x与缺失值标注矩阵m(代表观测到的和缺失的变量)之间的相互作用，设计一种有效的编码方案来处理缺失数据场景，确保模型能够适应不规则数据固有的不确定性。具体而言，首先使用线性映射层构建对不规则时间序列x编码的时间序列编码层(tse层)、时间间隔编码层(tie层)和缺失标注矩阵编码层(mme层)，并将其与优化的时间位置编码相结合，实现多视图时间序列编码：

25、x*＝wxx+tpefinal (8)

26、m*＝wmm+tpefinal (9)

27、δ*＝wδδ+tpefinal (10)其中，wx、wm、wδ是tse层、mme层和tie层模型对应的线性映射的权重参数，x*、m*和δ*是tse层、mme层和tie层模型对应的输出结果。

28、编码后，这些层结合构成多视图注意力输入机制，并包括多个多视图多头注意力模块以处理数据，涵盖不规则时间序列、时间间隔及缺失标注信息，采用多头注意力机制来捕捉形式为点积的相似性等关系：

29、

30、

31、

32、其中，和均是x、m和δ各视图在多头注意力机制中的q、k和v，σ是softmax激活函数，dk是键向量的维度，t为矩阵转置符号。

33、本发明中人体健康监测不规则时序数据预测方法的核心在于采用多头注意力机制(mham)作为骨干网络，使模型能够同时关注输入序列中的不同视图，捕获各种多视图融合特征，从而增强其在人体健康监测不规则多变量时间序列数据中检测关键时空关系的能力。多视图不规则时间序列的习得注意力表示主要取决于集成的多头注意力机制模块和全连接前馈网络模块。这些模块旨在通过整合表示缺失值标注和时间间隔信息的矩阵来把握复杂的缺失数据模式。这一融合过程巩固了在表示空间背景下既观察到的经验性缺失模式和推断出的缺失模式。本发明从观察值x、缺失值标注矩阵m和时间间隔矩阵δ中导出对应的注意力块学习表示hx、hm和hδ，通过多头注意力机制，本发明将缺失值标注矩阵的表示与时间间隔的表示合并，以获得基于多头注意力的多视图观测表示hmh：

34、

35、其中，和是融合计算多视图注意力矩阵时线性组合对应的矩阵权重q、k和v，σ是softmax激活函数，dk是键向量的维度。

36、多视图输入注意力机制模块的最终输出是一个联合学习的深度表示，该表示建模了人体健康监测不规则多变量观测数据与缺失模式之间的关系。随后，在每个时间戳处同样应用全连接前馈网络模块来建模变量间的依赖关系，最终将时序预测模型的输出用于下游的预测和序列重建任务，表示为

37、

38、其中，代表时间序列的预测概率，表示时间序列的历史重建序列。

39、3)构建一个双重下游任务同时训练策略与综合损失约束策略。

40、接下来，考虑到时间间隔的动态变化以及优化时间位置编码捕获长期时间衰减的能力，融入多视图、多头注意力机制进一步提高了模型的预测精度。在优化时间位置编码和稳健的多视图输入表示的基础上，本发明又将重点转移到下游任务上，旨在利用丰富的空间特征进行有效的时间序列预测和重建任务。预测任务涉及对不规则时间序列未来状态的预测，类似于分类任务，而重建任务对于处理人体健康监测不规则多变量时间序列数据中的缺失值至关重要，旨在基于学习到的模式重建输入时间序列。在模型解码器中包含编码的缺失值标注矩阵，并与生成序列进行点乘操作，有助于更好的重建。

41、针对人体健康监测不规则多变量时间序列数据的预测和重建任务设计损失函数时，既考虑模型的固有属性，也考虑下游任务的具体需求。对于基于分类的预测任务，采用交叉熵损失，衡量目标标签与模型预测概率分布之间的差异，因此预测损失函数lpred定义如下：

42、

43、其中，n表示样本数量，代表预测概率，yi表示真实标签。

44、对于重建任务，旨在处理异常波动或缺失值时提高准确性，本发明采用huberloss，通过集成缺失值标注矩阵编码和与生成序列的点乘操作，增强对不规则时间序列数据重建的鲁棒性和性能。因此，仅计算观测时间步骤上的损失，有效地忽略缺失数据点。具体来说，在重建任务的框架内，利用huber loss有效管理模型生成的预测与重建序列与真实观测到的时间序列数据xi之间的差异，重构损失lrecon定义如下：

45、

46、其中，δ是一个阈值参数，用于区分“小误差”(适用二次损失)和“大误差”(适用线性损失)。

47、训练过程中，综合损失函数将预测损失与重建损失结合起来，旨在全面优化不规则时间序列数据的表示学习，记为：

48、l＝lpred+lrecon (18)

49、迭代训练过程：本发明中的模型使用每批64个样本的小批量进行训练，采用rectified adam(radam)优化器，初始学习率为0.001。学习率每10个周期衰减0.2倍，训练最多持续200个周期，并在验证集上20个周期没有改善后实施提前停止。基于模型在验证数据集上的表现选择最佳模型。

50、与现有技术相比，本发明具有如下优点：

51、本发明提出了一种提取时间间隔和时序衰减特征的人体健康监测时序数据的优化时间位置编码方案，该方案能动态且有效地捕捉局部时间间隔特征及重要的长期时间衰减特征。基于此，本发明整合观测数据、缺失值标注矩阵、时间间隔信息以及针对不规则时间序列的多视图输入多头注意力机制的人体健康监测不规则多变量时间序列预测模型，旨在增强不规则时间序列数据预测任务能力。进一步本发明将提取到的多视图融合特征应用到预测和重构双重下游任务，实现人体健康监测不规则多变量时间序列数据端到端的预测和重构，同时构建综合损失策略可以有效地提高模型收敛效率。