一种基于时间感知自注意力机制的异构数据融合死亡率预测模型

本发明涉及医学信息，具体涉及一种基于时间感知自注意力机制的异构数据融合死亡率预测模型。

背景技术：

1、电子健康记录ehr是患者健康信息的纵向电子记录，其中包括了以人口统计学信息、生命体征以及实验室测量指标为代表结构化数据和以临床笔记和住院报告为代表的非结构化数据。在美国，每年有超过3000万名患者到医院就诊。在从2008年到2015年的7年时间里，配备电子医疗健康记录系统的非联邦急诊护理医院从最初的9.4％骤增到83.8％。电子健康记录的广泛应用为数据挖掘和机器学习研究人员进行医疗保健领域研究提供了前所未有的机会。

2、院内死亡率预测是指利用医学数据、临床信息和统计方法等技术，对入院患者在住院期间可能发生的死亡风险进行估计和预测，即通过对患者的病情、生理指标、疾病历史、治疗方案等信息进行分析和评估，来判断患者在住院期间是否有较高的死亡风险，是一项多元时间序列预测任务。其目的在于帮助医生和医疗团队及时识别高风险患者，并采取针对性的干预措施，提供更有效的治疗方案，最大程度地降低患者的死亡风险。此外，这项工作还有助于医疗机构优化资源分配、改进护理质量和改善整体医疗服务水平。基于以上种种因素，院内死亡率预测成为医学信息领域最受关注的任务之一。

3、传统上，一些知识驱动的评分被用来评估患者的临床结局。例如，saps评分和apache-ⅱ指数一般被用于识别高死亡风险的患者。近年来，许多学者使用机器学习和深度学习技术，针对基于ehr的预测任务展开了大量研究。caruana等人使用传统机器学习模型逻辑回归和随机森林预测再入院概率。tang等人研究表明，使用了ehr的时序生理特征的循环神经网络在死亡率预测任务中表现出更好的性能。rajkomar等人结合3个深度学习模型，开发了一个预测再入院概率和住院时间的集成模型。此外，min等人比较了不同类型的机器学习模型来预测慢性阻塞性肺疾病患者的再入院风险。2018年和2019年的两项基准研究表明，深度学习模型在多项临床预测任务中始终优于所有机器学习模型。除了生命体征和实验室测量指标等结构化ehr数据之外，诸如时序临床笔记的非结构化数据也为对ehr预测建模提供了不错的前景。boag等人探索了临床笔记的几种表示形式及其对下游任务的有效性。liu等人的模型利用临床笔记预测3种疾病的发病概率。sushil等人利用堆叠式去噪自动编码器和段落向量模型从临床医疗笔记中学习广义患者表征，并使用该表征预测死亡率，取得了不错的效果。

4、随着深度学习的发展，cnn和rnn越来越广泛地被应用于时间序列预测领域。但以rnn为基础的派生模型普遍存在无法并行运算的致命缺点，且在学习长序列的嵌入表示中存在局限性；cnn虽然可以并行运算，但需要使用多层卷积才能学习长序列所有的输入信息，这无疑增加了模型的复杂度。2017年，transformer被谷歌团队所提出，并在机器翻译领域取得了不错的效果。得益于transformer中的自注意力机制，模型可以有选择性地关注输入序列的全部节点信息。且transformer不考虑输入序列的节点先后顺序，而是通过特有的位置编码存储位置信息，因此可以实现训练运算的并行化。使用transformer处理时间序列预测问题显然成为了不二选择。

5、之前的绝大多数工作都集中在利用结构化数据对ehr进行预测建模，很少有研究对非结构化数据以及结构化数据和非结构化数据的结合给予足够的重视，没有充分利用ehr中的非结构化数据，造成了资源的浪费。最重要的一点是只使用结构化数据训练的模型对患者健康状况的预测不够精确。结构化数据和非结构化数据相结合的多模态异构数据类型集成为ehr建模带来了挑战，但同时也可能提供新的潜力。

6、transformer最初是被设计用来处理机器翻译问题的，它没有考虑各输入节点的时间间隔或者默认各输入节点的时间间隔是等同的。这就导致使用transformer处理院内死亡率预测这一时间序列预测任务时，模型默认患者不同时间段的住院经历对当前时刻结局预测的影响是等同的。然而，事实却并非如此。由于人的健康状况存在时间敏感性，且患者的健康状态和病情可能会随着时间产生变化以及医生对患者采取的治疗干预和药物介入等原因，患者的院内死亡率预测通常受近期的住院经历影响较大，而受早期的住院经历影响较小。这是目前绝大多数研究的盲区。

技术实现思路

1、本发明的目的在于，提出一种基于时间感知自注意力机制的异构数据融合死亡率预测模型，其将ehr中的结构化数据与非结构化数据结合起来，充分利用ehr中的非结构化数据，增强患者嵌入表示，得到更为精确的患者嵌入表示，提高模型死亡率预测的精度；引入了时间衰减模块，使得模型能够考虑患者各个住院经历的时间间隔，从而控制不同时间段住院经历对当前时刻结局预测的影响大小，使得模型预测过程更加符合客观规律，进而提高模型预测的准确度。

2、为实现上述目的，本技术提出的一种基于时间感知自注意力机制的异构数据融合死亡率预测模型，包括：

3、数据融合模块，具有结构化数据和非结构化数据，所述结构化数据包括静态信息和时序时间信号；所述非结构化数据包括时序临床笔记；

4、基于时间感知自注意力机制的死亡率预测融合模型，具有静态信息编码器、时序时间信号编码器、时序临床笔记编码器、患者表示层和预测输出层；其中静态信息编码器、时序时间信号编码器、时序临床笔记编码器用于将患者信息编码成嵌入表示；患者表示层用于整合三种信息的嵌入表示并输出患者整体嵌入表示；预测输出层用于接收患者整体嵌入表示并预测院内死亡率。

5、一个示例实施例，所述静态信息包括人口统计学信息和入院相关信息，其中人口统计信息包括患者的年龄age、性别gender、婚姻状况marital status、种族ethnicity和保险信息insurance information；而入院相关信息包括入院类型admissiontype；

6、所述时序时间信号包括具有代表性的生命体征和常见的实验室测量指标。

7、一个示例实施例，所述时序临床笔记包括护理nursing、护理/其他nursing/other、医师physician和放射学笔记radiology。

8、一个示例实施例，所述静态信息编码器中，患者人口统计学信息、入院类型信息经过卷积层和最大池化层被编码为人口统计学信息嵌入表示zdemo、入院类型嵌入表示zadm，将两者拼接作为静态信息嵌入表示zstatic，其维度dstatic为人口统计学信息嵌入表示维度ddemo与入院类型嵌入表示维度dadm之和。

9、一个示例实施例，所述时序时间信号编码器中，患者不同时间段住院信息中的实验室测量指标以及生命体征结构化时序信号首先被编码为嵌入表示，然后时序信号嵌入表示被先后输入到两个连续的结构相同而参数不同的t-transformer encoder中，其中后一个encoder的输入是前一个encoder的输出，最终生成结构化时序信号嵌入表示ztemp，其大小记为dtemp。

10、一个示例实施例，所述时序临床笔记编码器中，使用clinicalbert来学习临床笔记的嵌入表示，该临床笔记的嵌入表示作为t-transformer encoder输入，其先后经过两个连续的结构相同而参数不同的encoder后得到所有临床笔记嵌入表示znote，其大小记为dnote。

11、一个示例实施例，所述患者表示层中，患者整体嵌入表示zpatient是将临床笔记嵌入表示znote、结构化时序信号嵌入表示ztemp、静态信息嵌入表示zstatic拼接得到的；即zpatient＝[znote:ztemp:zstatic]，其大小表示为dpatient＝dnote+dtemp+dstatic。

12、一个示例实施例，所述预测输出层是一个全连接层，对于每个患者整体嵌入表示zpatient，都有一个二分类标签y∈{0,1}来表示患者最终住院结局，其中y＝1表示患者最终死亡，y＝0表示患者没有死亡；预测输出层接收患者整体嵌入表示zpatient作为输入，并输出o作为对基本事实y的预测，具体为：

13、o＝σ(w·zpatient+b)      (2-1)

14、其中系数矩阵w和偏执b是可训练参数，σ代表sigmoid激活函数；采用交叉熵损失作为损失函数，表示为：

15、l＝-[y·logo+(1-y)·log(1-o)]      (2-2)。

16、一个示例实施例，所述t-transformer encoder是一种时间敏感的自注意力机制编码器，包括自注意力层和前馈网络层；在自注意力层中获取query、key和value，每个输入元素xi与query、key和value相对应；通过将query和所有key进行点积，得到匹配的评分；将评分通过softmax函数，得到注意力权重；最后，将这些注意力权重应用于value，生成该位置的输出zi；上述从输入xi到输出zi的整个自注意力层由下式来表示，

17、qi＝xiwq      (2-3)

18、ki＝xiwk      (2-4)

19、vi＝xiwv      (2-5)

20、

21、当t-transformer encoder中各时间步的向量是并行计算时，则向量以矩阵的形式参与运算，从输入矩阵x到输出矩阵z的整个自注意力层由下式来表示：

22、q＝xwq                       (2-7)

23、k＝xwk                       (2-8)

24、v＝xwv                       (2-9)

25、

26、其中wq、wk、wv是需要训练的权重矩阵，d是一个可设置的超参数，代表模型的维度；

27、上述自注意力层的输出传送到前馈网络层，前馈网络层由下式表示为：

28、ffn(x)＝relu(xw1+b1)w2+b2             (2-11)

29、其中，b1、b2偏置数值；

30、所述自注意力层和前馈网络层均具有一个相应的残差连接，并且每层周围设有层归一化；具体来说，自注意力层和前馈网络层的输出是layernorm(x+sublayer(x))，其中sublayer(x)是每层自身的函数。

31、一个示例实施例，所述自注意力层和前馈网络层之间设有时间衰减模块，即在得到自注意力层输出的z后，将z乘上一个随时间间隔的增大而减小的时间衰减因子时间衰减模块由下式表示，

32、

33、其中δti表示患者第i次入院与当前时刻的时间间隔(单位为天)，表示时间衰减因子。

34、所述时间衰减模块将函数y＝e-x在第一象限的图像作为时间衰减函数，且时间衰减函数的横坐标区间限定为[0,2]，将患者各次入院日期与当前日期的时间间隔映射到[0,2]之间；

35、记一名患者第1次入院的日期为t1，且初始自注意力层得到的患者嵌入表示为z1，……，第i次入院的日期记为ti(假设i≥2)，且自注意力层得到的患者嵌入表示为zi，当前时刻记为tnow；则该名患者住院的总体时间间隔为δt＝tnow-t1，当前住院时间间隔δti＝tnow-ti；该名患者第i次住院记录的时间衰减投影到时间衰减函数上的横坐标为：

36、因此，该名患者第i次住院的时间衰减因子等于得到患者第i次住院的时间衰减因子后，将其作用在第i次住院得到的初始患者嵌入表示zi上，即得到经过时间衰减模块处理过的患者嵌入表示zi'，其表示为：

37、

38、本发明采用的以上技术方案，与现有技术相比，具有的优点是：本发明提出了一个通用的多模态时间敏感自注意力机制模型，该模型通过数据融合模块融合结构化数据与非结构化数据来学习患者的嵌入表示，并通过时间衰减模块控制不同时间段患者住院经历对当前时刻结局预测的影响大小。最终的患者嵌入式表示是结构化数据和非结构化数据以及静态数据嵌入表示的结合，其中包含了模型学习到的时序非结构化临床笔记的诊断信息和时序实验室测量结果以及生命体征等结构化数据信息，并且考虑了不同时间段患者住院经历对当前时刻结局预测影响大小的差异，增强了短时间内患者住院信息对当前时刻结局预测的影响，削弱了长时间住院信息对当前时刻结局预测的影响，更加符合现实客观规律，因此能够更好的表示患者当前时刻的健康状况，提高模型预测的准确率。