使用神经网络进行语音生物标志物发现以用于医学诊断的系统和方法与流程

背景技术：

1、医学病状的生物标志物是与一个或多个多维数学空间(其整体可以是或可以不是人类可解释或可看到的)中的模式相对应的可客观指定的矢量或张量，使得在任何计算环境中，该生物标志物对于该病状都是高度可辨别的。这里，术语“医学病状”包括但不限于与人体及其正确功能相关的因素和参数，诸如疾病、综合征、感染、身体和生理异常等。众所周知，语音携带多种医学病状的生物标记物，但很难客观地测量它们，即使对于那些已经观察到存在生物标志物的病状也是如此。对于具有人类发声机制的生物途径的其他病状，可以假设生物标志物存在于语音中，即使它们不是人类可观察到的(即，它们可能是感觉不到的)。

2、已经在科学文献中发现很多生物标志物和与生物标志物相关的信号特征。这些包括但不限于光谱、光谱表示、发声开始时间、共振峰、共振峰带宽、调制、调和性、基频及其谐波、抖动、闪烁、共振和反共振等。使用各种数学上成立的数字信号处理(dsp)或其他机器学习的信号处理技术(mlsp)来得出可以直接从原始信号、光谱时频表示和其他变换域得出的这些特征，并且这些特征可以被认为是语音信号的“可测量”性质。然而，这样的一组测量值因可用于计算它们的数字信号处理(dsp)算法的数量有限以及其中隐含的时频(和其他)分辨率权衡而是有限且可枚举的，并且可能不够多样化，或者没有足够好的分辨率来捕获与目标医学病状相关的所有生物标志物。

3、替代的方法使用神经网络来从传入信号得出特征以对医学病状进行分类。尽管这种方法对目标医疗病状或其对语音信号的影响的专业知识要求较少，但它得出抽象的无法解释的特征，这进而可能会丢失关于信号的可以通过先前描述的更常规的信号处理方法有效地得出的可测量性质的信息。在缺乏足够大的多样化训练数据的情况下，还不确定这些方法得出的是目标病状的实际生物标志物还是只是特定于所使用的训练数据或病状的附带特征。

技术实现思路

1、本发明的系统和方法实现了从语音信号对生物标志物的基于神经网络的提取，所述生物标志物保留了通过信号处理方法捕获的信号的可测量性质，同时还潜在地捕获无法通过传统的信号处理方法捕获的信息。这通过以下项的组合来完成：适当地配置的神经网络系统以从语音信号提取生物标志物，并且确保这些生物标志物明确地保留使用常规信号处理方法得出的可测量信号，同时还能最大程度地辨别目标医学病状和其他潜在容易混淆的病状。

2、在一个总体方面，本发明涉及一种基于神经网络的系统，该基于神经网络的系统通过机器学习被训练为发现一个或多个不同的语音生物标志物以及它们存在的一个或多个多维数学空间。根据本发明的各种实施例的方法包括用包括一个或多个处理器核心的计算机系统训练机器学习系统以根据语音记录波形来发现目标医疗病状的生物标志物。训练语音记录可以来自一个或多个人，其中至少一个人患有目标医学病状。训练尤其包括：(i)(数字或神经)信号处理堆栈，其接收语音记录波形作为输入、对其执行一组数字信号处理和(任选地)机器学习操作并且输出一组生物标志物相关测量值；(ii)编码器，其接收一组特征值作为输入，其中通过对语音记录波形执行数字信号处理来获得该一组特征值，并且其中编码器的输出是潜在特征表示；(iii)解码器，其用于将由编码器输出的潜在特征表示变换回波形或某一中间表示，其中使用适当的信号处理从该中间表示得出特征堆栈，该特征堆栈近似于输入到编码器的一组特征值以及近似于dsp/神经信号处理堆栈的一组定量生物标志物相关测量值；(iv)以目标医学病状为目标的分类器或预测器，其接收潜在表示作为输入并且输出目标病状的分类或数值预测；以及(v)验证堆栈，其包括用于医学病状的分类器或预测器的集合，其中这些病状与目标医学病状不同并且可能容易与其混淆，并且该验证堆栈接收潜在表示作为输入并且输出紧密匹配这些病状的真实值的分类或数值预测。相互连接的神经网络子系统(包括编码器和解码器)可以用全局的全系统损失函数进行训练，使得用共同目标(除了训练每个神经网络的局部目标外)训练各种神经网络子系统。同时对神经网络的全局和局部目标训练的结果是生物标志物潜在空间，该生物标志物潜在空间可以用于很多目的，诸如训练机器学习分类器来检测与语音记录中的生物标志物对应的病状。

技术特征：

1.一种诊断工具，所述诊断工具包括计算机系统，其中所述计算机系统包括：

2.根据权利要求1所述的诊断工具，其中所述存储器还存储软件，所述软件在由所述一个或多个处理器执行时致使所述一个或多个处理器用第一分类器对所述生物标志物进行分类，其中所述第一分类器通过机器学习被训练为检测目标医学病状。

3.根据权利要求1所述的诊断工具，所述诊断工具还包括麦克风，所述麦克风用于捕获所述受试人的语音记录。

4.根据权利要求2所述的诊断工具，其中：

5.根据权利要求4所述的诊断工具，其中：

6.根据权利要求2所述的诊断工具，其中所述存储器还存储软件，所述软件在由所述一个或多个处理器执行时致使所述一个或多个处理器将信号处理应用于所述受试人的所述语音记录的数字化，以计算所述受试人的所述语音记录的一组测量值，其中所述一组测量值输入到所述编码器。

7.根据权利要求6所述的诊断工具，其中所述一组测量值包括一个或多个频谱图。

8.根据权利要求2所述的诊断工具，其中：

9.根据权利要求6所述的诊断工具，其中所述存储器还存储软件，所述软件在由所述一个或多个处理器执行时致使所述一个或多个处理器将信号处理应用于所述受试人的所述语音记录的数字化，以计算所述受试人的所述语音记录的一组测量值，其中所述一组测量值用于计算语音属性。

10.根据权利要求9所述的诊断工具，其中所述存储器还存储软件，所述软件在由所述一个或多个处理器执行时致使所述一个或多个处理器根据从所述语音记录得出的所述测量值来计算一个或多个语音属性。

11.根据权利要求10所述的诊断工具，其中所述语音属性由通过机器学习进行训练的神经网络来计算。

12.根据权利要求4所述的诊断工具，所述诊断工具还包括第二解码器，所述第二解码器用于从所述编码器的所述输出得出特征来预测语音属性。

13.根据权利要求12所述的诊断工具，其中所述第二解码器重构语音记录。

14.根据权利要求12所述的诊断工具，其中所述存储器还存储软件，所述软件在由所述一个或多个处理器执行时致使所述一个或多个处理器根据所述第二解码器的输出来计算预测的语音特征。

15.根据权利要求13所述的诊断工具，其中所述存储器还存储软件，所述软件在由所述一个或多个处理器执行时致使所述一个或多个处理器将信号处理应用于所重构的语音记录以计算预测的语音特征。

16.根据权利要求14和15中一项所述的诊断工具，其中所述存储器还存储软件，所述软件在由所述一个或多个处理器执行时致使所述一个或多个处理器根据所述预测的语音特征来计算预测的语音属性。

17.根据权利要求4所述的诊断工具，其中：

18.一种方法，所述方法包括：

19.根据权利要求18所述的方法，所述方法还包括：用所述神经网络系统的第一分类器对所述生物标志物进行分类以确定所述受试人是否患有所述目标医学病状，其中所述第一分类器通过机器学习被预先训练为检测所述目标医学病状。

20.根据权利要求19所述的方法，其中：

21.根据权利要求20所述的方法，其中：

22.根据权利要求20所述的方法，所述方法还包括：由所述一个或多个处理器核心将信号处理应用于所述受试人的所述语音记录的数字化，以计算所述受试人的所述语音记录的一组测量值，其中所述一组测量值输入到所述编码器。

23.根据权利要求22所述的方法，其中所述一组测量值包括一个或多个频谱图。

24.根据权利要求20所述的方法，所述方法还包括：

25.根据权利要求20所述的方法，所述方法还包括：由所述一个或多个处理器核心将信号处理应用于所述受试人的所述语音记录的数字化，以计算所述受试人的所述语音记录的一组测量值，其中所述一组测量值用于计算语音属性。

26.根据权利要求25所述的方法，所述方法还包括：根据从所述语音记录计算的所述测量值来计算一个或多个语音属性。

27.根据权利要求26所述的方法，其中所述一个或多个语音属性由通过机器学习进行训练的神经网络来计算。

28.根据权利要求20所述的方法，所述方法还包括：训练第二解码器以从所述编码器的所述输出得出特征来预测语音属性。

29.根据权利要求28所述的方法，所述方法还包括：用所述第二解码器重构出重构的语音记录。

30.根据权利要求28所述的方法，所述方法还根据所述第二解码器的输出来计算预测的语音特征。

31.根据权利要求29所述的方法，所述方法还包括：将信号处理应用于所重构的语音记录以计算预测的语音特征。

32.根据权利要求30和31中一项所述的方法，所述方法还包括：根据所述预测的语音特征来计算预测的语音属性。

33.根据权利要求20所述的方法，其中：

34.一种计算机系统，所述计算机系统包括：

35.根据权利要求34所述的计算机系统，其中所述存储器还存储软件，所述软件在由所述一个或多个处理器执行时致使所述一个或多个处理器训练所述神经网络系统以基于所述受试人的所述语音记录来检测所述受试人是否患有所述目标医学病状。

36.根据权利要求35所述的计算机系统，其中所述存储器还存储软件，所述软件在由所述一个或多个处理器执行时致使所述一个或多个处理器通过以下操作来训练所述神经网络系统：

37.根据权利要求36所述的计算机系统，其中所述存储器还存储软件，所述软件在由所述一个或多个处理器执行时致使所述一个或多个处理器所述用第一分类器对所述生物标志物进行分类以确定所述受试人是否患有所述目标医学病状。

38.根据权利要求36所述的计算机系统，其中所述编码器、所述解码器和所述第一分类器至少用共同目标进行训练。

39.根据权利要求38所述的计算系统，其中：

40.根据权利要求36所述的计算机系统，其中所述存储器还存储软件，所述软件在由所述一个或多个处理器执行时致使所述一个或多个处理器将信号处理应用于所述训练语音记录的数字化以根据所述训练语音记录来计算一组测量值。

41.根据权利要求40所述的计算机系统，其中所述一组测量值包括频谱图。

42.根据权利要求37所述的计算机系统，其中所述存储器还存储软件，所述软件在由所述一个或多个处理器执行时致使所述一个或多个处理器通过机器学习来训练第二分类器，其中所述第二分类器被训练为识别容易与所述目标医学病状混淆的另一医学病状，使得在训练之后，所述编码器的所述输出能够由所述第二分类器进行分类以提高所述第一分类器的分类可靠性。

43.根据权利要求42所述的计算机系统，其中所述编码器、所述解码器以及所述第一分类器和所述第二分类器至少用共同目标进行训练。

44.根据权利要求38所述的计算机系统，其中所述存储器还存储软件，所述软件在由所述一个或多个处理器执行时致使所述一个或多个处理器将信号处理应用于所述受试人的所述语音记录的数字化，以计算所述受试人的所述语音记录的一组测量值，其中所述一组测量值用于计算语音属性。

45.根据权利要求44所述的计算机系统，其中所述存储器还存储软件，所述软件在由所述一个或多个处理器执行时致使所述一个或多个处理器根据从所述语音记录计算的所述测量值来计算一个或多个语音属性。

46.根据权利要求45所述的计算机系统，其中所述语音属性由通过机器学习进行训练的神经网络来计算。

47.根据权利要求36所述的计算机系统，所述计算机系统还包括第二解码器，所述第二解码器用于从所述编码器的所述输出得出特征来预测语音属性。

48.根据权利要求47所述的计算机系统，其中所述第二解码器重构出重构的语音记录。

49.根据权利要求47所述的计算机系统，其中所述存储器还存储软件，所述软件在由所述一个或多个处理器执行时致使所述一个或多个处理器根据所述第二解码器的输出来计算预测的语音特征。

50.根据权利要求48所述的计算机系统，其中所述存储器还存储软件，所述软件在由所述一个或多个处理器执行时致使所述一个或多个处理器将信号处理应用于所重构的语音记录以计算预测的语音特征。

51.根据权利要求49和50中一项所述的计算机系统，其中所述存储器还存储软件，所述软件在由所述一个或多个处理器执行时致使所述一个或多个处理器根据所述预测的语音特征来计算预测的语音属性。

52.根据权利要求36所述的计算系统，其中：

53.一种方法，所述方法包括：通过机器学习用计算机系统根据受试人的语音记录来训练神经网络系统以生成生物标志物，所述生物标志物对于目标医学病状有辨别性。

54.根据权利要求53所述的方法，所述方法还包括：由所述计算机系统训练所述神经网络系统以基于所述受试人的所述语音记录来检测所述受试人是否患有所述目标医学病状。

55.根据权利要求54所述的方法，其中训练所述神经网络系统包括：用训练语音记录来训练自动编码器，其中所述自动编码器包括编码器和解码器，其中：

56.根据权利要求55所述的方法，所述方法还包括：在训练所述神经网络系统之后用所述第一分类器对所述生物标志物进行分类以确定所述受试人是否患有所述目标医学病状。

57.根据权利要求55所述的方法，其中训练所述编码器、所述解码器和所述第一分类器包括：至少用共同目标来训练所述编码器、所述解码器和所述第一分类器。

58.根据权利要求57所述的方法，其中：

59.根据权利要求55所述的方法，所述方法还包括：由所述计算机系统将信号处理应用于所述训练语音记录的数字化以根据所述训练语音记录来计算一组测量值。

60.根据权利要求59所述的方法，其中所述一组测量值包括频谱图。

61.根据权利要求56所述的方法，所述方法还包括：由所述计算机系统通过机器学习来训练第二分类器，其中所述第二分类器被训练为识别容易与所述目标医学病状混淆的另一医学病状，使得在训练之后，所述编码器的所述输出能够由所述第二分类器进行分类以提高所述第一分类器的分类可靠性。

62.根据权利要求61所述的方法，其中训练所述编码器、所述解码器以及所述第一分类器和所述第二分类器包括：至少用共同目标来训练所述编码器。

63.根据权利要求59所述的方法，所述方法还包括：由所述计算机系统将信号处理应用于所述受试人的所述语音记录的数字化，以计算所述受试人的所述语音记录的一组测量值，其中所述一组测量值用于计算语音属性。

64.根据权利要求63所述的方法，所述方法还包括：由所述计算机系统根据从所述语音记录计算的所述测量值来计算一个或多个语音属性。

65.根据权利要求64所述的方法，所述方法还包括：通过计算所述一个或多个语音属性的机器学习神经网络进行训练。

66.根据权利要求55所述的方法，所述方法还包括：训练第二解码器以从所述编码器的所述输出得出特征来预测语音属性。

67.根据权利要求66所述的方法，其中训练所述第二解码器包括训练所述第二解码器以重构出重构的语音记录。

68.根据权利要求66所述的方法，所述方法还包括：由所述计算机系统根据所述第二解码器的输出来计算预测的语音特征。

69.根据权利要求67所述的方法，所述方法还包括：由所述计算机系统将信号处理应用于所述重构的语音记录以计算预测的语音特征。

70.根据权利要求68和69中一项所述的方法，所述方法还包括：通过机器学习来训练神经网络，所述神经网络根据所述预测的语音特征来计算预测的语音属性。

71.根据权利要求55所述的方法，其中：

技术总结计算机系统和计算机实现的方法训练机器学习系统，所述机器学习系统具有神经网络以根据人的语音记录波形来发现医学病状的生物标志物，其中一些人患有所述医疗病状。从语音信号对生物标志物的基于神经网络的提取保留了通过信号处理方法捕获的信号的可测量性质，使得所述提取的生物标志物能辨别所述目标医学病状和其他潜在容易混淆的病状。技术研发人员：丽塔·辛格受保护的技术使用者：丽塔·辛格技术研发日：技术公布日：2024/2/19