医疗数据的异常检测方法、装置、设备和介质

本公开涉及异常检测，具体涉及一种医疗数据的异常检测方法、装置、设备和介质。

背景技术：

1、异常检测是在数据中寻找不符合预期行为的模式的问题。这些不符合预期的模式通常在不同的应用领域中被称为异常值、离群值、不一致的观测、异常情况、异常、突然事件、特殊情况或者污染物。其中，异常值和离群值是在异常检测背景下最常用的两个术语，离群值通常指那些与正常数据相距较远的正常数据，虽然其特征与异常值类似，但仍然属于正常数据，而异常值通常指异常数据。异常检测在诸如信用卡欺诈检测、保险或医疗保健欺诈检测、医疗中的病灶检测、网络安全入侵检测、安全关键系统故障检测以及军事监视等广泛应用中发挥着重要作用。异常检测的重要性在于数据中的异常情况通常转化为在各种应用领域中重要(甚至关键)的可行动信息。

2、多模态数据是指来自多种不同来源或类型(如图像、文本、音频、视频、传感器数据等)的数据集合，它们通常是对同一事物不同形式的描述。如一张由鸟类构成的照片，一段鸟叫声组成的音频以及一段描述鸟的文字所构成的多模态数据或由描述同一病症的中文医疗文本和医疗影像所组成的多模态数据。在现实世界中，信息往往以多种形式存在，通过综合这些不同类型的数据，往往可以获得更丰富、更全面的信息。

3、目前，针对医疗数据，常用的异常检测方案多是使用大量的单一模态的正常医疗数据和/或异常医疗数据来训练一个异常识别模型，通过该异常识别模型来识别单一模态的数据是否异常，比如说，使用多条正常的医疗文本和/或异常的医疗文本来训练一个异常医疗文本识别模型，通过该异常医疗文本识别模型可以识别出一条医疗文本数据是否异常。发明人研究发现，目前并没有针对多模态的医疗数据的异常检测方案，因此如何准确地对多模态的医疗数据进行异常检测是目前亟待解决的问题。

技术实现思路

1、为了解决相关技术中的问题，本公开实施例提供一种医疗数据的异常检测方法、装置、设备和介质。

2、第一方面，本公开实施例中提供了一种医疗数据的异常检测方法，所述方法包括：

3、获取待检测的医疗数据，所述待检测的医疗数据包括目标文本数据和目标影像数据；

4、使用预先训练好的第一特征提取器对所述目标文本数据进行特征提取，得到目标文本向量特征；

5、使用预先训练好的第二特征提取器对所述目标影像数据进行特征提取，得到目标影像特征；

6、计算所述目标文本向量特征和所述目标影像特征之间的相似度；

7、若所述相似度小于等于预定阈值，则所述待检测的医疗数据异常，若所述相似度大于预定阈值，则所述待检测的医疗数据正常。

8、在一种可能的实施方式中，所述方法还包括：

9、获取匹配正常的医疗多模态数据集以及匹配异常的异常数据集其中，和为第i对正常匹配的多模态数据，为第i条医疗文本数据，为第i条医疗影像数据，为与第i条医疗影像数据不同的第j条医疗影像数据，i和j的取值范围包括1，2……，n，n为正整数；

10、使用匹配正常的医疗多模态数据集以及匹配异常的异常数据集，训练得到特征提取模型，所述特征提取模型包括第一特征提取器和第二特征提取器，所述第一特征提取器用于从中提取文本向量特征，所述第二特征提取器用于从中提取影像特征，所述特征提取模型的优化目标是最大化和对应的文本向量特征与影像特征之间的相似度，最小化和对应的文本向量特征与影像特征之间的相似度。

11、在一种可能的实施方式中，所述使用匹配正常的医疗多模态数据集以及匹配异常的异常数据集，训练得到特征提取模型，包括：

12、从匹配正常的医疗多模态数据集中采样m个样本

13、使用第一特征提取器tφ对进行特征提取得到使用第二特征提取器cθ对进行特征提取得到

14、采用如下公式更新第s+1次循环时第一特征提取器中的模型参数φs+1：

15、

16、采用如下公式更新第s+1次循环时第二特征提取器中的模型参数θs+1：

17、

18、循环上述步骤直至所述特征提取模型收敛，训练结束，得到训练好的第一特征提取器和第二特征提取器；

19、其中，φs表示第s次循环时第一特征提取器tφ中的参数，θs表示第s次循环时第二特征提取器cθ中的参数，η为预定的步长，表示针对φ的梯度，表示针对θ的梯度，saa为和之间的相似度，sab为和之间的相似度。

20、在一种可能的实施方式中，所述第一特征提取器包括将文本数据中的分词转换为词向量的语言模型，所述第二特征提取器包括卷积神经网络。

21、在一种可能的实施方式中，所述相似度采用高斯核函数进行计算。

22、在一种可能的实施方式中，所述预定阈值为sii中的最小值，所述sii为第i对正常匹配的多模态数据中和使用训练好的第一特征提取器和第二特征提取器提取的文本向量特征与影像特征之间的相似度。

23、第二方面，本公开实施例提供了一种特征提取模型的训练方法，包括：

24、获取匹配正常的医疗多模态数据集以及匹配异常的异常数据集其中，和为第i对正常匹配的多模态数据，为第i条医疗文本数据，为第i条医疗影像数据，为与第i条医疗影像数据不同的第j条医疗影像数据，i和j的取值范围包括1，2……，n，n为正整数；

25、使用匹配正常的医疗多模态数据集以及匹配异常的异常数据集，训练得到特征提取模型，所述特征提取模型包括第一特征提取器和第二特征提取器，所述第一特征提取器用于从中提取文本向量特征，所述第二特征提取器用于从中提取影像特征，所述特征提取模型的优化目标是最大化和对应的文本向量特征与影像特征之间的相似度，最小化和对应的文本向量特征与影像特征之间的相似度。

26、第三方面，本公开实施例提供了一种医疗数据的异常检测装置，所述装置包括：

27、数据获取模块，被配置为获取待检测的医疗数据，所述待检测的医疗数据包括目标文本数据和目标影像数据；

28、特征提取模块，被配置为使用预先训练好的第一特征提取器对所述目标文本数据进行特征提取，得到目标文本向量特征；使用预先训练好的第二特征提取器对所述影像数据进行特征提取，得到目标影像特征；

29、计算模块，被配置为计算所述目标文本向量特征和所述目标影像特征之间的相似度；

30、检测模块，被配置为若所述相似度小于等于预定阈值，则所述待检测的医疗数据异常，若所述相似度大于预定阈值，则所述待检测的医疗数据正常。

31、第四方面，本公开实施例提供了一种特征提取模型的训练装置，包括：

32、数据集获取模块，被配置为获取匹配正常的医疗多模态数据集以及匹配异常的异常数据集其中，和为第i对正常匹配的多模态数据，为第i条医疗文本数据，为第i条医疗影像数据，为与第i条医疗影像数据不同的第j条医疗影像数据，i和j的取值范围包括1，2……，n，n为正整数；

33、训练模块，被配置为使用匹配正常的医疗多模态数据集以及匹配异常的异常数据集，训练得到特征提取模型，所述特征提取模型包括第一特征提取器和第二特征提取器，所述第一特征提取器用于从中提取文本向量特征，所述第二特征提取器用于从中提取影像特征，所述特征提取模型的优化目标是最大化和对应的文本向量特征与影像特征之间的相似度，最小化和对应的文本向量特征与影像特征之间的相似度。

34、第五方面，本公开实施例提供了一种电子设备，包括存储器和处理器，其中，所述存储器用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器执行以实现如第一方面或第二方面中任一项所述的方法。

35、第六方面，本公开实施例中提供了一种计算机可读存储介质，其上存储有计算机指令，该计算机指令被处理器执行时实现如第一方面或第二方面中任一项所述的方法。

36、根据本公开实施例提供的技术方案，可以在获取待检测的医疗数据后，使用预先训练好的第一特征提取器对所述目标文本数据进行特征提取，得到目标文本向量特征，使用预先训练好的第二特征提取器对所述影像数据进行特征提取，得到目标影像特征；计算所述目标文本向量特征和所述目标影像特征之间的相似度，在所述相似度小于等于预定阈值时，确定所述待检测的医疗数据异常，在所述相似度大于预定阈值，确定所述待检测的医疗数据正常，如此，考虑到了不同模态的文本数据和影像数据之间的协同匹配，避免了正常的医疗数据由于文本数据和影像数据被误判为不匹配而被误判为一个异常的医疗数据，准确地对多模态的医疗数据进行异常检测。

37、应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。