图像处理模型的构建方法、设备、存储介质及计算机产品

本技术涉及图像处理，尤其涉及一种图像处理模型的构建方法、终端设备、存储介质及计算机程序产品。

背景技术：

1、随着深度学习技术的不断发展，越来越多的深度学习模型被开发出来以支持医生的临床决策并为医生提供诊断的参考依据。

2、在相关技术中，技术人员需要使用带有精确标注的医学图像对深度学习模型进行训练才能得到用于输出准确图像类别的图像处理模型。然而，由于医学图像只能由经验丰富的医学专家对其进行标注，且对图像进行标注的过程会耗费医学专家大量的时间和精力，因此，高质量标注数据的获取成本大大增加，从而也导致了深度学习模型可用的训练数据在数量上存在一定限制，进而使得技术人员构建出的图像处理模型在精确度上存在一定缺陷。

3、因此，如何更好的构建用于对医学图像进行分类的图像处理模型，也就成为了行业内亟需解决的技术问题。

技术实现思路

1、本技术的主要目的在于提供一种图像处理模型的构建方法、终端设备、存储介质及计算机程序产品，旨在令终端设备能够更好的构建出对医学图像进行分类的图像处理模型，提高图像处理模型对图像类别进行识别的准确性。

2、为实现上述目的，本技术提供一种图像处理模型的构建方法，所述图像处理模型的构建方法应用于包含初始预训练单元和初始提示生成器的初始图像处理模型，所述图像处理模型的构建方法包括步骤：

3、获取训练集，其中，所述训练集包含训练医学图像数据和训练医学文本数据；

4、根据所述训练医学图像数据和所述训练医学文本数据对所述初始预训练单元进行更新得到目标预训练单元；

5、通过所述目标预训练单元提取所述训练医学图像数据内包含的目标图像嵌入，并基于所述初始提示生成器和所述目标图像嵌入得到自动文本嵌入；

6、通过所述目标预训练单元提取所述自动文本嵌入内包含的目标文本嵌入，并根据所述目标文本嵌入和所述目标图像嵌入对所述初始提示生成器进行更新得到目标提示生成器；

7、基于所述目标提示生成器和所述目标预训练单元构建得到目标图像处理模型。

8、进一步地，所述初始预训练单元包含初始图像编码器和初始文本编码器；

9、所述根据所述训练医学图像数据和所述训练医学文本数据对所述初始预训练单元进行更新得到目标预训练单元的步骤，包括：

10、通过所述初始图像编码器提取所述训练医学图像数据内的初始图像嵌入，并通过所述初始文本编码器提取所述训练医学文本数据内的初始文本嵌入；

11、基于所述初始图像嵌入和所述初始文本嵌入对所述初始图像编码器和所述初始文本编码器进行更新以得到目标预训练单元。

12、进一步地，所述基于所述初始图像嵌入和所述初始文本嵌入对所述初始图像编码器和所述初始文本编码器进行更新以得到目标预训练单元的步骤，包括：

13、根据所述初始图像嵌入和所述初始文本嵌入计算得到所述训练医学图像数据和所述训练医学文本数据之间的第一预测相似度数值；

14、获取所述训练医学图像数据和所述训练医学文本数据之间的真实相似度数值，并基于所述第一预测相似度数值和所述真实相似度数值得到第一交叉熵损失；

15、基于所述第一交叉熵损失对所述初始图像编码器进行更新得到目标图像编码器；

16、基于所述第一交叉熵损失对所述初始文本编码器进行更新得到目标文字编码器；

17、将所述目标图像编码器和所述目标文字编码器进行整合得到目标预训练单元。

18、进一步地，在所述根据所述训练医学图像数据和所述训练医学文本数据对所述初始预训练单元进行更新得到目标预训练单元的步骤之前，所述方法还包括：

19、提取所述训练医学图像数据内的标准图像标签，并提取所述训练医学文本数据内的标准文本标签；

20、基于所述标准图像标签和所述标准文本标签计算得到所述训练医学图像数据和所述训练医学文本数据之间的真实相似度数值。

21、进一步地，所述通过所述目标预训练单元提取所述训练医学图像数据内包含的目标图像嵌入的步骤，包括：

22、将所述训练医学图像数据输入至所述目标预训练单元，以通过所述目标预训练单元内的所述目标图像编码器提取所述训练医学图像数据内的目标图像嵌入。

23、进一步地，所述基于所述初始提示生成器和所述目标图像嵌入得到自动文本嵌入的步骤，包括：

24、通过所述初始提示生成器得到所述目标图像嵌入对应的多个上下文向量、类别向量及条件标记；

25、基于多个所述上下文向量、所述类别向量及所述条件标记生成自动文本嵌入。

26、进一步地，所述根据所述目标文本嵌入和所述目标图像嵌入对所述初始提示生成器进行更新得到目标提示生成器的步骤，包括：

27、基于所述目标文本嵌入和所述目标图像嵌入计算得到第二预测相似度数值；

28、根据所述第二预测相似度数值确定所述训练医学图像数据对应的各类别预测概率；

29、基于各所述类别预测概率得到第二交叉熵损失，并根据所述第二交叉熵损失对所述初始提示生成器进行更新得到目标提示生成器。

30、此外，为实现上述目的，本技术还提供一种终端设备，所述终端设备包括：存储器、处理器，所述存储器上存储有可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如上述的图像处理模型的构建方法的步骤。

31、此外，为实现上述目的，本技术还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述的图像处理模型的构建方法的步骤。

32、此外，为实现上述目的，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，所述计算机程序被处理器执行时实现如上述的图像处理模型的构建方法的步骤。

33、本技术实施例提供的图像处理模型的构建方法、终端设备、存储介质及计算机程序产品，应用于包含初始预训练单元和初始提示生成器的初始图像处理模型，通过获取训练集，其中，所述训练集包含训练医学图像数据和训练医学文本数据；根据所述训练医学图像数据和所述训练医学文本数据对所述初始预训练单元进行更新得到目标预训练单元；通过所述目标预训练单元提取所述训练医学图像数据内包含的目标图像嵌入，并基于所述初始提示生成器和所述目标图像嵌入得到自动文本嵌入；通过所述目标预训练单元提取所述自动文本嵌入内包含的目标文本嵌入，并根据所述目标文本嵌入和所述目标图像嵌入对所述初始提示生成器进行更新得到目标提示生成器；基于所述目标提示生成器和所述目标预训练单元构建得到目标图像处理模型。

34、在本实施例中，终端设备在运行时，首先获取包含训练医学图像数据和训练医学文本数据的训练集，之后，终端设备基于该训练集内的训练医学图像数据和训练医学文本数据对初始图像处理模型内的初始预训练单元进行更新从而得到目标预训练单元，再之后，终端设备将训练医学图像数据输入至该目标预训练单元，从而通过该目标预训练单元提取该训练医学图像数据内包含的目标图像嵌入，终端设备进而将该目标图像嵌入输入至初始图像处理模型内包含的初始提示生成器，从而由初始提示生成器基于该目标图像嵌入生成自动文本嵌入，然后，终端设备将自动文本嵌入输入至经过训练的目标预训练单元，从而通过该目标预训练单元提取该自动文本嵌入内包含的目标文本嵌入，终端设备基于该目标文本嵌入和该目标图像嵌入对初始提示生成器进行更新得到目标提示生成器，最后，终端设备将该目标提示生成器和该目标预训练单元进行整合从而构建得到能够对医学图像数据进行分类的目标图像处理模型。

35、如此，本技术解决了因为医学图像资源有限而导致相关技术训练得到的图像处理模型在精确度上存在缺陷的技术问题，即，本技术通过利用不带标注的医学图像数据和医学文本数据训练得到能够准确提取图像嵌入和文本嵌入的目标预训练单元，并将目标预训练单元提取的图像嵌入和文本嵌入输入至提示生成器，从而通过提示生成器生成的自动文本嵌入和图像嵌入对提示生成器进行更新，最终得到由能够提取准确图像嵌入和文本嵌入的预训练单元，和能够生成有利于准确识别图像类型的自动提示文本的提示生成器组成的图像处理模型，从而确保了训练得到的图像处理模型能够更准确的识别医学图像数据对应的图像类别等信息，进而达到了令终端设备能够更好的构建出对医学图像进行分类的图像处理模型的技术效果。