图像处理方法、装置、计算机设备、存储介质及程序产品与流程

本技术实施例涉及图像处理，特别涉及一种图像处理方法、装置、计算机设备、存储介质及程序产品。

背景技术：

1、医疗图像通常具有多种模态（比如t1加权图像、t2加权图像），通过机器学习模型，可以通过一种/多种模态的图像转换成另外一种/多种模态的图像。

2、在相关技术中，用于实现跨模态图像转换的机器学习模型可以通过多种模态的图像样本训练得到。具体比如，开发人员预先设计好机器学习模型的网络架构，以及对应的损失函数或目标函数，该损失函数或目标函数可以使机器学习模型学习到图像在不同模态下的特征差异；在上述机器学习模型的训练过程中，可以将一种模态的图像样本输入机器学习模型，通过该机器学习模型对图像样本的处理结果或中间数据，结合预先设计的损失函数或目标函数来更新机器学习模型。

3、然而，上述机器学习模型主要关注的是图像在不同模态下的特征差异，而对于图像的其它信息则关注不足，导致上述机器学习模型在跨模态图像转换场景下的准确性较差。

技术实现思路

1、本技术实施例提供了一种图像处理方法、装置、计算机设备、存储介质及程序产品，可以提高跨模态图像转换场景下的机器学习模型的准确性，该技术方案如下。

2、一方面，提供了一种图像处理方法，所述方法包括：

3、获取第一图像，所述第一图像是成像对象在两个不同模态中的一个模态下的图像；

4、将所述第一图像输入模态转换网络；所述模态转换网络是通过所述两个不同模态的图像样本以及目标函数训练得到的；所述目标函数中包含域内损失函数以及域间损失函数，所述域内损失函数用于指示图像在模态不变的情况下重构前后的差异，所述域间损失函数同于指示不同模态的图像特征之间的差异；

5、通过所述模态转换网络对所述第一图像执行模态转换处理，获得第二图像；所述第二图像是所述成像对象在所述两个不同模态中的另一个模态下的图像。

6、另一方面，提供了一种模态转换网络的训练方法，所述方法包括：

7、通过模态转换网络对第一模态对应的第一模态图像样本执行特征提取处理，获得所述第一模态的第一特征编码样本；

8、通过所述模态转换网络对第二模态对应的第二模态图像样本执行特征提取处理，获得所述第二模态的第二特征编码样本；

9、获取域内损失函数，所述域内损失函数用于指示第一图像差异和第二图像差异；所述第一图像差异包括所述第一特征编码样本重构为所述第一模态的图像后，与所述第一模态图像样本之间的差异；所述第二图像差异包括所述第二特征编码样本重构为所述第二模态的图像后，与所述第二模态图像样本之间的差异；

10、获取域间损失函数，所述域间损失函数用于指示所述第一特征编码样本与所述第二特征编码样本之间的差异；

11、根据所述域内损失函数以及所述域间损失函数，更新所述模态转换网络；

12、其中，更新后的所述模态转换网络用于对第一图像执行模态转换处理，获得第二图像；所述第一图像是成像对象在所述第一模态和所述第二模态中的一个模态下的图像，所述第二图像是所述成像对象在所述第一模态和所述第二模态中的另一个模态下的图像。

13、另一方面，提供了一种图像处理装置，所述装置包括：

14、图像获取模块，用于获取第一图像，所述第一图像是成像对象在两个不同模态中的一个模态下的图像；

15、图像输入模块，用于将所述第一图像输入模态转换网络；所述模态转换网络是通过所述两个不同模态的图像样本以及目标函数训练得到的；所述目标函数中包含域内损失函数以及域间损失函数，所述域内损失函数用于指示图像在模态不变的情况下重构前后的差异，所述域间损失函数同于指示不同模态的图像特征之间的差异；

16、模态转换模块，用于通过所述模态转换网络对所述第一图像执行模态转换处理，获得第二图像；所述第二图像是所述成像对象在所述两个不同模态中的另一个的模态下的图像。

17、在一些实施例中，所述两个不同模态包括第一模态和第二模态，所述第一图像是所述第一模态的图像；所述模态转换网络包括特征提取子网络、滤波子网络以及映射矩阵；所述滤波子网络中包括所述第二模态对应的滤波矩阵；

18、所述模态转换模块，用于通过所述特征提取子网络对所述第一图像执行特征提取处理，获得所述第一图像的特征编码；通过所述映射矩阵对所述第一图像的特征编码执行模态映射处理，以获得所述第二模态下的特征编码；通过所述第二模态对应的滤波矩阵对所述第二模态下的特征编码执行图像重构处理，以获得所述第二图像。

19、在一些实施例中，所述两个不同模态包括第一模态和第二模态，所述第一图像是所述第二模态的图像；所述模态转换网络包括特征提取子网络、滤波子网络以及映射矩阵；所述滤波子网络中包括所述第一模态对应的滤波矩阵；

20、所述模态转换模块，用于通过所述特征提取子网络对所述第一图像执行特征提取处理，获得所述第一图像的特征编码；通过所述映射矩阵对所述第一图像的特征编码执行模态映射处理，以获得所述第一模态下的特征编码；通过所述第一模态对应的滤波矩阵对所述第一模态下的特征编码执行图像重构处理，以获得所述第二图像。

21、在一些实施例中，所述两个不同模态包括第一模态和第二模态；所述两个不同模态的图像样本包括所述第一模态对应的第一模态图像样本，以及，所述第二模态对应的第二模态图像样本；所述装置还包括：

22、第一特征编码样本获取模块，用于在获取第一图像之前，通过所述模态转换网络对所述第一模态图像样本执行特征提取处理，获得所述第一模态的第一特征编码样本；

23、第二特征编码样本获取模块，用于通过所述模态转换网络对所述第二模态图像样本执行特征提取处理，获得所述第二模态的第二特征编码样本；

24、域内损失函数获取模块，用于获取所述域内损失函数，所述域内损失函数用于指示第一图像差异和第二图像差异；所述第一图像差异包括所述第一特征编码样本重构为所述第一模态的图像后，与所述第一模态图像样本之间的差异；所述第二图像差异包括所述第二特征编码样本重构为所述第二模态的图像后，与所述第二模态图像样本之间的差异；

25、域间损失函数获取模块，用于获取所述域间损失函数，所述域间损失函数用于指示所述第一特征编码样本与所述第二特征编码样本之间的差异；

26、模态转换网络更新模块，用于根据所述域内损失函数以及所述域间损失函数，更新所述模态转换网络。

27、在一些实施例中，所述目标函数还包括：映射损失函数；所述装置还包括：

28、映射损失函数获取模块，用于获取所述映射损失函数；所述映射损失函数用于指示所述第二特征编码样本映射至所述第一模态的特征空间后，与所述第一特征编码样本之间的差异；或者，所述映射损失函数用于指示所述第一特征编码样本映射至所述第二模态的特征空间后，与所述第二编码特征样本之间的差异；

29、模态转换网络更新模块，用于根据所述域内损失函数、所述域间损失函数以及所述映射损失函数，更新所述模态转换网络。

30、在一些实施例中，所述模态转换网络包括特征提取子网络、滤波子网络以及映射矩阵；所述滤波子网络中包括所述第一模态对应的滤波矩阵以及所述第二模态对应的滤波矩阵；

31、所述第一特征编码样本是通过所述特征提取子网络对所述第一模态图像样本执行特征提取处理获得的特征编码，所述第二特征编码样本是通过所述特征提取子网络对所述第二模态图像样本执行特征提取处理获得的特征编码；

32、所述第一图像差异包括所述第一特征编码样本经过所述第一模态对应的滤波矩阵的图像重构处理后，与所述第一模态图像样本之间的差异；所述第二图像差异包括所述第二特征编码样本经过所述第二模态对应的滤波矩阵的图像重构处理后，与所述第二模态图像样本之间的差异；

33、所述映射损失函数用于指示所述第二特征编码样本经过所述映射矩阵的模态映射处理后，与所述第一特征编码样本之间的差异。

34、在一些实施例中，所述模态转换网络更新模块，用于根据所述域内损失函数、所述域间损失函数以及所述映射损失函数，依次更新所述滤波子网络、所述特征提取子网络以及所述映射矩阵；其中，所述滤波子网络、所述特征提取子网络以及所述映射矩阵，分别通过所述域内损失函数、所述域间损失函数以及所述映射损失函数中的至少一个函数来更新。

35、在一些实施例中，所述模态转换网络更新模块，用于在更新所述滤波子网络的过程中，以所述第一模态图像样本、所述第二模态图像样本、所述第一特征编码样本以及所述第二特征编码样本为已知信息，求解第一目标函数，以更新所述滤波子网络；其中，所述第一目标函数的解，是在所述域内损失函数的取值极小化的情况下，所述第一模态对应的滤波矩阵的取值以及所述第二模态对应的滤波矩阵的取值。

36、在一些实施例中，所述模态转换网络更新模块，用于在更新所述特征提取子网络的过程中，以所述第一模态图像样本、所述第二模态图像样本、所述第一特征编码样本以及所述第二特征编码样本为已知信息，求解第二目标函数，以更新所述特征提取子网络；其中，所述第二目标函数的解，是在所述域内损失函数的取值和所述映射损失函数的取值极小化，且所述域间损失函数的取值极大化的情况下，所述特征提取子网络的参数。

37、在一些实施例中，所述模态转换网络更新模块，用于在更新所述映射矩阵的过程中，以所述第一特征编码样本以及所述第二特征编码样本为已知信息，求解第三目标函数，以更新所述映射矩阵；其中，所述第三目标函数的解，是在所述映射损失函数的取值极小化的情况下，所述映射矩阵的取值。

38、另一方面，提供了一种模态转换网络的训练装置，所述装置包括：

39、第一特征编码样本获取模块，用于通过模态转换网络对第一模态对应的第一模态图像样本执行特征提取处理，获得所述第一模态的第一特征编码样本；

40、第二特征编码样本获取模块，用于通过所述模态转换网络对第二模态对应的第二模态图像样本执行特征提取处理，获得所述第二模态的第二特征编码样本；

41、域内损失函数获取模块，用于获取域内损失函数，所述域内损失函数用于指示第一图像差异和第二图像差异；所述第一图像差异包括所述第一特征编码样本重构为所述第一模态的图像后，与所述第一模态图像样本之间的差异；所述第二图像差异包括所述第二特征编码样本重构为所述第二模态的图像后，与所述第二模态图像样本之间的差异；

42、域间损失函数获取模块，用于获取域间损失函数，所述域间损失函数用于指示所述第一特征编码样本与所述第二特征编码样本之间的差异；

43、模态转换网络更新模块，用于根据所述域内损失函数以及所述域间损失函数，更新所述模态转换网络；

44、其中，更新后的所述模态转换网络用于对第一图像执行模态转换处理，获得第二图像；所述第一图像是成像对象在所述第一模态和所述第二模态中的一个模态下的图像，所述第二图像是所述成像对象在所述第一模态和所述第二模态中的另一个模态下的图像。

45、又一方面，提供了一种计算机设备，所述计算机设备包含处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如上所述的图像处理方法。

46、又一方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如上所述的图像处理方法。

47、还一方面，提供了一种计算机程序产品，该计算机程序产品包括计算机程序，该计算机程序存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机程序，处理器执行该计算机程序，使得该计算机设备执行上述各种可选实现方式中提供的图像处理方法。

48、本技术提供的技术方案可以包括以下有益效果：

49、在本技术实施例中，用于将一种模态的图像转换为另一种模态的图像的模态转换网络，可以通过同时包含域内损失函数以及域间损失函数的目标函数来训练，由于上述域内损失函数指示的是图像在模态不变的情况下重构前后的差异，上述域间损失函数指示的是不同模态的图像特征之间的差异，因此，通过上述目标函数训练得到的模态转换网络在对图像执行模态转换的过程中，除了可以关注到不同模态下的图像特征的差异之外，还可以关注到同一模态下的图像特征的差异，由于一个图像的特征在当前模态下重构前后的差异，相比于该图像的特征在不同模态之间的差异来说是更加细致的，因此，通过上述目标函数更新后的模态转换网络，相比于只关注不同模态下的图像特征的网络来说，其可以更准确地调整转换后的图像，从而提高模态转换的准确性，有效保证模态转换后的图像质量。

50、应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本技术。