三维图像的增强方法、图像增强模型的训练方法及装置与流程

1.本发明涉及图像处理技术领域，尤其涉及一种三维图像的增强方法、图像增强模型的训练方法及装置、电子设备、存储介质。


背景技术：

2.深度学习技术在计算机视觉方向已经被广泛研究和使用。在图像增强领域，当前研究主要集中在二维图像，很少有关于三维图像的工作。一方面是因为三维图像数据比二维图像更加难以获取，而训练神经网络模型往往需要大规模的数据；另一方面是因为三维图像数据太大，在运行深度学习模型时需要占用更多的计算资源。这些实际问题都限制了用于三维图像增强的深度学习模型的研究和应用，基于目前的模型得到的三维增强图像，存在明显的边缘效应，图像质量有待进一步提高。


技术实现要素：

3.本发明要解决的技术问题是为了克服基于现有技术中用于三维图像增强的深度学习模型得到的三维增强图像，存在明显的边缘效应的缺陷，提供一种三维图像的增强方法、图像增强模型的训练方法及装置、电子设备、存储介质。
4.本发明是通过下述技术方案来解决上述技术问题：
5.第一方面，提供一种三维图像的增强方法，包括：
6.获取三维图像；
7.对所述三维图像进行分割处理，得到若干图像块；其中，各个图像块与至少一个其他图像块存在重叠区域；
8.将所述各个图像块输入图像增强模型，获得增强图像块；其中，所述图像增强模型由多组三维图像样本对神经网络训练得到，每组三维图像样本包括三维样本图像和所述三维样本图像的三维增强图像；
9.对所述增强图像块进行拼接处理，获得增强三维图像。
10.可选地，对所述三维图像进行分割处理，包括：
11.采用滑动窗口对所述三维图像进行分割处理，所述滑动窗口的移动步长小于所述滑动窗口沿移动方向上的边长。
12.可选地，对所述三维图像进行分割处理，包括：
13.对分割结果进行外围扩展处理，得到所述若干图像块。
14.可选地，对所述增强图像块进行拼接处理，获得增强三维图像，包括：
15.去除各个增强图像块的边缘；
16.根据各个增强图像块之间的相对位置关系，对去除边缘之后的各个增强图像块进行拼接处理，获得所述增强三维图像。
17.第二方面，提供一种图像增强模型的训练方法，包括：
18.获取多组三维图像样本，每组三维图像样本包括三维样本图像和所述三维样本图
像的三维增强图像；
19.将所述三维样本图像的三维增强图像转换为目标方向上的二维增强图像；
20.将所述三维样本图像输入神经网络，并将所述神经网络的输出结果转换为所述目标方向上的二维输出图像；
21.根据所述二维增强图像和所述二维输出图像，计算损失误差；
22.根据所述损失误差调节所述神经网络的网络参数，直至所述图像增强模型的损失函数收敛。
23.可选地，所述损失函数包括感知损失函数，所述感知损失函数的自变量包括所述二维增强图像和所述二维输出图像。
24.第三方面，提供一种三维图像的增强装置，包括：
25.获取模块，用于获取三维图像；
26.分割模块，用于对所述三维图像进行分割处理，得到若干图像块；其中，所述各个图像块与至少一个其他图像块存在重叠区域；
27.输入模块，用于将各个图像块输入图像增强模型，获得增强图像块；其中，所述图像增强模型由多组三维图像样本对神经网络训练得到，每组三维图像样本包括三维样本图像和所述三维样本图像的三维增强图像；
28.拼接模块，用于对所述增强图像块进行拼接处理，获得增强三维图像。
29.可选地，所述分割模块具体用于：
30.采用滑动窗口对所述三维图像进行分割处理，所述滑动窗口的移动步长小于所述滑动窗口沿移动方向上的边长。
31.可选地，所述分割模块具体用于：
32.对分割结果进行外围扩展处理，得到所述若干图像块。
33.可选地，所述拼接模具体用于：
34.将所述增强图像块中的非重叠区域的体素映射至所述三维图像的对应位置；
35.确定各个图像块的重叠区域中相同位置的体素的平均值，并将所述平均值映射至所述三维图像的对应位置。
36.第四方面，提供一种图像增强模型的训练装置，包括：
37.获取模块，用于获取多组三维图像样本，每组三维图像样本包括三维样本图像和所述三维样本图像的三维增强图像；
38.转换模块，用于将所述三维样本图像的三维增强图像转换为目标方向上的二维增强图像；
39.输入模块，用于将所述三维样本图像输入神经网络，并将所述神经网络的输出结果转换为所述目标方向上的二维输出图像；
40.计算模块，用于根据所述二维增强图像和所述二维输出图像，计算损失误差；
41.调节模块，用于根据所述损失误差调节所述神经网络的网络参数，直至达到迭代停止条件。
42.可选地，所述训练方法采用的损失函数包括感知损失函数，所述感知损失函数的自变量包括所述二维增强图像和所述二维输出图像。
43.第五方面，提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理
器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述任一项所述的方法。
44.第六方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述的方法。
45.本发明的积极进步效果在于：本发明实施例中，对三维图像进行分割处理时，使分割得到的各个图像块与至少一个其他图像块存在重叠区域，基于图像增强模型对各个图像块进行图像增强处理，以得到增强图像块，并利用各个增强图像块的重叠区域对增强图像块进行拼接处理，不存在边缘与边缘的拼接，从而可以有效减小边缘效应。
附图说明
46.图1为本发明一示例性实施例提供的一种三维图像的增强方法的流程图；
47.图2a为本发明一示例性实施例提供的一种三维图像的增强方法采用的图像分割处理的示意图；
48.图2b为本发明一示例性实施例提供的另一种三维图像的增强方法采用的图像分割处理的示意图；
49.图2c为现有技术采用的图像增强处理过程的示意图；
50.图2d为本发明一示例性实施例提供的一种三维图像的增强方法采用的图像拼接处理过程的示意图；
51.图2e为本发明一示例性实施例提供的另一种三维图像的增强方法采用的图像拼接处理过程的示意图；
52.图2f为本发明一示例性实施例提供的另一种三维图像的增强方法采用的图像拼接处理过程的示意图；
53.图2g为本发明一示例性实施例提供的另一种三维图像的增强方法采用的图像拼接处理过程的示意图；
54.图3为本发明一示例性实施例提供的一种图像增强模型的训练方法的流程图；
55.图4a为使用本发明实施例提供的图像增强模型的训练方法得到的图像增强模型输出的三维增强图像；
56.图4b为使用现有技术得到的三维增强图像；
57.图4c为图4a的金标准图像；
58.图5为本发明一示例性实施例提供的一种三维图像的增强装置的模块示意图；
59.图6为本发明一示例性实施例提供的一种图像增强模型的训练装置的模块示意图；
60.图7为本发明一示例实施例示出的一种电子设备的结构示意图。
具体实施方式
61.下面通过实施例的方式进一步说明本发明，但并不因此将本发明限制在所述的实施例范围之中。
62.图1为本发明一示例性实施例提供的一种三维图像的增强方法的流程图，该方法包括以下步骤：
63.步骤101、获取三维图像。
64.该三维图像为图像质量较差、需进行图像增强的三维图像，三维图像的类型可以是ct(电子计算机断层扫描)图像、mri(磁共振)图像或者pet(正电子发射计算机断层显像)图像等。
65.步骤102、对三维图像进行分割处理，得到若干图像块。
66.其中，分割得到的各个图像块与至少一个其他图像块存在重叠区域。
67.由于三维图像的数据较大，直接对三维图像进行图像增强处理，会占用较大的计算资源，并且计算时长会非常长，不适合实际应用，因此对三维图像进行图像增强处理之前，需对三维图像进行分割处理。
68.在一个实施例中，通过滑动窗口实现对三维图像的分割处理，其中，滑动窗口的移动步长小于滑动窗口沿移动方向上的边长。基于滑动窗口能够实现对三维图像的快速分割，且将滑动窗口的移动步长设置为小于滑动窗口沿移动方向上的边长，可以确保各个图像块与其相邻的图像块均具有重叠区域。参见图2a，图中以三维图像沿一个图像方向的视图为例，示出了对三维图像的分割过程。使用滑动窗口21在三维图像22上滑动，图中的箭头表示滑动窗口的移动方向，滑动窗口21每移动一次，得到一个图像块。滑动窗口的移动步长小于滑动窗口沿移动方向上的边长，参见图2a，以滑动窗口向右移动为例，滑动窗口的移动步长d1小于滑动窗口的边长a，以滑动窗口向下移动为例，滑动窗口的移动步长d2小于滑动窗口的边长b，从而使得基于滑动窗口得到的各个图像块与至少一个其他图像块存在重叠区域(图中斜线填充的区域)。
69.可以理解的，滑动窗口的移动方向不限于是图2a示出的从左向右移动，从上向下移动，还可以是从右向左移动，从下向上移动，本发明实施例对此不作特别限定。滑动窗口的边长和移动步长可以根据实际需求自行设置，例如，设置滑动窗口的边长与移动步长之差为10个像素。
70.上述图像方向也即医学图像的图像方向，医学图像的图像方向包括轴状面(axial)方向、矢状面(sagittal)方向和冠状面(coronal)方向，三个图像方向相互垂直。
71.在一个实施例中，先将三维图像分割成互不重叠的多个分割结果，然后对分割结果进行外围扩展处理。经过外围扩展处理，可以确保各个图像块与其相邻的图像块均具有重叠区域。参见图2b，以图中示出的实线围成的分割结果23a和分割结果23b为例，再对分割结果23a和分割结果23b进行外围扩展处理，得到对应于分割结果23a的图像块24a(图中虚线围城的区域)，以及对应于分割结果23b的图像块24b(图中虚线围城的区域)，图像块24a与图像块24b存在重叠区域。
72.其中，外围扩展时的扩展尺寸可根据实际需求自行设置。
73.在一个实施例中，结合滑动窗口和外围扩展实现对三维图像的分割处理。先采用滑动窗口对三维图像进行分割处理，该滑动窗口的移动步长小于滑动窗口沿移动方向上的边长，再对分割结果进行外围扩展处理，得到若干图像块。结合滑动窗口和外围扩展实现对三维图像的分割处理，能够进一步确保各个图像块与其相邻的图像块均具有重叠区域。
74.步骤103、将各个图像块输入图像增强模型，获得增强图像块。
75.其中，图像增强模型由多组三维图像样本对神经网络训练得到，每组三维图像样本包括三维样本图像和该三维样本图像的三维增强图像，图像增强模型的具体训练过程参见下文描述。基于该图像增强模型得到的增强图像块更加真实自然，图像质量较好。
76.步骤104、对增强图像块进行拼接处理，获得增强三维图像。
77.相关技术中，对三维图像进行分割时，将三维图像分割为互不重叠的多个图像块，以分割为2个图像块为例，得到图2c示出的对应于2个图像块的增强图像块，分别为增强图像块a和增强图像块b，对增强图像块a和增强图像块b进行拼接处理时，两者边缘位置的体素相互拼接，会存在明显的边缘效应。
78.本发明实施例在进行图像分割时，使各个图像块与至少一个其他图像块存在重叠区域，利用该重叠区域对增强图像块进行拼接，可以有效减小增强图像拼接时的边缘效应。下面介绍具体拼接过程。
79.在一个实施例中，若步骤102中，采用滑动窗口实现对三维图像分割时各个图像块与至少一个其他图像块存在重叠区域，参见图2d，对图中示出的增强图像块a(图中点线围成的区域)和与其相邻的增强图像块b(图中虚线围成的区域)进行拼接时，根据两个增强图像块之间的相对位置关系，放置增强图像块a和增强图像块b，两者存在重叠区域，重叠区域为s
a1
～s
an
与s
b1
～s
bn
围成的区域，图中s
a1
～s
an
表示增强图像块a的边缘位置与增强图像块b的中间位置(增强图像块b中除了边缘位置之外的位置)的重叠位置，s
b1
～s
bn
表示增强图像块b的边缘位置与增强图像块a的中间位置(增强图像块a中除了边缘位置之外的位置)的重叠位置。进行增强图像块拼接时，将该重叠区域的整个区域作为拼接区域，拼接区域中的各个位置的体素为增强图像块a和增强图像块b的对应位置处的体素的平均值，例如，s
a1
处的体素等于增强图像块a的边缘位置的体素与增强图像块b的对应位置(非边缘位置)的体素的平均值；s
bn
处的体素等于增强图像块b的边缘位置的体素与增强图像块a的对应位置(非边缘位置)的体素的平均值。
80.本发明实施例中，对增强图像块进行拼接处理时，基于增强图像块的边缘位置的体素与其相邻的增强图像块的非边缘位置的体素计算拼接区域的体素，也即将增强图像块的边缘位置的体素与其他增强图像块的非边缘位置的体素进行拼接，由于不存在边缘与边缘的拼接，从而可以削弱边缘效应。
81.在一个实施例中，将图2d中重叠区域中的部分区域作为拼接区域，该部分区域为不包含增强图像块的边缘的区域。也即去除各个增强图像块的边缘，并根据各个增强图像块之间的相对位置关系，对去除边缘之后的各个增强图像块进行拼接处理，获得所述增强三维图像。
82.还是以增强图像块a和增强图像块b为例，参见图2e，两者的重叠区域为增强图像块a的边缘la与增强图像块b的边缘lb之间的区域，将重叠区域中去除增强图像块a的边缘la以及增强图像块b的边缘lb之后的区域确定为拼接区域，拼接区域也即图中实线la’与实线lb’之间的区域。拼接区域中的各个位置的体素为增强图像块a和增强图像块b的对应位置处的体素的平均值。
83.本发明实施例中，对增强图像块进行拼接处理时，基于增强图像块的非边缘位置的体素与其相邻的增强图像块的非边缘位置的体素计算拼接区域的体素，也即将增强图像块的非边缘位置的体素与其他增强图像块的非边缘位置的体素进行拼接，由于不存在边缘与边缘的拼接，从而可以有效减小边缘效应。
84.在一个实施例中，若步骤102中，采用外围扩展实现对三维图像的分割时各个图像块与至少一个其他图像块存在重叠区域，参见图2f，对图中示出的增强图像块a和增强图像
块b进行拼接时，根据两个增强图像块之间的相对位置关系，放置增强图像块a和增强图像块b，两者存在重叠区域，重叠区域为图中边缘la与边缘lb之间的区域。进行增强图像块拼接时，将该重叠区域的整个区域作为拼接区域，拼接区域中的各个位置的体素为增强图像块a和增强图像块b的对应位置处的体素的平均值。
85.本发明实施例中，对增强图像块进行拼接处理时，基于增强图像块的边缘位置的体素与其相邻的增强图像块的非边缘位置的体素计算拼接区域的体素，也即将增强图像块的边缘位置的体素与其他增强图像块的非边缘位置的体素进行拼接，由于不存在边缘与边缘的拼接，从而可以削弱边缘效应。
86.在一个实施例中，将图2f中重叠区域中的部分区域作为拼接区域，该部分区域为不包含增强图像块的边缘的区域。也即去除各个增强图像块的边缘，并根据各个增强图像块之间的相对位置关系，对去除边缘之后的各个增强图像块进行拼接处理，获得所述增强三维图像。
87.还是以增强图像块a和增强图像块b为例，参见图2g，进行增强图像块进行拼接时，先去除两个增强图像块的边缘，图中实线围成的区域分别表示去除边缘之后的增强图像块a和增强图像块b，根据两个增强图像块之间的相对位置关系，放置去除边缘之后的增强图像块a和去除边缘之后的增强图像块b。增强图像块a和增强图像块b的重叠区域为边缘la与边缘lb之间的区域，拼接区域为实线la’与实线lb’之间的区域，从图中可以看出拼接区域为重叠区域中去除增强图像块a的边缘la以及去除增强图像块b的边缘lb之后的区域。拼接区域中的各个位置的体素为增强图像块a和增强图像块b的对应位置处的体素的平均值。
88.本发明实施例中，对增强图像块进行拼接处理时，基于增强图像块的非边缘位置的体素与其相邻的增强图像块的非边缘位置的体素计算拼接区域的体素，也即将增强图像块的非边缘位置的体素与其他增强图像块的非边缘位置的体素进行拼接，由于不存在边缘与边缘的拼接，从而可以有效减小边缘效应。
89.在一个实施例中，若步骤102中，结合滑动窗口和外围扩展实现对三维图像的分割处理，在进行增强图像块的拼接时，先去除增强图像块的边缘，然后根据增强图像块之间的相对位置关系，放置去除边缘之后的增强图像块，进而根据图2d示出的方式对去除边缘之后的增强图像块进行拼接处理。
90.在一个实施例中，根据增强图像块之间的相对位置关系，放置增强图像块或者放置去除边缘之后的增强图像块，可以通过以下方式实现：对于非重叠区域，根据相对位置关系将各个增强图像块(或者去除边缘之后的增强图像块)中的非重叠区域的体素映射至三维图像的对应位置；对于重叠区域，确定各个图像块(或者去除边缘之后的增强图像块)的重叠区域中相同位置的体素的平均值，并将平均值映射至三维图像的对应位置。
91.以图2d示出的两个增强图像块为例，图中非重叠区域a中各个位置的体素为增强图像块a中对应位置的体素的映射结果，非重叠区域b中各个位置的体素为增强图像块b中对应位置的体素的映射结果，重叠区域中s
a1
处的体素为增强图像块a对应位置的体素与增强图像块b对应位置的体素的平均值，重叠区域中s
an
处的体素为增强图像块a对应位置的体素与增强图像块b对应位置的体素的平均值。
92.可以理解地，图2d～图2g只是以重叠区域在增强图像块的左侧、右侧为例，对增强图像块的拼接过程进行说明，对于增强图像块的上侧、下侧的重叠区域的处理过程，与上述
处理过程类似，此处不再赘述。
93.图3为本发明一示例性实施例提供的一种图像增强模型的训练方法的流程图，该方法包括以下步骤：
94.步骤301、获取多组三维图像样本，每组三维图像样本包括三维样本图像和三维样本图像的三维增强图像。
95.每组三维图像样本包含同一目标对象的三维样本图像和三维增强图像，三维样本图像的图像质量低于三维增强图像的图像质量，图像质量可以但不限于通过信噪比和/或分辨率等指标表征。目标对象可以但不限于包括以下组织器官中的至少一种：脑部、颈部、胸部、腹部、臀部等。
96.在进行模型训练时，将三维样本图像作为模型训练的输入，将三维增强图像作为模型训练的金标准。三维样本图像的类型可以但不限于包括ct图像、mri图像或者pet图像等。若三维样本图像为ct图像，则将该ct图像作为神经网络的输入，将该ct图像的增强图像作为金标准。若三维样本图像为mri图像，则将该mri图像作为神经网络的输入，将该mri图像的增强图像作为金标准。若三维样本图像为pet图像，则将该pet图像作为神经网络的输入，将该pet图像的增强图像作为金标准。
97.模型训练时，对计算速度要求不是非常高，可以将完整的三维图像作为三维图像样本输入神经网络进行训练，此时作为金标准的三维增强图像为完整的三维增强图像。
98.三维图像的数据量很大，为了提高每轮迭代的速度，模型训练前，可以将三维图像样本分割成多个图像块，将各个图像块输入神经网络进行训练，此时作为金标准的三维增强图像为从三维增强图像中分割出来的增强图像块。
99.可以理解地，分别对三维样本图像和三维增强图像进行分割处理，将得到的图像块作为模型训练的输入，将得到的增强图像块作为模型训练的金标准，一方面增加了模型训练的样本数量，另一方面以数据量较小的图像块和增强图像块进行模型训练，可以减小模型训练过程中的计算资源，提高每轮迭代的速度，提高模型训练的效率。
100.步骤302、将三维样本图像的三维增强图像转换为目标方向上的二维增强图像。
101.医学图像的图像方向包括轴状面(axial)方向、矢状面(sagittal)方向和冠状面(coronal)方向，三个图像方向相互垂直。目标方向可以是轴状面方向、矢状面方向和冠状面方向中的至少一种，将三维样本图像的三维增强图像转换为目标方向上的二维增强图像，也即将三维增强图像转换为轴状面方向、矢状面方向和冠状面方向中至少一个方向上的二维增强图像。
102.在一个实施例中，直接将三维样本图像的三维增强图像转换为目标方向上的二维增强图像，目标方向上的二维增强图像也即目标方向上的二维增强切片图。本实施例中，无需获取三维样本图像的切片图，进而对切片图进行图像增强处理，可以减少计算量。
103.在一个实施例中，获取三维样本图像在目标方向上的切片图，对各张切片图进行图像增强处理，将经过图像增强处理的切片图确定为二维增强图像。本实施例中，获取三维样本图像在目标方向上的切片图，将其作为生成二维增强图像的基础图像，由于三维样本图像由切片图重建得到，切片图能真实反映三维样本图像，因此基于切片图得到的二维增强图像，图像失真程度较小。
104.步骤303、将三维样本图像输入神经网络，并将神经网络的输出结果转换为目标方
向上的二维输出图像。
105.步骤303中的神经网络的训练结果，用于对三维图像进行图像增强处理，该神经网络的网络结构可以但不限于采用卷积神经网络、生存对抗神经网络等。
106.神经网络的输出结果为三维图像，将神经网络的输出结果转换为目标方向上的二维输出图像，也即将神经网络的输出结果转换为轴状面方向、矢状面方向和冠状面方向中至少一个方向上的二维增强图像。
107.将神经网络的输出结果转换为目标方向上的二维输出图像的实现方式，可以采用将三维增强图像转换为目标方向上的二维增强图像的实现方式，具体实现过程，可参见步骤302，此处不再赘述。
108.步骤304、根据二维增强图像和二维输出图像，计算损失误差。
109.在一个实施例中，损失函数包括感知损失函数l
per
，该感知损失函数l
per
的自变量包括二维增强图像和二维输出图像。损失函数表示如下：
[0110][0111]
其中，表示三维增强图像i
gt
在第i个方向上的二维增强图像；表示神经网络的输出结果i
output
在第i个方向上的二维输出图像；表示神经网络以i为输入对应第l层的输出特征图。l可根据实际需求自行设置，例如设置为34。
[0112]
本发明实施例中，基于三维图像在不同图像方向上的二维图像，计算损失误差，该损失误差表征三维图像不同图像方向的平面的损失误差，并且该损失误差基于感知损失函数计算得到，感知损失函数的因变量包含全局语义信息的高级特征图之间的差值，也即该损失误差还表征全局语义信息的高级特征图之间的差值，以该损失误差来约束三维的图像增强模型的训练，相较于直接使用三维图像得到的损失误差来约束图像增强模型的训练，基于本发明实施例得到的图像增强模型具有较强的泛化能力，能有效缓解图像增强模型输出的三维图像过平滑的问题，使图像增强模型输出的三维图像看起来更加真实自然。
[0113]
在一个实施例中，损失函数为l1损失函数l
1_loss
与感知损失函数l
per
的加权之和，该l1损失函数l
1_loss
的自变量包括神经网络的输出结果和三维增强图像，该感知损失函数l
per
的自变量包括二维增强图像和二维输出图像。损失函数表示如下：
[0114]
l＝α*l
1_loss
β*l
per
；
[0115][0116]
l
1_loss
(i
output
,i
gt
)＝|i
output
‑
i
gt
|；
[0117]
其中，α与β表示权重，可根据实际需求自行设置，例如将α设置为0.1，将β设置为1。
[0118]
从而，结合l1损失函数与感知损失函数，来约束三维的图像增强模型的训练，也即结合基于三维图像不同图像方向的平面的损失误差以及基于三维图像得到的损失误差，两个维度的损失误差约束三维的图像增强模型的训练，通过同时参考了基于l1损失函数从像素级别计算输出与金标准之间的误差以及基于感知损失函数计算包含全局语义信息的高级特征图之间的差值来约束三维的图像增强模型的训练，能进一步有效缓解图像增强模型输出的三维图像过平滑的问题。
[0119]
步骤305、根据损失误差调节神经网络的网络参数，直至达到迭代停止条件。
[0120]
其中，迭代停止条件可以但不限于包括：图像增强模型的损失函数收敛；或者，迭代次数达到次数阈值。其中，次数阈值可以根据实际情况自行设置。
[0121]
在一个实施例中，选择adam优化器来计算网络参数的梯度，并结合随机梯度下降法更新网络参数。初始化学习率可设置为0.0001，可根据训练过程进行适当调节。
[0122]
训练完成，即可得到图像增强模型，该图像增强模型用于实现对三维图像进行图像增强。图像增强模型的训练过中，基于三维图像在不同图像方向上的二维图像，计算损失误差，以该损失误差来约束三维的图像增强模型的训练，相较于直接使用三维图像得到的损失误差来约束图像增强模型的训练，基于本发明实施例得到的图像增强模型具有较强的泛化能力，能有效缓解图像增强模型输出的三维图像过平滑的问题，使图像增强模型输出的三维图像看起来更加真实自然。
[0123]
图4a为使用本发明实施例得到的图像增强模型输出的三维增强图像，图4b为使用现有技术得到的三维增强图像，比较两者可知，图4a更加真实自然，更加贴近图4c示出的金标准图像，图4b则看起来平滑模糊，医学图像的细节特征无法展现，不利于医疗诊断。
[0124]
与前述三维图像的增强方法、图像增强模型的训练方法实施例相对应，本发明还提供了三维图像的增强装置、图像增强模型的训练装置的实施例。
[0125]
图5为本发明一示例性实施例提供的一种三维图像的增强装置的模块示意图，所述装置包括：
[0126]
获取模块51，用于获取三维图像；
[0127]
分割模块52，用于对所述三维图像进行分割处理，得到若干图像块；其中，各个图像块与至少一个其他图像块存在重叠区域；
[0128]
输入模块53，用于将所述各个图像块输入图像增强模型，获得增强图像块；其中，所述图像增强模型由多组三维图像样本对神经网络训练得到，每组三维图像样本包括三维样本图像和所述三维样本图像的三维增强图像；
[0129]
拼接模块54，对所述增强图像块进行拼接处理，获得增强三维图像。
[0130]
可选地，所述分割模块具体用于：
[0131]
采用滑动窗口对所述三维图像进行分割处理，所述滑动窗口的移动步长小于所述滑动窗口沿移动方向上的边长。
[0132]
可选地，所述分割模块具体用于：
[0133]
对分割结果进行外围扩展处理，得到所述若干图像块。
[0134]
可选地，所述拼接模块包括：
[0135]
去除单元，用于去除各个增强图像块的边缘；
[0136]
拼接单元，用于根据各个增强图像块之间的相对位置关系，对去除边缘之后的各个增强图像块进行拼接处理，获得所述增强三维图像。
[0137]
图6为本发明一示例性实施例提供的一种图像增强模型的训练装置的模块示意图，所述装置包括：
[0138]
获取模块61，用于获取多组三维图像样本，每组三维图像样本包括三维样本图像和所述三维样本图像的三维增强图像；
[0139]
转换模块62，用于将所述三维样本图像的三维增强图像转换为目标方向上的二维增强图像；
[0140]
输入模块63，用于将所述三维样本图像输入神经网络，并将所述神经网络的输出结果转换为所述目标方向上的二维输出图像；
[0141]
计算模块64，用于根据所述二维增强图像和所述二维输出图像，计算损失误差；
[0142]
调节模块65，用于根据所述损失误差调节所述神经网络的网络参数，直至达到迭代停止条件。
[0143]
可选地，所述训练装置采用的损失函数包括感知损失函数，所述感知损失函数的自变量包括所述二维增强图像和所述二维输出图像。
[0144]
对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本发明方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
[0145]
图7为本发明一示例实施例示出的一种电子设备的结构示意图，示出了适于用来实现本发明实施方式的示例性电子设备70的框图。图7显示的电子设备70仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
[0146]
如图7所示，电子设备70可以以通用计算设备的形式表现，例如其可以为服务器设备。电子设备70的组件可以包括但不限于：上述至少一个处理器71、上述至少一个存储器72、连接不同系统组件(包括存储器72和处理器71)的总线73。
[0147]
总线73包括数据总线、地址总线和控制总线。
[0148]
存储器72可以包括易失性存储器，例如随机存取存储器(ram)721和/或高速缓存存储器722，还可以进一步包括只读存储器(rom)723。
[0149]
存储器72还可以包括具有一组(至少一个)程序模块724的程序工具725(或实用工具)，这样的程序模块724包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
[0150]
处理器71通过运行存储在存储器72中的计算机程序，从而执行各种功能应用以及数据处理，例如上述任一实施例所提供的方法。
[0151]
电子设备70也可以与一个或多个外部设备74(例如键盘、指向设备等)通信。这种通信可以通过输入/输出(i/o)接口75进行。并且，模型生成的电子设备70还可以通过网络适配器76与一个或者多个网络(例如局域网(lan)，广域网(wan)和/或公共网络，例如因特网)通信。如图所示，网络适配器76通过总线73与模型生成的电子设备70的其它模块通信。应当明白，尽管图中未示出，可以结合模型生成的电子设备70使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、raid(磁盘阵列)系统、磁带驱动器以及数据备份存储系统等。
[0152]
应当注意，尽管在上文详细描述中提及了电子设备的若干单元/模块或子单元/模块，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本发明的实施方式，上文描述的两个或更多单元/模块的特征和功能可以在一个单元/模块中具体化。反之，上文描述的一个单元/模块的特征和功能可以进一步划分为由多个单元/模块来具体化。
[0153]
本实施例提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序被
处理器执行时实现上述任一实施例所提供的方法的步骤。
[0154]
其中，可读存储介质可以采用的更具体可以包括但不限于：便携式盘、硬盘、随机存取存储器、只读存储器、可擦拭可编程只读存储器、光存储器件、磁存储器件或上述的任意合适的组合。
[0155]
在可能的实施方式中，本发明还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在终端设备上运行时，所述程序代码用于使所述终端设备执行实现上述任一实施例提供的方法的步骤。
[0156]
其中，可以以一种或多种程序设计语言的任意组合来编写用于执行本发明的程序代码，所述程序代码可以完全地在用户设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户设备上部分在远程设备上执行或完全在远程设备上执行。
[0157]
虽然以上描述了本发明的具体实施方式，但是本领域的技术人员应当理解，这仅是举例说明，本发明的保护范围是由所附权利要求书限定的。本领域的技术人员在不背离本发明的原理和实质的前提下，可以对这些实施方式做出多种变更或修改，但这些变更和修改均落入本发明的保护范围。