用于图像拼接的训练方法、装置及图像表示系统与流程

本发明涉及图像处理领域，尤其涉及图像拼接领域。更具体地，本发明涉及图像处理系统的领域，该图像处理系统被配置用于执行用于利用神经网络基于图像拼接来生成图像表示的计算机实施的方法、用于利用神经网络基于图像拼接来生成图像表示的计算机实施的方法、以及针对图像拼接的图像表示训练神经网络的方法。

背景技术：

1、基于图像拼接的图像表示是在例如x射线成像中创建大于检测器尺寸的解剖结构的图像的技术。通常，需要解剖结构的交叠x射线图像，特别是来自应当基于拼接图像被分析的相应的目标解剖结构的交叠x射线图像。通过图像处理算法来对准和混合可以被描述为处于相邻状态的图像以获得整个目标解剖结构的一幅图像。

2、经典图像处理算法通常通过相似性度量来估计两幅相邻图像之间的预期位移。在存在于两幅相邻图像中的交叠区域上计算相似性度量，其中，基于例如交叠x射线图像来直接计算相似性度量。对于在拼接期间组合的每个相邻图像对，交叠区域暴露两次；这导致患者的更高剂量。大的交叠区域实现更可靠的拼接过程，同时它们也增加了患者剂量。相反，小的交叠区域减少了患者剂量，但是使拼接过程不那么可靠。这些量度、相似性度量倾向于局部最大值或最小值，这可能由噪声或视差误差引起。相似性度量的这些局部极值可能导致不准确的拼接结果，或者甚至导致整个拼接流程的故障。

3、wo2022/182293a1描述了一种图像拼接方法，包括基于多幅输入图像并且基于图像域拼接过程来生成第一拼接图像。

4、chukuri等人：“i,r-stitch unit:encoder-decoder-cnn based lmagemosaicingmechanism for stitching non-homogeneous image sequences”(ieee access,ieee,usa，第9卷，2021年1月18日，第16761-16782页)描述了基于新颖的卷积编码器-解码器深度神经网络的鲁棒且可靠的图像拼接方法。

5、ep3726457 a1描述了用于使用非线性优化和多约束代价函数最小化来拼接图像的系统和方法。

6、ep2555156 a1描述了一种由电子设备实施的用于图像拼接的方法。

7、levin等人：“seamless image stitching in the gradient domain”(16april2004,computer vision-eccv 2004；[lecture notes in computer science；；lncs],springer-verlag,berlin/heidelberg,第377-389页)描述了图像拼接，其被用于通过使用代价函数将具有一些交叠的若干个体图像组合成合成图像。

技术实现思路

1、因此，需要优化图像拼接过程的质量，尤其是需要基于图像拼接来优化图像表示的质量。特别是需要改进图像拼接过程并且避免整个拼接流程的不准确拼接结果或故障。

2、本发明的目的是提供一种用于训练的方法、一种用于基于用于训练的方法生成图像表示的方法以及一种用于图像表示的系统，其中，可以减少相似性度量的故障，并且拼接结果可以改进，并且由于相似性度量而更不易出现故障。

3、本发明的目的是通过独立权利要求的主题来解决的，其中，另外的实施例被并入从属权利要求中。

4、根据本发明的第一方面，描述了一种训练用于确定图像拼接的图像表示的卷积神经网络(cnn)的方法。所述方法包括以下步骤：接收图像数据，其中，所述图像数据包括在交叠区域中彼此交叠的至少两幅图像，其中，图像在目标解剖结构中彼此交叠，其中，所述交叠区域包括两幅图像之间的最佳位移，使得两幅图像可以被正确地组合以用于图像拼接。所述方法还可以包括以下步骤：确定交叠区域中的两幅图像的位移的代价函数；确定代价函数与参考代价函数的偏差；以及基于偏差优化cnn。

5、在本发明的背景下，术语“图像表示”应该被理解为描述至少一幅图像或多于一幅图像的显示、图示。特别地，术语“图像表示应当被理解为描述为将非线性变换应用于一对x射线图像的结果。可以通过训练cnn从数据中学习非线性变换。换句话说，这些图像可以使用图像拼接方法来生成，特别是使用如本文所述的cnn的训练方法的图像拼接方法。图像表示可以是例如从患者(特别是从应当分析的特定目标解剖结构)生成的图像的x射线图像表示。可以根据用于训练的任何方法和/或根据如本文所述的在图像表示系统中生成图像表示的计算机实施的方法来预先处理从被表示的患者生成的图像。

6、在本发明的背景下，术语“图像拼接”或“拼接”应该被理解为描述组合至少两幅或更多幅图像以生成一幅新图像的方法或过程，其中，术语图像拼接可以用于标准拼接流程或用于使用根据实施例的方法、系统和元件的图像拼接流程，如本文所述的。特别地，对于图像的拼接，至少两幅图像，其中，图像在特定区域中交叠，图像的该区域是共同的。图像拼接被用于提供组合图像的所谓无缝结果。

7、在本发明的背景下，术语“交叠区域”应被理解为描述被包括在待拼接的图像中(例如在至少两幅图像中)的区域。换句话说，应该经历拼接过程的至少两幅图像从患者的例如腿部生成。第一图像可以从膝盖拍摄到小腿中间，第二图像可以从脚拍摄到小腿的中间。两幅图像都包括在小腿的中间的区域中的相同图像信息和对应于膝盖(第一图像)和脚(第二图像)的不同图像信息。交叠区域是图像信息和/或两幅显示图像包括相同和/或相似图像信息的区域。交叠区域的尺寸尤其取决于相应单幅图像本身的尺寸、图像处理系统的移动和/或用于生成图像的图像设备的移动。

8、在本发明的背景下，术语“目标解剖结构”应被理解为描述例如身体的应当由医学人员检查以用于医学处置等的部分。该目标解剖结构可以是患者的任何身体部位，例如腿、脚、手臂、胸部、头部等。为了研究目标解剖结构，可以生成图像，可以生成包括目标解剖结构的至少两幅图像。

9、在本发明的背景下，术语“最佳位移”应被理解为描述例如至少两幅图像的布置，使得组合图像不包括任何拼接故障和/或交叠/叠加故障。因此，应当实现组合图像的无缝结果，这需要图像之间几乎精确的交叠和几乎相同的曝光来产生最佳位移。特别地，用例如交叠图像对来训练cnn，其中，它们之间的对应位移是最佳的正确位移。位移是两幅图像之间的真实移位，使得它们可以被正确地拼接。因此，训练cnn以预测针对未知图像(甚至针对具有小交叠区域的图像)的最佳位移。cnn可能能够将图像变换为新的图像表示。最佳位移可以基于该新表示使用相似性度量来确定，如将关于本发明的其他实施例所描述的。

10、换句话说，利用所描述的方法，可以利用相应的最佳输入参数来训练神经网络，特别是卷积神经网络，使得经训练的cnn能够确定、预测在实时应用期间的最佳位移。特别地，为了学习更适合于图像拼接的图像表示。因此，描述了数据驱动的方法，其中，cnn被训练以学习图像的表示，其表示输入图像中可见的整个解剖结构。该方法的结果可以是具有显著最小值的平滑代价函数以确定最佳位移和/或用于图像拼接的移位。

11、例如，当在用于基于图像拼接的图像表示的计算机实施的方法中和在使用该方法的系统中应用经训练的神经网络时，训练方法允许减少交叠区域并因此减少患者剂量。特别地，交叠区域可以减少并且可以尽可能小，因为所提出的方法(用于训练cnn)甚至从小交叠区域也能够确定最佳位移，并且使用经训练的cnn的拼接过程没有代价函数的歧义。此外，当在成像系统中使用经训练的方法时，如将在本文中的其他实施例中描述的，改进的图像表示方法允许容易进行图像拼接过程，例如，所谓的拼接标尺(其是由x射线吸收材料制成的标尺)可以被省略，使得工作流程被增强。

12、神经网络的训练允许避免代价函数中的假全局最小值，这导致降低的拼接故障率。cnn的输入图像例如是两幅完整图像，而不仅仅是交叠区域。因此，cnn可能能够考虑来自整个输入图像的所有解剖特征，这继而允许减少交叠区域并且因此减少对患者的x射线暴露。此外，cnn可能能够降低故障率，特别是对于诸如腿的细长解剖结构，如果使用经典技术，则这可能由于代价函数中的模糊而导致不正确的位移。

13、所描述的训练方法及其在计算机实施的方法和图像表示系统中的应用可以用于x射线、射线照相、荧光透视、矫形、骨骼射线照相领域，并且不限于任何特定医学成像。

14、根据本发明的示例性实施例，优化cnn的步骤可以包括优化cnn的至少一个参数，例如，可以优化滤波器内核。替代地或另外地，优化cnn可以包括优化多于一个参数或所有参数，例如，优化所有滤波器内核。优化cnn可以包括确定cnn的最佳权重。

15、根据本发明的示例性实施例，所述方法还可以包括惩罚与参考代价函数的偏差的步骤。该步骤可以用于训练、优化cnn，特别是cnn的参数，如滤波器内核和/或多个滤波器内核。

16、换句话说，可以描述偏差的惩罚，cnn可以奖励满足参考代价函数的这些代价函数。因此，cnn可以在训练得到参考代价函数的图像表示的同时进行学习。为了奖励相应的代价函数，可以确定位移与参考代价函数的偏差，其中，当偏差满足参考代价函数时奖励可以更大。

17、根据本发明的示例性实施例，可以重复确定代价函数、确定代价函数与参考代价函数的偏差以及优化cnn的步骤，直到代价函数满足参考代价函数为止。因此，在代价函数满足参考函数之前可能需要若干迭代步骤。

18、根据本发明的示例性实施例，可以从具有带注释的正确位移的临床拼接序列和/或从具有已知位移的人工构造的图像数据获得图像数据。可以在临床图像数据上训练cnn以在例如两幅x射线图像之间的最佳位移的位置处具有全局极值的最佳代价函数。由于cnn可考虑来自输入的整个图像的解剖特征，因此其还可允许减少交叠区域且因此减少对患者的x射线暴露。

19、包括带注释的正确位移的图像数据可以被理解为图像数据，其中，正确位移是已知的。例如，临床人员和/或医学人员可能已经注释了用于确定正确位移的图片。因此，注释可以是手动注释，这可能是指由于所需人员而导致的更高代价。在另一方面，这可以具有真实噪声和视差误差存在于图像中的优点，并且这被包括在训练方法中，使得cnn利用来自真实环境的图像进行训练。

20、基于人工构造/生成的具有已知位移的图像数据的其他图像数据可以被理解为描述增强的临床图像的使用。增强可以描述利用例如人工噪声、透视失真或对比度拉伸和/或压缩来修改图像，其中，这些示例不是限制性的。因此，图像日期可以包括具有相同内容但不同外观的两幅图像。可从两幅图像裁剪相同尺寸的两个交叠区域。事实上，已知交叠区域如何交叠，真实位移是已知的。该方法可以用于人工生成具有已知位移的图像对。该方法可以更便宜，可以是自动化的，并且可以避免手动图像注释的代价。可以在训练期间组合用于训练的图像数据的确定的两种方法。

21、根据本发明的示例性实施例，确定两幅图像的位移的代价函数的步骤可以包括将相似性度量应用于两幅图像之间的多个位移。

22、相似性度量可以应用于两幅输入图像的多于一个位移。对这种相似性度量的定义的唯一限制可以是相似性度量是可微分的，因为它是训练过程的部分，其中，所有操作可以是、应该是或特别需要是可微分的。应用于多个位移的相似性度量的输出可以是代价函数。最小化，因此最小代价值的确定导致位移，这最大化交叠区域中的相似性。在理想图像中，交叠图像在交叠区域中将是相同的。为了确定最佳位移，可能仅需要最小化代价函数。然而，在实践中，视差误差和噪声干扰该最小化过程，并且这可能导致不正确的位移。相似性度量被应用于多个位移，以找到最佳位移。由于相似性度量可以是可微分的，因此可以通过相似性度量反向传播损失的梯度并且优化cnn的参数。因此，经训练的cnn可能能够预测应用相似性度量以确定最佳位移的新图像。

23、根据本发明的示例性实施例，应用相似性度量的步骤可以包括确定可能位移的交叠区域的相似性。具体地，相似性度量确定、计算每个可能位移的相似性。在本发明的背景下，术语“可能位移”应被理解为描述可以在图像中找到的位移，其中，不是整个图像彼此交叠，而是仅相关的交叠区域。例如，交叠可以取决于用于准直和移动的成像系统设置。可能位移的另一示例可以是零位移与最大图像宽度之间的位移的数量。例如，如果图像具有2400mm(长度)x1800mm(宽度)的尺寸，则可能位移可以在0到1800mm的范围内。另一示例，例如，如果图像具有400mm x120mm的尺寸，则可能的位移可以在0到120mm的范围内。应当注意，如果位移为零，则图像可以是相同的。此外，位移也可能受成像系统的几何结构和/或成像系统的移动的影响。因此，如果以特定不确定性已知成像系统的移动，则可以根据不确定性来定义可能位移的范围。例如，如果系统的移动将在60mm至100mm的范围内已知，则该范围也限定可能位移的范围。

24、根据本发明的示例性实施例，应用相似性度量的步骤可以包括生成针对多个位移中的每个位移的代价值，其中，所述代价函数是根据多个位移的代价值生成的。因此，不同位移处的代价值的分布、过程或趋势产生代价函数。对于多个位移中的每个，可以生成、确定代价值。在图2中描述了代价函数的过程的可能图示。

25、根据本发明的示例性实施例，参考代价函数可以是凸代价函数。理想的代价函数可以是抛物线，其在真实位移处具有其最小值，因此是凸代价函数。因此，参考代价函数是凸代价函数，其中，可以确定与该凸代价函数的偏差。鉴于惩罚与参考代价函数的偏差的步骤，可以惩罚不匹配、满足凸代价函数的偏差。

26、根据本发明的示例性实施例，代价函数的最小值可以对应于两幅图像的最佳位移。因此，当代价函数被确定时并且特别地当代价函数满足凸代价函数时，训练方法可能能够确定最佳位移，因为凸代价函数仅包括一个最小值。因此，故障率可以通过cnn的新图像表示来最小化，这可以避免代价函数中的局部极值。

27、根据本发明的示例性实施例，相似性度量可以包括以下中的至少一个：归一化互相关、零均值归一化交叉函数、绝对差之和、或平方差之和。相似性度量可能不限于这些明确提及的相似性度量，技术人员已知的其他相似性度量也可以是适用的。应用这些上述相似性度量，并且相应的输出可以是代价值，其中，根据与相应位移相对应的多个代价值，可以生成代价函数。

28、根据本发明的第二方面，描述了一种用于利用卷积神经网络(cnn)生成拼接图像的计算机实施的方法。所述方法包括以下步骤：接收包括至少两幅图像的输入数据集，其中，所述至少两幅图像包括交叠区域，其中，所述图像在目标解剖结构中彼此交叠；使用用根据本文描述的任一个实施例的方法训练的cnn处理输入数据集，从cnn产生包括至少两幅输出图像的输出数据集，将拼接算法应用于cnn的至少两幅输出图像，使用拼接算法确定最佳位移，以及基于确定的最佳位移和输入图像生成合成图像，即拼接图像。

29、利用所描述的计算机实施的方法，可以基于神经网络更适合于图像拼接地来计算/计算图像表示。换句话说，由cnn架构处理一对图像(例如x射线图像)，所述cnn架构输出一对图像。因此，输出数据集可以包括至少两幅图像，其被变换为新的图像表示，其至少包括来自输入图像的所有图像信息。输出图像可以具有与输入图像相同的尺寸。如果需要较少的准确度并且计算时间可以是有限的，则可以使用较低的分辨率来减少计算时间并且因此减小输出图像的尺寸。由于拼接算法使用cnn的输出数据集，因此容易确定最佳位移，因为cnn的输出数据集包括图像表示，其得到凸形代价函数。因此，计算机实施的方法能够生成具有最佳位移的合成图像，即拼接图像。

30、根据本发明的示例性实施例，处理输入数据集的步骤可以包括应用至少一个经训练的滤波器内核的步骤。cnn包括滤波器内核，可以在如上述任一哥实施例所述的训练方法期间进行优化。

31、根据本发明的第三方面，描述了一种图像处理系统，其被配置用于执行用于生成图像表示的计算机实施的方法，如本文所述。所述系统包括至少一个处理器，所述至少一个处理器被配置为接收包括至少两幅图像的输入数据集，其中，所述至少两幅图像包括交叠区域，其中，所述图像在目标解剖结构中彼此交叠。所述处理器还可以被配置为使用cnn处理输入数据集，从cnn产生包括至少两幅输出图像的输出数据集，将拼接算法应用于cnn的至少两幅输出图像，使用拼接算法确定最佳位移，基于所确定的最佳位移和输入图像生成合成图像，即拼接图像。

32、图像处理系统还可以包括用户接口，所述用户接口被配置为从处理系统接收输出数据集并且被配置为向用户显示处理结果，例如组合图像。

33、根据本公开的各种实施例，本文描述的方法可以使用执行软件程序的硬件计算机系统来实施。此外，在示例性非限制性实施例中，实施方式可以包括分布式处理、部件/对象分布式处理和并行处理。虚拟计算机系统处理可以实施如本文所述的一个或多个方法或功能，并且本文描述的处理器可以用于支持虚拟处理环境。

34、根据本发明的第三方面，描述了一种包括指令的计算机程序，当所述程序被计算机执行时，所述指令使所述计算机执行如上文所述的任一个实施例的方法。详细地，程序可以使得计算机执行如关于本文的任一实施例所述的用于训练cnn的方法。此外，程序可以额外地和/或单独地使计算机执行用于生成图像表示的计算机实施的方法，如根据本文的任一个实施例描述的。

35、计算机程序单元可以是计算机程序的部分，但是它本身也可以是整个程序。例如，计算机程序单元可以用于更新已经存在的计算机程序以获得本发明。

36、程序单元可以存储在计算机可读介质上。计算机可读介质可以被视为存储介质，例如usb棒、cd、dvd、数据存储设备、硬盘或者其上可以存储如上所述的程序单元的任何其它介质。

37、根据本发明的第四方面，一种包括指令的计算机可读介质，所述指令在由计算机执行时使所述计算机执行如本文所述的任一个实施例的方法。详细地，计算机可读介质可以使计算机执行如本文中的任一个实施例所述的用于训练cnn的方法。此外，计算机可读介质可以额外地和/或单独地使计算机执行如任一个实施例所述的用于生成图像表示的计算机实施的方法。

38、应当注意，已经参考不同的主题描述了本发明的实施例。特别地，已经参考系统、计算机程序类型权利要求描述了一些实施例，而已经参考方法类型权利要求描述了其他实施例。然而，本领域技术人员将从以上和以下描述中收集，除非另有通知，除了属于一种类型的主题的特征的任何组合之外，还考虑与不同主题有关的特征之间的任何组合，特别是在系统类型权利要求的特征与方法类型权利要求的特征之间的任何组合被认为是本技术公开的。