大视野低重叠医学图像拼接方法与流程

本发明涉及医学图像处理领域，尤其是涉及一种大视野低重叠医学图像拼接方法。

背景技术：

1、在医学诊断领域，对细胞样本的详细观察往往依赖于将样本放大数十倍。然而，此种放大显著限制了单个显微视野可观察的区域范围。大视野医学图像拼接技术有效应对了此一挑战，通过集成智能程序于显微设备中，使得设备能够依据预设路线自动进行连续的区域采样。进而，利用大视野图像拼接技术，将众多小视野图像组合成一幅大视野图像，以便专业医师进行精确分析。考虑到取样与拼接时间、设备成本效益及其易用性，智能设备的硬件配置通常较为基础。为降低成本，尽管细胞样本放大倍数增加，取样时设定的重叠区域却减少至仅占3%至7%，导致重叠区域的有效像素内容和特征显著减少，部分重叠区域甚至呈现为空白，无有效像素。随着视野的扩大，这些因素共同为图像拼接任务带来了显著挑战。相较于现有的基于特征匹配和基于深度学习的图像拼接算法，不仅视野小，且动辄50%左右的重叠率而言，无法准确以及快速地进行图像拼接，因此，这类大视野低重叠的医学图像拼接技术的研究已成为该领域的焦点。

2、图像拼接的大体流程可以分为几个核心步骤：图像预处理、图像配准、图像融合与重建。每个步骤都扮演着关键的角色以确保最终图像的质量和连续性。1）图像预处理：图像预处理主要功能是改善图像质量，减少后续步骤的处理难度。包括去噪、亮度和色彩校正等，目的是标准化图像数据以减少拼接误差。具体实施如，调整对比度、亮度，应用滤波器等。2）图像配准：配准的目的是确定图像之间的空间对应关系。在这个步骤中，大部分系统首先检测每张图像中的关键特征点，然后通过匹配这些特征点来估计图像之间的相对位置和角度。这通常涉及复杂的算法来识别和匹配特征，并计算出将一张图像变换到另一张图像上所需的几何变换参数。是图像拼接最为核心的步骤。3）图像融合：在图像成功配准之后，融合步骤则负责将多张图像无缝地结合成一张完整的图像。这包括处理和融合图像的重叠区域，以消除可见的接缝和差异。图像融合技术确保了图像之间平滑的过渡，通过技术如多频带融合或图像融合算法，优化整个图像的色彩和细节表现，以达到自然和一致的视觉效果。

3、在现有的图像拼接技术领域，大多数方法主要集中于针对由常规相机拍摄的自然景观图像进行处理。这些技术通常允许对原始图像进行广泛的预处理，以优化拼接效果，且在此过程中部分细节像素的丢失通常不会对最终用途造成显著影响。此外，这些方法还能通过后续的图像融合步骤来掩盖配准中的小错误。然而，在医学图像拼接领域，情况则大为不同。医学图像通常由高精度的显微成像设备采集，涉及的放大倍数高，每一像素的细节都可能关系到病患的健康甚至生命安全。医学图像拼接的精度要求远高于常规图像拼接，因为即使是微小的配准误差也可能导致诊断错误，增加医疗事故的风险。此外，由于医学图像通常不容许进行广泛的预处理以及融合掩盖技术的使用，因此对于具有低重叠区域的大视野医学图像拼接方法的研究显得尤为重要，但目前针对此类需求的技术发明仍相对落后，尤其是在处理低重叠率样本方面几乎处于空白状态。

技术实现思路

1、本发明的主要目的在于提供一种大视野低重叠医学图像拼接方法，解决现有技术中成本高、效率低及低重叠区域难以精确拼接。

2、为解决上述技术问题，本发明所采用的技术方案是：一种大视野低重叠医学图像拼接方法，

3、s1、加载取样的小视野图块，对这些图块进行初步的视野块分类，区分出灾难块和非灾难块，优先处理非灾难块，对非灾难块进行进一步的单幅小视野图像的分块，智能剔除大部分非重叠区域；

4、s2、然后先用基于sst的图像拼接算法进行非灾难块的拼接，保留拼接参数，并不做全景融合，其中，sst为结构相似性阈值；

5、s3、待所有非灾难块拼接完毕，再依次智能地根据灾难块周围的已拼好非灾难块的拼接参数进行灾难块拼接参数的预测，也即灾难块的dop拼接，其中，dop为动态最佳路径；

6、s4、当sst和dop算法都执行完毕，便得到所有小视野块的拼接参数，可以对所有小视野块进行全景融合拼接，得到最终大视野结果图。

7、优选方案中，步骤s1-s4的具体步骤为：

8、a0、数据加载：采用懒加载机制，仅在拼接某张小视野图时将其从磁盘加载到内存，拼接保存后立刻释放内存，节省内存消耗；

9、a1、视野块分类：进行视野块分类，以识别出灾难块和非灾难块，该步骤使用了信息熵分类器和随机森林分类器两种方法进行视野块分类；

10、a2、单视野图分块：对非灾难块视情况智能分块，限制匹配区域在重叠范围左右，提高匹配精度并减少计算；

11、a3、基于sst的非灾难块拼接：使用基于 ssim 的模板匹配算法和爬山算法策略计算平移量并优化，处理局部最优陷阱，输出最优平移量和重叠区域 ssim 值；

12、a4、基于dop的灾难块预测拼接：在非灾难块拼接完成后处理灾难块，由于灾难块重叠区域无有效像素，采用周围已拼接灾难块的拼接结果数据进行预测拼接，具体预测策略包括：最近邻预测、平均值预测、最相似预测和救急预测；

13、a5、大视野全景融合：经过 sst 和 dop 后，所有小视野块拼接完成，获得精确拼接参数，按取样顺序进行全景贴图，对重叠区域线性融合；

14、a6、大视野图导出：定制输出模块，输出模块包括最佳压缩结果、矢量保存结果、分块保存结果。

15、优选方案中，步骤a1的信息熵分类器和随机森林分类器具体步骤为：

16、信息熵分类器：通过设置信息熵阈值（默认3）分类视野块，当信息熵大于阈值时认为是非灾难块，否则认为是灾难块，阈值可根据不同样本调整。

17、随机森林分类器：采用大量样本训练学习得到一个随机森林二分类模型，直接可以得到灾难块或非灾难块的判定。

18、优选方案中，步骤a2的单视野图分块具体步骤为：

19、a201、重叠区域只占整体图像的3-7%，其93-97%余区域包含不相关或干扰信息，需明确这一比例，以便后续精准定位重叠部分；

20、a202、对于水平方向上的配准，将待匹配图像对中的左侧图像imagea和右侧图像imageb分别进行分块处理：

21、cropa = right(imagea,rate)

22、cropb =left(imageb,rate)

23、使用right(imagea, rate)函数从imagea右侧截取rate*100%宽度的图像块cropa；

24、使用left(imageb, rate)函数从imageb左侧截取相同比例rate*100%宽度的图像块cropb；

25、a203、竖直方向上的配准过程与水平方向类似，只是分块的方向改为上部或下部，即从顶部或底部截取一定比例的图像块进行匹配；

26、a204、在获取到cropa和cropb后，仅在这两个分块之间进行匹配计算，以找到最佳的平移量。

27、这样做的好处是，它不仅限制了匹配搜索的范围至重叠区域附近，从而提高了配准的精确度，还减少了不必要的全局搜索，显著降低了计算复杂度。

28、优选方案中，步骤a3的基于sst的非灾难块拼接具体步骤为：

29、a301、初始化:利用取样时记录的参考坐标计算出一个窗口长度，作为初始解，初始化一个当前最优值变量best_rate，将其设置为初始解的ssim；

30、a302、邻域解生成: 对当前解进行局部微调，生成一系列邻域解，定义一个随机因子d，在当前解rate前后各延申d的距离得到领域区间[rate-d, rate+d],在领域区间内生成新的领域解，这些候选解构成当前解的邻域，用于后续的评估和选择；

31、a303、评估并选择最佳邻域解: 对每个邻域解计算目标函数值，也就是结构相似性ssim值，并与当前最优相似度进行比较；

32、若某个邻域解的ssim值优于当前最优相似度值，则将此邻域解作为新的当前解，并更新当前最优值；

33、a304、终止条件判断:判断算法是否满足终止条件，终止条件可供配置选择，可以是达到预设的迭代次数，或者在一定次数的迭代中未能找到更优的解；

34、若满足终止条件，则算法终止，并输出当前最优解，即窗口长度，作为问题的最终解；

35、若不满足终止条件，则返回步骤a2，继续搜索过程；

36、a305、处理局部最优陷阱: 提供两种策略，包括随机重启爬山算法或引入模拟退火机制；

37、随机重启爬山算法:算法在达到局部最优解后从另一随机点重新开始搜索；

38、模拟退火等机制: 允许算法以一定的概率接受较差的解，以期跳出局部最优；

39、a306、一旦算法终止，输出当前最优解及其目标函数值，包括最优平移量及对应的ssim值，最优平移量和该平移量下重叠区域的相似度值，作为问题的解决方案。

40、优选方案中，步骤a4的具体预测策略具体步骤为：

41、最近邻预测：依据灾难块与空间上最近的同行或同列非灾难块平移数据相似的假设，确定灾难块位置，识别最近非灾难块，采用其平移数据作为预测数据，利用了图像块间的空间邻近特性；

42、平均值预测：计算同行或同列相邻非灾难块平移数据的平均值，作为灾难块的预测平移量，基于灾难块平移趋势与同行或同列非灾难块大体一致的假设；

43、最相似预测：寻找同行或同列所有非灾难块校准后重叠区域相似度最高的一张或几张图像的平均平移量，作为灾难块的预测平移量，基于可通过分析相似度找到最匹配图像块的假设；

44、救急预测：针对复杂组织样本中首尾行或列的特殊灾难块，殊灾难块为：重叠区域空白、非重叠区域有少量像素点，寻找相邻最近的非灾难行或列，计算其平均竖直或水平平移量，作为该灾难行或列的竖直或水平平移量，以避免整行或整列的大误差

45、优选方案中，步骤a5的大视野全景融合具体步骤为：

46、a501、选择位于最左上角的小视野图像作为基准图像；

47、a502、接下来，按照从上至下，从左至右的顺序依次将剩余的小视野图像贴入全景图像中；

48、a503、当将每张小视野图像贴入全景图像时，需要特别注意与左侧和上方已贴图图像的重叠部分；对于这些重叠区域，采用线性融合技术，即通过对重叠区域内的像素值进行加权平均，来实现两个图像之间的平滑过渡，从而消除明显的边界痕迹，使得全景图像看起来更加自然和完整；

49、线性融合的具体操作为：对于重叠区域内的每个像素，计算其在左右或上下两张图像中的相对位置，然后根据这个位置的比例对两张图像对应位置的像素值进行加权平均，以此作为融合后的像素值；

50、a504、在全景图像的边缘部分，没有足够的重叠区域来进行融合而出现边界效应，采用边缘羽化技术，在边缘区域逐渐减少像素权重，实现图像边缘的柔和过渡；

51、a505、完成所有小视野图像的贴图和融合后，需要对整个全景图像进行最后的检查和优化，以确保没有明显的拼接痕迹或色彩不一致的情况。

52、优选方案中，步骤a6的输出模块3种具体输出方式为：

53、最佳压缩结果：计算最小的压缩率，将图像分辨率压缩到65536×65536以内，然后再以普通格式保存；

54、矢量保存结果:将图像保存为矢量格式；

55、分块保存结果：将拼接好的大视野图继续拆分为相同大小的小视野块，再配以相应的配置文件，并配备专门的展示模块。

56、本发明提供了一种大视野低重叠医学图像拼接方法，为了解决医学图像拼接中超大视野、超低重叠的问题，通过将各视野块分类，单视野块分块，在限定区域范围内，对不同种类的视野块进行特定的拼接方式可以解决无法拼接的难题。

57、本发明公开了一种基于结构相似性阈值和动态最佳路径的超大视野超低重叠医学图像拼接方法，采取分而治之的策略，根据小视野块的不同特征分别采取基于结构相似性阈值的拼接方式和基于动态最佳路径的拼接方式，指导稀疏重叠和空白重叠的有效拼接。