图像拼接方法及装置、电子设备、存储介质与流程

本公开涉及图像拼接，特别涉及体外三维生物模型成像图像的拼接方法及装置、电子设备、存储介质。

背景技术：

1、体外三维器官模型近几年来正蓬勃发展，例如在芯片上构建肺、肾、肠、肝、心脏、血管、皮肤、大脑、等模型，通过与细胞生物学、工程学和生物材料等多种学科的方法相结合，在体外模拟多种活体细胞、组织器官微环境，反映人体组织器官的主要结构和功能特征。例如从组织提取构建的类器官或干细胞分化的类器官，是体外三维器官模型的一种。

2、在显微图像中定期观察类器官等体外三维器官模型以获得形态或者生长特征是器官药物筛选的必要条件。通常在使用高倍镜拍摄体外三维器官模型时，因扩大视野等需求，需要进行图像拼接的情况。

3、目前，高内涵仪器的主体框架通常依靠基台支撑，基台所在的环境发生抖动时，高内涵仪器中的成像模块也会随之出现抖动，从而导致成像模块拍摄到的图像状态不稳定，在此基础上进行图像拼接时，拼图误差较大。除此之外，高内涵仪器自身通常还存在一定的精度误差。例如，每次移动载物台时，电机启动会使高内涵仪器出现细微的震动，从而导致高内涵仪器拍摄到的图像不稳定，进而导致图像拼接错误。当上述两种情况叠加在一起时，还会导致高内涵仪器的图像拼接效果误差变得更大，使得拼接后的图像质量较差。同时，显微镜视野下拍摄的图像中可能没有明显目标，或者大部分区域都为空白，这也为实现准确拼图增加了困难。

4、随着图像拼接技术的发展，现有技术中出现了基于特征匹配的图像拼接算法和基于区域匹配的图像拼接算法。然而，基于特征匹配的图像拼接算法如尺度不变特征变换（scale-invariant feature transform，sift）算法、加速稳健特征（speeded up robustfeatures，surf）算法，不仅时间成本高，特征匹配速度慢，而且无法应对图像中没有明显特征的情况。基于区域匹配的图像拼接算法不仅计算时间长，匹配拼接模式单一，无法应对图像中没有明显信号的情况，对尺度变化敏感，也不适用于大规模图像。

技术实现思路

1、本公开旨在至少解决现有技术中存在的问题之一，提供一种图像拼接方法及装置、电子设备、存储介质。

2、本公开的一个方面，提供了一种图像拼接方法，所述图像拼接方法包括：

3、获取按照预设重叠比拍摄的一组待拼接图像；

4、利用特征点算法对各所述待拼接图像进行特征点检测，得到各所述待拼接图像分别对应的特征点信息；

5、基于所述特征点信息，利用特征点匹配算法对相邻两张所述待拼接图像的特征点进行匹配，得到对应的匹配结果；

6、若所述匹配结果表示相邻两张所述待拼接图像的特征点匹配成功，则根据匹配成功的特征点对的距离数值，确定该相邻两张所述待拼接图像对应的拼接量；

7、若所述匹配结果表示相邻两张所述待拼接图像的特征点匹配失败，则利用全局特征继承算法，确定该相邻两张所述待拼接图像对应的拼接量；

8、根据所述拼接量，对各所述待拼接图像进行拼接融合，得到目标拼接图像。

9、可选地，所述特征点信息包括特征点坐标及特征描述矩阵；所述特征点算法包括有向环特征点算法；

10、所述利用特征点算法对各所述待拼接图像进行特征点检测，得到各所述待拼接图像分别对应的特征点信息，包括：

11、利用预设直径的圆形滑动窗口，分别对各所述待拼接图像进行特征点检测，将所述圆形滑动窗口的圆心坐标作为所述特征点坐标，计算所述圆形滑动窗口内全部像素点与其相邻像素点的变化梯度，生成对应的梯度大小矩阵，对所述梯度大小矩阵中的梯度变化最大轮廓进行标记，得到所述特征描述矩阵。

12、可选地，所述基于所述特征点信息，利用特征点匹配算法对相邻两张所述待拼接图像的特征点进行匹配，得到对应的匹配结果，包括：

13、针对相邻两张所述待拼接图像，将其中一张所述待拼接图像对应的各所述特征描述矩阵依次作为目标特征点信息矩阵，将另一张所述待拼接图像对应的各所述特征描述矩阵分别作为待匹配特征点信息矩阵；

14、依次将各所述目标特征点信息矩阵分别与各所述待匹配特征点信息矩阵一一作差，求出各所述目标特征点信息矩阵中的所述梯度变化最大轮廓分别与各所述待匹配特征点信息矩阵中的所述梯度变化最大轮廓的投影差异值；

15、判断所述目标特征点信息矩阵对应的最小的所述投影差异值是否大于预设阈值：若是，则所述匹配结果表示特征点匹配失败；若否，则所述匹配结果表示特征点匹配成功。

16、可选地，所述根据匹配成功的特征点对的距离数值，确定该相邻两张所述待拼接图像对应的拼接量，包括：

17、根据各特征点的中线点在各自所在的所述待拼接图像上的绝对像素坐标，分别计算每个所述特征点对包括的两个特征点之间的距离，得到相邻两张所述待拼接图像对应的多个特征点对距离；

18、将多个所述特征点对距离中出现次数最多的数值，作为该相邻两张所述待拼接图像对应的拼接量。

19、可选地，所述利用全局特征继承算法，确定该相邻两张所述待拼接图像对应的拼接量，包括：

20、基于特征点匹配失败的相邻两张所述待拼接图像所处的拼接位置，向四周搜索与该相邻两张所述待拼接图像的拼接方向相同且特征点匹配成功的其他相邻两张所述待拼接图像；

21、根据搜索到的所述其他相邻两张所述待拼接图像对应的所述特征点信息，确定特征点匹配失败的相邻两张所述待拼接图像对应的拼接量。

22、可选地，所述根据所述拼接量，对各所述待拼接图像进行拼接融合，得到目标拼接图像，包括：

23、根据各相邻两张所述待拼接图像对应的所述拼接量，确定各相邻两张所述待拼接图像对应的图像重叠区域；

24、以对数函数确定权重，按照所述权重将各相邻两张所述待拼接图像对应的所述图像重叠区域内的像素进行叠加融合，得到所述目标拼接图像。

25、可选地，所述待拼接图像的数量b满足：b≥(ad+x)/(d-x)；其中，a表示预期拼接的图像的数量，d表示单张所述待拼接图像的视野大小，x表示所述预设重叠比。

26、本公开的另一个方面，提供了一种体外三维生物模型成像图像的拼接方法，应用于体外三维生物模型成像图像，包括前文记载的图像拼接方法。

27、本公开的另一个方面，提供了一种图像拼接装置，所述图像拼接装置包括：

28、获取模块，用于获取按照预设重叠比拍摄的一组待拼接图像；

29、检测模块，用于利用特征点算法对各所述待拼接图像进行特征点检测，得到各所述待拼接图像分别对应的特征点信息；

30、匹配模块，用于基于所述特征点信息，利用特征点匹配算法对相邻两张所述待拼接图像的特征点进行匹配，得到对应的匹配结果；

31、确定模块，用于：若所述匹配结果表示相邻两张所述待拼接图像的特征点匹配成功，则根据匹配成功的特征点对的距离数值，确定该相邻两张所述待拼接图像对应的拼接量；若所述匹配结果表示相邻两张所述待拼接图像的特征点匹配失败，则利用全局特征继承算法，确定该相邻两张所述待拼接图像对应的拼接量；

32、拼接融合模块，用于根据所述拼接量，对各所述待拼接图像进行拼接融合，得到目标拼接图像。

33、可选地，所述特征点信息包括特征点坐标及特征描述矩阵；所述特征点算法包括有向环特征点算法；

34、所述检测模块，用于利用特征点算法对各所述待拼接图像进行特征点检测，得到各所述待拼接图像分别对应的特征点信息，包括：

35、所述检测模块，用于：利用预设直径的圆形滑动窗口，分别对各所述待拼接图像进行特征点检测，将所述圆形滑动窗口的圆心坐标作为所述特征点坐标，计算所述圆形滑动窗口内全部像素点与其相邻像素点的变化梯度，生成对应的梯度大小矩阵，对所述梯度大小矩阵中的梯度变化最大轮廓进行标记，得到所述特征描述矩阵。

36、可选地，所述匹配模块，用于基于所述特征点信息，利用特征点匹配算法对相邻两张所述待拼接图像的特征点进行匹配，得到对应的匹配结果，包括：

37、所述匹配模块，用于：

38、针对相邻两张所述待拼接图像，将其中一张所述待拼接图像对应的各所述特征描述矩阵依次作为目标特征点信息矩阵，将另一张所述待拼接图像对应的各所述特征描述矩阵分别作为待匹配特征点信息矩阵；

39、依次将各所述目标特征点信息矩阵分别与各所述待匹配特征点信息矩阵一一作差，求出各所述目标特征点信息矩阵中的所述梯度变化最大轮廓分别与各所述待匹配特征点信息矩阵中的所述梯度变化最大轮廓的投影差异值；

40、判断所述目标特征点信息矩阵对应的最小的所述投影差异值是否大于预设阈值：若是，则所述匹配结果表示特征点匹配失败；若否，则所述匹配结果表示特征点匹配成功。

41、可选地，所述确定模块，用于根据匹配成功的特征点对的距离数值，确定该相邻两张所述待拼接图像对应的拼接量，包括：

42、所述确定模块，用于：

43、根据各特征点的中线点在各自所在的所述待拼接图像上的绝对像素坐标，分别计算每个所述特征点对包括的两个特征点之间的距离，得到相邻两张所述待拼接图像对应的多个特征点对距离；

44、将多个所述特征点对距离中出现次数最多的数值，作为该相邻两张所述待拼接图像对应的拼接量。

45、可选地，所述确定模块，用于利用全局特征继承算法，确定该相邻两张所述待拼接图像对应的拼接量，包括：

46、所述确定模块，用于：

47、基于特征点匹配失败的相邻两张所述待拼接图像所处的拼接位置，向四周搜索与该相邻两张所述待拼接图像的拼接方向相同且特征点匹配成功的其他相邻两张所述待拼接图像；

48、根据搜索到的所述其他相邻两张所述待拼接图像对应的所述特征点信息，确定特征点匹配失败的相邻两张所述待拼接图像对应的拼接量。

49、可选地，所述拼接融合模块，用于根据所述拼接量，对各所述待拼接图像进行拼接融合，得到目标拼接图像，包括：

50、所述拼接融合模块，用于：

51、根据各相邻两张所述待拼接图像对应的所述拼接量，确定各相邻两张所述待拼接图像对应的图像重叠区域；

52、以对数函数确定权重，按照所述权重将各相邻两张所述待拼接图像对应的所述图像重叠区域内的像素进行叠加融合，得到所述目标拼接图像。

53、可选地，所述待拼接图像的数量b满足：b≥(ad+x)/(d-x)；其中，a表示预期拼接的图像的数量，d表示单张所述待拼接图像的视野大小，x表示所述预设重叠比。

54、本公开的另一个方面，提供了一种电子设备，包括：

55、至少一个处理器；以及，

56、与至少一个处理器通信连接的存储器；其中，

57、存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行前文记载的图像拼接方法或者体外三维生物模型成像图像的拼接方法。

58、本公开的另一个方面，提供了一种计算机可读存储介质，存储有计算机程序，计算机程序被处理器执行时实现前文记载的图像拼接方法或者体外三维生物模型成像图像的拼接方法。

59、本公开相对于现有技术而言，利用按照预设重叠比拍摄的待拼接图像进行拼接，可以保证拼接量的大致范围稳定，提升了图像拼接的稳定性。针对图像拼接过程中不确定误差的困难，设计了特征点算法，并使用特征点匹配算法来确定相邻两张待拼接图像的特征点对，然后根据特征点对的距离数值确定相邻两张待拼接图像的拼接量，不仅能够快速检测待拼接图像的特征点信息，还保留了特征点信息的方向性，提升了特征点匹配的准确度，减少了特征匹配计算耗时。针对待拼接图像中可能出现的无明显目标情况或大部分为空白情况导致的特征检测匹配失败的情况，设计了全局特征继承算法，实现了对特征检测匹配失败情况的拼接弥补。通过根据拼接量对各待拼接图像进行拼接融合，还提升了图像拼接质量。