一种基于图像处理算法的显微镜样品漂移矫正方法

1.本发明涉及显微镜测试技术领域，涉及一种纳米尺度下基于图像处理算法的显微镜样品漂移矫正方法。


背景技术：

2.电子显微镜以其原子级表征能力，被广泛应用于材料、物理、化学、半导体以及生命科学等领域的研究中。电子显微镜的成像过程是利用电子束作为光源作用在样品上，通过收集不同散射角的透射电子和散射电子，在成像系统中显示出来具有原子结构信息的图像。由于显微镜的放大倍数很高，因此对样品台以及样品固定的稳定性要求极高，以保证不会发生力学漂移，但仍然无法完全避免由于电子束辐照引起的热漂移，环境温度引起的漂移以及操作者安装样品时操作不当等因素引起的漂移。这些移动速度每分钟几纳米的微小震动或者偏移会导致表征区域远离观测中心，使得拍摄的连续图像中有漂移的现象，从而影响表征结果。因此解决电子显微镜漂移问题对于提高电子显微镜表征质量十分重要。对于显微镜图像的漂移问题目前常用的方法有：互相关算法计算漂移距离和利用晶体结构推算漂移距离，这两种方法各有其缺点。互相关算法需要逐像素进行匹配计算，时间开支较大；利用晶体结构推算漂移距离必须需要晶体结构的先验知识。


技术实现要素：

3.本发明的目的是解决操作显微镜拍摄视频时样品发生漂移问题，提出一种基于图像的使用图像处理算法进行显微镜视频漂移矫正方法，通过提取特征点并计算特征点的速度场进行点跟踪从而计算漂移距离，并且具有很好的矫正能力。
4.本发明的一种基于图像处理算法的显微镜样品漂移矫正方法，包括如下步骤：
5.步骤1、提取显微镜影像第一帧的特征点；
6.步骤2、计算特征点的速度场并估算特征点在下一帧图像中的位置；
7.步骤3、计算显微镜影像每一帧相对第一帧的漂移距离；
8.步骤4、根据漂移距离对每一帧图片进行矫正。
9.进一步的，步骤1中提取显微镜影像第一帧的特征点，具体步骤如下：步骤1.1，收集显微镜图像，分割前景与背景，制作图像语义分割数据集，数据集用于训练后续的语义分割神经网络；
10.步骤1.2，搭建语义分割神经网络；根据数据集的类型、数据集的大小以及训练网络的设备搭建神经网络。
11.步骤1.3，根据神经网络模型的深度，数据集的类型和大小选择合适的优化函数、损失函数、学习率以及迭代次数进行显微镜图像语义分割神经网络的训练；
12.步骤1.4，待矫正的显微镜图像输入到训练好的神经网络模型，进行前景与背景分割，获取语义分割后的图像。
13.步骤1.5，采用特征点检测算法sift提取语义分割后的显微镜图像的第一帧的特
征点；该步骤可以去除像素变化以及噪声对特征点提取，速度场计算的影响。
14.进一步的，步骤1.2中搭建的语义分割神经网络；采用卷积与反卷积的结构、或卷积与上采样结构中的任意一种。
15.卷积神经网络块由二维卷积、全局归一化或批处理归一化以及relu激活函数组成，反卷积神经网络块由二维反卷积、全局归一化或批处理归一化以及relu激活函数组成；
16.上采样采用线性插值、双线性插值、双三次插值中的任意一种。
17.进一步的，步骤1.2中搭建的语义分割神经网络；具体为：语义分割神经网络架构中前半部分采用两层卷积块一层池化层的方式堆叠四次后再加上一层卷积块；语义分割神经网络的后半部分采用一次上采样层两层卷积块的方式堆叠四次后再加上一层二维卷积层；
18.所述卷积块由二维卷积层、全局归一化层以及relu激活函数层依顺序构建；所述池化层是平均池化、最大池化中的任意一种。
19.进一步的，步骤1.2中训练的损失函数采用bceloss或者bcelosswithlogits中的任意一种；训练的优化方法采用adam、sgd、gd、momentum、rmsprop和adagrad中的任意一种。
20.进一步的，步骤1中所述特征点是harris角点、轮廓点、sift特征点，orb特征点或fast角点中的任意一种。
21.进一步的，步骤2中计算特征点的速度场并估计在下一帧中的位置的方法采用lucas-canade算法或金字塔lucas-canade算法中的任意一种。
22.从第一帧图像开始每相邻两帧图像进行计算特征点的二维速度场(光流场)并通过计算的瞬时速度估算特征点在下一帧图片中的位置，在后序的影像图片上重复上述步骤，从而可以实现在整个显微镜影像中跟踪第一帧提取出来的特征点。
23.进一步的，步骤4中根据漂移距离对每一帧图片进行矫正的方法，采用直接像素级平移、亚像素级的双线性插值算法、或亚像素级的双三次插值算法中的任意一种。
24.有益效果：本发明的应用场景为用户操作显微镜连续拍摄多张显微镜照片，能够矫正连续拍摄的多张显微镜照片的影像漂移。
附图说明
25.图1是语义分割结果图。
26.图2是sift特征检测结果图。
27.图3是tem视频中物体漂移距离图。
28.图4是矫正前后对比图。
29.图5是本发明语义分割神经网络架构图。
30.图6是本发明流程图。
具体实施方式
31.本发明的一种基于图像处理算法的显微镜样品漂移矫正方法，包括如下步骤：
32.步骤1、提取显微镜影像第一帧的特征点，具体包括如下步骤：
33.步骤1.1，收集显微镜图像，制作图像语义分割数据集。
34.语义分割数据集的标签的样式为前景与背景，前景以像素值255高亮显示，背景以
像素值0黑色表示。图像以及标签的大小一致均为480
×
480，图像与标签对的个数在150左右。
35.步骤1.2：搭建语义分割神经网络。根据数据集的类型、数据集的大小以及训练网络的设备搭建合适的神经网络层。
36.本发明中的神经网络可以采用卷积与反卷积的结构、卷积与上采样结构中的任意一种。本实施例中采用的是卷积与上采样结构。
37.卷积块由卷积核大小为3
×
3的二维卷积层、全局归一化层以及relu激活函数层依顺序构建；池化层采用最大池化，每四个像素保留其中的最大像素；上采样采用线性上采样层。神经网络架构中前半部分采用两层卷积块一层池化层的方式堆叠四次后再加上一层卷积块；神经网络的后半部分采用一次上采样层两层卷积块的方式堆叠四次后再加上一层二维卷积层。
38.语义分割神经网络的架构具体如图5所示，从最左侧开始：(1)对通道数为1的480*480的图片进行两次卷积操作，卷积后的图片大小为480*480通道数为64，即提取64张特征图；(2)进行池化操作减小图片尺寸为240*240，并进行两次卷积操作，图片大小为120*120通道数增加到128；(3)进行第二次池化操作并进行两次卷积，图片大小变为120*120通道数为256；(4)进行第三次池化操作并进行两次卷积，图片大小变为60*60通道数为512；(5)进行第四次池化操作并进行两次卷积，图像大小变为30*30通道数保持为512；(6)进行上采用操作，并将第(5)步的结果与上采用的结果拼接组成60*60大小通道数为1024的图像再进行两次卷积，卷积后图像大小变为60*60通道数为256。(7)操作同第(6)步，图像大小为120*120，通道数为128。(8)操作同第(6)步，图像大小为240*240，通道数为64。(9)对第(8)步的结果进行上采样，并和第一步中的结果再通道方向进行拼接为大小480*480通道数为128的图像；再进行两次卷积，图片大小为480*480通道数为64；最后进行一次卷积恢复为480*480通道数为1的图片。
39.该语义分割网络在训练集训练过后，能够将一张待分割的图片经过各网络层次输出一张分割后的结果。
40.步骤1.3，根据神经网络模型的深度，数据集的类型和大小选择合适的优化函数、损失函数、学习率以及迭代次数进行显微镜图像语义分割神经网络的训练；
41.具体为，使用步骤1中的数据集训练步骤2中的语义分割神经网络。训练的损失函数采用二分类的交叉熵损失函数数采用二分类的交叉熵损失函数
42.训练的优化方法采用adam、sgd、gd、momentum、rmsprop和adagrad中的任意一种。本实施例训练的优化算法采用rmsprop，训练的迭代次数为40次，训练时的学习率为0.00001。
43.步骤1.4，将要矫正的显微镜影像图片输入训练完毕的神经网络模型中，获取语义分割后的图片。语义分割后的结果如图1所示。
44.步骤1.5，采用特征点检测sift算法，对显微镜视频的第一帧进行特征点的选取，其中hessian矩阵行列式响应值的阈值设置为100。在语义分割后的tem图像的第一帧进行提取sift特征点的结果图如图2所示：
45.步骤2，从显微镜的第一帧图像开始每相邻两帧图片进行特征点的二维速度场(光
流场)计算，并通过计算得到的瞬时速度估算特征点在下一帧图片中的坐标，二维速度场的计算基于同一物体在相邻两帧中像素不变的假设即i(x δx,y δy,t δt)＝i(x,y,t)，由此假设可得到特征点速度的计算公式即i
xvx
i
yvy
＝-i
t
。在后序的影像图片上重复上述步骤，从而可以实现在整个显微镜视频中跟踪第一帧提取出来的特征点。
46.步骤3，根据步骤2中的每一帧中的特征点坐标可以计算得每一帧相对第一帧的漂移距离。
47.在x方向的平均漂移距离为其中n为特征点的个数，与此相同，在y方向上的平均漂移距离为tem图像中物体的漂移距离如图3所示：
48.步骤4，根据步骤3中计算得到的每一帧相对第一帧的漂移距离，就可以对每一帧图像进行漂移矫正。如果漂移距离为整数，则采用像素级矫正，直接进行像素平移，移除部分用像素值0填充。对于小数的漂移距离，则采用双线性插值算法进行像素平移，在x方向上的两次插值公式分别为：的两次插值公式分别为：在y方向上的一次插值公式为：对于移出去的部分，处理方式同像素级平移。漂移矫正的结果如下如4所示，图4中相邻两张图片间隔10帧，第一行为矫正前的结果，第二行为矫正后的结果。
49.如图6所示，是本发明的流程图：首先输入tem视频中的图像进行语义分割，将分割后的第一帧图像进行特征点提取，接着判断是否有下一帧图像，如果有则通过这相邻两帧图像计算特征点的速度场并估计特征点在下一帧中的位置，则可计算出该帧图像中的物体相对第一帧漂移的距离并进行矫正，如果没有下一帧则算法结束。