一种用于细胞迁移路径跟踪的半监督光流预测方法

本发明属于细胞迁移路径跟踪，具体涉及一种用于细胞迁移路径跟踪的半监督光流预测方法。

背景技术：

1、在细胞跟踪中，稠密光流估计不仅能够为相邻帧提供像素级的运动矢量，还能够揭示细胞在连续帧之间的运动细节。这些运动信息可用于分析细胞的运动模式，包括速度、方向和加速度，辅助医生分析细胞的生长和扩散过程。通过对多个细胞进行光流估计，研究细胞之间的相互作用和群体行为，深入探讨组织、发育和疾病中细胞之间的动态关系。因此，准确估计细胞图像序列中的稠密光流对于理解特定疾病的生物学特性、病理机制以及开发潜在治疗方法具有重要意义。

2、传统稠密光流估计是基于亮度恒定和目标函数的最小化来估计光流场。尽管基于稠密光流估计在提供全局运动信息方面具有优势，但其高计算成本和对亮度恒定性假设的依赖性限制了在某些场景下的适用性。随着深度学习方法的不断发展，卷积神经网络逐渐超越了传统方法在密集光流估计方面的性能。在卷积神经网络光流估计中，监督学习、无监督学习和半监督学习是三种不同的学习范式。

3、监督学习通过在有标签的数据集上进行训练，如sintel、flyingchairs和flyingthings，能够达到较高的准确性。此类模型能够学到输入与输出之间的映射关系。然而，监督学习需要大量标注好的数据，当面对未见过的数据时，其泛化能力受限制。无监督学习不依赖于标签，可以利用大量未标注数据进行训练，降低了数据标注的成本。然而，由于缺乏明确的标签，评估模型的性能变得更加困难。半监督学习在数据标注成本较高的情况下尤其有用，它通过充分利用未标签数据降低整体标注成本。该方法在相对有限的标注数据下取得良好的性能，同时也能充分利用未标签数据进行模型训练。

4、对医学细胞数据集的分析表明，它与现有的合成数据集（sintel、flyingchairs和flyingthings）存在显著差异。医学细胞图像通常涉及复杂的细胞结构和运动模式，与合成数据集的特征和分布存在明显不同。医学细胞图像包含更多丰富的细胞结构、非刚性形变、噪声以及纹理较为密集，使得现有的光流估计模型难以适应这种特殊的数据分布。由于细胞图像的复杂性，现有光流估计方法在建模能力的不足，导致其在医学场景中的跟踪精度显著下降。

5、由于上述区别，直接使用现有的合成光流数据进行训练得到的模型难以直接应用于细胞跟踪领域。因此，为在细胞光流估计中追求高精度，弥补细胞图像序列与合成数据集之间的差距至关重要。

技术实现思路

1、本发明为了解决直接使用现有的合成光流数据进行训练得到的模型难以直接应用于细胞跟踪领域这一技术问题，提供一种用于细胞迁移路径跟踪的半监督光流预测方法，所述方法包括如下步骤：

2、s1、采集视频图像序列中相邻两帧图像，分别记作原图像和目标图像，并且计算原图像和目标图像之间光流值，得到原图像和目标图像的真实光流图；构建图像数据集，所述图像数据集中包括若干个数据对，数据对的形式为原图像-目标图像-原图像和目标图像的真实光流图；

3、s2、构建循环光流预测模型，所述循环光流预测模型中进行的操作具体为：

4、s21、原图像和目标图像分别输入自主设计的各向异性的上下文编码器，经处理后，输出原图像对应的特征图ac_ces和目标图像对应的特征图ac_cet；

5、s22、通过多维特征融合机制分别对输入的ac_ces和ac_cet进行处理，将特征图的三个维度分别进行特征提取和联合建模，形成代表性的特征表示ac_cesa和ac_ceta；

6、s23、对ac_cesa和ac_ceta进行循环光流预测，得到预测的光流图，进行循环光流预测时，损失函数通过计算原图像和目标图像的真实光流图与预测的光流图之间的距离获得；

7、s3、利用步骤s1构建的数据集训练步骤s2构建的循环光流预测模型，训练完成后，向循环光流预测模型输入原图像和目标图像即可获得预测的光流图，此时的循环光流预测模型称为教师模型；

8、s4、采集细胞运动图像序列中相邻两帧图像，分别记作细胞原图像和细胞目标图像，构建细胞数据集，所述细胞数据集中包括若干个数据对，数据对的形式为细胞原图像-细胞目标图像；

9、s5、将步骤s4构建的细胞数据集输入教师模型，得到若干对细胞原图像-细胞目标图像对应的预测的光流图，将细胞原图像-细胞目标图像对应的预测的光流图命名为细胞预测光流图，将若干对细胞原图像-细胞目标图像-细胞预测光流图组成的集合命名为带有预备标签的细胞图像序列光流估计值；

10、s6、利用dsc评价指标，对带有预备标签的细胞图像序列光流估计值进行筛选，筛选后的数据组合成带标签的细胞数据集，利用带标签的细胞数据集训练教师模型，训练完成后的模型称为学生模型，向学生模型输入细胞原图像和细胞目标图像，学生模型即可输出细胞预测光流图，使用学生模型能够进行细胞图像序列光流预测。

11、进一步，所述自主设计的各向异性的上下文编码器的结构为：由输入到输出依次包括卷积层、六个残差单元和异性卷积块。

12、进一步，所述异性卷积块包含并列连接的三个分支ac1、ac2、ac3；异性卷积块的输出为： ，其中，、和分别表示ac1、ac2和ac3的输出，且之间的数据连接关系为：

13、；

14、其中（）表示ac1分支中的数据处理方式，对输入的数据进行处理，处理过程中设置的自适应偏移量为，表示ac2分支中的数据处理方式，对输入的数据进行处理，处理过程中设置的自适应偏移量为，表示ac3分支中的数据处理方式，对输入的数据进行处理，处理过程中设置的自适应偏移量为。

15、进一步，三个分支ac1、ac2和ac3中对数据的处理方式具体为：数据输入后先通过定义一个膨胀卷积扩展感受野，生成特征图，再赋予特征图中每个特征向量一个自适应偏移量，得到具有自适应偏移量的混合膨胀特征向量输出。

16、进一步，将特征图的三个维度分别进行特征提取具体为：

17、s51、对ac_ces进行高度h和宽度w维度特征提取，具体为：ac_ces为三维张量，特征提取时，保持通道维度不变，将宽度方向的空间坐标压缩为1，得到第一个二维张量，将高度h方向的空间坐标压缩为1，得到第二个二维张量；

18、s52、对分别进行平均池化和最大池化操作，得到两个特征张量和；对进行相同的处理，得到两个特征张量和；

19、s53、将和组合，得到，将和组合，得到，

20、再将组合后的特征张量和分别进行2d卷积、批归一化和激活函数处理，形成特征表示的输出和；

21、s54、对和进行分割，分割的方式为将高度h和宽度w分割为两个特征张量和，将按照高度h和宽度w分割为两个特征张量和，分别对和进行维度的转置，再对、、和进行通道相加：

22、；

23、对和进行处理，得到注意力权重和，具体为：，其中，表示的操作为一维卷积操作，为激活函数；

24、s55、ac_ces经过高度h和宽度w特征提取后的特征表示为：，其中表示ac_ces中由高度h和宽度w组成的二维张量；

25、s56、对ac_ces进行通道c维度特征提取，特征提取时，只对ac_ces的通道c维度进行处理，具体为：将输入的特征图进行reshape操作，对reshape后的特征图进行transpose操作，将这两个变换后的特征图相乘，生成一个中间矩阵map：；将中间矩阵map通过操作处理，获得通道数为c×c矩阵mapc，将生成的mapc与进行逐元素乘积操作，然后与ac_ces进行逐元素相加操作，生成最终的输出特征图ac_cesc；

26、s57、对ac_cet进行与ac_ces相同的处理过程，即进行步骤s51-s55，得到对ac_cet经过高度h和宽度w特征提取后的特征，进行步骤s56得到ac_cet生成最终的输出特征图ac_cetc。

27、进一步，所述联合建模具体为：将和进行融合，最终得到更具多为表征性的特征图：

28、；

29、将和进行融合，最终得到更具多为表征性的特征图：。

30、进一步，所述循环光流预测使用卷积门控循环单元进行，具体为：利用ac_cesa和ac_ceta之间每个像素点之间点积相似性构建大小为 h× w× h× w的4d成本体积，得到4d张量，将输入卷积门控循环单元，得到预测光流残差值，所述卷积门控循环单元中进行运算具体为：

31、；

32、其中，表示卷积门控循环单元，表示聚合操作，表示ac_ces，表示ac_cet，表示相邻帧的时间索引，用于指定 convgru的时间步， 循环光流预测输出的光流图，其中，n代表循环的次数，第一次开始循环时，n=1且；

33、对循环光流预测输出的光流图进行上采样，得到预测的光流图。

34、进一步，所述利用dsc评价指标，对带有预备标签的细胞图像序列光流估计值进行筛选，具体为：

35、s81、对细胞原图像和细胞目标图像分别进行分割，得到分割后的掩码图m1和m2；

36、s82、将细胞原图像与m1相乘，得到前景图 if1，将细胞目标图像与m2相乘，得到前景图 if2；

37、s83、将前景图 if1和前景图 if2中的每一个像素进行差值运算，得到0cc图像，具体为：

38、；

39、其中，0表示遮挡，1表示未遮挡；

40、s84、将细胞预测光流图的光流估计值记为 fs→t，对 fs→t进行扭曲操作，得到扭曲后的掩码图；

41、s85、将0cc图像与扭曲后的掩码图进行相乘，得到重建后的掩码图

42、s86、利用公式：；

43、得到dsc评价指标；其中，表示细胞原图像；

44、s87、设计阈值t=0.75，若dsc评价指标大于阈值t，则保留对应的细胞原图像-细胞目标图像-细胞预测光流图，组合成带标签的细胞数据集，反之则删除。

45、本发明所述方法的有益效果为：

46、本发明所述方法能够提高细胞图像序列的像素级运动估计精度。首先，鉴于现有卷积核固定在处理细胞非刚性运动情况下的局限性，提出了一种新型卷积模式-异性卷积块，利用不同膨胀率的膨胀卷积扩展感受野范围，并对每个特征向量赋予自适应偏移量，最终通过concat操作将并行处理后的输出进行组合，能够学习目标在不同尺度位置的几何形变，精确建模细胞图像中运动边缘的细节。然后，为解决细胞图像序列中由于密集纹理导致光流难以区分运动的问题，搭建了多维特征融合机制，该机制整合了水平、垂直和通道上的多维度特征关系，确保模型能够更全面和精准地捕捉细胞图像中的动态特征。其次，针对细胞图像标签缺失的问题，探索了半监督学习方法，以减少对准确标签的依赖，通过利用已有光流估计值标签的数据训练教师模型，该模型能够对无标签的细胞数据集进行预测，从而生成带有预备标签的细胞图像序列光流估计值，引入dice similarity coefficient(dsc)方法，筛选出符合条件的光流估计值，形成带标签的细胞训练集。最后，利用带标签的细胞数据集进行学生模型的训练，得到能够有效预测细胞图像序列光流值的模型，通过定量指标和定性可视化，分析模型在细胞图像序列中捕捉细微运动的能力。