一种基于光流特征融合的多焦距胚胎细胞原核检测方法与流程

本发明涉及人工智能，具体涉及一种基于光流特征融合的多焦距胚胎细胞原核检测方法。

背景技术：

1、胚胎细胞的原核检测技术是评估人类生命早期发育的关键环节，它是胚胎评估的关键组成部分，有助于胚胎学家评估胚胎质量和发育潜力。由于胚胎是一个三维结构，不同焦距的胚胎图像可以帮助捕捉胚胎不同层面的细节，提供不同深度层次的视图，这对于全面评估胚胎的形态和质量非常重要。

2、然而在使用时差培养箱进行胚胎发育监测时，由于成像系统拍摄的多焦点图像存在原核清晰度不一致的问题，部分目标不在最佳聚焦范围内而导致特征清晰度不够，使得模型无法全面准确地识别所有原核导致模型对原核的识别和计数存在误差，这对于高精度的胚胎质量评估构成了重大挑战。这些问题会影响模型对原核细胞的判断，进而影响对胚胎质量的评估。

3、尽管传统检测算法在某些情况下能够提供帮助，但它们未能充分考虑胚胎图像中的复杂空间关系，如运动模糊、焦点深度变化和结构重叠等问题。现有的胚胎细胞成像技术在原核检测中面临诸多困难，如特征细微和图像模糊，这些问题可能导致关键信息的丢失，影响准确分析。此外，多焦点图像在不同焦距下的原核清晰度不一致，以及模型在特征提取时可能因目标不在最佳聚焦范围内而导致清晰度不足，这些问题都会对原核细胞的判断造成影响，进而影响对胚胎质量的评估。

技术实现思路

1、本发明提出了一种基于光流特征融合的多焦距胚胎细胞原核检测方法，解决了现有技术对多焦距胚胎细胞图像进行原核识别时存在误差的问题。

2、为解决上述技术问题，本发明提供了一种基于光流特征融合的多焦距胚胎细胞原核检测方法，包括以下步骤：

3、步骤s1：对一组待检测的多焦距胚胎细胞图像进行清晰度评估；

4、步骤s2：对多焦距胚胎细胞图像中的每张图像进行特征提取，得到特征图集合，计算特征图集合中每一对特征图之间的光流向量，根据所述光流向量对所有特征图进行空间对齐，根据清晰度评估结果为每张特征图分配权重，将对齐后的特征图进行加权融合，得到融合特征图；

5、步骤s3：将所述融合特征图输入检测模型，对多焦距胚胎细胞图像中的原核进行检测。

6、优选地，步骤s1中所述清晰度评估包括以下步骤：

7、步骤s11：对胚胎细胞图像进行快速傅里叶变换，设定低频区域的范围，将剩余区域作为高频区域；

8、步骤s12：分别计算高频区域的能量和频域的总能量；

9、步骤s13：将高频区域的能量占频域的总能量的比例作为图像的清晰度得分。

10、优选地，步骤s12中计算频谱区域的能量的表达式为：

11、；

12、式中，e为区域能量；表示水平和垂直方向的频率分量；m表示频谱函数；为频谱区域在水平和垂直方向的范围；为频谱区域的中心点的坐标。

13、优选地，步骤s2中根据所述清晰度得分为特征图分配权重，清晰度得分越高，特征图权重越大；清晰度得分越低，特征图权重越小。

14、优选地，步骤s2中使用卷积神经网络对多焦距胚胎细胞图像中的每张图像进行特征提取：

15、；

16、其中，是输出特征图；是激活函数；表示对图像进行卷积；是输入图像。

17、优选地，步骤s2中所述计算特征图集合中每一对特征图之间的光流向量的表达式为：

18、；

19、式中， j和 k为特征图的编号；表示将特征图 j的特征映射到特征图 k的特征上；是双线性变形函数；是特征图 j和特征图 k之间的光流。

20、优选地，步骤s2中所述将对齐后的特征图进行加权融合的表达式为：

21、；

22、式中，为聚合后的特征图；（h+，h-）为一组胚胎图像中第k张图像的邻近图像的范围，；为将特征图 j的特征映射到特征图 k的特征的权重。

23、优选地，步骤s2根据清晰度评估结果为每张特征图分配权重时，还包括注意力加权机制：选取所述清晰度得分最高的两张图像作为关键图像，分别对这两张图像的特征图进行x方向和y方向的全局池化，对池化结果进行特征变换，生成x方向和y方向的注意力权重，将所述注意力权重加权到对齐后的特征图上，以增强原核位置的特征。

24、优选地，分别对这两张图像的特征图进行x方向和y方向的全局池化的表达式为：

25、；

26、；

27、式中，和为特征图和在x方向和y方向池化后的特征； c为通道索引； h为高度索引； s为宽度索引； w、 h分别为特征图的宽和高。

28、优选地，步骤s3中所述检测模型将融合特征图输入目标检测网络，以获得检测结果：

29、；

30、式中， d表示检测器，是最后的检测结果，为融合特征图。

31、本发明的有益之处至少包括：

32、1、通过计算特征图之间的光流向量，捕捉和量化了不同焦距图像中原核目标随时间的运动和变化，有助于实现特征在空间和时间上的精确对齐，确保了不同焦距下特征图的一致性；

33、2、对不同焦距的胚胎细胞图像进行清晰度评估使得模型能够识别并优先考虑视觉信息丰富、清晰度高的图像，通过为这些图像的特征分配更高的权重，模型能够更加集中于高质量的视觉信号，从而提高了特征融合的质量，增强了模型对胚胎图像分析的准确性和效率。

技术特征：

1.一种基于光流特征融合的多焦距胚胎细胞原核检测方法，其特征在于：包括以下步骤：

2.根据权利要求1所述的一种基于光流特征融合的多焦距胚胎细胞原核检测方法，其特征在于：步骤s1中所述清晰度评估包括以下步骤：

3.根据权利要求2所述的一种基于光流特征融合的多焦距胚胎细胞原核检测方法，其特征在于：步骤s12中计算频谱区域的能量的表达式为：

4.根据权利要求2所述的一种基于光流特征融合的多焦距胚胎细胞原核检测方法，其特征在于：步骤s2中根据所述清晰度得分为特征图分配权重，清晰度得分越高，特征图权重越大；清晰度得分越低，特征图权重越小。

5.根据权利要求1所述的一种基于光流特征融合的多焦距胚胎细胞原核检测方法，其特征在于：步骤s2中使用卷积神经网络对多焦距胚胎细胞图像中的每张图像进行特征提取：

6.根据权利要求1所述的一种基于光流特征融合的多焦距胚胎细胞原核检测方法，其特征在于：步骤s2中所述计算特征图集合中每一对特征图之间的光流向量的表达式为：

7.根据权利要求6所述的一种基于光流特征融合的多焦距胚胎细胞原核检测方法，其特征在于：步骤s2中所述将对齐后的特征图进行加权融合的表达式为：

8.根据权利要求2所述的一种基于光流特征融合的多焦距胚胎细胞原核检测方法，其特征在于：步骤s2根据清晰度评估结果为每张特征图分配权重时，还包括注意力加权机制：选取所述清晰度得分最高的两张图像作为关键图像，分别对这两张图像的特征图进行x方向和y方向的全局池化，对池化结果进行特征变换，生成x方向和y方向的注意力权重，将所述注意力权重加权到对齐后的特征图上，以增强原核位置的特征。

9.根据权利要求8所述的一种基于光流特征融合的多焦距胚胎细胞原核检测方法，其特征在于：分别对这两张图像的特征图进行x方向和y方向的全局池化的表达式为：

10.根据权利要求1所述的一种基于光流特征融合的多焦距胚胎细胞原核检测方法，其特征在于：步骤s3中所述检测模型将融合特征图输入目标检测网络，以获得检测结果：

技术总结本发明公开了一种基于光流特征融合的多焦距胚胎细胞原核检测方法，包括以下步骤：步骤S1：对一组待检测的多焦距胚胎细胞图像进行清晰度评估；步骤S2：对多焦距胚胎细胞图像中的每张图像进行特征提取，得到特征图集合，计算特征图集合中每一对特征图之间的光流向量，根据所述光流向量对所有特征图进行空间对齐，根据清晰度评估结果为每张特征图分配权重，将对齐后的特征图进行加权融合，得到融合特征图；步骤S3：将所述融合特征图输入检测模型，对多焦距胚胎细胞图像中的原核进行检测。本发明通过将传统卷积网络提取的静态特征和光流网络提取的动态特征进行结合，解决了多焦距条件下的原核目标清晰度不一致的问题。技术研发人员：谭威,李晓鹏,尹太郎,陈长胜,云新受保护的技术使用者：武汉互创联合科技有限公司技术研发日：技术公布日：2024/7/29