一种基于深度学习模型的显微镜实验样品识别方法及系统与流程

本发明涉及数据处理，具体涉及一种基于深度学习模型的显微镜实验样品识别方法及系统。

背景技术：

1、学生使用显微镜进行实验的过程中，学生需要在操作台上的终端设备观测实验过程及结果，以及时进行调整；老师需要通过远端终端设备监测学生的实验过程及结果，以判断学生在实验过程中是否存在偷懒或胡乱操作等行为。目前对于显微镜实验操作过程及结果主要依靠电子目镜及多个摄像头的方法进行上传。通过电子目镜及多个摄像头对实验人员进行监控，再发送给老师的终端设备进行显示，如对比文件“生物教学实验考试用具，201420584153.0”，通过电子目镜、第一摄像头、第二摄像头和第三摄像头分别将显微镜中观察到的图像、学生对粗细准焦螺旋、学生调节反光镜的操作以及学生在操作台上的操作过程投射到大屏幕上。一方面，在显微镜上安装过多的监控设备可能会对学生实验造成影响；另一方面，过多监控设备上传的数据吞吐以及运算量都较大，需要增加个不同的深度学习模型的推理所需要用到的算力，如若要达到实时的状态，需要更多的成本。此外，现有的显微镜实验监测方法/系统未对操作过程中的问题进行提示，无法及时指出对实验过程中出现的问题进。

技术实现思路

1、针对上述提到的技术问题，本技术的实施例的目的在于提出了一种基于深度学习模型的显微镜实验样品识别方法及系统，只需要通过一个图像采集装置(如电子目镜或摄像头)获取实验过程中的样品图像即可对实验过程进行提示及对实验结果进行显示，满足学生的实验需求及老师的监控需求。

2、本发明的技术方案如下。

3、一方面，一种基于深度学习模型的显微镜实验样品识别方法，包括：

4、样品图像获取步骤，实时获取样本切片放置后显微镜实验过程中的样品图像；

5、载物台状态检测步骤，基于当前帧和后一帧的样品图像，使用光流法获取载物台的移动状态；在检测到载物台的移动状态为静止时，执行焦面清晰度检测步骤；

6、焦面清晰度检测步骤，获取样品图像的焦面清晰度；在根据样品图像判断出焦面为清晰时，执行分类步骤；

7、分类步骤，使用训练好的深度学习模型对采集的样品图像进行分类，输出分类结果；在分类结果不为空白时，执行色彩配置步骤；

8、色彩配置步骤，基于分类结果与色彩配置的预设匹配关系，使用预设的色彩配置对分类结果进行色彩调整；

9、检测步骤，当物镜倍数与分类结果满足预设匹配条件时，通过训练好的深度学习模型检测出样品图像中的样品定位信息。

10、优选的，所述分类步骤之后，还包括：

11、色彩配置步骤，基于分类结果与色彩配置的预设匹配关系，使用预设的色彩配置对分类结果进行色彩调整。

12、优选的，所述载物台状态检测步骤，具体包括：

13、分别获取当前帧和后一帧样品图像的灰度图像；

14、分别计算当前帧和后一帧灰度图像的梯度的水平分量及垂直分量；

15、基于梯度的水平分量及垂直分量，分别计算当前帧和后一帧灰度图像的结构张量；

16、基于当前帧和后一帧灰度图像的结构张量，分别计算当前帧和后一帧灰度图像的角点响应函数；

17、基于当前帧和后一帧的灰度图像，以及当前帧和后一帧灰度图像的角点响应函数，使用光流法计算前后两帧的光流差异，得到光流沿x方向的位移向量u和沿y方向的位移向量v；

18、当位移向量u和v均不超过预设移动值时，判断出载物台静止；否则，判断出载物台移动。

19、优选的，所述得到光流沿x方向的位移向量u和沿y方向的位移向量v之后，还包括：

20、分别计算n个特征点运动向量在x方向上的平均值和在y方向上的平均值

21、当位移向量u和v均不超过预设移动值时，判断出载物台静止；否则，判断出载物台移动，具体为：

22、当位移向量和均不超过预设移动值时，判断出载物台静止；否则，判断出载物台移动。

23、优选的，所述焦面清晰度检测步骤，具体包括：

24、将实时获取到的样品图像转换成灰度图像；

25、计算灰度图像的梯度及梯度的幅度；

26、基于梯度的幅度计算图像的局部对比度；

27、计算局部对比度的均值；

28、当对比度的均值超过预设对比度时，判断出焦面清晰；否则，判断出焦面不清晰。

29、优选的，所述深度学习模型为yolov8；所述yolov8包括依次连接的backbone、neck和head；backbone对样品图像进行特征提取，获得特征图；neck对特征图进行多尺度特征融合，生成具有多尺度信息的特征图；head对neck输出的特征图进行最终的回归预测，得到最后的结果，对于分类，输出分类值；对于检测，输出样品定位信息。

30、优选的，所述的基于深度学习模型的显微镜实验样品识别方法，还包括：

31、载物台状态检测步骤中，在检测到载物台的移动状态为移动时，进行提示，并继续执行载物台状态检测步骤。

32、优选的，所述的基于深度学习模型的显微镜实验样品识别方法，还包括：

33、焦面清晰度检测步骤中，在检测到焦面不清晰时，进行提示，并返回执行载物台状态检测步骤。

34、优选的，所述的基于深度学习模型的显微镜实验样品识别方法，还包括：

35、在分类结果为空白时，进行提示，并返回执行载物台状态检测步骤。

36、另一方面，一种基于深度学习模型的显微镜实验样品识别系统，包括：

37、样品图像获取模块，用于实时获取样本切片放置后显微镜实验过程中的样品图像；

38、载物台状态检测模块，用于基于当前帧和后一帧的样品图像，使用光流法获取载物台的移动状态；在检测到载物台的移动状态为静止时，执行焦面清晰度检测模块；

39、焦面清晰度检测模块，用于获取样品图像的焦面清晰度；在根据样品图像判断出焦面为清晰时，执行分类模块；

40、分类模块，用于使用训练好的深度学习模型对采集的样品图像进行分类，输出分类结果；在分类结果不为空白时，执行色彩配置模块；

41、检测模块，用于当物镜倍数与分类结果满足预设匹配条件时，通过训练好的深度学习模型检测出样品图像中的样品定位信息。

42、相比于现有技术，本发明具有以下有益效果：

43、(1)本发明只需要通过一个图像采集装置(如电子目镜或摄像头)获取实验过程中的样品图像即可对实验过程进行提示及对实验结果进行显示，满足学生的实验需求及老师的监控需求；

44、(2)本发明采用yolov8深度学习模型对采集到的样品图像进行分类及对指定类型的样品图像进行检查，yolov8对算力的依赖小，精确度好；

45、(3)本发明对载物台移动状态进行检测，当载物台移动时，进行提示，不进行分类；只有当载物台静止时，才进行分类，约束实验步骤保证实验效果；

46、(4)本发明对焦面清晰度进行检测，当焦面不清晰时，进行提示，不进行分类；只有当焦面达到预设清晰度时，才进行分类，约束实验步骤保证实验效果；

47、(5)本发明在分类完成后，根据样品类型，使用预设的色彩配置对分类结果进行色彩调整，满足显微镜实验观察需求。