一种斑马鱼幼鱼荧光显微图像自动标注方法、系统、设备、介质

本发明涉及生物医学图像处理技术、计算机视觉技术与深度学习辅助工具开发领域，尤其是涉及一种斑马鱼幼鱼荧光显微图像自动标注方法、系统、设备、介质。

背景技术：

1、斑马鱼由于其幼鱼阶段身体透明性、产卵量大和与人类高度基因同源等优秀特性，而被作为一种模式生物广泛应用于环境毒理学高通量筛选领域。荧光显微成像在斑马鱼毒理学研究中是一种重要的表征方式，而深度学习则是实现斑马鱼幼鱼荧光显微图像高效率、低误差分析的重要手段。在构建斑马鱼幼鱼荧光图像相关的深度学习分析算法时，第一步是对斑马鱼幼鱼荧光显微图像数据的整理与标注工作。研究人员通常采用数据标注软件(如labelme等)对采集到的斑马鱼幼鱼荧光图像进行手动标注。然而，面对斑马鱼幼鱼荧光图像的特殊性质，传统的人工标注方法暴露出诸多挑战。首先，在斑马鱼幼鱼荧光显微图像中，荧光信号往往呈现出不规则的分布模式，不仅局限于特定器官或组织，也可能散落在全身各部位，甚至在细胞层面产生细微且不连续的表达。这种空间位置的分散性使得人工标注需逐一辨识和勾画每一个荧光点或区域，工作量巨大且容易遗漏微弱或分散的荧光信号；其次，同一图像中荧光亮度可能存在显著差异，导致部分荧光区域过于明亮而掩盖周围细节，另一些区域则因亮度较弱而难以察觉；最后，尽管科研人员具备专业知识，但个体间的判断标准和注意力分配仍存在差异，可能导致对荧光区域的界定和标注不一致，长时间标注作业可能导致疲劳和注意力下降，进一步增加标注错误的风险。除此之外，手动标注斑马鱼幼鱼荧光图像是一项耗时且劳动密集型的任务。尤其是在实验周期较长、数据采集频繁的生物医学研究中，人工标注所需的时间和人力资源往往成为项目推进的重大瓶颈。这些人为偏见和主观性因素不利于构建高质量、一致性高的标注数据集，对深度学习算法的训练和泛化能力造成负面影响。鉴于以上问题，研发一种高度自动化、去偏见化的斑马鱼幼鱼荧光图像标注方法对于深度学习赋能斑马鱼荧光图像分析至关重要。

技术实现思路

1、本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种斑马鱼幼鱼荧光显微图像自动标注方法、系统、设备、介质，可有效解决生物医学研究中斑马鱼荧光显微图像的手动标注误差大、成本高的关键问题，可为相关深度学习算法的训练提供方便可行的标注方法。

2、申请人在构思历程中认为：最大类间方差法(又称为otsu阈值法)作为一种广泛应用在图像处理领域的自动阈值选择方法，为解决背景技术中的挑战提供了有效途径。最大类间方差法的核心思想是通过最大化前景像素(荧光区域)和背景像素(非荧光区域)之间的类间方差，以找到一个最优阈值，使得图像在该阈值处被分割成两类，这两类之间的灰度差异达到最大。这种差异最大化有助于增强图像的对比度，确保分割后的两类具有明显的灰度分离，从而实现对图像内容的有效区分。

3、申请人在构思历程中进一步认为：尽管最大类间方差法能够自动完成二值化分割，输出清晰区分荧光与背景的二值图像，但在实际应用于深度学习算法构建时，仅凭二值图像往往无法满足不同算法对标注数据格式的多样化需求。不同的深度学习模型可能要求不同的标注格式，如像素级的语义标签、多边形轮廓等，因此为了适应不同的算法要求，除了进行二值化分割外，还需要结合边缘坐标提取等技术手段来提取和表示荧光区域，以用于进一步转化为各种深度学习所需的标注格式。

4、本发明的目的可以通过以下技术方案来实现：

5、本发明提供一种斑马鱼幼鱼荧光显微图像自动标注方法，包括以下步骤：

6、s1：路径判别，接收用户输入的路径信息，并根据预设规则判断所述路径所指向的数据资源是否为图片文件的路径信息；

7、s2：图像转换，若s1接收到的信息为图片文件的路径信息，则加载所述图片文件，并进一步判断所加载的荧光显微图像是否为灰度图像，若所加载的图像不是灰度图像，则执行将所述荧光图像转换为灰度图像的操作；

8、s3：图像二值化，对经s2转换或已确认为灰度图像的荧光显微图像进行最大类间方差法处理，以生成仅包含前景像素与背景像素的二值化图像；

9、s4：边缘坐标提取，对s3生成的二值化图像应用边缘跟踪算法，以此识别并提取荧光区域的边界坐标及其对应的边界层级信息；

10、s5：标注文件输出，接收并整合s4中提取的边界坐标、边界层级信息，按照预定的深度学习算法标注格式进行组织，生成能够供深度学习模型训练使用的标注文件。

11、进一步地，s1中，路径判别的具体过程包括：

12、s1-1：图片文件类型识别，解析用户输入路径所指向的数据资源的文件类型，以确定其是否为预设类型的图片文件；

13、s1-2：文件夹内容遍历，当输入路径指向文件夹时，遍历该文件夹内所有子文件，筛选出符合图片文件类型的文件。

14、进一步地，s2中，所述图像转换中，在将彩色荧光图像转换为灰度图像时，采用预设的色彩空间转换算法进行。

15、进一步地，s2中，所述色彩空间转换算法为rgb到灰度的转换算法，所述rgb到灰度的转换算法将彩色图像转换为灰度图像，其中灰度值是根据rgb三个颜色通道的加权和来计算。

16、进一步地，s3中，所述图像二值化中，在应用最大类间方差法时，采用全局阈值策略，确保所确定的阈值适用于整个斑马鱼荧光显微图像，同时通过对原始灰度图像进行直方图分析，动态确定最佳阈值以最大化类间方差，确保二值化图像的前景与背景分离效果。

17、进一步地，s4中，所述边缘跟踪算法的具体过程包括：

18、边界类型判断：对于每个非零像素点，根据其邻域像素点的状态判断该像素点是外边界还是孔边界的起始点；

19、边界跟踪：从起始点开始，按照一定的搜索策略跟踪边界，直到回到起始点形成闭环；

20、层级信息计算：在跟踪过程中，根据遇到不同nbd值的顺序，计算边界的层级关系；

21、边界连接：将连续的边界点连接起来，形成连续的边界线；

22、坐标提取：记录每个边界点的坐标，以便于后续的分析和处理；

23、结束条件：对于封闭轮廓，当跟踪回到起始点时结束；对于非封闭轮廓，需要特定的终止条件。

24、进一步地，s4中涉及的具体实现细节为：

25、起始点的确定：选择图像中的一个边界点作为起始点，通常是一个像素点，其所有邻域像素点都与该点不同。

26、搜索规则：确定一个搜索规则，比如逆时针方向，以系统地找到边界上的下一个点。

27、终止条件：对于封闭轮廓，终止条件是跟踪回到起始点；对于非封闭轮廓，可能需要根据特定的图像特征来确定。

28、层级信息：在跟踪过程中，记录不同边界的nbd值，以确定边界之间的父子关系和层级结构。

29、坐标记录：在跟踪每个边界点时，记录其坐标，以便形成连续的边界线。

30、链码提取：可选步骤，可以进一步提取链码来表示边界，这有助于形状分析和特征提取。

31、进一步地，s5中，标注文件输出中，输出的格式为多种深度学习算法通用的标注格式，包括pascal voc、coco、yolo格式中的一种或多种。

32、本发明第二方面提供一种斑马鱼幼鱼荧光显微图像自动标注方法系统，包括：

33、路径判别模块：用于接收用户输入的路径信息，并根据预设规则判断所述路径所指向的数据资源是否为图片文件的路径信息；

34、图像转换模块，若路径判别模块接收到的信息为图片文件的路径信息，则图像转换模块加载所述图片文件，并进一步判断所加载的荧光显微图像是否为灰度图像，若所加载的图像不是灰度图像，则图像转换模块执行将所述荧光图像转换为灰度图像的操作；

35、图像二值化模块，对经图像转换模块转换或已确认为灰度图像的荧光显微图像进行最大类间方差法处理，以生成仅包含前景像素与背景像素的二值化图像；

36、边缘坐标提取模块，对图像二值化模块生成的二值化图像应用边缘跟踪算法，以此识别并提取荧光区域的边界坐标及其对应的边界层级信息；

37、标注文件输出模块，接收并整合边缘坐标提取模块中提取的边界坐标、边界层级信息，按照预定的深度学习算法标注格式进行组织，生成能够供深度学习模型训练使用的标注文件。

38、本发明第三方面提供一种电子设备，包括存储器、处理器，所述处理器用于执行所述存储器中的程序，以此实现如上述斑马鱼幼鱼荧光显微图像自动标注方法。

39、本发明第四方面提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令的存储介质在由计算机处理器执行时，用于执行如上述的斑马鱼幼鱼荧光显微图像自动标注方法。

40、与现有技术相比，本发明具有以下技术优势：

41、1)本发明提出的斑马鱼荧光显微图像自动标注系统通过路径判别、图像转换、图像二值化、边缘坐标提取以及结果输出等五个紧密协作的子模块，实现了对斑马鱼荧光图像的高效、精准、自动化的标注过程。

42、2)本发明的提出有效地解决了生物医学研究中斑马鱼荧光显微图像的手动标注难题，显著降低了人工标注的误差、成本和时间消耗，同时满足了不同深度学习算法对多样标注格式的需求，有力推动了深度学习在斑马鱼荧光图像分析领域的应用与发展。