一种用语义和视觉解释增强半导体缺陷分析的方法和系统

本发明属于半导体缺陷分析领域，尤其涉及一种用语义和视觉解释增强半导体缺陷分析的方法和系统。

背景技术：

1、近年来，深度学习技术的快速发展对各类工业界图像领域产生了显著的影响。传统的缺陷分类和检测任务支持从大量晶圆图或扫描电镜（sem）图像中快速锁定缺陷，帮助良率提升工程师进行人工诊断和决策，这类自动决策任务也常常被视为标准分类问题。尽管传统对象级视觉任务，如检测、匹配、和分类等在晶圆缺陷处理取得了一些成就，但语义级任务，如图像字幕，仍然是一个棘手的问题。在晶圆真实生产线上，良率提升工程师们经常需要观察晶圆图，由扫描电子显微镜观察大量缺陷扫描电镜图像，根据图像和晶圆分析缺陷的大小、凹凸性、类型和所在工艺层等信息，记录图像中的显微镜检查结果，以进行诊断并回溯工艺流程，找到造成缺陷的根因。因此，晶圆缺陷图像字幕需要尽量用连贯和简洁的自然语言描述，准确地总结特定图像的特定场景。这不仅需要计算机模拟人类的视觉来识别优势物体，探索不同物体之间的关系，还需要计算机用语法清晰准确、词汇多样的句子来解释识别出来的图像内容。

2、早期的研究通常采用传统的方法，即基于模板或检索的方法，对某一图像生成描述性句子。基于模板的方法生成的句子预设有固定的模板，通过检测图像中物体、场景和动作等相关元素，在模板中填充相关的词语，组合成句子。生成的内容单一且较为固定，且人工参与程度较高。基于检索的方法则首先搜索相似的图像，然后对这些相似图像的文本描述进行排序，以获得查询图像的句子。这些方法的性能依赖于标注数据集的大小和检索算法，受限于相似度计算的准确程度，生成的描述也相对局限。

3、而基于深度学习的方法通常采用编码器-解码器架构，可以在编码器端提取图像特征，并在解码器端将其表示转换为描述性语言。卷积神经网络（cnn）和循环神经网络（rnn）/长短期记忆（lstm）架构克服了传统方法的局限性，成为图像说明的主流架构。但目前，在晶圆图像处理领域，仍然少有研究基准数据集和新的字幕方法，使其在晶圆缺陷处理领域的进一步发展受到限制。

技术实现思路

1、为了解决上述问题，本发明提出了一种用语义和视觉解释增强半导体缺陷分析的方法和系统。

2、本发明采用的技术方案如下：

3、第一方面，本发明提出了一种用语义和视觉解释增强半导体缺陷分析的方法，包括：

4、获取晶圆缺陷图像诊断数据集，包括晶圆缺陷sem图像和诊断报告，所述诊断报告中包含针对多个缺陷诊断任务的句子；

5、采用晶圆缺陷图像诊断数据集训练多任务的缺陷图像诊断网络，所述的缺陷图像诊断网络为基于空间-通道注意力的编解码器结构，诊断报告中的每一个缺陷诊断任务单独维护一个编解码器结构；在每一个编解码器结构中，先利用编码器获取晶圆缺陷sem图像的编码特征，再对所述编码特征采用空间-通道注意力机制增强，得到增强编码特征，最后利用解码器对增强编码特征逐字解码生成对应缺陷诊断任务的句子；不同缺陷诊断任务的句子组合得到诊断报告；

6、在缺陷图像诊断网络的训练过程中，需将对应缺陷诊断任务的句子作为解码器输入，引导解码器生成目标句子；

7、利用训练后的多任务的缺陷图像诊断网络分析晶圆缺陷sem图像，生成诊断报告。

8、进一步地，所述的缺陷诊断任务包括：

9、缺陷的位置、形状、大小诊断任务；

10、缺陷的凹凸性和形变程度诊断任务；

11、缺陷所处工艺层诊断任务；

12、缺陷产生的背景和构成信息诊断任务；

13、缺陷类别诊断任务。

14、进一步地，诊断报告中用于描述多个缺陷诊断任务的句子满足以下条件：

15、除了缺陷类别诊断任务之外，一个句子至少应包含六个单词；

16、不使用模棱两可的单词和语法；

17、句子内容包含全部缺陷。

18、进一步地，所述晶圆缺陷图像诊断数据集中的晶圆缺陷sem图像是通过在不同角度拍摄晶圆缺陷sem图像并合成得到的。

19、进一步地，训练所述的缺陷图像诊断网络之前，需要对诊断报告中的句子进行预处理，包括：

20、将句子中的所有大写字母转换为小写字母，移除句子中的所有标点符号并进行分词，将每个句子转化为一个包含多个单词的列表，处理结果保存在字典中，字典中的键为晶圆缺陷sem图像的id，字典中的值为包含多个单词的列表；

21、诊断报告中的全部句子进行相同的预处理。

22、进一步地，所述缺陷图像诊断网络中的编码器采用vision transformer模型，这是一种基于transformer架构的深度学习模型，用于处理计算机视觉任务，可称为视觉转换器。进一步优选所述vision transformer模型的补丁大小（patch size）为32×32。

23、进一步地，所述增强编码特征通过空间-通道注意力模块实现。

24、进一步地，所述的解码器采用基于注意力机制的门控循环（gru）模块，所述的gru模块包含多个嵌入注意力机制的gru单元；以晶圆缺陷sem图像的增强编码特征作为输入，经过注意力机制处理后得到的图像特征与相应任务下句子的嵌入特征进行拼接后送入到gru单元，在gru单元中结合上一时间步解码生成的隐状态进行计算，逐步生成当前时间步的隐状态和句子的预测序列。

25、第二方面，本发明提出了一种用语义和视觉解释增强半导体缺陷分析的系统，包括：

26、数据获取模块，其用于在训练阶段获取晶圆缺陷图像诊断数据集，包括晶圆缺陷sem图像和诊断报告，所述诊断报告中包含针对多个缺陷诊断任务的句子；以及，在预测阶段获取待处理的晶圆缺陷sem图像；

27、缺陷图像诊断网络模块，其为基于空间-通道注意力的编解码器结构，诊断报告中的每一个缺陷诊断任务单独维护一个编解码器结构；在每一个编解码器结构中，先利用编码器获取晶圆缺陷sem图像的编码特征，再对所述编码特征采用空间-通道注意力机制增强，得到增强编码特征，最后利用解码器对增强编码特征逐字解码生成对应缺陷诊断任务的句子；不同缺陷诊断任务的句子组合得到诊断报告；

28、网络训练模块，其用于采用晶圆缺陷图像诊断数据集训练多任务的缺陷图像诊断网络，在缺陷图像诊断网络的训练过程中，需将对应缺陷诊断任务的句子作为解码器输入，引导解码器生成目标句子；

29、缺陷分析模块，其用于利用训练后的多任务的缺陷图像诊断网络分析待处理的晶圆缺陷sem图像，生成诊断报告。

30、本发明具备的有益效果是：

31、本发明设计了包含不同诊断任务的诊断报告，为晶圆缺陷sem图像诊断提供了一个新的视角；提出的多任务的缺陷图像诊断网络在编码器和解码器之间引入了空间和通道注意力，学习了从诊断报告中句子的单词到图像像素的直接多模态映射，其中空间注意处理的是语义相关性较高的相邻区域像素的聚集，而通道注意处理的是背景噪声和冗余信息的筛选，以进一步强调缺陷图像中的显著目标。本发明使得晶圆缺陷sem图像的缺陷分析过程具有语义和视觉可解释性。最终训练的网络相对于其他基线，在达到更高的准确率和bleu的同时消耗了更少的时间。