用于多余物检测的两级自适应多门限脉冲提取方法

本发明属于密封电子设备多余物监测，具体涉及一种密封电子设备多余物信号的脉冲提取方法。

背景技术：

1、密封电子元器件是航天电子设备的重要组成部分。在其生产过程中，可能将焊锡粒、铜丝、硅胶导线等微粒封装在密封电子元器件内部。这些由外部引入或内部产生的与产品规定标准物理状态不符的微粒称为多余物。航天电子设备通常工作于超失重、剧烈冲击等环境中，残留在密封电子元器件内部的多余物会被激活处于随机运动状态。它会碰撞内部组件使其损坏，会附着或卡在电路板上引起短路断路，会滑动产生静电和电磁干扰，等。这会使得密封电子元器件失效，致使航天电子设备工作异常，引发航天任务失败，甚至导致人员伤亡。一些由多余物引发的引起全球关注的重大事故的报道可以被搜索和参考。

2、微粒碰撞噪声检测(pind)法是目前广泛采用的多余物检测方法，其检测原理如下。通过给被测件施加力学激励，激活其内部可能存在的多余物并产生随机的碰撞或滑动信号，称为多余物信号。布置在被测件表面的声发射传感器实时捕获被测件内部产生的声音信号，传输至调理电路处理并输出至示波器。通过观察示波器是否有波形产生来判断被试件内部是否存在多余物。然而，通常情况下，密封电子元器件内部会存在诸如键合丝等位置固定但仍具有自由度的松动组件，在力学激励下，松动组件会随着密封电子元器件产生固定周期的振动信号，称为组件信号。因此，在pind法中，被试件内部产生的声音信号可能是多余物信号，可能是组件信号，甚至可能是两种信号。因此，准确识别多余物信号与组件信号是多余物检测的关键。此外，不同材质的多余物对密封电子元器件的危害程度不同。金属材质的多余物普遍硬度大、具有导电性，危害程度较高，但非金属材质的多余物造成的影响有限。一些航天领域的包含非金属材质的多余物的密封电子元器件甚至可以降档至民用领域继续使用。同时，获取多余物的材质可以追溯产生多余物的生产环节，对多余物控制工作具有重要的参考价值。

3、如前所述，多余物信号的随机性与组件信号的周期性是两者之间最显著的信号特性差异，不同材质的多余物产生的多余物信号之间也必然存在信号特性的差异。基于深度机器学习的信号识别技术的原理是，从多域中提取信号特征来量化不同类别的信号之间信号特性的差异，构建数据集或图片集，由此训练适用的分类器来完成数据或图片分类，进而实现信号识别。该技术已经在声发射检测、故障诊断、语音信号处理等领域被广泛使用和验证。同样的，深度机器学习方法可以被用来开展多余物信号与组件信号识别研究，以及不同材质的多余物产生的多余物信号识别研究(简称为多余物材质识别研究)。很多学者在前期开展了一些研究工作。

4、在多余物信号与组件信号识别方面，如，梁晓雯等人(2020)从频域中提取四个信号特征来构建数据集，训练的参数优化的决策树取得80％以上的分类精度。同时，他们(2020)考虑到数据集中存在的数据不平衡问题，新提出一种lr-smote算法，进一步将分类精度提升到90％以上。李超然等人(2020)从时域和频域中提取十三个信号特征来构建数据集，训练的参数优化的xgboost取得90％左右的分类精度。李响等人(2020)从时域和频域中提取十四个信号特征，使用卡方检验和树模型结合的特征选择方法筛选了四个表现优异的信号特征来构建数据集，训练的超参数优化的多层感知机取得的分类精度为87.1％。薛永越(2020)从时域和频域中提取十个信号特征，在此基础上开展信号特征的组合变换研究，并重点分析了对分类器分类性能贡献大的信号特征。研究结果表明，四个信号特征被筛选来构建数据集，支持向量机和随机森林被训练，超过95％的分类精度均被两者取得。高亚杰等人(2023)从时域和频域中提取十个信号特征来构建数据集，训练的基于boosting算法的融合机器学习(fml)方法取得高于95％的分类精度。孙志刚等人(2024)从时域和频域中提取了十五个信号特征，筛选其中十一个表现优异的信号特征来构建数据集，训练的参数优化基于线性核函数的支持向量机取得92.16％的分类精度。

5、在多余物材质识别方面，如，针对锡渣、环氧和细丝这三种材质的多余物，孟偲等人(2020)从时域和频域中提取了七个信号特征，构建了包含三种标签的数据集，训练的参数优化的支持向量机取得的分类精度达98％。针对金属(铅)材质与非金属(塑料、塑胶)材质的多余物，赵润森(2020)从分别从频域、小波变换和希尔伯特黄变换中提取58个信号特征，构建了包含两种标签的数据集，训练的bp神经网络取得91.11％的分类精度。针对金属(铜丝、焊锡粒、铝粒)材质与非金属(热熔胶粒、硅胶粒)材质的多余物，高亚杰等人(2021)先从时域和频域中提取五个信号特征，然后将一维信号转换成二维声谱图，从多余物信号的声谱图中提取四个新的信号特征，在此基础上，分别构建了包含两种标签和五种标签的数据集，训练的参数优化的随机森林取得的分类精度分别为90％和78％。针对金属材质和非金属材质的多余物，吕冰泽等人(2021)从时域和频域中提取十四个信号特征，构建了包含两种标签的数据集，训练的参数优化的梯度提升决策树(gbdt)取得93.2％的分类精度。针对金属(铜丝、焊锡粒、铝粒)材质与非金属(热熔胶粒、pvc粒、硅胶粒)材质的多余物，孙志刚等人(2022)从时域和频域中提取十四个信号特征，在此基础上开展特征优化研究，并重点分析了对分类器分类性能贡献大的信号特征。研究结果表明，十二个信号特征被筛选来构建包含六种标签的数据集，随机森林被训练来取得的63.6％的分类精度。在之后的研究中(2024)，他们训练了参数优化的xgboost，取得了80.41％的分类精度。针对铝屑、焊锡、塑料和橡胶这四种材质的多余物，张衡和刘海江(2023)从梅尔频率倒谱系数中提取二十四个能量加权的信号特征，构建了包含四种标签的数据集，训练的优化概率神经网络取得90％以上的分类精度。

6、在机器学习中，信号或音频不能直接输入分类器进行识别，需要转化成可解释的数据或特征向量。因此，现有多余物信号与组件信号识别研究与多余物材质识别研究(简称现有研究)的基本思路是，通过特征提取将信号转化成数据，由此构建数据集来训练分类器。为了取得较高的分类精度，初期，学者们将研究重心放在寻找和训练最新的合适的性能良好的分类器，并通过各种手段进行参数优化，使其分类性能达到最优。最近，一些学者们开始将目光转移到训练分类器的数据集上，并将研究重心放在高质量数据集的构建上。他们从多域寻找合适的性能良好的信号特征，使用特征优化方法保留专用信号特征来构建高质量的数据集。目前，分类器取得的多余物信号与组件信号的分类精度超过90％，取得的金属材质与非金属材质的多余物的分类精度达95％，取得的具体材质的多余物的分类精度超过80％。但他们没有将目光再往前转移到构建数据集的信号上。实际上，高质量的信号决定了高质量的数据集，高质量的数据集决定了高性能的分类器。可以看出，信号才是影响分类精度的源头，但是鲜少研究注意到它。如前所述，特征提取的目的是将信号转化成数据。考虑到现有研究多数是直接在信号的基础上转化数据，少数是将信号转化成图像再转化数据。这可能是因为在信号转图像的过程中会丢失部分信息。因此，关注的也是在信号的基础上进行的特征提取。

7、经过长时间的发展，基于pind法研制的pind检测设备是目前开展多余物检测研究的重要工具，具有代表性的包括美国sd公司的4511型设备和中国宇高电子技术有限公司的dzjc-iii型设备。在满足pind法所需的硬件基础上，pind检测设备增加了采集卡、内置计算机等外设，提供信号处理、同步采集、波形显示、数据保存等功能。因此，pind检测设备采集并保存的声音信号已经是强度较大、质量较高的，可以直接被用来开展研究。实际上，现有研究也确实都是直接在这些声音信号上进行特征提取的。这些声音信号的采集时长是固定的，通常为五秒或者十秒。因为这些声音信号都是数字信号，pind检测设备采集并保存的声音信号实际上是顺序排列的采样点的幅值。以dzjc-iii型设备为例，其采样频率为500khz，采集时长为五秒钟。那么，它采集并保存的声音信号是顺序排列的个采样点的幅值，相邻两个采样点之间间隔声音信号由有用脉冲和噪声脉冲组成。有用脉冲指的是呈山峰型的先上升再下降的脉冲，其包含的采样点的幅值都是大于0的。而噪声脉冲是用于连接有用脉冲，基本呈水平线型，其包含的采样点的幅值一部分是0，另一部分是稍大于0的数值，对应信号中残留的底噪。在信号的基础上进行的特征提取实际上是在采样点上进行的，如从时域中提取信号特征就是基于采样点的幅值计算它们的能量、方差等，从频域中提取信号特征就是对采样点做傅里叶变换后再计算它们的频谱质心、频率标准差等，其他域中信号特征的计算也是相同的道理。

8、如前所述，噪声脉冲包含的采样点的幅值一部分是0，另一部分是稍大于0的数值，由它们计算的多域中的信号特征可能是没有意义的，会出现0或者缺失值。并且，从多余物信号与组件信号产生的机理来说，多余物每碰撞或滑动一次，或松动组件每振动一次，产生一个有用脉冲，其他非运动状态下不产生有用脉冲，代替的是噪声脉冲。也就是说，真实的多余物信号和组件信号其实只是有用脉冲。因此，只有在有用脉冲包含的采样点上进行特征提取才是有效的。此时，需要有从声音信号中提取有用脉冲的方法，在语音识别领域，它被称为脉冲提取算法，最常用的就是三门限脉冲提取算法。它通过计算声音信号包含的所有采样点的平均能量，在此基础上设置起始检测阈值、峰值检测阈值和结束检测阈值三个门限。通过峰值检测阈值先快速寻找有用脉冲的最高点，再通过起始检测阈值和结束检测阈值分别向前、向后找到有用脉冲的起始点和结束点。但起始检测阈值、峰值检测阈值和结束检测阈值的设置没有固定可参考的规则，往往是基于人工经验判断，给出一个相较而言不错的结果。这对使用者的专业技能和经验积累要求较高，且脉冲提取结果随机性较高。大多数现有研究都是直接使用三门限脉冲提取算法来提取声音信号中的有用脉冲，且不同研究中三个门限的设置也各不相同，提供的参考价值有限。此外，三门限脉冲提取算法存在严重的连续多脉冲问题，它会把连续的多个脉冲检测为一个脉冲。

9、然而，目前专门针对脉冲提取算法的研究并不多，包括，郜雷阵等人(2019)新提出一种双门限脉冲提取算法。它通过计算声音信号中开始一段噪声脉冲包含的采样点的平均能量和平均过零率，在此基础上设置端点能量阈值和端点过零率阈值两个门限。通过端点能量阈值先寻找一轮有用脉冲的起始点和结束点，再通过端点过零率阈值再寻找第二轮有用脉冲的起始点和结束点。根据两轮寻找结果确定有用脉冲最终的起始点与结束点。但端点能量阈值和端点过零率阈值的设置还是依赖人工经验判断，连续多脉冲问题未被考虑，三门限脉冲提取算法存在的问题没有得到解决。孙志刚等人(2023)新提出一种两级双门限脉冲提取算法，具体包含两个阶段的处理。在第一阶段，与双门限脉冲提取算法一样，它通过设置端点能量阈值和端点过零率阈值两个门限，确定有用脉冲的起始点与结束点。在第二阶段，它重新设置端点能量阈值和端点过零率阈值两个新的门限，再次确定有用脉冲的起始点与结束点。根据两个阶段的结果，给出有用脉冲最终的起始点与结束点。这是为了解决连续多脉冲问题而设计的，一定程度上该问题得到了缓解。但两个阶段的端点能量阈值和端点过零率阈值的设置还是摆脱不了人工经验判断。它们都没有在本质上解决现有脉冲提取算法存在的问题。其他关于脉冲提取算法的研究未在数据库中检索到。

10、综上所述，现有研究忽略了对声音信号处理的关注，具体来说是对从pind检测设备输出的声音信号到构建数据集的特征提取之间有用脉冲提取算法的关注。实际上，有用脉冲提取的越准确，构建的数据集的质量越高，训练的分类器的性能越好。它是现有研究的源头，需要被认真考虑。三门限脉冲提取算法参考整段声音信号包含的所有采样点的平均能量来设置门限，双门限脉冲提取算法和两级双门限脉冲提取算法参考声音信号中开始一段噪声脉冲包含的采样点的平均能量和平均过零率来设置门限，它们的参考标准不统一。此外，三种脉冲提取算法设置门限的规则不固定，依赖人工经验判断，给出有用脉冲提取结果不稳定且不可信。并且，三门限脉冲提取算法与双门限脉冲提取算法均未考虑连续多脉冲问题。尽管两级双门限脉冲提取算法考虑了它，但实际效果并不能令人满意。最后，现有三种脉冲提取算法直接被用来提取声音信号中的有用脉冲，它们的有用脉冲提取效果没有被认真考虑，也没有相关的评估指标被用来给出脉冲提取效果的具体量化结果。郜雷阵等人(2019)和孙志刚等人(2023)的研究中只关注了有用脉冲的数量，但这个评估结果比较片面。

技术实现思路

1、本发明为了解决现有的针对多余物检测的限脉冲提取方法因为门限缺少自适应性而导致提取到的脉冲信号准确性有待于进一步提高的问题。

2、一种用于多余物检测的两级自适应多门限脉冲提取方法，包括以下步骤：

3、步骤一：计算整段声音信号的平均能量ea和平均过零率za，以及能量的标准差σe和过零率的标准差σz；根据正态分布的3σ分布准则，设置峰值检测阈值ep、端点能量阈值ebe和端点过零率阈值zbe；

4、步骤二：对声音信号进行分帧处理，计算每个帧信号的能量和过零率；

5、步骤三：从第一个帧信号开始，依次比较每个帧信号的能量与ep；当某个帧信号的能量大于ep时，记录这个帧信号；从它开始，继续比较之后的每个帧信号的能量与ep，直至某个帧信号的能量小于ep；从这些帧信号中找出能量最大的帧信号，获取其中第一个采样点的时间，称为当前有用脉冲的峰值时刻tp；

6、步骤四：以步骤三中提取的有用脉冲的峰值时刻tp为起点，分别向前、向后将每个帧信号的能量与ebe进行对比，直至在两个方向上分别发现某个帧信号的能量小于ebe；分别认定这两个帧信号的前一个帧信号为当前有用脉冲的起始帧信号和结束帧信号；获取这两个帧信号中第一个采样点的时间，称为当前有用脉冲的第一候选起始时刻tb_f1与第一候选结束时刻te_f1；

7、步骤五：以步骤三中提取的有用脉冲的峰值时刻tp为起点，分别向前、向后将每个帧信号的过零率与zbe进行对比，直至在两个方向上分别发现某个帧信号的过零率小于zbe；分别认定这两个帧信号的前一个帧信号为当前有用脉冲的起始帧信号和结束帧信号；获取这两个帧信号中第一个采样点的时间，称为当前有用脉冲的第二候选起始时刻tb_f2与第二候选结束时刻te_f2；

8、步骤六：比较第一候选起始时刻和第二候选起始时刻，认定其中较大的为最终的起始时刻tb_1；比较第一候选结束时刻和第二候选结束时刻，认定其中较小的为最终的结束时刻te_1；

9、步骤七：以步骤六中提取的有用脉冲的最终的结束时刻te_1的下一个帧信号为新起点，重复步骤三至步骤六，提取第二个有用脉冲；以此类推，直至搜索到声音信号的最后一个帧信号；保存提取到的多个有用脉冲；

10、步骤八：计算每个有用脉冲的平均能量和平均过零率，分别表示为ei和zi；计算每个脉冲的能量的标准差σe_i和过零率的标准差σz_i；其中，i代表有用脉冲的序号；基于ei和σe_i确定每个有用脉冲专属的端点能量阈值ebe_i，同时基于zi和σz_i确定有用脉冲专属的端点过零率阈值为zbe_i；

11、步骤九：以步骤七中保存的某个有用脉冲的峰值时刻tp为起点，分别向前、向后将每个帧信号的能量与专属的ebe_i进行对比，直至在两个方向上分别发现某个帧信号的能量小于ebe_i；分别认定这两个帧信号的前一个帧信号为当前有用脉冲的起始帧信号和结束帧信号；获取这两个帧信号中第一个采样点的时间，称为当前有用脉冲的第三候选起始时刻tb_s1与第三候选结束时刻te_s1；

12、步骤十：以步骤七中保存的某个有用脉冲的峰值时刻tp为起点，分别向前、向后将每个帧信号的过零率与专属的zbe_i进行对比，直至在两个方向上分别发现某个帧信号的过零率小于zbe_i；分别认定这两个帧信号的前一个帧信号为当前有用脉冲的起始帧信号和结束帧信号；获取这两个帧信号中第一个采样点的时间，称为当前有用脉冲的第四候选起始时刻tb_s2与第四候选结束时刻te_s2；

13、步骤十一：比较第三候选起始时刻和第四候选起始时刻，认定其中较大的为最终的起始时刻tb_2；同样的，比较第三候选结束时刻和第四候选结束时刻，认定其中较小的为最终的结束时刻te_2；

14、步骤十二：从步骤七中保存的第二个有用脉冲开始，重复步骤九至步骤十一的处理步骤；以此类推，直至对步骤七中保存的所有有用脉冲处理完成；

15、步骤十三：计算第一持续时间＝te_1-tb_1和第二持续时间＝te_2-tb_2；

16、计算第二持续时间与第一持续时间的比值；如果比值超过持续时间占比阈值，则将最终的起始时刻tb_1和最终的结束时刻te_1认定为当前有用脉冲的真正的起始时刻tb和真正的结束时刻te；如果比值低于持续时间占比阈值，则将最终的起始时刻tb_1和最终的结束时刻te_2认定为当前有用脉冲的真正的起始时刻tb和真正的结束时刻te；

17、步骤十四：保留步骤十三处理后的有用脉冲，整段声音信号的有用脉冲提取结束。

18、有益效果

19、本发明首次将多余物检测研究的重心转移到脉冲提取上，提出的一种两级自适应多门限脉冲提取方法，它以整段声音信号包含的所有采样点的平均能量和平均过零率为参考，根据正态分布的3σ分布准则设置门限，不仅确保了它的鲁棒性和泛化性；本发明的两级自适应提取方式还能够准确稳定的提取声音信号中的有用脉冲。

20、根据从多个角度来对本发明脉冲提取方法的评估来看，本发明能够稳定的提取脉冲信号，且提取的脉冲更加准确，能够更加真实的反映信号，从而能够有效提高分类器的分类精度，包括多余物信号与组件信号的分类精度和具体材质的多余物的分类精度。