结合双注意力机制的半监督煤流异物检测方法与流程

本发明涉及异物检测，尤其涉及一种结合双注意力机制的半监督煤流异物检测方法。

背景技术：

1、煤炭是我国重要的化石燃料，煤矿的安全生产对于维持我国能源稳定十分重要。由于煤矿开采环境恶劣复杂，往往在生产运输过程中混入非煤异物(例如：大块矸石，槽钢以及锚杆等)。及时的检测并清理这些非煤异物对于保证传输带正常运行至关重要。然而，目前在实际开采过程中，常常通过人为检查的方法排查异物，效率低下，工作量大且存在安全隐患等缺点。因此，一种实时的煤流异物检测方法对于保障煤矿安全开采以及预防安全事故具有重要意义。

2、近年来，随着机器学习的发展，一些基于图像处理的煤矿异物检测方法被相继提出。目前常见的基于煤流异物检测方法大都采用基于监督学习的目标检测方法，在实际工况中，煤流中含异物的图像稀少，从而导致建模过程中存在数据严重不平衡的缺点。

技术实现思路

1、本发明要解决的技术问题是：为了解决现有煤流异物检测因异物图像稀少带来样本不均衡的技术问题，本发明提供一种结合双注意力机制的半监督煤流异物检测方法，通过仅采用无异物样本进行训练的方式，解决了异物样本稀少带来的样本不均衡问题。

2、本发明解决其技术问题所采用的技术方案是：一种结合双注意力机制的半监督煤流异物检测方法，包括以下步骤：

3、s1、数据集搭建：构建仅包含正常图像x的训练集s，选取某矿区部署实验图像数据采集设备，从不同时刻采集的图像中选取n幅正常图像x作为训练集s；

4、s2、模型搭建：搭建基于双注意力生成对抗网络的半监督煤流异物检测模型m，所述半监督煤流异物检测模型m包括：

5、虚拟图像生成器gen和图像判别器dis，图像判别器dis用于判别输入为真实图像还是虚拟图像；

6、s3、模型训练：构造损失函数lsum，并利用步骤s1构建的训练集s对步骤s2搭建的半监督煤流异物检测模型m进行训练，使得m拟合正常图像x的分布，以得到训练完成的半监督煤流异物检测模型m′；

7、s4、测试阶段：利用步骤s3训练完成的半监督煤流异物检测模型m′，当测试图像为正常图像x时，训练完成的半监督煤流异物检测模型m′正常图像x与重建图像x′之间的差别较小，当测试图像为含异物图像xab时，训练完成的半监督煤流异物检测模型m′正常图像x与重建图像x′之间的差别较大；

8、s5、使用阶段：选取异常分数sa和阈值σ，并根据判断公式对输入图像xin进行判断；

9、其中：判断公式为：

10、

11、abnormal表示输入图像xin为含异物图像xab，normal表示输入图像xin为正常图像x。

12、由此，通过仅采用无异物样本进行训练的方式，解决了异物样本稀少带来的样本不均衡问题，提高半监督煤流异物检测模型m的鲁棒性；通过在编码器－解码器特征传递过程中添加双注意力机制，抑制无关特征的同时增强了区分异物样本的显著特征表达，提升了半监督煤流异物检测模型m预测的准确性。

13、进一步地，在步骤s2中，所述虚拟图像生成器gen包括：编码器、解码器以及基于双注意力的特征连接模块。

14、进一步地，编码器的网络结构包括：六层，每层包括：激活函数、卷积层以及批量标准化层；其中：激活函数为leaklyrelu激活函数，卷积层卷积核大小为4×4，步长为2，输出维度依次为：64、128、256、512、512、512，通过六层卷积后特征图尺寸调整为(100×1)，输入到全连接分类器中得到最终的判断类别；解码器网络结构包含：六层上采样层，每层包含：激活函数、反卷积层以及批量标准层；其中：解码器模型采用relu激活函数，反卷积层卷积核大小为4×4，步长为2，输出维度依次为：512、512、256、128、64、3。

15、进一步地，所述基于双注意力的特征连接模块包括：高维特征进行处理的维度注意力机制和低维特征进行处理的空间注意力机制。

16、进一步地，利用维度注意力模块对高层特征进行处理的具体计算方法为：

17、假设特征为xh＝(h、w、c)，将特征向量进行维度变换，使得xh∈(h×w、c)，利用激活函数计算此时的注意力特征图，具体的计算公式为：

18、

19、得到维度注意力机制的输出o，具体计算公式为：

20、

21、其中：xhj为j位置的高维特征，oj为j位置的维度注意力机制输出。

22、进一步地，利用所述空间注意力机制对低层特征进行处理的具体计算方法为：假设低层特征为xl＝(h、w、ch)，经过三个1×1的卷积后得到特征向量然后将特征向量进行维度变换，使得通过激活函数对特征向量进行操作，得到此时的注意力特征图，具体的计算公式为：

23、

24、第j个位置的空间注意力机制输出ej的计算公式为：

25、

26、其中：i，j分别表示第i个位置的特征对于第j个位置的注意力影响，n＝h×w，xlj为j位置的低层特征。

27、进一步地，将维度注意力机制输出oj和空间注意力机制输出ej相加，得到最终特征输出f的计算公式为：

28、fj＝ej+oj；

29、其中：fj为j位置的双注意力特征输出。

30、进一步地，在步骤s3中，所述损失函数lsum包括：

31、对抗损失ladv、语义损失lcon以及潜在变量损失llat；

32、其中：对抗损失ladv用于训练过程中提升鉴别器鉴别图像能力，语义损失lcon用于约束正常图像x与重建图像x′之间的误差，潜在变量损失llat用于约束正常图像x与重建图像x′潜在变量之间的差异，选取判别器的最优一个卷积的输出作为潜在变量。

33、进一步地，对抗损失ladv的计算公式为：

34、ladv＝ex～p(x)logdi(x)+ex～p(x)(1-logdi(x))；

35、语义损失lcon的计算公式为：

36、lcon＝ex～p(x)||x-x′||1；

37、潜在变量损失llat的计算公式为：

38、llat＝ex～p(x)||f(x)-f(x′)||2；

39、损失函数lsum的计算公式为：

40、lsum＝ladv+lcon+llat；

41、其中：||·||1表示l1范数，||·||2表示l2范数，f(·)表示提取输入图像x在判别器中的最后一层卷积特征。

42、进一步地，在步骤s5中，选取异常分数sa作为评估正常图像x与重建图像x′之间差别的评价标准，异常分数sa的计算公式为：

43、sa＝0.5lcon+0.5llat；

44、利用训练完成的半监督煤流异物检测模型m′，输入为正常图像x时，sa值较小，输入为含异物图像xab时，sa值较大。

45、与现有技术相比，本发明的有益效果是：

46、通过仅采用无异物样本进行训练的方式，解决了异物样本稀少带来的样本不均衡问题，提高半监督煤流异物检测模型m的鲁棒性；通过在编码器－解码器特征传递过程中添加双注意力机制，抑制无关特征的同时增强了区分异物样本的显著特征表达，提升了半监督煤流异物检测模型m预测的准确性。