基于多角度特征融合模型的废钢材厚度分类方法及相关设备与流程

本发明属于废钢材识别，具体为一种基于多角度特征融合模型的废钢材厚度分类方法及相关设备。

背景技术：

1、随着城镇化和经济社会较快发展，钢铁、有色等重点行业资源能源消费正在持续增长。而废钢作为一种重要的高载能绿色资源，将会在未来钢铁领域中愈发重要。由于目前废钢回收普遍存在量大且多形状混杂的问题，现有的废钢质检(即对整车废钢材进行重量估计)系统在对废钢进行估重时需要获取废钢材料的长、宽和厚度，大多钢厂采用人工目测估计方法，质检员经验判断具有主观性和不确定性。

2、随着人工智能领域的不断发展，基于深度学习的废钢测量方法逐渐被提出，目前大多数方法仅仅关注废钢的长和宽而忽略了其厚度对测量的影响。而当前基于图像的金属厚度分类方法在输入数据选取方面上主要分为金属边缘图像和三维点云数据进行厚度识别，在厚度特征提取方面主要分为边缘特征提取网络和注意力网络来对预测厚度。对于三维废钢对象，基于深度学习的研究方法大多是从单一视角采集废钢图像后利用神经网络进行厚度识别，该类方法测量误差较大，同时在实际应用中极易出现分类错误的问题；基于点云的研究方法则是利用三维卷积从三维数据中直接生成三维表示，该类方法在实际应用中会受到计算量和计算时长的限制。

技术实现思路

1、本发明的提供了一种基于多角度特征融合模型的废钢材厚度分类方法及相关设备，解决了现有废钢类别识别误差较大和计算时间长的问题。

2、为实现上述目的，本发明提供如下技术方案：

3、基于多角度特征融合模型的废钢材厚度分类方法，包括如下步骤：

4、s1获取单一废钢材的不同视角采样图片并标注厚度类别，生成废钢材数据集；

5、s2对废钢材数据集进行预处理，将经过预处理后的多视图废钢图像送入残差神经网络提取三维废钢物体实例的多视图特征；

6、s3将数据集中不同视角采样图片提取出的多视图特征与其对应的相机位置坐标相结合，构建一个节点为不同视图特征表示的有向特征表示图；

7、s4对有向特征表示图进行多视图特征融合获得具有三维对象多角度特征的全局描述符，基于全局描述符对废钢材厚度分类。

8、优选地，s2中对废钢材数据集进行预处理的具体操作为：

9、将数据集中不同视角废钢图像缩放后，计算rgb通道像素的均值及方差，并进行归一化处理，将归一化处理后的多视角图像在视图维度进行堆叠。

10、优选地，s3中的有向特征表示图构建的具体方法为：

11、aij＝γ(rij；θa)

12、rij表示两个视图节点之间的空间关系，γ是带有参数θa的非线性函数。

13、优选地，s4中对有向特征表示图进行多视图特征融合从而获得具有三维对象多角度特征的全局描述符的具体融合方法为：

14、利用局部注意力卷积和非局部信息传递对有向特征表示图相继进行视图节点更新；

15、利用视图选择器对节点更新后的有向特征表示图进行粗化，将视图选择器生成的所有级别的特征聚合后得到一个具有三维对象多角度特征的全局描述符。

16、优选地，利用局部注意力卷积对有向特征表示图相继进行视图节点更新，具体操作为：

17、首先使用相机位置坐标和k近邻算法来找到每个视图节点的固定设置数量相邻节点，并且只保留相邻节点之间的边，然后对每个视图节点应用一个共享线性变化，根据相邻节点之间的边和共享线性变化获得权重矩阵，基于权重矩阵计算每个节点的注意力系数，将线性变换后的结果向量拼接后利用前馈网络a进行映射并通过leakyrelu激活，后经softmax归一化得到最终结果。

18、优选地，利用非局部信息传递对有向特征表示图相继进行视图节点更新，具体操作为：

19、获取有向特征表示图中两两节点之间的关系，再从上述获取的所有视图节点关系中收集某个节点和其他节点的关系信息，将该点的特征信息与和其他节点的关系信息融合以更新该节点的节点特征。

20、优选地，视图选择器对有向特征表示图下采样后的采样视图的相机坐标向量为：

21、

22、其中，v(·)是带有参数θ的视图选择器，视图选择器是由不同的采样视图j∈[1,nl+1]和第l层图分别定义，为视图选择器采样前有向特征表示图中每个节点的特征信息。

23、基于多角度特征融合模型的废钢材厚度分类系统，包括：

24、数据集获取模块：用于获取单一废钢材的不同视角采样图片，生成废钢材数据集；

25、多视图特征提取模块：用于对废钢材数据集进行预处理，将经过预处理后的多视图废钢图像送入残差神经网络提取三维废钢物体实例的多视图特征；

26、有向特征构建模块：用于将数据集中不同视角采样图片提取出的多视图特征与其对应的相机位置坐标相结合，构建一个节点为不同视图特征表示的有向特征表示图；

27、分类模块：用于对有向特征表示图进行多视图特征融合获得具有三维对象多角度特征的全局描述符，基于全局描述符对废钢材厚度分类。

28、一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现基于多角度特征融合模型的废钢材厚度分类方法的步骤。

29、一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现基于多角度特征融合模型的废钢材厚度分类方法的步骤。

30、与现有技术相比，本发明具有以下有益效果：本发明提出一种基于多角度特征融合模型的废钢材厚度分类方法，将三维物体表示为不同视角上的二维图像，后利用神经网络及视角坐标进行特征提取及融合，能够有效提高废钢厚度分类精度，进一步弥补现有废钢材厚度识别方法缺少从多视角提取特征对废钢材进行厚度估计的问题。一方面，相较于直接三维表示，本发明将多视角采样图片与相机位置坐标相结合构建一个节点为不同视图特征表示的视图-图，在获取输入数据途径简单的同时可利用成熟的高级网络框架进行特征提取。另一方面，相较于简单融合(如最大或平均选取)，本发明利用局部图注意力卷积模块和非局部信息传递模块分层学习包含多个视图关系的多角度全局特征描述符，针对多角度拍摄的二维图像集合，图卷积能有效解决图像位置分布不规则的数据结构，实现根据邻近矩阵进行节点特征更新和权重再分配，该方法能够在自动化且采集成本低的前提下使用较少的计算成本实现对单一废钢材实例进行厚度分类，从而有效提高现有废钢质检系统的准确性和客观性，也有效降低当前人工目测估计方法造成的废钢回收成本。

技术特征：

1.基于多角度特征融合模型的废钢材厚度分类方法，其特征在于，包括如下步骤：

2.根据权利要求1所述的基于多角度特征融合模型的废钢材厚度分类方法，其特征在于，s2中对废钢材数据集进行预处理的具体操作为：

3.根据权利要求1所述的基于多角度特征融合模型的废钢材厚度分类方法，其特征在于，s3中的有向特征表示图构建的具体方法为：

4.根据权利要求1所述的基于多角度特征融合模型的废钢材厚度分类方法，其特征在于，s4中对有向特征表示图进行多视图特征融合从而获得具有三维对象多角度特征的全局描述符的具体融合方法为：

5.根据权利要求4所述的基于多角度特征融合模型的废钢材厚度分类方法，其特征在于，利用局部注意力卷积对有向特征表示图相继进行视图节点更新，具体操作为：

6.根据权利要求4所述的基于多角度特征融合模型的废钢材厚度分类方法，其特征在于，利用非局部信息传递对有向特征表示图相继进行视图节点更新，具体操作为：

7.根据权利要求4所述的基于多角度特征融合模型的废钢材厚度分类方法，其特征在于，视图选择器对有向特征表示图下采样后的采样视图的相机坐标向量为：

8.基于多角度特征融合模型的废钢材厚度分类系统，其特征在于，包括：

9.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述基于多角度特征融合模型的废钢材厚度分类方法的步骤。

10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述基于多角度特征融合模型的废钢材厚度分类方法的步骤。

技术总结本发明公开了一种基于多角度特征融合模型的废钢材厚度分类方法及相关设备，一方面，相较于直接三维表示，本发明将多视角采样图片与相机位置坐标相结合构建一个节点为不同视图特征表示的视图‑图，在获取输入数据途径简单的同时可利用成熟的高级网络框架进行特征提取，另一方面，相较于简单融合(如最大或平均选取)，本发明利用局部图注意力卷积模块和非局部信息传递模块分层学习包含多个视图关系的多角度全局特征描述符，针对多角度拍摄的二维图像集合，图卷积能有效解决图像位置分布不规则的数据结构，实现根据邻近矩阵进行节点特征更新和权重再分配。技术研发人员：蒙雨欣,王翰林,霍鹏程,马钟,顾以静受保护的技术使用者：西安微电子技术研究所技术研发日：技术公布日：2024/9/2