一种无需标定的废钢车辆姿态校正方法

本发明属于图像处理领域，尤其是涉及一种无需标定的废钢车辆姿态校正方法。

背景技术：

1、在废钢回收领域，厚度是鉴别废钢品质的主要标准。然而，相机和废钢车辆之间的相对姿态不确定性导致相同废钢品质的废钢在成像时呈现出不同厚度。举例来说，如果相机与废钢车辆的相对姿态是倾斜的，透视效应将使得废钢在图像中呈现出近大远小的效果。此外，相机与物体之间的距离也直接影响成像物体的尺度，这些不可控因素导致现实世界中尺寸相同的物体在图像中呈现出不同的大小，严重影响了图像识别任务的准确性。

2、为减少相机高度和角度的影响，申请号为202121890214.2的中国专利公开了一种废钢智能判级装置，包括盖板、支撑柱、第一安装槽和第二安装槽。盖板的下表面分别开设有废钢定级模块、异物识别模块、智能扣重模块和前端司机自助操作模块，其中第一安装槽内设置高度调节组件，通过电动推杆调节废钢定级模块高度，避免拍照不清晰影响定级准确性；第二安装槽内设置角度调节组件，通过电机带动第二转盘转动，调节异物识别模块角度，提高检测准确性。

3、为解决倾斜姿态和自由作业点的影响，申请号为202210449392.4的中国专利公开了一种自动控制无人飞机智能废钢验质系统及方法，包括无人机、终端、监控大厅和数据中心。该系统通过无人机基于图像采集信号对废钢进行图像采集，并在数据中心进行识别验质，将结果反馈至监控大厅和终端，实现废钢验质的自动化和智能化。这一方法避免了对废钢接卸场所内其他机械设备的干扰，降低了验质成本，扩大了监控范围，确保了废钢验质的成功进行。

4、上述两个技术方案需要对原有的硬件系统进行大规模改造，这带来了较高的应用成本和风险。因此，需要一种后期图像处理的车辆姿态校正方法，该方法需要估计逆透视变换来实现校正过程。然而，传统的逆透视变换方法通常要求对摄像机进行事先标定，这限制了系统的灵活性，而且一旦摄像机位置发生变化，之前的校准就会失效。因此，迫切需要一种无需事先标定的逆透视变换方法，以实现姿态校正的鲁棒性。

技术实现思路

1、本发明提供了一种无需标定的废钢车辆姿态校正方法，基于从图像中检测特征点，无需相机标定便可估计逆透视变换对应的单应性矩阵，将车辆图像变换为远近同大，以避免目标成像尺寸各向异性给下游图像识别任务带来的挑战，具有适用场景广、稳健性强和校正精度高的优点。

2、一种无需标定的废钢车辆姿态校正方法，包括以下步骤：

3、(1)使用目标检测算法定位废钢车辆上下侧栏板的特征点，并采用线性huber回归剔除误检的特征点；

4、(2)建立近似透视模型，利用组合匹配算法寻找特征点和匹配的模板点；

5、(3)基于受限二次规划的单应性估计算法求解逆透视变换矩阵，将车辆图像变换为远近同大，实现废钢车辆的姿态矫正。

6、进一步地，步骤(1)中，采用标准且等距的废钢车辆上下侧栏板的角点作为关键目标，以矩形框中心作为关键特征点位置；

7、检测到上侧栏板的特征点从左到右标记为{pi},i＝1,2,…,ni，下侧栏板的特征点从左到右标记为{pj},j＝1,2,…,nj，每类特征点都近似沿着直线分布。

8、步骤(1)中，采用线性huber回归剔除误检的特征点，具体过程为：

9、将{pj-δp}合并到{pi}构成新的直线分布点集{pk}＝{pi}∪{pj-δp}，其中是有向向量，而是最近匹配对的序号；

10、将pk归一化后记为(xk,yk)，采用l-bfgs-b求解下述凸优化问题

11、

12、其中，w,b是直线模型的斜率和偏置，σ是huber尺度参数，α是l2正则化系数；h∈是huber函数，其定义为其中∈是控制影响范围的参数；

13、剔除远离直线的特征点，这些点满足|wxk+b-yk|>∈σ，然后记剔除外点后的特征点集合为

14、步骤(2)中，建立近似透视模型，具体为：

15、假设后一个侧板的长度是当前侧板长度的γ倍、第一个侧板的长度为l，那么第j个侧板的起始位置为假设它对应特征点那么在γ≈1的近似下建立如下近似透视模型

16、

17、其中，lnγ,lnl是待优化参数；对于每类，车辆侧板至多有7个特征点，因此满足ni<7。

18、步骤(2)中，利用组合匹配算法寻找特征点和匹配的模板点，具体过程为：

19、对于给定分配j＝g(i)，计算每个特征点对应的数据点

20、在给定分配g下，应用最小二乘法估计权重和偏置lnγ,lnl，从而估计最小二乘总误差e(g)；

21、枚举所有的分配情况，取具有最小总误差e(g*)的分配g*，此时匹配模板点是模板中第j个侧板的起始位置。

22、步骤(3)中，基于受限二次规划的单应性估计算法求解逆透视变换矩阵，具体过程为：

23、将匹配的特征点和模板点归一化，对单应性参数添加轴向边界约束，采用goldfarb-idnani对偶算法求解受限二次约束问题，得到满足roi约束的逆透视变换矩阵。

24、对单应性参数添加轴向边界约束，具体包括：

25、记roi由点集{pr}＝{(xr,yr)|r＝1,2,…,n}构成，待匹配的特征点为对应的模板点为对应的关键点得分为{wk}；将归一化为其中a,b是归一化所对应的变换矩阵；

26、记归一化点所需的单应性矩阵为h，那么原始点对应的单应性矩阵hij＝∑u,vbiuhuvavj，其中bij＝b-1,aij＝a；

27、以y轴为边界的约束条件为

28、

29、上式是关于h的线性齐次约束，它与带权重的单应性估计问题共同构成了受限二次约束问题，其中p是使用直接线性变换法(direct linear transform,dlt)求解n点透视(perspective-n-point,pnp)问题中的系数矩阵。

30、步骤(3)中，将车辆图像变换为远近同大的过程中，对于时序上的多帧，应用基于尺度不变特征变换的图像对齐算法来将当前图像对齐到已处理的上一帧。

31、与现有技术相比，本发明具有以下有益效果：

32、1、本发明提出的方法基于图像处理，通过从图像中检测特征点而无需相机标定即可估计校正所需的逆透视变换，具备易于实施的优点。

33、2、本发明引入了自适应去噪和组合匹配技术，用于寻找特征匹配，有效降低数值条件数，提高特征点匹配和单应性矩阵求解的成功率，具有强大的稳健性和高精度的校正能力。

34、3、本发明的方法能够在较大动态环境范围内稳定运行，实现了废钢判级领域高动态视觉识别的技术突破，为姿态校正工作提供了一种准确可行的解决方案，同时为其他领域的姿态校正工作提供了借鉴和参考。

技术特征：

1.一种无需标定的废钢车辆姿态校正方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的无需标定的废钢车辆姿态校正方法，其特征在于，步骤(1)中，采用标准且等距的废钢车辆上下侧栏板的角点作为关键目标，以矩形框中心作为关键特征点位置；

3.根据权利要求2所述的无需标定的废钢车辆姿态校正方法，其特征在于，步骤(1)中，采用线性huber回归剔除误检的特征点，具体过程为：

4.根据权利要求1所述的无需标定的废钢车辆姿态校正方法，其特征在于，步骤(2)中，建立近似透视模型，具体为：

5.根据权利要求4所述的无需标定的废钢车辆姿态校正方法，其特征在于，步骤(2)中，利用组合匹配算法寻找特征点和匹配的模板点，具体过程为：

6.根据权利要求1所述的无需标定的废钢车辆姿态校正方法，其特征在于，步骤(3)中，基于受限二次规划的单应性估计算法求解逆透视变换矩阵，具体过程为：

7.根据权利要求6所述的无需标定的废钢车辆姿态校正方法，其特征在于，对单应性参数添加轴向边界约束，具体包括：

8.根据权利要求1所述的无需标定的废钢车辆姿态校正方法，其特征在于，步骤(3)中，将车辆图像变换为远近同大的过程中，对于时序上的多帧，应用基于尺度不变特征变换的图像对齐算法来将当前图像对齐到已处理的上一帧。

技术总结本发明公开了一种无需标定的废钢车辆姿态校正方法，包括以下步骤：(1)使用目标检测算法定位废钢车辆上下侧栏板的特征点，并采用线性Huber回归剔除误检的特征点；(2)建立近似透视模型，利用组合匹配算法寻找特征点和匹配的模板点；(3)基于受限二次规划的单应性估计算法求解逆透视变换矩阵，将车辆图像变换为远近同大，实现废钢车辆的姿态矫正。本发明基于从图像中检测的特征点，无需相机标定，具有适用场景广、稳健性强和校正精度高的优点。技术研发人员：刘东,雷嘉锐,黄盛,沈哲强受保护的技术使用者：浙江大学技术研发日：技术公布日：2024/7/29