基于深度学习的手机图像畸变校正方法、装置

本申请涉及机器视觉的，尤其涉及基于深度学习的手机图像畸变校正方法、装置。

背景技术：

1、通常的视觉测量任务大多利用高昂的测绘级装备，比如倾斜摄影组合相机等，而近年来热门的无人机平台，尽管数据采集较为灵活，但仍对作业人员的专业性要求较高，人力的学习成本较高，这导致经济效益低下。随着智能手机计算能力的提高，且得益于图像信号处理器(i sp)芯片的模块化设计，利用手机影像进行视觉测量具备灵活性好、成本低的优势，已得到了测绘摄影测量和计算机视觉领域的广泛关注，是有望实现大众化、智能化、实时化的视觉测量任务的重要方向。

2、手机视觉测量应用的首要步骤是对图像进行校正，其中关键是调整原图像像素到更符合针孔成像模型的位置，从而使低成本消费级相机具备一定的视觉测量能力。传统的图像校正方法是采用摄影测量技术，包括预先标定提前估计相机的内参数包括畸变，但这要求在图像采集时相机配置参数(尤其是焦距)保持固定，更适用于测绘地理信息行业中的高成本相机，而对于大众消费的智能手机视觉测量则在灵活应用方面存在较大限制。

3、另一种方法是利用计算机视觉的运动恢复结构进行自标定光束平差，估计出图像的图像畸变参数后再进行校正，但这是线下处理难以满足手机图像处理的实时需求。上述图像校正方法在面向手机视觉测量应用中存在诸多局限性，比如在相机沿直线移动、场景平坦时，往往需要添加足够数量的地面控制点，这会提高图像校正作业成本，与面向大众化手机视觉测量的目标相矛盾。另外，计算机视觉领域的运动恢复结构方法会存在径向畸变估计不足，导致三维场景偏差较大的问题，这些因素都导致畸变校正的精确度依然有提升空间。

技术实现思路

1、有鉴于此，本申请提供基于深度学习的手机图像畸变校正方法、装置，能够提高畸变校正的精准度。

2、第一方面，本申请提供一种基于深度学习的手机图像畸变校正方法，包括：

3、构建深度学习模型，所述深度学习模型配置有结构恢复器、语义嵌入器和纹理渲染器；

4、在训练所述深度学习模型的过程中，将由所述语义嵌入器所生成全局语义特征和由结构恢复器所生成的全局结构特征进行融合，以生成全局混合特征；

5、在训练所述深度学习模型的过程中，将由切割训练样本所形成区块的局部特征与所述全局混合特征融合以确定有序的畸变分布信息，获得训练好的深度学习模型；

6、基于所述训练好的深度学习模型，确定待校正的手机图像的畸变参数和/或对待校正的手机图像进行畸变校正。

7、可选地，基于多模态注意力融合机制，将语义学习器生成的全局语义特征和结构学习器生成的全局结构特征进行融合。

8、可选地，基于多模态注意力融合机制，将语义学习器生成的全局语义特征和结构学习器生成的全局结构特征进行融合，具体为：

9、引入多模态注意力融合模块，将注意力图m于全局语义特征先进行串联，完成后与全局结构特征进行逐元素相乘，得到全局混合特征。

10、可选地，由所述语义嵌入器生成全局语义特征，具体为：

11、利用编码器网络，以畸变图像为输入，使用激活函数，提取全局语义特征。

12、可选地，由结构恢复器生成的全局结构特征，具体为：

13、将canny边缘映射随机离散成包含n个点的二维canny点映射，通过二维t-net网络，输出全局结构特征。

14、可选地，将由切割训练样本所形成区块的局部特征与所述全局混合特征融合，以确定有序的畸变分布信息，包括：

15、基于分割模型，确定相机参数化模型；

16、确定由所述相机参数化模型对应的畸变图像的局部畸变特征；

17、将局部畸变特征与全局语义特征进行融合形成混合特征向量，并通过处理混合特征向量确定所述畸变图像的有序畸变分布信息；

18、基于所述有序畸变分布信息，确定畸变参数。

19、可选地，确定畸变图像的局部畸变特征所采用的畸变感知层为，尺寸逐级增大的多个卷积过滤器。

20、第二方面，本申请提供一种基于深度学习的手机图像畸变校正装置，包括：

21、构建模块，用以构建深度学习模型，所述深度学习模型配置有结构恢复器、语义嵌入器和纹理渲染器；

22、第一融合模块，用以在训练所述深度学习模型的过程中，将由所述语义嵌入器所生成全局语义特征和由结构恢复器所生成的全局结构特征进行融合，以生成全局混合特征；

23、第二融合模块，用以在训练所述深度学习模型的过程中，将由切割训练样本所形成区块的局部特征与所述全局混合特征融合以确定有序的畸变分布信息，获得训练好的深度学习模型；

24、校正模块，用以基于所述训练好的深度学习模型，确定待校正的手机图像的畸变参数和/或对待校正的手机图像进行畸变校正。

25、第三方面，本申请提供一种计算机可读存储介质，包括程序，当所述程序在计算机上运行时，使得计算机执行上述的方法。

26、第四方面，本申请提供一种执行设备，包括处理器和存储器，所述处理器与所述存储器耦合；

27、所述存储器，用于存储程序；

28、所述处理器，用于执行所述存储器中的程序，使得所述执行设备执行如上述的方法。

29、本申请所公开方法中，通过特征学习获取更加精确的畸变参数，并借助分层校正的策略获得更清晰的畸变校正图像。这一方法不仅提高了畸变校正的准确性和清晰度，还能够在实时处理手机图像数据时保持高效性能。

技术特征：

1.一种基于深度学习的手机图像畸变校正方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，基于多模态注意力融合机制，将语义学习器生成的全局语义特征和结构学习器生成的全局结构特征进行融合。

3.根据权利要求2所述的方法，其特征在于，基于多模态注意力融合机制，将语义学习器生成的全局语义特征和结构学习器生成的全局结构特征进行融合，具体为：

4.根据权利要求1所述的方法，其特征在于，由所述语义嵌入器生成全局语义特征，具体为：

5.根据权利要求1所述的方法，其特征在于，由结构恢复器生成的全局结构特征，具体为：

6.根据权利要求1所述的方法，其特征在于，将由切割训练样本所形成区块的局部特征与所述全局混合特征融合，以确定有序的畸变分布信息，包括：

7.根据权利要求6所述的方法，其特征在于，确定畸变图像的局部畸变特征所采用的畸变感知层为，尺寸逐级增大的多个卷积过滤器。

8.一种基于深度学习的手机图像畸变校正装置，其特征在于，包括：

9.一种计算机可读存储介质，其特征在于，包括程序，当所述程序在计算机上运行时，使得计算机执行如权利要求1至7中任一项所述的方法。

10.一种执行设备，其特征在于，包括处理器和存储器，所述处理器与所述存储器耦合；

技术总结本申请公开了基于深度学习的手机图像畸变校正方法、装置。本方法包括：构建深度学习模型，深度学习模型配置有结构恢复器、语义嵌入器和纹理渲染器；在训练深度学习模型的过程中，将由语义嵌入器所生成全局语义特征和由结构恢复器所生成的全局结构特征进行融合，以生成全局混合特征，并将由切割训练样本所形成区块的局部特征与全局混合特征融合以确定有序的畸变分布信息，获得训练好的深度学习模型；确定待校正的手机图像的畸变参数和/或畸变校正。本方法中，通过特征学习获取更加精确的畸变参数，并借助分层校正的策略获得更清晰的畸变校正图像。本方法不仅提高畸变校正的准确性和清晰度，还能够在实时处理手机图像数据时保持高效性能。技术研发人员：胡琦,肖腾,刘伟,叶志伟受保护的技术使用者：湖北工业大学技术研发日：技术公布日：2024/7/29