图像拼接方法、装置及全景相机与流程

本技术属于图像处理，尤其涉及图像拼接方法、装置以及全景相机。

背景技术：

1、近年来，随着科学技术的不断发展，各种装置如雨后春笋般出现在人们的生活中，比如全景相机。全景相机一般是利用至少两个镜头同时拍摄，然后将得到的图像进行拼接，然而，目前图像的拼接精度并不高。

技术实现思路

1、本技术实施例提供了一种图像拼接方法、装置及全景相机，可以解决目前图像的拼接精度较低的问题。

2、第一方面，本技术实施例提供了一种图像拼接方法，所述图像拼接方法应用于全景相机，所述全景相机中设置有第一鱼眼镜头和第二鱼眼镜头，所述图像拼接方法包括：基于所述第一鱼眼镜头获取第一鱼眼图像，基于所述第二鱼眼镜头获取第二鱼眼图像；将所述第一鱼眼图像映射到单位球面上，以得到第一球面图像，所述第一球面图像为所述第一鱼眼图像对应的球面图像，以及，将所述第二鱼眼图像映射到所述单位球面上，以得到第二球面图像，所述第二球面图像为所述第二鱼眼图像对应的球面图像；将所述第一球面图像旋转指定角度以得到旋转后的第一球面图像，以及，将所述第二球面图像旋转所述指定角度以得到旋转后的第二球面图像；将所述旋转后的第一球面图像展开为第一erp图像，将所述旋转后的第二球面图像展开为第二erp图像，其中，所述第一erp图像为利用erp方式将所述旋转后的第一球面图像展开后所得到的图像，所述第二erp图像为利用所述erp方式将所述旋转后的第二球面图像展开后所得到的图像；将所述第一erp图像和所述第二erp图像进行拼接，以得到目标图像。

3、在第一方面的一种可能的实现方式中，所述第一鱼眼镜头和所述第二鱼眼镜头基于第一平面对称设置，所述第一鱼眼镜头和所述第二鱼眼镜头分别位于所述第一平面的两侧，在所述将所述第一球面图像旋转指定角度以得到旋转后的第一球面图像，以及，将所述第二球面图像旋转所述指定角度以得到旋转后的第二球面图像之前，包括：建立球面坐标系，所述球面坐标系为三维直角坐标系，所述球面坐标系的原点是光心连线与所述第一平面的交点，所述光心连线为所述第一鱼眼镜头的光心和所述第二鱼眼镜头的光心之间的连线，所述球面坐标系的第一轴垂直于所述第一平面，所述球面坐标系的第二轴在所述第一平面上且与第一轴相互垂直，所述第二轴所在方向为竖直向上，所述球面坐标系的第三轴垂直于第二平面，所述第二平面为所述第一轴和所述第二轴所在平面；对应地，所述将所述第一球面图像旋转指定角度以得到旋转后的第一球面图像，以及，将所述第二球面图像旋转所述指定角度以得到旋转后的第二球面图像，包括：将所述第一球面图像沿指定方向绕所述第三轴旋转90度以得到旋转后的第一球面图像，以及，将所述第二球面图像沿指定方向绕所述第三轴旋转90度以得到旋转后的第二球面图像。

4、在第一方面的一种可能的实现方式中，所述将所述第一球面图像沿指定方向绕所述第三轴旋转90度以得到旋转后的第一球面图像，以及，将所述第二球面图像沿指定方向绕所述第三轴旋转90度以得到旋转后的第二球面图像，包括：将所述第一球面图像绕所述第三轴沿逆时针方向旋转90度以得到旋转后的第一球面图像，以及，将所述第二球面图像绕所述第三轴沿逆时针方向旋转90度以得到旋转后的第二球面图像。

5、在第一方面的一种可能的实现方式中，所述将所述第一erp图像和所述第二erp图像进行拼接，以得到目标图像，包括：确定所述第一erp图像中的目标区域和所述第二erp图像中的目标区域，所述第一erp图像中的目标区域为：所述第一erp图像中与所述第二erp图像具有多个相同特征点的区域，所述第二erp图像中的目标区域为：所述第二erp图像中与所述第一erp图像具有多个相同特征点的区域；基于所述第一erp图像中的目标区域和所述第二erp图像中的目标区域，确定相同特征点之间的相对位移；基于所述相对位移将所述第一erp图像和所述第二erp图像进行拼接，以得到目标图像。

6、在第一方面的一种可能的实现方式中，所述基于所述相对位移将所述第一erp图像和所述第二erp图像进行拼接，以得到目标图像，包括：在二维经纬度坐标系中对所述相对位移进行正交分解，得到所述相对位移在经线延伸方向上的分量；基于所述相对位移在经线延伸方向上的分量，对所述第一erp图像中的目标区域和所述第二erp图像中的目标区域进行配准，以获取配准结果；根据所述配准结果将所述第一erp图像和所述第二erp图像进行拼接，以得到目标图像。

7、在第一方面的一种可能的实现方式中，所述目标图像为二维平面图像，在所述将所述第一erp图像和所述第二erp图像进行拼接，以得到目标图像之后，包括：将所述目标图像转换为第三球面图像；将所述第三球面图像沿反方向绕所述第三轴旋转90度，以得到旋转后的第三球面图像，其中，所述反方向为与所述指定方向相反的方向；将所述旋转后的第三球面图像展开为第三erp图像，其中，所述第三erp图像为利用所述erp方式将所述旋转后的第三球面图像展开后所得到的图像。

8、第二方面，本技术实施例提供了一种图像拼接装置，所述图像拼接装置应用于全景相机，所述全景相机中设置有第一鱼眼镜头和第二鱼眼镜头，所述图像拼接装置包括：第一获取单元，用于基于所述第一鱼眼镜头获取第一鱼眼图像，基于所述第二鱼眼镜头获取第二鱼眼图像；第二获取单元，用于将所述第一鱼眼图像映射到单位球面上，以得到第一球面图像，所述第一球面图像为所述第一鱼眼图像对应的球面图像，以及，将所述第二鱼眼图像映射到所述单位球面上，以得到第二球面图像，所述第二球面图像为所述第二鱼眼图像对应的球面图像；第三获取单元，用于将所述第一球面图像旋转指定角度以得到旋转后的第一球面图像，以及，将所述第二球面图像旋转所述指定角度以得到旋转后的第二球面图像；展开单元，用于将所述旋转后的第一球面图像展开为第一erp图像，将所述旋转后的第二球面图像展开为第二erp图像，其中，所述第一erp图像为利用erp方式将所述旋转后的第一球面图像展开后所得到的图像，所述第二erp图像为利用所述erp方式将所述旋转后的第二球面图像展开后所得到的图像；拼接单元，用于将所述第一erp图像和所述第二erp图像进行拼接，以得到目标图像。

9、在第二方面的一种可能的实现方式中，所述第一鱼眼镜头和所述第二鱼眼镜头基于第一平面对称设置，所述第一鱼眼镜头和所述第二鱼眼镜头分别位于所述第一平面的两侧，所述图像拼接装置包括坐标系建立单元，所述坐标系建立单元用于：在所述第三获取单元执行所述将所述第一球面图像旋转指定角度以得到旋转后的第一球面图像，以及，将所述第二球面图像旋转所述指定角度以得到旋转后的第二球面图像之前，建立球面坐标系，所述球面坐标系为三维直角坐标系，所述球面坐标系的原点是光心连线与所述第一平面的交点，所述光心连线为所述第一鱼眼镜头的光心和所述第二鱼眼镜头的光心之间的连线，所述球面坐标系的第一轴垂直于所述第一平面，所述球面坐标系的第二轴在所述第一平面上且与第一轴相互垂直，所述第二轴所在方向为竖直向上，所述球面坐标系的第三轴垂直于第二平面，所述第二平面为所述第一轴和所述第二轴所在平面；对应地，所述第三获取单元在执行所述将所述第一球面图像旋转指定角度以得到旋转后的第一球面图像，以及，将所述第二球面图像旋转所述指定角度以得到旋转后的第二球面图像时，用于：将所述第一球面图像沿指定方向绕所述第三轴旋转90度以得到旋转后的第一球面图像，以及，将所述第二球面图像沿指定方向绕所述第三轴旋转90度以得到旋转后的第二球面图像。

10、第三方面，本技术实施例提供了一种全景相机，包括第一鱼眼镜头、第二鱼眼镜头、存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述任一项所述的方法。

11、第四方面，本技术实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述的方法。

12、可以理解的是，上述第二方面的有益效果可以参见上述第一方面中的相关描述，在此不再赘述。

13、本技术实施例与现有技术相比存在的有益效果是：本技术实施例中的图像拼接方法应用于全景相机，由于能够将所述第一球面图像旋转指定角度以得到旋转后的第一球面图像，以及，将所述第二球面图像旋转所述指定角度以得到旋转后的第二球面图像；将所述旋转后的第一球面图像展开为第一erp图像，将所述旋转后的第二球面图像展开为第二erp图像，进而将所述第一erp图像和所述第二erp图像进行拼接，以得到目标图像，因此，能够实现更高的拼接精度。具体理由如下：相较于现有技术（现有技术为：不将球面图像进行旋转，直接将球面图像利用erp方式进行展开，进而完成拼接），本技术实施例能够获取到更多数量的用于完成拼接的图像像素，从而实现更高的拼接精度。