基于环视鱼眼摄像头的有监督去雨图像对采集方法与流程

本申请涉及图像采集领域，具体涉及一种基于环视鱼眼摄像头的有监督去雨图像对采集方法、装置、系统、设备及计算机可读存储介质。

背景技术：

1、目前以数字图像处理为基础的计算机视觉在生产生活中都有非常重要的应用，例如远程监控、智慧交通和智能驾驶等。但恶劣天气易导致采集到的图像质量退化，并且会对后续的计算机视觉任务造成干扰，例如目标检测、目标跟踪和图像分割等。智能驾驶汽车上的传感器众多，其中摄像头更是不可或缺，视觉感知可以说是智能驾驶的“眼睛”。但在恶劣天气的影响下，雨为最常见的动态天气，雨天拍摄的图像或视频易受到雨的散射干扰，使得成像模糊和能见度下降，无法为感知任务提供清晰有效的信息，极大地限制了后期视觉任务处理的性能。图像去雨技术应运而生，去雨方法大多是基于配对合成数据的监督方法，配对数据带来的强约束可以帮助神经网络快速收敛，因此这些监督去雨方法在仿真实验中获得了显著的效果。然而，当前采用监督去雨方法所使用的训练数据集中数据是通过合成的，但合成雨纹的形状和方向与真实雨图差异很大。

技术实现思路

1、本申请提供一种基于环视鱼眼摄像头的有监督去雨图像对采集方法、装置、系统、设备及计算机可读存储介质，可以解决现有技术中存在的采用监督去雨方法所使用的训练数据集中雨图是通过合成的，但合成雨纹的形状和方向与真实雨图差异很大的技术问题。

2、第一方面，本申请实施例提供一种基于环视鱼眼摄像头的有监督去雨图像对采集方法，所述基于环视鱼眼摄像头的有监督去雨图像对采集方法包括：

3、接收采集指令，控制驱动装置按照第一预置角度转动，以使喷水装置对第一摄像头进行喷水；

4、控制驱动装置按照第二预置角度转动，以使第一摄像头的方向朝外采集雨滴图像；

5、控制驱动装置按照第三预置角度转动，以使第二摄像头的方向朝外采集无污染图像。

6、结合第一方面，在一种实施方式中，采集的所述雨滴图像和所述无污染图像为同一位置的图像，所述图像包括不同位置的多组图像，且所述多组图像用于模型训练，所述驱动装置的按照第三预置角度转动速度大于或等于车辆的移动速度，其中，所述第一摄像头、所述第二摄像头、所述驱动装置和所述喷水装置位于车辆上。

7、第二方面，本申请实施例提供了一种基于环视鱼眼摄像头的有监督去雨图像对采集装置，包括：驱动装置、喷水装置、控制器、第一摄像头和第二摄像头；

8、所述驱动装置上设有第一摄像头和第二摄像头；

9、所述喷水装置连接控制器；

10、所述控制器控制所述喷水装置向所述第一摄像头喷水，以及控制驱动装置转动所述第一摄像头采集雨滴图像和所述第二摄像头采集无污染图像。

11、结合第二方面，在一种实施方式中，所述驱动装置包括电机和齿轮转动装置，其中，所述齿轮转动装置包括第一齿轮装置和第二齿轮装置。

12、结合第二方面，在一种实施方式中，所述驱动装置包括电机、两个齿轮以及两个所述齿轮之间的摄像头安装座，所述安装座上设置所述第一摄像头和第二摄像头。

13、结合第二方面，在一种实施方式中，所述喷水装置位于所述第一摄像头和第二摄像头下方向所述第一摄像头喷出水柱，且所述喷水装置的水柱不超过所述第一摄像头和第二摄像头的水平高度。

14、结合第二方面，在一种实施方式中，所述第一摄像头和所述第二摄像头背面固定在一起互成180度，所述第一摄像头和所述第二摄像头均包括两颗fov190度的鱼眼摄像头。

15、结合第二方面，在一种实施方式中，采集的所述雨滴图像和所述无污染图像为同一位置的图像，所述图像为包括不同位置的多组图像，且所述多组图像用于模型训练。

16、第三方面，本申请实施例提供了一种基于环视鱼眼摄像头的有监督去雨图像对采集系统，所述基于环视鱼眼摄像头的有监督去雨图像对采集系统包括：

17、接收及采集模块，用于接收采集指令，控制驱动装置按照第一预置角度转动，以使喷水装置对第一摄像头进行喷水；

18、第一控制及采集模块，用于控制驱动装置按照第二预置角度转动，以使第一摄像头的方向朝外采集雨滴图像；

19、第二控制及采集模块，用于控制驱动装置按照第三预置角度转动，以使第二摄像头的方向朝外采集无污染图像。

20、第四方面，本申请实施例提供了一种基于环视鱼眼摄像头的有监督去雨图像对采集设备，其特征在于，所述基于环视鱼眼摄像头的有监督去雨图像对采集设备包括处理器、存储器、以及存储在所述存储器上并可被所述处理器执行的基于环视鱼眼摄像头的有监督去雨图像对采集程序，其中所述基于环视鱼眼摄像头的有监督去雨图像对采集程序被所述处理器执行时，实现如上述的基于环视鱼眼摄像头的有监督去雨图像对采集方法的步骤。

21、第五方面，本申请实施例提供了一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有基于环视鱼眼摄像头的有监督去雨图像对采集程序，其中所述基于环视鱼眼摄像头的有监督去雨图像对采集程序被处理器执行时，实现如上述的基于环视鱼眼摄像头的有监督去雨图像对采集方法的步骤。

22、本申请实施例提供的技术方案带来的有益效果包括：

23、通过接收采集指令，控制驱动装置按照第一预置角度转动，以使喷水装置对第一摄像头进行喷水；控制驱动装置按照第二预置角度转动，以使第一摄像头的方向朝外采集雨滴图像；控制驱动装置按照第三预置角度转动，以使第二摄像头的方向朝外采集无污染图像，解决了相关技术中采用监督去雨方法所使用的训练数据集中雨图是通过合成的，但合成雨纹的形状和方向与真实雨图差异很大的技术问题，能够实现模拟真实下雨场景，不仅提高了采集效率，又能满足水滴散射对镜头成像的干扰。

技术特征：

1.一种基于环视鱼眼摄像头的有监督去雨图像对采集方法，其特征在于，所述基于环视鱼眼摄像头的有监督去雨图像对采集方法包括：

2.如权利要求1所述的基于环视鱼眼摄像头的有监督去雨图像对采集方法，其特征在于，采集的所述雨滴图像和所述无污染图像为同一位置的图像，所述图像包括不同位置的多组图像，且所述多组图像用于模型训练，所述驱动装置按照第三预置角度转动的速度大于或等于车辆的移动速度，其中，所述第一摄像头、所述第二摄像头、所述驱动装置和所述喷水装置位于车辆上。

3.一种基于环视鱼眼摄像头的有监督去雨图像对采集装置，其特征在于，包括：驱动装置、喷水装置、控制器、第一摄像头和第二摄像头；

4.如权利要求3所述的基于环视鱼眼摄像头的有监督去雨图像对采集装置，其特征在于，所述驱动装置包括电机、两个齿轮以及两个所述齿轮之间的摄像头安装座，所述安装座上设置所述第一摄像头和第二摄像头。

5.如权利要求3所述的基于环视鱼眼摄像头的有监督去雨图像对采集装置，其特征在于，所述喷水装置位于所述第一摄像头和第二摄像头下方向所述第一摄像头喷出水柱，且所述喷水装置的水柱不超过所述第一摄像头和第二摄像头的水平高度。

6.如权利要求3所述的基于环视鱼眼摄像头的有监督去雨图像对采集装置，其特征在于，所述第一摄像头和所述第二摄像头背面固定在一起互成180度，所述第一摄像头和所述第二摄像头均包括两颗fov190度的鱼眼摄像头。

7.如权利要求3所述的基于环视鱼眼摄像头的有监督去雨图像对采集装置，其特征在于，采集的所述雨滴图像和所述无污染图像为同一位置的图像，所述图像为包括不同位置的多组图像，且所述多组图像用于模型训练。

8.一种基于环视鱼眼摄像头的有监督去雨图像对采集系统，其特征在于，所述基于环视鱼眼摄像头的有监督去雨图像对采集系统包括：

9.一种基于环视鱼眼摄像头的有监督去雨图像对采集设备，其特征在于，所述基于环视鱼眼摄像头的有监督去雨图像对采集设备包括处理器、存储器、以及存储在所述存储器上并可被所述处理器执行的基于环视鱼眼摄像头的有监督去雨图像对采集程序，其中所述基于环视鱼眼摄像头的有监督去雨图像对采集程序被所述处理器执行时，实现如权利要求1-2所述的基于环视鱼眼摄像头的有监督去雨图像对采集方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有基于环视鱼眼摄像头的有监督去雨图像对采集程序，其中所述基于环视鱼眼摄像头的有监督去雨图像对采集程序被处理器执行时，实现如权利要求1-2所述的基于环视鱼眼摄像头的有监督去雨图像对采集方法的步骤。

技术总结一种基于环视鱼眼摄像头的有监督去雨图像对采集方法、装置、系统、设备及计算机可读存储介质，包括：通过接收采集指令，控制驱动装置按照第一预置角度转动，以使喷水装置对第一摄像头进行喷水；控制驱动装置按照第二预置角度转动，以使第一摄像头的方向朝外采集雨滴图像；控制驱动装置按照第三预置角度转动，以使第二摄像头的方向朝外采集无污染图像，解决了相关技术中采用监督去雨方法所使用的训练数据集中雨图是通过合成的，但合成雨纹的形状和方向与真实雨图差异很大的技术问题，能够实现模拟真实下雨场景，不仅提高了采集效率，又能满足水滴散射对镜头成像的干扰。技术研发人员：董倩妍,刘程,占涛,刘会凯受保护的技术使用者：岚图汽车科技有限公司技术研发日：技术公布日：2024/7/29