长短焦相机特征融合方法及系统、可读存储介质与流程

本技术涉及图像处理，具体而言，涉及一种长短焦相机特征融合方法及系统、可读存储介质。

背景技术：

1、目前，车辆中通常配置有多个摄像头。其中，包括有长焦距摄像头和短焦距摄像头，长焦距摄像头的焦距较长，视角较小，具有较为长远的取景范围；短焦距摄像头的焦距较短，视角较大，具有较为宽广的取景范围。

2、在现有技术中，通常是将长焦距摄像头结合短焦距摄像头共同运用到车辆上采集图像，由于长焦距摄像头的视场角与短焦距摄像头的视场角的重叠取景区域较小，一旦长焦距摄像头的视场角与短焦距摄像头的视场角存在偏差，长焦距摄像头的取景范围和短焦距摄像头的取景范围就会形成较大的错位，造成图像信息的局部丢失，对重叠取景区域的感知结果产生不利影响。

技术实现思路

1、本技术旨在解决或改善上述技术问题。

2、为此，本技术的第一目的在于提供一种长短焦相机特征融合方法。

3、本技术的第二目的在于提供一种长短焦相机特征融合系统。

4、本技术的第三目的在于提供一种长短焦相机特征融合系统。

5、本技术的第四目的在于提供一种可读存储介质。

6、为实现本技术的第一目的，本技术第一方面的技术方案提供了一种长短焦相机特征融合方法，包括：获取长短焦相机的长焦图像数据和短焦图像数据，并对长焦图像数据和短焦图像数据进行拼接，得到拼接图像数据；将拼接图像数据输入到特征提取网络中，进行高维特征提取，得到高维图像特征数据；通过时间注意力模块和空间注意力模块对高维图像特征数据进行特征提取和特征融合，得到融合结果。

7、根据本技术提供的长短焦相机特征融合方法，首先获取长短焦相机的长焦图像数据和短焦图像数据，并对长焦图像数据和短焦图像数据进行拼接，得到拼接图像数据。然后将拼接图像数据输入到特征提取网络中，进行高维特征提取，得到高维图像特征数据。最后通过时间注意力模块和空间注意力模块对高维图像特征数据进行特征提取和特征融合，得到融合结果。通过时间注意力机制完成长短焦相机时间异步补偿，通过空间注意力机制完成长短焦空间重叠区域检测识别问题，从而能够解决长焦距摄像头的视场角与短焦距摄像头的视场角存在偏差，造成图像信息的局部丢失的技术问题，实现近距离目标和远距离目标的融合检测，输出环境中准确稳定的目标状态和感知结果。

8、另外，本技术提供的技术方案还可以具有如下附加技术特征：

9、在一些技术方案中，可选地，将拼接图像数据输入到特征提取网络中，进行高维特征提取，得到高维图像特征数据，包括：将拼接图像数据输入到特征提取网络中；通过图像特征提取模块，对拼接图像数据进行特征压缩，提取高维图像特征，得到高维图像特征数据。

10、在该技术方案中，将拼接图像数据输入到特征提取网络中，进行高维特征提取，得到高维图像特征数据，具体为首先将拼接图像数据输入到特征提取网络中。然后通过图像特征提取模块，对拼接图像数据进行特征压缩，提取高维图像特征，得到高维图像特征数据。可以理解，采用图像特征提取模块，对原始图像进行特征压缩，提取高维图像特征，高维图像特征能够表征图像的本征特征，消除背景噪声。

11、在一些技术方案中，可选地，通过时间注意力模块和空间注意力模块对高维图像特征数据进行特征提取和特征融合，得到融合结果，包括：通过时间注意力模块对高维图像特征数据进行特征提取，得到时间特征数据；通过空间注意力模块对高维图像特征数据进行特征提取，得到空间特征数据。

12、在该技术方案中，通过时间注意力模块和空间注意力模块对高维图像特征数据进行特征提取和特征融合，得到融合结果，具体为首先通过时间注意力模块对高维图像特征数据进行特征提取，得到时间特征数据。然后通过空间注意力模块对高维图像特征数据进行特征提取，得到空间特征数据。通过时间注意力机制，对于时间戳较靠后的图像检测的目标，基于模块学习时间和目标状态导致的目标位移，解决长短焦特征匹配差异问题，通过空间注意力模块能够解决长短焦重叠区域预测问题。

13、在一些技术方案中，可选地，通过时间注意力模块和空间注意力模块对高维图像特征数据进行特征提取和特征融合，得到融合结果，还包括：通过特征融合模块对时间特征数据和空间特征数据进行特征融合，得到融合结果。

14、在该技术方案中，通过时间注意力模块和空间注意力模块对高维图像特征数据进行特征提取和特征融合，得到融合结果，还包括通过特征融合模块对时间特征数据和空间特征数据进行特征融合，得到融合结果。具体地，基于时间注意力模块和空间注意力模块后，增加匹配上的长短焦相机特征融合模块，保留各自感知范围内的独立特征信息和融合后的特征信息。

15、在一些技术方案中，可选地，通过空间注意力模块对高维图像特征数据进行特征提取，得到空间特征数据，包括：通过空间注意力模块学习短焦相机中关键点位置，在关键点中筛选与长焦相机感知范围存在重叠的区域内目标；基于短焦感兴趣目标生成长焦相机中的关键位置，在关键位置生成长焦感兴趣区域；通过长焦感兴趣区域中关键特征提取，检测长焦相机中关键位置特征。

16、在该技术方案中，通过空间注意力模块对高维图像特征数据进行特征提取，得到空间特征数据具体为首先通过空间注意力模块学习短焦相机中关键点位置，在关键点中筛选与长焦相机感知范围存在重叠的区域内目标。然后基于短焦感兴趣目标生成长焦相机中的关键位置，在关键位置生成长焦感兴趣区域。最后通过长焦感兴趣区域中关键特征提取，检测长焦相机中关键位置特征，从而解决长短焦重叠区域预测问题。

17、在一些技术方案中，可选地，长短焦相机特征融合方法还包括：通过多个任务头对融合结果进行处理。

18、在该技术方案中，长短焦相机特征融合方法还包括通过多个任务头对融合结果进行处理，以实现目标检测，语义分割，实例分割等任务。

19、在一些技术方案中，可选地，任务头包括以下之一：目标检测任务头、语义分割任务头、实例分割任务头。

20、在该技术方案中，任务头包括目标检测任务头、语义分割任务头、实例分割任务头。

21、为实现本技术的第二目的，本技术第二方面的技术方案提供了一种长短焦相机特征融合系统，包括：获取模块，用于获取长短焦相机的长焦图像数据和短焦图像数据，并对长焦图像数据和短焦图像数据进行拼接，得到拼接图像数据；特征提取模块，用于将拼接图像数据输入到特征提取网络中，进行高维特征提取，得到高维图像特征数据；特征融合模块，用于通过时间注意力模块和空间注意力模块对高维图像特征数据进行特征提取和特征融合，得到融合结果。

22、根据本技术提供的长短焦相机特征融合系统，包括获取模块、特征提取模块和特征融合模块。其中，获取模块用于获取长短焦相机的长焦图像数据和短焦图像数据，并对长焦图像数据和短焦图像数据进行拼接，得到拼接图像数据。特征提取模块用于将拼接图像数据输入到特征提取网络中，进行高维特征提取，得到高维图像特征数据。特征融合模块用于通过时间注意力模块和空间注意力模块对高维图像特征数据进行特征提取和特征融合，得到融合结果。通过时间注意力机制完成长短焦相机时间异步补偿，通过空间注意力机制完成长短焦空间重叠区域检测识别问题，从而能够解决长焦距摄像头的视场角与短焦距摄像头的视场角存在偏差，造成图像信息的局部丢失的技术问题，实现近距离目标和远距离目标的融合检测，输出环境中准确稳定的目标状态和感知结果。

23、实现本技术的第三目的，本技术第三方面的技术方案提供了一种长短焦相机特征融合系统，包括：存储器和处理器，其中，存储器上存储有可在处理器上运行的程序或指令，处理器执行程序或指令时实现第一方面技术方案中任一项的长短焦相机特征融合方法，故而具有上述第一方面任一技术方案的技术效果，在此不再赘述。

24、为实现本技术的第四目的，本技术第四方面的技术方案提供了一种可读存储介质，其上存储有程序或指令，程序或指令被处理器执行时实现第一方面技术方案中任一项的长短焦相机特征融合方法的步骤，故而具有上述第一方面任一技术方案的技术效果，在此不再赘述。

25、本技术的附加方面和优点将在下面的描述部分中变得明显，或通过本技术的实践了解到。