用于新能源汽车的机器视觉系统及方法

本发明涉及机器视觉领域，且更为具体地，涉及一种用于新能源汽车的机器视觉系统及方法。

背景技术：

1、新能源汽车由于具有环境效益和更低的运营成本而得到快速发展和迅速普及。与传统内燃机汽车相比，新能源汽车具有更低排放的优势，有助于减少空气污染和温室气体的排放。随着新能源汽车的普及，对提高其安全性、可靠性和驾驶体验的需求也在不断增长。

2、新能源汽车的车辆周围环境感知技术对于新能源汽车的安全性和驾驶体验至关重要。通过感知车辆的周围环境，新能源汽车可以做出更为明智的决策，例如，通过感知和监测车辆周围环境中的其他车辆、行人和物体，以避免碰撞。

3、然而，传统的车辆周围环境感知方案通常依靠激光雷达等传感器进行目标对象的检测，激光雷达传感器的成本昂贵，这会增加汽车的整体成本。并且，激光雷达传感器的探测范围有限，这可能会限制它们在某些情况下的有效性。此外，激光雷达传感器只能提供目标对象的位置和速度等基本信息，而无法提供有关目标对象类型的语义信息。

4、因此，期望一种用于新能源汽车的机器视觉系统。

技术实现思路

1、为了解决上述技术问题，提出了本发明。本发明的实施例提供了一种用于新能源汽车的机器视觉系统及方法，其通过部署于新能源汽车的多个摄像头实时采集多个车辆视角环境图像，并在后端引入基于人工智能的图像处理和分析算法来进行这些车辆视角环境图像的协同和相关性分析，以此来识别车辆周围环境的其他车辆、行人和物体等目标对象，并根据环境中不同目标对象的重要性和相关性关系来更为准确地创建车辆周围环境的详细地图。这样，能够克服传统感知方案存在的传感器价格高昂、探测范围有限以及无法提供有关目标对象类型的语义信息的问题，从而基于机器视觉系统来提高新能源车辆的周围环境感知能力。

2、根据本发明的一个方面，提供了一种用于新能源汽车的机器视觉系统，其包括：

3、车辆视角环境图像采集模块，用于获取由部署于新能源汽车的多个摄像头采集的多个车辆视角环境图像；

4、目标对象检测模块，用于将所述多个车辆视角环境图像通过基于yolo网络的多目标对象检测器以得到多个目标对象感兴趣区域图像；

5、目标感兴趣区域划分模块，用于将所述多个目标对象感兴趣区域图像中的各个目标对象感兴趣区域图像按照目标对象所在区域进行划分以得到多个目标对象感兴趣局部区域图像的序列；

6、目标感兴趣区域全局语义特征提取模块，用于对所述多个目标对象感兴趣局部区域图像的序列进行特征提取和感兴趣区域全局语义融合表征以得到多个目标对象感兴趣区域全局语义特征向量；

7、车辆多方位视角环境语义融合表征模块，用于将所述多个目标对象感兴趣区域全局语义特征向量通过基于信息传递网络的目标对象语义特征信息传递强化模块以得到多方位车辆环境语义融合表征特征向量作为多方位车辆环境语义融合表征特征；

8、周围环境地图生成模块，用于基于所述多方位车辆环境语义融合表征特征，生成新能源汽车的周围环境地图。

9、根据本发明的另一个方面，提供了一种用于新能源汽车的机器视觉方法，其包括：

10、获取由部署于新能源汽车的多个摄像头采集的多个车辆视角环境图像；

11、将所述多个车辆视角环境图像通过基于yolo网络的多目标对象检测器以得到多个目标对象感兴趣区域图像；

12、将所述多个目标对象感兴趣区域图像中的各个目标对象感兴趣区域图像按照目标对象所在区域进行划分以得到多个目标对象感兴趣局部区域图像的序列；

13、对所述多个目标对象感兴趣局部区域图像的序列进行特征提取和感兴趣区域全局语义融合表征以得到多个目标对象感兴趣区域全局语义特征向量；

14、将所述多个目标对象感兴趣区域全局语义特征向量通过基于信息传递网络的目标对象语义特征信息传递强化模块以得到多方位车辆环境语义融合表征特征向量作为多方位车辆环境语义融合表征特征；

15、基于所述多方位车辆环境语义融合表征特征，生成新能源汽车的周围环境地图。

16、与现有技术相比，本发明提供的一种用于新能源汽车的机器视觉系统及方法，其通过部署于新能源汽车的多个摄像头实时采集多个车辆视角环境图像，并在后端引入基于人工智能的图像处理和分析算法来进行这些车辆视角环境图像的协同和相关性分析，以此来识别车辆周围环境的其他车辆、行人和物体等目标对象，并根据环境中不同目标对象的重要性和相关性关系来更为准确地创建车辆周围环境的详细地图。这样，能够克服传统感知方案存在的传感器价格高昂、探测范围有限以及无法提供有关目标对象类型的语义信息的问题，从而基于机器视觉系统来提高新能源车辆的周围环境感知能力。

技术特征：

1.一种用于新能源汽车的机器视觉系统，其特征在于，包括：

2.根据权利要求1所述的用于新能源汽车的机器视觉系统，其特征在于，所述目标感兴趣区域全局语义特征提取模块，包括：

3.根据权利要求2所述的用于新能源汽车的机器视觉系统，其特征在于，所述基于卷积神经网络模型的目标对象特征提取器采用alexnet网络作为特征提取器。

4.根据权利要求3所述的用于新能源汽车的机器视觉系统，其特征在于，所述感兴趣区域全局语义关联单元，用于：将每个所述目标对象感兴趣局部区域特征向量的序列通过所述基于自相关显著化网络的感兴趣区域多目标特征融合器以如下自相关显著化融合公式进行处理以得到所述目标对象感兴趣区域全局语义特征向量；

5.根据权利要求4所述的用于新能源汽车的机器视觉系统，其特征在于，所述车辆多方位视角环境语义融合表征模块，用于：将所述多个目标对象感兴趣区域全局语义特征向量通过所述基于信息传递网络的目标对象语义特征信息传递强化模块以如下信息传递强化公式进行处理以得到所述多方位车辆环境语义融合表征特征向量；

6.根据权利要求5所述的用于新能源汽车的机器视觉系统，其特征在于，所述周围环境地图生成模块，用于：将所述多方位车辆环境语义融合表征特征向量通过基于aigc的车辆周围环境地图生成器以得到生成结果，所述生成结果为新能源汽车的周围环境地图。

7.根据权利要求6所述的用于新能源汽车的机器视觉系统，其特征在于，还包括用于对所述基于卷积神经网络模型的目标对象特征提取器、所述基于自相关显著化网络的感兴趣区域多目标特征融合器、所述基于信息传递网络的目标对象语义特征信息传递强化模块和所述基于aigc的车辆周围环境地图生成器进行训练的训练模块。

8.根据权利要求7所述的用于新能源汽车的机器视觉系统，其特征在于，所述训练模块，包括：

9.一种用于新能源汽车的机器视觉方法，其特征在于，包括：

技术总结本发明公开了一种用于新能源汽车的机器视觉系统及方法，其通过部署于新能源汽车的多个摄像头实时采集多个车辆视角环境图像，并在后端引入基于人工智能的图像处理和分析算法来进行这些车辆视角环境图像的协同和相关性分析，以此来识别车辆周围环境的其他车辆、行人和物体等目标对象，并根据环境中不同目标对象的重要性和相关性关系来更为准确地创建车辆周围环境的详细地图。这样，能够克服传统感知方案存在的传感器价格高昂、探测范围有限以及无法提供有关目标对象类型的语义信息的问题，从而基于机器视觉系统来提高新能源车辆的周围环境感知能力。技术研发人员：余建明,蒋愚劼,华山受保护的技术使用者：江苏电子信息职业学院技术研发日：技术公布日：2024/8/20