基于光照参考的双目相机视差计算方法、系统及电子设备与流程

本技术涉及双目视觉的，具体而言，涉及基于光照参考的双目相机视差计算方法、基于光照参考的双目相机视差计算系统及电子设备。

背景技术：

1、在现代城市的发展中，智慧城市逐渐成为城市建设的重要方向。智慧城市可借助云边端架构整合多种先进技术，实现城市管理服务的智能化和高效化。在智慧城市的框架中，城市信息的采集可借助智慧路灯系统搭建，智慧路灯不仅可承担照明功能，还可融合多种传感器和通信设备，成为智慧城市的关键节点。通过在智慧路灯上加装双目相机不仅可以实时采集视野区域的图像数据，还可以获取视野区域内各个目标的深度信息，进而得到各个目标的三维信息。

2、光照是影响图像成像的主要因素，在光照条件不佳时(如光照不足、光照不均、光照太强)，双目相机获取到的图像像素对比度偏低，不仅成像难以分辨，而且在进行立体匹配计算时，也会因为像素差异值过小而降低匹配准确率，进而影响视差计算的准确性。因此，需要对光照不佳时的立体匹配方法进行改进，例如公开号为cn112150519a的中国发明专利申请《一种对光照不敏感的局部立体匹配方法》，以保证能够获取到准确的视差图，进而提高智慧城市构建的准确性。

3、而现有技术中，双目相机在光照不佳时的立体匹配方法通常较为复杂，且并没有与光照正常时的图像/视差图真实值存在关联，只是将其作为真值进行试验验证，导致需要反复调整算法，延长了开发周期。

技术实现思路

1、本技术的目的在于：如何以光照正常时的图像/视差值作为参考，以降低立体匹配方法的复杂性，并提高视差计算的准确性。

2、本技术第一方面的技术方案是：提供了一种基于光照参考的双目相机视差计算方法，该方法包括：步骤1：获取第一光照条件下双目相机采集到的第一左图像和第一右图像，并计算相应的第一视差图；步骤2：基于第一视差图，对第一左图像中的静态目标区域进行标注，并提取静态目标区域在第一左图像中对应区域图像的光照参考特征；步骤3：基于光照参考特征，对第二光照条件下双目相机采集到的第二左图像和第二右图像进行光照校正；步骤4：基于校正后的第二左图像和校正后的第二右图像，确定第二视差图，其中，第二光照条件为弱光照条件和/或强光照条件。

3、上述任一项技术方案中，进一步地，基于第一视差图，对第一左图像中的静态目标区域进行标注，具体包括：步骤21：对第一视差图进行聚类，确定聚类区域；步骤22：当判定连续多帧的第一视差图中任一聚类区域的像素坐标的变化小于或等于静态阈值时，将聚类区域标记为静态视差区域；步骤23：基于静态视差区域的像素坐标，在第一左图像中进行标注，将标注的区域记作静态目标区域。

4、上述任一项技术方案中，进一步地，步骤3中，具体包括：步骤31：基于静态目标区域，对第二左图像相应位置处的图像进行光照特征提取，得到当前光照特征；步骤32：基于光照参考特征、当前光照特征，计算第二光照条件下、各个静态目标区域对应的区域增量指标；步骤33：计算区域增量指标的均值，并利用均值对第二左图像和第二右图像进行光照校正。

5、上述任一项技术方案中，进一步地，步骤4中，具体包括：

6、步骤41：基于校正后的第二左图像和校正后的第二右图像，确定边缘图像；

7、步骤42：基于边缘图像、校正后的第二左图像和校正后的第二右图像，构建ad-census代价值；

8、步骤43：基于静态目标区域对应的视差值，对ad-census代价值进行优化，并基于优化后的ad-census代价值，确定固定路径聚合代价值，其中，优化后的ad-census代价值的计算公式为：

9、

10、式中，c(p,d)为优化后的ad-census代价值，c0(p,d)为ad-census代价值，p为校正后的第二左图像中的像素点，d表示像素点p在校正后的第二右图像中偏移的视差值，d′为静态目标区域rtorj对应的视差值，λ为优化系数；

11、步骤44：基于固定路径聚合代价值，构建全局能量函数，并将全局能量函数取值最小时对应的视差值，记作像素点p的视差值；

12、步骤45：遍历校正后的第二左图像中的像素点，确定视差图。

13、上述任一项技术方案中，进一步地，边缘图像包括左边缘图像、右边缘图像，分别由校正后的第二左图像、校正后的第二右图像确定，步骤41中，确定左边缘图像的方法，具体包括：对校正后的第二左图像转换为灰度图，并对灰度图像进行滤波，生成滤波图像；计算滤波图像中每个像素点的自适应阈值，其中，自适应阈值由像素点的灰度值与相应的权值确定，权值由像素点的灰度值与相应像素窗口内灰度均值的差值绝对值确定；基于自适应阈值，采用sobel边缘检测算法，确定左边缘图像。

14、上述任一项技术方案中，进一步地，对灰度图像进行滤波，生成滤波图像，具体包括：基于预设滤波窗口，计算当前中心点对应的最小灰度值、最大灰度值和灰度中值；当判定最小灰度值、最大灰度值的差值小于灰度阈值时，将当前中心点的灰度值记作中心点灰度值；当判定最小灰度值、最大灰度值的差值大于或等于灰度阈值时，判断灰度中值是否大于最小灰度值、且小于最大灰度值，若是，将灰度中值记作中心点灰度值，若否，按照预设步长增大预设滤波窗口的大小，重新计算当前中心点对应的最小灰度值、最大灰度值和灰度中值；基于中心点灰度值，生成滤波图像。

15、上述任一项技术方案中，进一步地，边缘图像包括左边缘图像、右边缘图像，步骤42中，具体包括：将校正后的第二左图像、校正后的第二右图像，转变为灰度图，分别记作左灰度图、右灰度图；分别基于左灰度图、右灰度图，采用滑动窗口的方式，将窗口中每个像素的灰度值与窗口中心像素的灰度值进行比较，生成窗口中心像素对应的左灰度01字符串、右灰度01字符串；分别基于左边缘图像、右边缘图像，采用滑动窗口的方式，根据窗口内的像素点为边缘点的分布，生成窗口中心像素的左边缘01字符串、右边缘01字符串；分别将左灰度01字符串、右灰度01字符串与左边缘01字符串、右边缘01字符串进行拼接，生成窗口中心像素的左编码、右编码；基于左编码、右编码的汉明距离，计算census值，并基于census值、校正后的第二左图像和校正后的第二右图像，构建ad-census代价值。

16、上述任一项技术方案中，进一步地，ad-census代价值的计算公式为：

17、c0(p,d)＝ρ(ad,λad)+ρ(census，λcensus)

18、

19、式中，c0(p,d)为ad-census代价值，ρ()为映射函数，ad为像素点绝对值之差，census为census值，表示像素点临近区域相对关系相似性，λad、λcensus为预设参数，为校正后的第二左图像中的像素点p对应的rgb三通道中q通道的取值，为校正后的第二右图像中对应像素点p偏移d视差后的像素点对应的rgb三通道中q通道的取值。

20、本技术第二方面的技术方案是：提供了一种基于光照参考的双目相机视差计算系统，该系统包括：第一视差计算单元，第一视差计算单元被配置为：获取第一光照条件下双目相机采集到的第一左图像和第一右图像，并计算相应的第一视差图；特征计算单元，特征计算单元被配置为：基于第一视差图，对第一左图像中的静态目标区域进行标注，并提取静态目标区域在第一左图像中对应区域图像的光照参考特征；校正单元，校正单元被配置为：基于光照参考特征，对第二光照条件下双目相机采集到的第二左图像和第二右图像进行光照校正；第二视差计算单元，第二视差计算单元被配置为：基于校正后的第二左图像和校正后的第二右图像，确定第二视差图，其中，第二光照条件为弱光照条件和/或强光照条件。

21、本技术第三方面的技术方案是：提供了一种电子设备，包括：存储器，存储器存储执行指令；处理器，处理器执行存储器存储的执行指令，使得处理器执行上述第一方面技术方案中任一项的基于光照参考的双目相机视差计算方法。

22、本技术的有益效果是：

23、本技术中的技术方案，以安装在智慧灯杆上双目相机的视野不会发生变化为前提，首先通过在光照正常情况下的视差图中确定静态目标区域，然后依据该区域的坐标，在相应的左图像中提取光照参考特征，最后再利用该光照参考特征对光照异常条件下的左右图像进行校正，以降低立体匹配方法的复杂性，得到准确的视差图。

24、本技术为了提高视差计算的准确性，还提出了利用边缘图像辅助计算视差图的方法，在已知静态目标区域中特征区域视差图的情况下，通过向代价值中增加该区域中计算视差与已知视差之间的差异，可使得计算结果向已知标准参考结果靠拢，以提高其匹配精度进而可提高整幅图像匹配准确度。