用于智慧工地管控及安全预警系统的视频图像增强方法与流程

本发明涉及图像处理，尤其涉及一种用于智慧工地管控及安全预警系统的视频图像增强方法。

背景技术：

1、建筑业作为经济中的支柱产业之一，近年来面临着快速的数字化、网络化、智能化全方面升级。智慧制造、智慧建造均是智慧城市发展的一个重要组成，而智慧工地作为制造和建造的基石，其安全管控与预警工作，成为掌握作业装备工作状态、了解人员动态不可或缺的必备方式。当前，基于视频的智慧工地管控及安全预警系统，是生产加工中重要辅助监控系统，是物料调度、人员活动、设备工况、设备远程操作辅助监视、周界安防等重要技术平台系统。

2、随着对该系统功能升级的不断需求提升，传统视频监控的数字化升级和智能化感知的任务，对监控视频质量提出了更高要求，但由于传统系统设备复杂，不同工况、不同环境下使用视频成像设备参数差异大，视频成像质量参差不齐等原因，目前技术造成有如下亟待解决的缺陷和不足：

3、1、不同性能设备在不同干扰的工况下，采集噪声成为干扰智能监控质量的重要问题，同时多模态视频源的参数不统一，影响后续对视频内容的进一步分析和处理。传统视频图像空间域去噪需要直接对视频进行处理，例如维纳滤波、高斯滤波等很难针对复杂噪声问题具备高效性能。

4、2、视频成像受雨雪烟雾等影响较大，工地因建设区域气候、施工现场环境等因素的影响，其监控视频质量较低，系统无对应图像处理算法或效果不佳。

技术实现思路

1、本发明针对工地管控及安全预警系统中的视频图像易受不同设备参数及不同噪声影响的问题，提供了一种用于智慧工地管控及安全预警系统的视频图像增强方法，实现对图像的抗噪声和雨雪烟雾去除的增强算法，具体的技术方案为一种两步法图像增强算法，其中第一部分为第二部分的基础，同时两部分又针对不同的目标进行图像增强。

2、本发明采用的技术方案如下：

3、一种用于智慧工地管控及安全预警系统的视频图像增强方法，包括以下步骤：

4、步骤s101：利用单个像素8维空间向量信息形成多边形像素集合体，并基于所述多边形像素集合体进行非局部监控图像去噪；

5、步骤s102：在步骤s101获得并去噪后的多边形像素集合体中，使用多边形像素集合体的局部光值取代整体图像的全局光值，针对每个多边形像素集合体建立3层透射率层，多边形像素集合体透射率层之间建立交叉透射率修正模型，对视频图像进行去烟雾增强。

6、进一步的，所述非局部监控图像去噪包括以下步骤：

7、s201：将单个像素8维空间向量表示为(u，v，h，s，l，r，g，b)，用于表达视频图像像素点，其中(u，v)代表空间位置向量，(h，s，l)为hsv色彩特征，(r，g，b)为rgb色彩特征，基于(h，s，l，r，g，b)色彩特征，进行局部中心种子点数量n的计算；

8、s202：由s201计算获得聚类中心的个数为视频图像局部中心个数n，图像的像素个数为m＝r×c，取多边形像素集合体边个数，计算集合体标准间距，其中m表示图像像素个数、r表示图像行数、c表示图像列数；

9、s203：以聚类中心点为局部中心，搜索附近两倍标准距离范围内所有像素点与聚类中心之间的色彩特征距离和空间距离，更新像素点标签信息，计算公式为：

10、

11、其中，dc为色彩空间距离，ds为像素的空间距离，lj为第j个像素l色彩分量值，li为第i个像素l色彩分量值，aj为第j个像素a色彩分量值，ai为第i个像素a色彩分量值，bj为第j个像素b色彩分量值，bi为第i个像素b色彩分量值，xj为第j个像素x方向坐标值，xi为第i个像素x方向坐标值，yj为第j个像素y方向坐标值，yi为第j个像素y方向坐标值，d为像素集合体综合距离，为色彩空间归一化距离，为像素空间归一化距离，m为色彩特征权重系数，取值范围为[1，60]；

12、s204：开始对每一个像素点重复进行计算，反复迭代后，当每个聚类中心与其周围的中心前后两次距离误差收敛于0.1时，迭代终止，确定多边形像素集合体；

13、s205：设置搜索框φi和固定尺寸的相似框，搜索框包含多个多边形像素集合体，遍历多边形像素集合体，对其中心像素j与待处理像素i进行比较，根据二者的距离，若大于给定阈值，则忽略此多边形像素集合体，若小于给定阈值，则在固定尺寸的相似框下，对i和j进行所有像素的相似性比较，从而获得像素点j的权重wij，最后对搜索框内所有多边形像素集合体进行加权平均，得到去噪后图像在i点的像素估计值

14、s206：在搜索框φi中，其中心点所在的多边形像素集合体内部待赋权重的的目标像素点i使用相同的权重wij进行更新，若目标像素点i处于其他多边形像素集合体，则权重为0，综合后搜索框φi内像素点的更新公式为：

15、

16、其中表示搜索框φi内像素点的平均值。

17、进一步的，步骤s201中，局部中心种子点数量n的计算包括以下步骤：

18、s301：创建k个点作为初始质心，所述k为图像像素数(宽*高)中的随机数；

19、s302：当任意一个点的簇分配结果发生变化时：

20、对特征集合中每个数据点，对待质心进行其到所有数据点色彩特征的欧式距离的计算，同时将数据点分配到距离最近的簇；

21、对每个簇，计算簇中所有点的均值并将均值作为新的质心；

22、s303：当簇的个数小于k时：

23、对每一个簇，计算总误差，在给定的簇上面继续进行聚类；

24、计算将该簇进行一分为二的总误差，选取使得误差最小的簇进行划分操作。

25、进一步的，步骤s202中所述多边形像素集合体边个数取值范围为4～8，则所述集合体标准间距计算公式为：

26、

27、其中s表示集合体标准距离，m表示总像素个数，n表示集合体边数。

28、进一步的，步骤s205中所述去噪后图像在i点的像素估计值计算公式为：

29、

30、所述权重wij满足0≤wij≤1,∑jwij＝1，所述vj为集合体内像素值，两个相似框之间的相似性为点i和点j在相似框范围内的灰度矩阵距离，其表达式为：

31、

32、其中νni表示点i的灰度矩阵，νnj表示点j的灰度矩阵，α为高斯核标准差，则归一化因子的表达式为：

33、

34、其中，z(i)为归一化因子，h为平滑系数，因此有：

35、

36、用于计算像素估计值。

37、进一步的，所述对视频图像进行烟雾去除增强包括以下步骤：

38、s401：将有烟雾图像抽象建模为：

39、i(u,v)＝t(u,v)j(u,v)+[1-t(u,v)]a

40、其中，在各个像素块中i(u，v)为目标有烟雾图像，t(u，v)为透射率图像，j(u，v)为清晰图像，a为像素块的局部光值；

41、s402：对非局部监控图像去噪过程中i(u，v)已完成的多边形像素集合体中的每个像素，逐个取最大通道滤波；

42、s403：采用非线性映射估计多尺度透射率层，并在融合后得到新的透射率

43、s404：基于色彩模型中的8维空间，进一步在每个透射率层上进行透射率优化估计；

44、s405：最终输出清晰图像。

45、进一步的，步骤s402中所述最大通道滤波的表达式为：

46、imax((u,v)＝maxihsvrgb(u,v)

47、其中imax(u,v)表示每个像素取最大通道滤波后的值，ihsvrgb(u,v)表示已完成的多边形像素集合体中的每个像素，maxihsvrgb(u,v)表示对已完成的多边形像素集合体中的每个像素逐个取最大通道滤波，对每个像素取最大通道滤波后的值imax(u,v)进行闭运算，通过引导滤波得到局部光值：

48、a(u,v)＝guidefilter(close(imax(u,v)))；

49、其中a(u,v)表示通过引导滤波后的局部光值，close()表示进行闭运算，guidefilter()表示进行引导滤波。

50、进一步的，步骤s403中所述透射率的计算包括以下步骤：

51、s501：设非线性映射后的透射率的表达式为：

52、

53、其中t(u,v)为非线性透射率，为透射率估计值，n为非线性映射函数；

54、s502：应用最小值滤波求得透射率层，则透射率层的表达式为：

55、

56、其中φ为该像素所在的多边形集合，y为邻域像素位置，ic(y)为各通道像素值，ac为各通道局部光值，将透射率层的表达式代入步骤s401后，可计算出:

57、

58、其中j(y)表示清晰图像，t(y)表示透射率；

59、s503：在第一部分的基础上，对每个多边形集合，分别估算出其透射率下界，然后根据透射率下界的值，逐步扩大相邻多边形集合尺度为2*2、4*4，与原层次一起，建立起3层透射率层；

60、s504：每个透射率层满足gibbs分布，可得透射率层的极大相似表示为：

61、

62、其中ti为透射率真值与噪声的叠加，p()表示透射率极大相似概率，n()表示正态分布函数，t表示透射率层，t表示透射率，σ表示正态分布方差参数，表示ti的正态分布函数，通过最大先验求得最后透射率图的表达式为：

63、

64、其中：

65、

66、表示透射率估计，et表示各层次ti正态分布能量系数的和，m表示多尺度层次。

67、进一步的，步骤s404中所述透色率优化估计具体包括以下步骤：

68、s601：定义色彩模型向量vrgb+hsv和背景光向量a，由于色彩模型与背景光模型之间存在误差，因此将两个向量的相交问题转换为最小优化问题，最小优化问题的表达式为：

69、argmins(|l|rgb+hsv-sa2)；

70、s602：定义e为向量相交误差，l为自由参数，d＝x1-x2为方向向量，x1、x2为多边形像素块中的随机像素点，s＝1-t，则根据色彩模型向量v，背景光向量a以及误差向量形成了约束条件，其表达式为：

71、

72、s603：通过迭代求解构建的增广拉格朗日函数，利用广义交替方向乘数法，构建迭代后透射率的表达式为：

73、

74、其中l(l，s，λ)为迭代透射率的拉格朗日函数，l表示自由参数，ld表示方向向量的归一化值，v表示色彩模型向量，ml表示尺度化l值，ns表示尺度化s值，sa表示背景光向量归一化值，e表示向量相交误差，λ为对偶变量，ω为对应的迭代步长，迭代后得到:

75、tk+1＝1-sk+1

76、其中tk+1表示迭代后下一步的透射率，sk+1表示迭代后的下一步s。

77、进一步的，步骤s403中所述最终输出清晰图像的表达式为：

78、

79、其中j(u,v)表示清晰图像，i(u,v)表示目标有烟雾图像，a表示像素块的局部光值，tk+1表示迭代后的透射率。

80、本发明的有益效果如下：

81、1、相较于传统方法，本发明使用8维向量作为像素级信息表达，在抗噪声方面能够更好的保留监控图像的边缘细节特点，提高图像的峰值信噪比。

82、2、本发明使用的多边形像素集合，作为图像的基础处理方式，不仅能够提高去噪算法的效果，而且可以提升本增强算法的运算效率。

83、3、本发明计算出每个多边形像素的不同尺度的估计透射率图，再通过邻接纹理增强进行融合，最后计算出通道置信度和纹理信息将自适应的补偿参数，算法可以有效的恢复清晰图像，并改善传统去雾方法中无法控制景深造成的区域颜色失真问题。

84、4、通过本发明增强后的图像细节和纹理更加清晰，提升了管控和安全预警的效果。