基于全天空成像仪的云状况识别方法及设备与流程

本发明涉及气象数据处理，尤其涉及一种基于全天空成像仪的云状况识别方法、系统、可读存储介质和计算机设备。

背景技术：

1、当前全天空成像仪通过鱼眼摄像机或者球面反射方式，拍摄水平视场角360°、垂直视场角180°的全天空图像，利用算法从图像中提取云的信息，包括总云量和云状。对于总云量识别，主要是通过计算机视觉或者深度学习这两种方式从图像中把有云的区域提取出来，由于太阳高度角、天气条件变化造成云的颜色变化也很大，因此固定的规则的方法往往不能很好的取得效果。例如发明专利(cn103472501a)通过分割阈值来检测所述云图中的云；根据全天空云图中的云占整个所述全天空云图的比例来计算天空总云量，该发明通过不同天空类型对应的天空云图分割阈值来检测云图中的云,充分考虑了不同天气状况对全天空云图检测结果的影响。相比较而言，深度学习方法有更好的表现。

2、对云状观测识别，主要的方法也分为计算机视觉特征提取和深度学习分类模型这两种方法，其中计算机视觉是通过人为地构造云的颜色、纹理和面积特征对识别得到云状，但由于云的分类众多、特征复杂，这种方法往往很难取得好的识别效果。深度学习方法具有较好的识别准确率，更高自动学习每种云状的特征，避免了人工构建特征的不准确和主观性，如发明专利《cn111507399a》使用了基于深度学习的云状识别和模型训练方法和装置，使用深度学习方法进行云状识别。论文《基于图像深度学习的云状识别方法研究》也是用了类似的方法，对全天空图像进行分析，输出云状。硕士论文《基于轻量级卷积神经网络的云状和云量识别技术研究》也是使用了深度学习方法对云状进行分类、对总云量按照成数进行分类，分别输出总云量和云状。

3、现有的在总云量识别方法方面一般只采用计算机视觉或者深度学习分类的方法计算总云量，没有从图像分割与投影变换的角度去定量计算全天空云量，因此获得的总云量在部分光照条件下不准确且分辨力较低，不能完成1％分辨力的总云量输出。

4、现有的总云量计算方法没有将地物遮挡的影响定量剔除掉，由于周围建筑物等可能会影响全天空观测区域，形成遮挡而造成总云量和云状识别的误差。

5、现有的总云量和云状识别方案没有将二者之间的联系考虑进来，只是对云状云量单独识别。由于云状云量之间的天然关联，如果不做融合和交叉分析，会引起观测数据的矛盾，降低观测数据质量。

技术实现思路

1、本发明旨在至少解决现有技术或相关技术中存在的技术问题之一。

2、为此，本发明的目的在于提供一种基于全天空成像仪的云状况识别方法及设备，其能够对总云量和云状协同高质量观测。

3、为实现上述目的，本发明第一方面的技术方案提供了一种基于全天空成像仪的云状况识别方法，包括：

4、获取所述全天空成像仪拍摄的全天空图像；

5、根据以所述全天空成像仪为中心的三维立体空间坐标系得到对应所述全天空成像仪的垂直视场角分辨率；

6、根据所述垂直视场角分辨率得到所述全天空图像中像素坐标与所述三维立体空间坐标系中空间坐标的坐标点关系；

7、根据所述坐标点关系计算得到所述像素坐标所在像素单元对应所述空间坐标所在天空区域的坐标面关系；

8、根据所述坐标面关系计算得到每个所述像素单元对应的实际天空面积；

9、根据预设的深度学习语义分割算法识别所述全天空图像中每个像素的图像类别，所述图像类别包括晴空区域、云覆盖区域和其他区域；

10、每个所述像素单元对应的实际天空面积分别计算所述晴空实际面积和所述云实际面积；

11、根据所述晴空实际面积和所述云实际面积计算得到全天空总云量；

12、根据预设的深度学习分类算法识别每个图像类别中的云状；

13、根据所述云状和所述全天空总云量进行一致性判断，并输出判断结果。

14、在上述技术方案中，优选地，当输入的所述全天空图像中每个像素尺寸为h×w的图像i时，所述深度学习语义分割算法为基于oneformer的天空分割模型f，r＝f(i)，r表示图像类别的二维数组，

15、在上述任一技术方案中，优选地，根据预设的深度学习分类算法识别每个图像类别中的云状包括：

16、接收所述图像类别中所述晴空区域和所述云覆盖区域的像素数据；

17、识别所述像素数据中的云的形状信息；

18、根据所述云的形状信息判断该云所属云状的概率；

19、根据预设的编码规则对该云进行云状编码标记、并输出标记结果。

20、在上述任一技术方案中，优选地，根据所述云的形状信息判断该云所属云状的概率的表达式为：p＝g(i(r＝0丨r＝1))；

21、其中，g为识别云状的深度学习分类算法的函数densenet256；i为所述全天空图像；r为表示图像类别的二维数组；

22、预设的编码规则的表达式为：

23、其中，p为该云所属云状的概率，pj为第j个云状的识别概率。

24、在上述任一技术方案中，优选地，根据所述云状和所述全天空总云量进行一致性判断，并输出判断结果包括：

25、当计算得到的全天空总云量为0、图像类别中识别出云状，将云状的质控码设置为可疑；

26、当云状为蔽光层积云、蔽光高层云或蔽光高积云，计算得到的全天空总云量小于100％，将全天空总云量的质控码标注为错误；

27、当云状为积雨云、雨层云或碎雨云时，计算得到的全天空总云量小于100％，将全天空总云量的质控码标注为错误；

28、当云状为积云云状时，包括淡积云、碎积云、浓积云，计算得到的全天空总云量为0或者100％，将全天空总云量的质控码标注为可疑；

29、当云状的识别结果为蔽光层积云、雨层云或碎雨云时，且云状的识别结果为中云和高云云族中的云状，剔除该识别结果；

30、当云状的识别结果为蔽光高积云时，且云状的识别结果为高云族中的云状，剔除该识别结果。

31、在上述任一技术方案中，优选地，所述垂直视场角分辨率α的表达式为：fov为垂直视场角，fov＝180°＝π，n为全天空成像仪拍摄的全天空图像的像素尺寸n×n；

32、所述全天空图像中像素坐标与所述三维立体空间坐标系中空间坐标的坐标点关系为：其中，全天空图像中的点为在水平方向上的第i个像素、垂直方向上的第j个像素；x，y，z为全天空图像中的点对应在三维立体空间坐标系中的实际位置p点坐标；

33、

34、

35、每个所述像素单元pi，j对应的实际天空面积si，j：

36、

37、在上述任一技术方案中，优选地，

38、所述晴空实际面积

39、所述云实际面积

40、全天空总云量

41、其中round 2表示为四舍五入后保留两位小数，全天空总云量数值为整数类型，单位为％；所述全天空图像中每个像素尺寸为h×w。

42、本发明第二方面的技术方案提供了一种基于全天空成像仪的云状况识别系统，包括：

43、获取模块，被设置为用于获取所述全天空成像仪拍摄的全天空图像；

44、分辨率计算模块，被设置为用于根据以所述全天空成像仪为中心的三维立体空间坐标系得到对应所述全天空成像仪的垂直视场角分辨率；

45、坐标点关系构建模块，被设置为用于根据所述垂直视场角分辨率得到所述全天空图像中像素坐标与所述三维立体空间坐标系中空间坐标的坐标点关系；

46、坐标面关系构建模块，被设置为用于根据所述坐标点关系计算得到所述像素坐标所在像素单元对应所述空间坐标所在天空区域的坐标面关系；

47、像元面积计算模块，被设置为用于根据所述坐标面关系计算得到每个所述像素单元对应的实际天空面积；

48、图像类别识别模块，被设置为用于根据预设的深度学习语义分割算法识别所述全天空图像中每个像素的图像类别，所述图像类别包括晴空区域、云覆盖区域和其他区域；

49、晴空与云实际面积计算模块，被设置为用于每个所述像素单元对应的实际天空面积分别计算所述晴空实际面积和所述云实际面积；

50、总云量计算模块，被设置为用于根据所述晴空实际面积和所述云实际面积计算得到全天空总云量；

51、云状识别模块，被设置为用于根据预设的深度学习分类算法识别每个图像类别中的云状；

52、一致性判断模块，被设置为用于根据所述云状和所述全天空总云量进行一致性判断，并输出判断结果。

53、本发明第三方面的技术方案提供了一种可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述第一方面的技术方案提供的基于全天空成像仪的云状况识别方法的步骤。

54、本发明第四方面的技术方案提供了一种计算机设备，包括存储介质和处理器；存储介质，用于存储计算机程序；处理器，用于执行计算机程序以实现上述第一方面的技术方案提供的基于全天空成像仪的云状况识别方法的步骤。

55、与现有技术相比，本发明提供的基于全天空成像仪的云状况识别方法和设备的优点在于：通过分割算法识别出图像中的天空区域、云区域和建筑等遮挡物区域，然后利用投影变换对云区域进行分析，得到总云量；利用深度学习分类方法对云区域和天空区域进行分析，得到云状；最后利用总云量和云状之间的关联约束关系，对识别得到的数据进行交叉质量控制，形成数据质量控制码，能够对全天空总云量和云状的识别结果进行协同高质量观测，提高数据的可用性。