基于深度学习图像识别的冰雹观测方法和设备与流程

本发明涉及气象观测，尤其涉及一种基于深度学习图像识别的冰雹观测方法及其系统、可读存储介质和计算机设备。

背景技术：

1、冰雹是一种对农业、生产和生活等可能造成显著破坏性的天气现象，对冰雹颗粒的观测对于提高冰雹预测准确率、评估冰雹风险影响等有重要意义。

2、当前的冰雹观测方法主要是通过传感器对冰雹的发生及冰雹的数量强度进行观测。但这类传感器的观测面积很小，往往只有直径十几厘米的圆形采样面积。而且它们通常无法对冰雹的粒径、质量进行观测。

技术实现思路

1、本发明旨在至少解决现有技术或相关技术中存在的技术问题之一。

2、为此，本发明的目的在于提供一种基于深度学习图像识别的冰雹观测方法和设备，其能够更加全面的对冰雹颗粒的强度和性质进行观测。

3、为实现上述目的，本发明第一方面的技术方案提供了一种基于深度学习图像识别的冰雹观测方法，包括：

4、获取摄像装置拍摄冰雹收集平面的图像数据；

5、识别并标注出含有冰雹的图像数据，得到冰雹图像数据；

6、识别出冰雹图像数据中的冰雹颗粒，得到冰雹数量；

7、建立对应冰雹收集平面的图像坐标系与对应摄像装置的世界坐标系中像素点坐标关系；

8、基于冰雹直径在世界坐标系中显示为水平方向的两像素点距离，对像素点坐标关系作水平方向差值计算，得到像素点坐标关系的差值表示；

9、根据冰雹收集平面和摄像装置的安装信息计算两像素点在冰雹收集平面上的实际空间距离与世界坐标系的空间坐标的线性关系；

10、根据线性关系并结合冰雹颗粒在图像坐标系中的像素点坐标，计算得到冰雹颗粒对应在世界坐标系中的冰雹直径以及当前时刻的冰雹平均直径；

11、根据冰雹收集平面收集的冰雹颗粒质量计算得到冰雹平均质量密度；

12、输出计算得到的冰雹数量、冰雹平均直径和冰雹平均质量密度作为最终结果。

13、在上述技术方案中，优选地，建立对应冰雹收集平面的图像坐标系与对应摄像装置的世界坐标系中像素点坐标关系，包括：

14、以图像中心点为原点，以水平向右方向为x轴xi的方向，以垂直向上为y轴yi的方向，建立图像坐标系xi-oi-yi；

15、以光心o为原点、以沿着光轴oi-o方向为zw的方向，以与图像坐标系中的x轴平行作为xw的方向和以与图像坐标系中的y轴平行作为yw的方向建立世界坐标系xw-o-yw-zw；

16、基于三角形相似原理建立世界坐标系中的点(xw，yw，zw)与图像坐标系中的像素坐标(xi，yi)之间的像素点坐标关系，具体表达式为：

17、

18、其中，fx、fy、cx和cy是摄像装置的四个内参，fx和fy分别表示像平面xi和yi坐标轴方向焦距f长度对应的像素的个数；cx和cy分别是指感光元件的中心点与像平面坐标的原点oi之间的在xi和yi坐标轴方向的偏移的像素个数；r是3×3的矩阵，代表世界坐标系和图像坐标系的旋转关系，向量t代表两个坐标系的平移关系，ot为填充矩阵的含义；

19、由于世界坐标系与图像坐标系之间不存在任何的旋转关系，可以得到公式中的旋转矩阵r为单位矩阵，表达式为：

20、世界坐标系与图像坐标系之间z轴方向也存在距离为-f平移，其他两个x轴方向和y轴方向不存在任何平移，可以得到：

21、由公式(3)和公式(4)简化公式(1)，即：

22、

23、其中k为摄像机的内参矩阵，表示为：

24、

25、在上述任一技术方案中，优选地，使用b-box框选的方式标注含有冰雹的图像数据，得到冰雹图像数据；和/或

26、识别出所述冰雹图像数据中的冰雹颗粒，得到一共n个冰雹颗粒组成的冰雹集s，具体表达式为：

27、s＝{[s1，s2，s3…，sn-1，sn]|sj＝(xj，0，xj，1，yi，0，yj，1)}  (1)；

28、其中，(xj，0，xj，1)分别表示第j个冰雹颗粒所占像素的最小和最大的y坐标值；(yj，0，yj，1)别表示第j个冰雹颗粒所占像素的最小和最大的y坐标值；sj为深度学习算法识别得到的第j个冰雹的最小外接识别框的坐标。

29、在上述任一技术方案中，优选地，基于冰雹直径在世界坐标系中显示为水平方向的两像素点距离，对像素点坐标关系作水平方向差值运算，得到像素点差值关系的差值表示，包括：

30、基于冰雹直径在世界坐标系中显示为水平方向的两像素点差值，对像素点坐标关系作水平方向差值运算，得到像素点坐标关系的初始差值表示，表达式为：

31、

32、基于冰雹收集平面和世界坐标系中两像素点的坐标具有相同的空间宽度坐标和空间深度坐标，简化像素点坐标关系的初始差值表示，得到像素点坐标关系的水平差值表示，表达式为：

33、

34、展开分解像素点坐标关系的水平差值表示，得到像素点坐标关系的差值表示，表达式为：

35、

36、在上述任一技术方案中，优选地，根据冰雹收集平面和摄像装置的安装信息计算两像素点在冰雹收集平面上的实际空间距离与世界坐标系的空间坐标的线性关系，包括：

37、根据冰雹收集平面和摄像装置的安装信息计算两像素点在冰雹收集平面水平方向上的实际空间距离与在世界坐标系的空间深度坐标的水平线性关系，具体为：

38、

39、为了简化方程(10)，设α＝tanθ，β＝-((hc-ht))/cosθ，则表达式(10)简化为：

40、yw＝αzw+β                                             (11)；

41、根据冰雹收集平面竖直方向上的实际空间距离计算对应在世界坐标系中空间深度坐标的竖直线性关系，具体为：

42、

43、根据公式(11)和公式(12)得到：

44、将公式(13)代入公式(9)得到竖直线性关系的表达式：

45、

46、在上述任一技术方案中，优选地，根据线性关系并结合冰雹颗粒在图像坐标系中的像素点坐标，计算得到冰雹颗粒对应在世界坐标系中的冰雹直径以及当前时刻的冰雹平均直径，包括：

47、根据水平线性关系和数值线性关系计算冰雹收集平面上水平两像素点之间单位像素代表的世界坐标系中的空间距离与图像坐标系图像宽度坐标的反比例关系，具体为：

48、设以及k2＝-αfy-cy代入公式(14)得到反比例关系：

49、

50、基于冰雹收集平面的四个角点在图像坐标系中的坐标和尺寸计算反比例关系的解：

51、

52、其中pi，1(xp，i，1，yp，i，1)、pi，2(xp，i，2，yp，i，2)、pi，3(xp，i，3，yp，i，3)和pi，4(xp，i，4，yp，i，4)分别表示冰雹收集平面的四个角点的坐标，pi,1-pi，2与pi，3-pi，4平行，即有如下关系：yp，i，2＝yp，i，3，yp，i，1＝yp，i，4；

53、根据反比例关系的解结合冰雹样本在图像坐标系中的像素坐标，得到冰雹颗粒对应的世界坐标系中的尺寸，从而计算出冰雹直径，具体为：

54、

55、根据冰雹的直径计算在当前时刻的冰雹平均直径，表达式为：

56、

57、在上述任一技术方案中，优选地，根据冰雹收集平面收集的冰雹颗粒质量计算得到冰雹平均质量密度，包括：

58、根据冰雹收集平面在当前时刻收集的冰雹累计质量计算当前时刻的冰雹质量增量，表达式为：

59、

60、mt为冰雹收集平面在当前时刻收集的冰雹累计质量，为当前时刻的冰雹质量增量；

61、根据冰雹质量增量和冰雹直径计算得到冰雹体积，表达式为：

62、

63、根据冰雹体积和冰雹质量增量计算得到冰雹平均质量密度，表达式为：

64、

65、本发明第二方面的技术方案提供了一种基于深度学习图像识别的冰雹观测系统，包括：

66、获取模块，被设置为用于获取摄像装置拍摄冰雹收集平面的图像数据；

67、冰雹图像识别模块，被设置为用于识别并标注出含有冰雹的图像数据，得到冰雹图像数据；

68、冰雹数量识别模块，被设置为用于识别出冰雹图像数据中的冰雹颗粒，得到冰雹数量；

69、像素点坐标关系建立模块，被设置为用于建立对应冰雹收集平面的图像坐标系与对应摄像装置的世界坐标系中像素点坐标关系；

70、像素点坐标表示模块，被设置为用于基于冰雹直径在世界坐标系中显示为水平方向的两像素点距离，对像素点坐标关系作水平方向差值计算，得到像素点坐标关系的差值表示；

71、坐标线性关系表示模块，被设置为用于根据冰雹收集平面和摄像装置的安装信息计算两像素点在冰雹收集平面上的实际空间距离与世界坐标系的空间坐标的线性关系；

72、冰雹尺寸计算模块，被设置为用于根据线性关系并结合冰雹颗粒在图像坐标系中的像素点坐标，计算得到冰雹颗粒对应在世界坐标系中的冰雹直径以及当前时刻的冰雹平均直径；

73、冰雹密度计算模块，被设置为用于根据冰雹收集平面收集的冰雹颗粒质量计算得到冰雹平均质量密度；

74、结果输出模块，被设置为用于输出计算得到的冰雹数量、冰雹平均直径和冰雹平均质量密度作为最终结果。

75、本发明第三方面的技术方案提供了一种可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述第一方面的技术方案提供的基于深度学习图像识别的冰雹观测方法的步骤。

76、本发明第四方面的技术方案提供了一种计算机设备，包括存储介质和处理器；存储介质，用于存储计算机程序；处理器，用于执行计算机程序以实现上述第一方面的技术方案提供的基于深度学习图像识别的冰雹观测方法的步骤。

77、与现有技术相比，本发明提供的基于深度学习图像识别的冰雹观测方法和设备的优点在于：能够更加全面的对冰雹颗粒的强度和性质进行观测。