一种基于机器视觉的云影轨迹预测方法与流程

1.本发明涉及机器视觉技术领域，特别涉及一种基于机器视觉的云影轨迹预测方法。


背景技术：

2.光伏发电站基于太阳能板接受光照，并把光能转化为电能，其中最主要影响发电功率的因素为光照强度，一般光伏发电站为了很好的预测功率变化，会设有光伏跟踪系统，通常采用天文算法和逆跟踪的方式对太阳进行跟踪，在晴朗无云的天气，这种跟踪方式满足跟踪需求。若遇到晴天少云、晴天多云的天气，天空中各种形态的云会在地面产生各种形态的阴影，而太阳能板组件工作的过程中，实际上主要是直接太阳辐射(直接太阳辐射是指直接来自太阳，其辐射方向不发生改变的辐射)起到作用，当发电站处于云的阴影下时会严重影响发电效果，上述光伏跟踪系统无法预测云阴影何时覆盖发电站及覆盖范围、时间等，导致不满足需求。
3.现有的解决技术方案是采取短期预测以弥补功率预测不足的问题，常见的方法有：
4.(1)基于大数据统计，选取相似气象条件，结合环境参数(当日气象数据)进行预测，这种预测方法，投入成本较低，针对一些气象条件较为规律的地区，易产生较好的结果，但整体预测精度不高。
5.(2)根据卫星云图进行云移预测，从而预测云影遮挡光伏发电站时间，最终预测发电功率。具体如中国专利cn110633862a公开了一种基于卫星云图的光功率预测算法，使用可见光卫星云图作为预测数据模型，通过分析判断过去若干个小时的云图变化情况预测未来若干个小时在某个特定光伏电站上方的云遮挡状况，并通过经验模型对特定光伏电站的辐照强度预测值进行修正，以解决云对光伏电站遮挡造成无法预测光功率的问题。又如中国专利cn113298303a公开的针对气象卫星云图动态注意域的光伏功率预测方法，也采取了相近的技术原理。而上述同类型技术方案原理是依据公开条件下的卫星云图组建训练数据集，进而预测特定上空的云移变化，再预测云影遮挡太阳能板的情况，获得发电功率预测数据。一定程度上提高了预测精度，但是卫星云图并不能分辨出云层底部遮挡高度，也就不能获得正确的云影位置及轮廓。
6.(3)在地面架设拍摄设备，通过拍摄天空图像进而预测云移轨迹。具体如中国专利cn106372749a-基于云变分析的超短期光伏功率预测方法和中国专利cn113159466a-一种短时光伏发电功率预测系统及方法，均公开了通过拍摄天空图像，通过图像分析技术测算出云移特征，进而预测云影遮挡情况。上述技术方案给出了一种短期预测方案，成本较低，且搭建系统容易。但是，结合其公开的具体技术方案可知，主要步骤为：拍摄图像-图像分析-特征提取-计算云的像素移动-预测遮挡情况，其中，云的速度和方向是通过图像中特征点的像素移动计算获得，而并没有考虑到真实云高的影响，同时，还需要结合机器学习模型进行最终预测，输入量包含大量相关量，容易出现过拟合状态，最终影响预测精度。
7.综上，当前的短期预测方法还需要进一步提升预测精度。


技术实现要素：

8.本发明的目的是为了解决上述技术的不足，结合机器视觉技术，实现精确预测地面云影移动轨迹。
9.为此，本发明提供一种基于机器视觉的云影轨迹预测方法，主要包括以下步骤：
10.s1、双目相机拍摄，采集区域内天空图像；
11.s2、图像预处理，通过机器学习模型分析所述s1中获得的天空图像，反馈当前气象类型；
12.s3、图像矫正，当所述s2中反馈的气象类型为少云或多云时，对所述天空图像进行图像矫正，当所述s2中反馈的气象类型不为少云或多云时，图像不做处理，且停止后续步骤，等待下次反馈结果；
13.s4、云轮廓分割，对所述s3中获得的矫正后图像，进行云的轮廓提取；
14.s5、图像匹配，对所述s4的双目图像进行图像匹配；
15.s6、三维重建，依据所述s5的匹配结果，通过视差计算和几何变换获得云的三维数据；
16.s7、云移轨迹预测，将所述s6中的三维数据带入机器学习模型，获得下一时段云移的预测轨迹；
17.s8、云影轨迹预测，通过所述s7中的云移轨迹投影变换获得地面云影移动的预测轨迹。
18.优选的，所述s2中的机器学习模型为残差神经网络模型，所述残差神经网络模型预先通过图像集进行气象类型分类训练。
19.优选的，所述s3中的图像矫正包括以下步骤：
20.s31、双目相机畸变矫正；
21.s32、双目相机平行校正。
22.优选的，所述s4中云的轮廓提取采用语义分割算法，通过u-net网络搭建分割算法模型。
23.优选的，所述s5中图像匹配的特征点通过sift算法获取。
24.优选的，所述s6中的三维数据包括云高，所述云高的计算过程包括以下步骤：
25.s61、所述s5中匹配后的双目图像经过视差计算获得云的深度图，所述深度图经过坐标变换获得云的高度图；
26.s62、选取所述高度图中特征点的高度进行拟合，获得云的平均高度。
27.优选的，所述三维数据还包括云的经纬度；根据所述s4中提取的轮廓，通过平面质心公式获得云的质心坐标，经过几何换算获得云质心的经度及纬度。
28.优选的，所述s7中的机器学习模型为循环神经网络模型；所述循环神经网络模型预先进行轨迹点数值预测训练，训练集由多条数组组成，每条数组的输入量包括所述三维数据和气象数据；所述气象数据包括但不限于每组所述三维数据对应时刻的风速、风向、气压、温度其中一种或多种组合。
29.优选的，所述s7中还对预测轨迹进行修正,包括以下步骤：
30.s71、采集连续时段卫星云图，建立所述双目相机拍摄上空的云移预测模型；
31.s72、通过所述s71中云移预测模型获得的第二预测轨迹与所述预测轨迹进行加权拟合，获得修正后预测轨迹。
32.本发明的有益效果是：
33.本发明系统简单，投入成本较低，依靠机器双目视觉，可对当前区域内的云进行高精度三维信息恢复，从而精确获得地面云影，结合神经网络预测轨迹，可对局部范围内短时期地面云影移动进行高精度预测，有效的提升了光伏发电站的发电功率预测水平，配合长效预测结果，对电网供电规划具有良好的指导作用。
附图说明
34.图1为本发明具体实施例中方法流程图；
35.图2为本发明具体实施例中残差神经网络结构图；
36.图3为本发明具体实施例中云轮廓提取测试图；
37.图4为本发明具体实施例中云质心预测轨迹对照图。
具体实施方式
38.下面结合附图和具体实施例对本发明作进一步说明，以助于理解本发明的内容。本发明中所使用的方法如无特殊规定，均为常规的方法；所使用的原料和装置，如无特殊规定，均为常规的市售产品。
39.实施例1
40.如图1所示，一种基于机器视觉的云影轨迹预测方法，主要包括以下步骤：
41.s1、双目相机拍摄，首先在地面架设双目摄像系统，通过有线或无线传输的方式，将采集的区域内天空图像回传至服务器进行分析。其中，采集策略采取定时采集。
42.s2、图像预处理，可知当天气为阴天，雨天，雪天，雾霾，沙尘暴等恶劣天气时太阳辐射几乎全部被折射，而光伏跟踪器接收的主要是直接太阳辐射，所以认为当天气为阴天，雨天，雪天，雾霾，沙尘暴等恶劣天气时，光伏跟踪器无法接受太阳辐射。
43.据此将天气类别可分为以下三类：
44.a、完全透光(晴天无云),光伏跟踪器可直接接收太阳辐射。
45.b、有遮挡(晴天少云，多云)，光伏跟踪器需要调整角度接收太阳辐射。该类别为我们后续主要研究对象
46.c、完全不透光(阴天，雨天，雪天，雾霾，沙尘暴等恶劣天气),光伏跟踪器无法接收。
47.优选的，根据上述类别使用机器学习残差神经网络(residual network)进行分类训练，结构图如图2所示。其中，训练数据集中，晴天、多云、阴天、雨天为相机架设拍摄获取；雪天、雾霾、沙尘暴为网络数据库获得。
48.将图片读取为每个像素点3通道的bgr存储，每个通道用一个0-255的值描述，传入神经网络模型进行训练模型并保存。模型完成测试中，传入一张拍摄天空的图片经模型预测就能得到训练结果，经测试集验证分类的准确率为99.4％。之后在系统的应用中，用于反馈当前气象类型；气象类型包括晴天、少云、多云、阴天等。
49.s3、图像矫正，当s2中反馈结果为少云或多云时，对天空图像进行图像矫正；当s2中反馈结果为晴天、阴天或其他气象类型时，不进行图像矫正，并停止后续步骤等待下次反馈类型。优选的，图像矫正包括以下步骤：
50.s31、双目相机畸变矫正：相机成像的过程实际就是将世界坐标系的点，转换到相机坐标系，投影得到图像坐标系，进而转化为像素坐标系的过程。而由于透镜精度和工艺会引入畸变(所谓畸变，就是指在世界坐标系中的直线转化到其他坐标系不在是直线)。
51.本实施例中采用了计算机视觉库opencv，利用棋盘格标定方法对畸变图像进行标定。具体的校正方法是多角度采集棋盘参考对象的图像，调用opencv函数计算图像大小、内部参数矩阵和校正系数矩阵，然后运行程序恢复变形图像。
52.s32、双目相机平行校正：该系统对相机架设要求很高，需要两相机cmos板在同一高度下刚体平行，施工上难以实现。为了方便施工减轻架设难度，本实施例以旋转拍摄照片的方式来对coms进行矫正，畸变矫正后的图片使用sift(scale-invariant feature transform)算法寻找到两对特征点并连线，以照片光心旋转右侧相机的照片，使其特征点连线平行于另一张照片特征点连线，再使用sift(scale-invariant feature transform)算法寻找到一对特征点，同时以光心旋转两张照片，直至两张照片的特征点在纵轴的像素一样，这样就认为相机的cmos板刚体平行了。记录两次旋转的角度，在人为不干预的情况下，这两个相机拍摄的照片都用两次旋转的角度进行矫正。
53.s4、云轮廓分割，对s3中获得的矫正后的双目图像，均进行云的轮廓提取，目的将每张图中云和非云部分区分出来，也就是对每一个像素点进行分类，从而形成云的边界，最终对云边界的像素点进行标记。优选的，轮廓提取采用语义分割算法，可以实现语义分割的神经网络有很多种，本实施例中采用u-net网络进行语义分割，通过u-net网络搭建分割算法模型。经过测试，效果如图3所示，左图为拍摄图像灰度图，右图为分割后的轮廓图，其中有云部分标记为白色，天部分标记为黑色，可见分割的边界线较为清晰，这样标定边界后可用于后续数据计算。
54.s5、图像匹配，对s4的双目图像进行图像匹配；具体是通过匹配算法在左右两相机拍摄的图像中识别同名点。其中，匹配算法种类较多，本实施例中采用sift(scale-invariant feature transform)算法，具有较好的稳定性和不变性，能够适应旋转、尺度缩放、亮度的变化，在一定程度上不受视角变化、仿射变换、噪声的干扰。并考虑到大部分图像中并非有且只有一朵云，依靠sift算法区分性好的特点，能够在大量特征数据库中进行快速准确的区分信息，可对每朵云进行进行匹配，并且在只有一朵云的情况下，也能产生大量特征向量。依托算法的高速性和可扩展性，能够与其它形式的特征向量进行联合使用，提升了处理速度及效率。
55.s6、三维重建，依据s5的匹配结果，通过视差计算和几何变换获得云的三维数据。通常情况下，三维数据获得一般采用匹配后的双目图像经过视差计算获得云的深度图，深度图经过坐标变换获得云在大地坐标系中的高度图，相当于对云底面可见部分进行三维重建，但是这种方法计算量较大，影响预测效率，故本实施例中优选的，计算过程包括以下步骤：
56.s61、选取s5中经sift算法匹配后双目图像中的特征点，经过视差计算获得这些点位的深度，再经过坐标变换获得各特征点在大地坐标系中的高度；
57.s62、由于云的高度、厚度不同，形状各异，最理想状态需要确定云层边缘的真实高度，以便精确计算地面云影的遮挡范围。但是，由于云层边缘图像模糊，特征点较少，进一步处理容易引入噪声，从而使精度下降，故选取s61中部分特征点，剔除异常值后拟合平面，以获得云层底面的平均高度，具体拟合算法本实施例不做限制，可选用最小二乘法拟合出平面，获得平均高度。
58.进一步，三维数据还包括云的经纬度。根据s4中提取的轮廓，通过平面质心公式获得云的质心坐标，再经过几何换算获得云质心的经度及纬度。
59.s7、云移轨迹预测，将s6中的三维数据带入机器学习模型，获得下一时段云移的预测轨迹；优选的，云轨迹预测使用循环神经网络lstm(long short term memory)进行预测。循环神经网络模型预先进行轨迹点数值预测训练，训练集由多条数组组成，每条数组的输入量包括三维数据和气象数据；气象数据包括但不限于每组三维数据对应时刻的风速、风向、气压、温度其中一种或多种组合。在本实施例中，为了提升系统运算速度，模型训练集不加入高空的风速、风向、气压、温度等气象数据。仅用s6中云的像素轮廓集计算出的质心，来代表当前这朵云。从间隔数秒拍摄的照片中，人工筛选拍摄较完整的云并在连续的n张图片都有出现(可以不固定照片数目)，将连续的照片分别使用质心获取法，便得到一条数据，一条数据包含n个《云质心经度、云质心维度、时刻》三元组信息，并按拍摄时间分别记为时刻1、时刻2
…
时刻n。数据共收集m条(前m-k条作为训练数据集，后k条作为测试数据集，其中k≤15％m)。其中，将每一条数据分成两组，时刻1到时刻n-1的质心经纬度作为训练输入集，时刻2到时刻n的质心经纬度作为验证结果集，训练云移动模型。测试数据集每条数据的时刻1到时刻n-1质心经纬度作为输入，模型会输出每个时刻对应的下一个时刻预测的质心经纬度；训练效果如图4所示，在a、b、c三组轨迹预测中，分别在t
0-t
10
各时刻记录云的真实质心位置(以圆点表示)，之后在图像中分别标记出t
1-t
10
各时刻预测质心位置(以三角形表示)，可以看出轨迹点位预测准确，部分质心位置预测结果与实际质心位置重合，证明上述方法形成的预测模型可较好的完成预测任务。最后再用计算出质心的横纵坐标位移，将云的像素轮廓集的每一个点加横纵坐标位移就是预测云移动后的位置(其中默认短时间内，云的形态变化不计)。
60.s8、云影轨迹预测，某一时刻太阳在天空中相对某一固定地点的方位角和高度角可以根据测站所在的经纬度、当天的视赤纬、时差和时角等参数准确地推算出来，结合s7中的云移轨迹和s4中提取的轮廓，根据投影变换可获得地面云影移动的预测轨迹(包含遮挡范围)。
61.实施例2
62.本实施例在上述实施例的基础上，进一步修正预测轨迹，在s7中增加以下步骤：
63.s71、采集连续时段卫星云图，对卫星云图进行网格划分，通过经纬度确定与拍摄区域相同的卫星云图网格，参照s4中方法提取云的轮廓，并计算出云的平面质心位置，以连续时段内的质心位置组成训练集，建立双目相机拍摄上空的云移预测模型；
64.s72、通过云的经纬度匹配各云朵，建立卫星云图与拍摄图像中各云朵的对应关系，并将s71中云移预测模型获得的第二预测轨迹与实施例1中的预测轨迹进行路径加权拟合，获得修正后预测轨迹，进一步提升预测精度。
65.在本发明的描述中，需要理解的是，术语“左”、“右”、“上”、“下”、“顶”、“底”、“前”、“后”、“内”、“外”、“背”、“中间”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具备特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
66.惟以上所述者，仅为本发明的具体实施例而已，当不能以此限定本发明实施的范围，故其等同组件的置换，或依本发明专利保护范围所作的等同变化与修改，皆应仍属本发明权利要求书涵盖之范畴。