一种基于神经网络的数据预警系统的制作方法

本发明涉及大数据处理，更具体地涉及一种基于神经网络的数据预警系统。

背景技术：

1、神经网络作为模拟人脑神经网络结构和功能的计算模型，近年来得到了飞速的发展，从最初的感知机到多层前馈神经网络，再到后来的卷积神经网络、循环神经网络等，神经网络的结构和算法不断优化，使其在处理复杂数据、识别模式方面展现出强大的能力，这种能力使得神经网络在数据预警领域具有广泛的应用前景，同时大数据技术的兴起为数据预警系统提供了丰富的数据源和强大的处理能力，通过采集、存储、分析和挖掘海量数据，大数据技术能够帮助预警系统更准确地识别出潜在风险并降低损失。

2、随着数据源的增多和复杂性的提高，对数据调用量的监控和预警变得越来越重要，尤其在广告用户触达、订单进件、资金交易、市场需求、商品价格等场景数据预测预警显得更加重要，但是传统的预警方法往往基于规则或统计方法，无法准确预测未来的调用量变化，缺乏对历史数据的训练学习，无法准确地预测未来的调用量变化，并及时发出预警，缺少对预测模型的损失评估，忽略了在预测过程中误差大小对预测结果准确性的影响，因此，传统数据预警系统仍需要不断地优化。

技术实现思路

1、为了克服现有技术的上述缺陷，本发明提供了一种基于神经网络的数据预警系统，以解决上述背景技术中存在的问题。

2、本发明提供如下技术方案：一种基于神经网络的数据预警系统，包括：数据获取模块、数据预处理模块、数据拆分模块、预测模型建立模块、损失函数评估模块、预测模型判断模块、数据输入预测模块，以及预警结果输出模块；

3、所述数据获取模块，通过网络数据采集器从平台采集数据源历史样本数据，将原始数据整理成含有时间和调用量两个特征的数据，并将整理过后的特征数据传输至数据预处理模块；

4、所述数据预处理模块，接收数据获取模块传输的特征数据，通过归一化公式应用对数据进行归一化处理，并将归一化处理后的数据传输至数据拆分模块；

5、所述数据拆分模块，包括训练集数据拆分单元和测试集数据拆分单元，通过lstm训练将归一化处理后的数据划分为训练集数据和测试集数据，并将训练集数据和测试集数据传输至预测模型建立模块；

6、所述预测模型建立模块，基于数据拆分模块传输的训练集数据和测试集数据，建立预测模型，记录预测结果，并将预测结果传输至损失函数评估模块；

7、所述损失函数评估模块，基于预测模型建立模块传输的预测结果，通过损失函数评估模型计算得出预测模型损失系数，并将计算得出的预测模型损失系数传输至预测模型判断模块；

8、所述预测模型判断模块，接收损失函数评估模块传输的预测模型损失系数，判断预测模型是否符合预测要求，并将符合要求的预测模型传输至数据输入预测模块；

9、所述数据输入预测模块，基于预测模型判断模块传输的符合要求的预测模型，确定最优预测模型并在预测模型中输入已知时间段的数据调用量，得出数据预测调用量，并将数据预测调用量传输至预警结果输出模块；

10、所述预警结果输出模块，接收数据输入预测模块传输的数据预测调用量，将数据预测调用量与预设阈值进行对比，数据预测调用量超出预设阈值时系统预警显示，并以钉钉消息的形式发送至业务端。

11、优选的，所述数据获取模块中样本数据包括日期、数据源名称、数据源调用量，并以“天”为时间尺度进行数据整理。

12、优选的，所述数据预处理模块中归一化公式应用的计算公式为：其中x′表示归一化后的数据输出值，x表示归一化前的数据输入值，min和max是指数据映射的最小值和最大值，xmin表示输入数据的最小值，xmax表示输入数据的最大值。

13、优选的，所述数据拆分模块中训练集数据包括数据源样本数量，已知的数据源样本调用量和已知的数据源预测调用量，测试集包括数据源样本数量和已知时间段内的数据源样本调用量。

14、优选的，所述预测模型建立模块中建立预测模型的具体步骤如下：

15、步骤s01：通过神经网络结构将训练集数据和测试集数据分别划分为输入层、隐藏层和输出层；

16、步骤s02：定义s(s1，s2，...，si，...，sn)为输入数据，h(h1，h2，...，hi，...，hn)为隐藏数据，y(y1，y2，...，yi，...，yn)为输出数据；

17、步骤s03：计算隐藏层激活函数，计算公式为：其中h(s)表示隐藏层激活函数，si表示输入数据；

18、步骤s04：计算输出层激活函数，计算公式为：其中y(s)表示输出层激活函数，si表示输入数据；

19、步骤s05：建立预测模型，计算公式为：其中pi表示输入数据后的预测值，h(s)表示隐藏层激活函数，y(s)表示输出层激活函数，ω1表示输入层所占权重，ω2表示隐藏层所占权重，ω3表示输出层所占权重；

20、步骤s06：在预测模型输入数据拆分模块中的训练集数据，得到输出的训练集数据，当训练准确率符合预设阈值时，则预测模型训练完成，输入测试集数据，得到输出的测试集数据。

21、优选的，所述损失函数评估模块中通过损失函数评估模型计算得出预测模型损失系数的计算公式为：其中mt表示预测模型损失系数，mi表示输入的测试集数据，δmi表示输出的测试集数据。

22、优选的，所述预测模型判断模块将接收的预测模型损失系数与预设的损失系数阈值进行对比，判断预测模型是否符合预测要求，若预测模型损失系数mt小于或等于预设的损失系数阈值δmt，则判断预测模型符合要求，将预测模型传输至数据输入预测模块，若预测模型损失系数mt大于预设的损失系数阈值δmt，则判断预测模型不符合要求，返回预测模型建立模块再次依据训练集数据训练模型。

23、优选的，所述数据输入预测模块将预测效果最好的模型保存为最优模型，在最优模型中输入已知时间段的数据调用量，预测得出未发生时间段的数据预测调用量。

24、优选的，所述预警结果输出模块自动预设数据调用量阈值，当通过预测模型计算得出的数据预测调用量超出预设阈值时，系统自动进行预警显示，并以钉钉消息的形式发送至业务端。

25、本发明的技术效果和优点：

26、本发明通过数据获取模块、数据预处理模块、数据拆分模块、预测模型建立模块、损失函数评估模块、预测模型判断模块、数据输入预测模块，以及预警结果输出模块，通过网络数据采集器从平台采集数据源历史样本数据，将原始数据整理成含有时间和调用量两个特征的数据，对原始数据进行归一化处理，将归一化后的数据集按照一定比例划分为训练集和测试集，其中训练集用于训练模型，测试集用于评估模型，依据训练集数据建立预测模型，输入测试集数据得出测试结果，并通过损失函数评估模型计算得出预测模型损失系数，计算得出最优模型，在最优模型中输入已知时间段的数据调用量，得出数据预测调用量，并对异常数据预警显示，总之，一种基于神经网络的数据预警系统通过对历史数据的训练学习，准确地预测未来的调用量变化，并及时发出预警，通过对预测模型的损失评估，减少了在预测过程中误差大小对预测结果准确性的影响，能够准确地识别出异常模式，提高预警的准确性和可靠性。