一种大数据信息采集方法及系统

本发明涉及信息采集，具体涉及一种大数据信息采集方法及系统。

背景技术：

1、大数据采集指的是通过各种方式收集大规模数据的过程，这些数据可以来自于互联网、传感器、移动设备等；大数据采集大致包括数据抓取、数据清洗、数据存储等步骤。

2、其中，传感器作为一种检测装置，能感受到被检测的信息，并能将检测到的信息按一定规律变换成信号或其他所需形式的信息输出，以满足信息的采集、传输、处理、存储、显示、记录等要求，信号类型包括iepe信号、电流信号、电压信号、脉冲信号、i/o信号、电阻变化信号等。由于传感器检测的信息存在多源、实时、海量、高噪声等特点，导致信息的通信和处理难度较大。

3、在进行信息采集时，由于传感器信息的噪声较高，又难以逐一对每条信息进行验证，导致部分无效信息将会一同被采集，对数据的分析结果造成影响；此外，由于传感器信息的实时性较高，信息根据传感器的检测频率不断生成，当某一传输链路发生异常时，则会导致后续多条信息同时缺失。

技术实现思路

1、为解决上述问题，本发明提供一种大数据信息采集方法及系统，用于高效、准确、完整的进行传感器数据采集。

2、为了实现上述目的，本发明的技术方案如下：一方面，提供一种大数据信息采集方法，包括如下步骤：

3、为传感器分配传感节点，通过传感节点接收覆盖的传感器检测的传感信息；

4、根据传感器所检测的传感信息顺序生成信息序列，获取信息序列中相邻传感信息的变化量，当相邻传感信息的变化量低于变化阈值时，继续对传感信息进行上传，否则将传感信息过滤；

5、获取传感器所属传感节点的信息上传可行度，若传感器所属传感节点的信息上传可行度高于上传阈值，则通过传感器所属传感节点进行传感信息上传，否则获取其他传感节点的信息上传可行度；

6、将传感信息流转至信息上传可行度大于上传阈值的传感节点，并通过流转至的传感节点将传感信息上传至储存模块。

7、进一步，每个传感器至少分配两个传感节点，传感节点生成信息限制量a1，传感器获取传感信息的数据量a2以及所属传感节点的信息限制量a1；当无a2<a1时，传感器将传感信息上传至任一所属的传感节点；当有a2<a1时，传感器将传感信息上传至a2<a1的传感节点。

8、进一步，当传感信息被上传至任一所属的传感节点且相邻传感信息的变化量小于变化阈值时，则将传感信息在各传感节点之间流转；当传感信息被上传至a2<a1的传感节点且相邻传感信息的变化量小于变化阈值时，则将传感信息直接通过a2<a1的传感节点上传至储存模块。

9、进一步，变化阈值的获取步骤如下：

10、将拟上传传感信息的传感器定义为目标传感器，并将与目标传感器相邻的传感器定义为参考传感器；

11、为目标传感器t时刻检测的传感信息类别赋予目标信息标识，为参考传感器t时刻检测的传感信息类别赋予参考信息标识；

12、根据目标信息标识和参考信息标识获取相同信息和相关联信息，获取t-1时刻与t时刻参考传感器检测的相同信息的变化量δ1，以及相关联信息的变化量δ2；

13、通过δ1和δ2对预设的基础变化阈值进行修正得到变化阈值。

14、进一步，传感节点的信息上传可行度的获取步骤如下：

15、获取传感节点的信息限制量a1，若传感信息的数据量a2<a1时，则继续执行如下步骤，若传感信息的数据量a2≥a1时，则切换其他传感节点获取信息上传可行度；

16、获取距离传感节点所覆盖的传感器检测的传感信息生成时长t1，根据传感节点的数据上传速率获取上传传感信息的数据量a2所需时长t2；

17、计算传感节点的信息上传可行度：f＝t1/t2。

18、进一步，上传阈值为1，当f≥1时，将传感信息流转至对应的传感节点并将传感信息上传至储存模块；当f<1时，切换其他传感节点获取信息上传可行度。

19、进一步，当传感节点处于空闲状态时生成需求信号，传感器根据需求信号的先后顺序将传感信息流转至最先生成需求信号的传感节点。

20、进一步，获取传感信息的需求等级，按照传感信息的需求等级依次为传感信息规划流转至的传感节点。

21、另一方面，提供一种大数据信息采集系统，包括：传感节点、验证模块、调度模块和储存模块；

22、传感节点覆盖若干个传感器，传感节点用于接收覆盖的传感器检测的传感信息；

23、验证模块用于根据传感器所检测的传感信息顺序生成信息序列，获取信息序列中相邻传感信息的变化量，当相邻传感信息的变化量低于变化阈值时，继续对传感信息进行上传，否则将传感信息过滤；

24、调度模块用于获取传感器所属传感节点的信息上传可行度，若传感器所属传感节点的信息上传可行度高于上传阈值，则通过传感器所属传感节点进行传感信息上传，否则获取其他传感节点的信息上传可行度；调度模块还用于将传感信息流转至信息上传可行度大于上传阈值的传感节点；

25、传感节点还用于将传感信息上传至储存模块。

26、采用上述方案有以下有益效果：

27、1、本发明，通过对比传感器检测的传感信息前后变化量对其进行验证，基于传感器的采样频率，通常采样频率越高所检测的传感信息变化越小，由此设定一个变化阈值，变化阈值基于设定的基础变化阈值结合相邻传感器所检测的相同信息和相关联信息得出，相较于直接对传感器检测的所有数据进行采样后进行清洗，在采集阶段即能够将部分无效信息过滤，减少数据链路负担；且相较于固定不变的变化阈值，本发明的变化阈值随相邻传感器检测的传感信息动态变化，使得传感器之间能够对检测的传感信息相互验证，能够有效的过滤掉无效信息且避免部分有效信息被一同过滤；从而获取到准确有效的传感信息，便于根据传感信息采取准确策略。

28、2、本发明，通过对传感节点的上传可行度进行获取，分析传感节点对传感信息的上传能力，优先通过传感器所属的传感节点进行传感信息上传，在传感器所属的传感节点的信息上传可行度不足(可能影响上传效率)时，选择其他传感节点进行传感信息上传；相较于采用固定传输链路进行传感信息上传，能够确保传感信息能够被高效的采集，且在某一传输链路故障时，故障链路下的传感信息依旧能够被有效的被采集，避免传感信息缺失。

29、3、本发明，信息上传可行度基于传感节点所覆盖的传感器检测的传感信息生成情况以及其上传传感信息的时长得出，从而避免了对传感节点自身所覆盖的传感器检测的传感信息上传的影响。

30、4、本发明，传感节点能够根据自身的数据上传情况，能够主动分担传感信息的上传任务，提升传感信息采集效率。例如，传感节点所覆盖的传感器采样频率较低，则可能长时间保持空闲状态，对于空闲状态的传感节点能够被直接利用，因此直接将传感信息优先流转至空闲状态的传感节点完成传感信息的上传。此外，根据传感信息的需求等级，将传感信息优先流转至相应的传感节点，使传感信息能够被优先上传。

31、本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。