一种基于大数据和人工智能的信息采集方法与流程

本发明涉及信息采集，具体涉及一种基于大数据和人工智能的信息采集方法。

背景技术：

1、现有的技术中，生活中常见的信息采集方式通常由人工采集或大数据和人工智能采集两种方式，而常见的大数据和人工智能采集的方式，在对信息进行采集的过程中，大多数通过选取某一个或者多个信息源作为信息采集的目标，当目标选取完成后便直接进行信息采集，这种方式在信息采集的过程中，非常容易出现信息采集时遇到需权限方可采集信息的信息源，并且直接对选取的信息源进行信息采集，非常容易遇到废弃的信息源和信息源不可靠现象，导致信息的采集容易遇到困难，并造成采集的信息容易出现不准确和不全面现象，导致采集的信息在处理过程中容易出现意外现象，严重影响了大数据和人工智能信息采集的处理效率。

技术实现思路

1、针对现有技术所存在的上述缺点，常见的大数据和人工智能在信息采集时，大多数在目标选取后直接进行采集，非常容易造成信息采集困难以及采集的信息存在不准确和不全面现象，容易影响信息采集后的处理效率，本发明的第一目的在于提供一种基于大数据和人工智能的信息采集方法，解决上述背景技术中的问题。

2、为实现上述目的，本发明提供了如下技术方案：

3、一种基于大数据和人工智能的信息采集方法，包括以下步骤：

4、s1、信息源挑选，所述信息源挑选是大数据和人工智能进行信息采集对目标挑选的步骤；

5、s2、信息源预处理，所述信息源预处理是对挑选目标在信息采集前进行预处理的步骤；

6、s3、信息采集，所述信息采集是对目标在完成预处理后进行信息采集的步骤；

7、s4、信息处理，所述信息处理是对信息在完成采集后进行处理的步骤；

8、s5、信息分析，所述信息分析是对信息在完成处理后进行分析的步骤；

9、s6、信息整合，所述信息整合是对信息在完成分析后进行整合的步骤；

10、s7、信息储存，所述信息储存是对信息在完成整合后进行储存的步骤。

11、本发明进一步设置为：所述步骤s1中，根据信息采集所需求的方向进行目标挑选，从多个目标中挑选相应的目标，在目标挑选完成后，将目标作为信息采集的信息源。

12、通过采用上述技术方案：通过设计信息源挑选，在信息采集前挑选信息源作为信息采集目标，避免信息采集过程中对多个信息源同时进行采集，造成采集的信息出现混乱现象。

13、本发明进一步设置为：所述步骤s2中，信息源确定后，开始对挑选的信息源进行预处理，对挑选的信息源进行初次信息采集尝试，确认所挑选的信息源是否能正常进行信息采集，若信息采集正常进行，则在初次信息采集完成后对信息源的最新信息发布时间进行获取，利用获取的信息源最新信息发布时间对所挑选的信息源进行判断，判断所挑选的信息源是否废弃，若信息源的最新信息发布时间较近，则所挑选的信息源可靠性较大，进一步对信息源的信息发布间隔时间进行获取，若信息发布间隔时间较短，则将所挑选的信息源确认为信息采集的目标；

14、s2.1、权限判断，所述权限判断是对所挑选的信息源是否存在信息采集权限判断的步骤，对挑选的信息源进行初次信息采集，若信息源需求权限方可正常进行信息采集，则该信息源的信息采集困难，重新挑选信息源；

15、s2.2、废弃判断，所述废弃判断是对所挑选的信息源是否废弃判断的步骤，获取信息源最新信息发布的时间，根据挑选的信息源最新信息发布时间对信息源进行判断，若最新信息发布时间较远，则该信息源视为废弃，重新挑选信息源；

16、s2.3、可靠判断，所述可靠判断是对所挑选的信息源是否可靠判断的步骤，获取信息源信息发布的间隔时间，并结合信息源最新信息发布的时间对信息源进行判断，若最新信息发布时间较近，但信息发布间隔时间较大，则该信息源的可靠性较差，重新挑选信息源；

17、s2.4、信息源确认，所述信息源确认是对所挑选的信息源确认为信息采集目标的步骤，在所挑选的信息源依次完成权限判断和废弃判断以及可靠判断后，当信息源符合要求时，则对所挑选的信息源确认为信息采集目标。

18、通过采用上述技术方案：通过设计信息源预处理，在信息源挑选完成后进行各项判断，确保所挑选的信息源中信息可以正常采集，避免信息源在信息采集后进行信息处理过程中出现意外现象，降低信息后续处理出现意外的概率，提高信息后续处理的效率。

19、本发明进一步设置为：所述步骤s3中，在所挑选的信息源确认为信息采集目标后，开始对信息源进行信息采集，获取该信息源中的各种信息。

20、通过采用上述技术方案：通过设计信息采集，在信息源确认后，对信息源中的信息进行采集，使信息可以正常进行采集。

21、本发明进一步设置为：所述步骤s4中，在信息获取完成后，对信息进行处理，对打包的信息进行拆包处理，并根据采集的信息获取各种信息中的大致内容，对存在重复和已知失效的信息进行删除。

22、通过采用上述技术方案：通过设计信息处理，对采集的信息进行拆包处理，并根据信息大致内容对重复和已知失效的信息进行删除，避免重复和已知失效的信息混入导致影响信息的准确性。

23、本发明进一步设置为：所述步骤s5中，在采集的信息完成处理后，开始对处理后的信息进行分析，对信息进行分析挖掘，获取信息中存在的数据。

24、通过采用上述技术方案：通过设计信息分析，对完成处理的信息进行分析挖掘，使信息中的数据可以正常获取，提高信息处理的效率。

25、本发明进一步设置为：所述步骤s6中，根据信息经过分析后获取的数据，对各种采集的信息进行整合处理，将类别相同的信息整合在一起。

26、通过采用上述技术方案：通过设计信息整合，将类别相同的信息整合在一起，使信息经过处理和分析后具有良好的整合措施，避免信息出现混乱现象。

27、本发明进一步设置为：所述步骤s7中，对完成整合处理的信息进行储存，储存进信息库中。

28、通过采用上述技术方案：通过设计信息储存，对完成整合的信息进行储存，降低采集的信息在经过处理后出现丢失的概率。

29、有益效果

30、采用本发明提供的技术方案，与已知的公有技术相比，具有如下有益效果：

31、本发明中，通过设计信息源预处理，在信息源挑选完成后，对所挑选的信息源依次进行权限判断和废弃判断以及可靠判断，避免信息采集直接在存在权限的信息源中进行采集，降低信息采集的难度，通过信息源废弃判断，确保所挑选的信息源不存在废弃现象，其所采集的信息有效，降低信息采集出现无效现象的概率，提高信息采集的准确性，通过信息源可靠判断，对所挑选的信息源进行信息发布时间和间隔时间获取，判断所挑选的信息源是否可靠，提高所挑选信息源的可靠性判断措施，避免信息采集在不可靠的信息源中进行采集，导致采集的信息出现缺失现象，提高信息采集的全面性，使采集的有效信息可以正常进行处理，提高大数据和人工智能信息采集处理的效率。

技术特征：

1.一种基于大数据和人工智能的信息采集方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种基于大数据和人工智能的信息采集方法，其特征在于：所述步骤s1中，根据信息采集所需求的方向进行目标挑选，从多个目标中挑选相应的目标，在目标挑选完成后，将目标作为信息采集的信息源。

3.根据权利要求1所述的一种基于大数据和人工智能的信息采集方法，其特征在于：所述步骤s2中，信息源确定后，开始对挑选的信息源进行预处理，对挑选的信息源进行初次信息采集尝试，确认所挑选的信息源是否能正常进行信息采集，若信息采集正常进行，则在初次信息采集完成后对信息源的最新信息发布时间进行获取，利用获取的信息源最新信息发布时间对所挑选的信息源进行判断，判断所挑选的信息源是否废弃，若信息源的最新信息发布时间较近，则所挑选的信息源可靠性较大，进一步对信息源的信息发布间隔时间进行获取，若信息发布间隔时间较短，则将所挑选的信息源确认为信息采集的目标；

4.根据权利要求1所述的一种基于大数据和人工智能的信息采集方法，其特征在于：所述步骤s3中，在所挑选的信息源确认为信息采集目标后，开始对信息源进行信息采集，获取该信息源中的各种信息。

5.根据权利要求1所述的一种基于大数据和人工智能的信息采集方法，其特征在于：所述步骤s4中，在信息获取完成后，对信息进行处理，对打包的信息进行拆包处理，并根据采集的信息获取各种信息中的大致内容，对存在重复和已知失效的信息进行删除。

6.根据权利要求1所述的一种基于大数据和人工智能的信息采集方法，其特征在于，所述步骤s5中，在采集的信息完成处理后，开始对处理后的信息进行分析，对信息进行分析挖掘，获取信息中存在的数据。

7.根据权利要求1所述的一种基于大数据和人工智能的信息采集方法，其特征在于，所述步骤s6中，根据信息经过分析后获取的数据，对各种采集的信息进行整合处理，将类别相同的信息整合在一起。

8.根据权利要求1所述的一种基于大数据和人工智能的信息采集方法，其特征在于，所述步骤s7中，对完成整合处理的信息进行储存，储存进信息库中。

技术总结本发明涉及信息采集技术领域，具体涉及一种基于大数据和人工智能的信息采集方法，包括：信息源挑选；信息源预处理，在所挑选的信息源依次完成权限判断和废弃判断以及可靠判断后，当信息源符合要求时，则对所挑选的信息源确认为信息采集目标；信息采集；信息处理；信息分析；信息整合；信息储存，本发明中，通过设计信息源预处理，对所挑选的信息源依次进行权限判断和废弃判断以及可靠判断，降低信息采集的难度，提高信息采集的准确性，提高所挑选信息源的可靠性判断措施，提高信息采集的全面性，使采集的有效信息可以正常进行处理，提高大数据和人工智能信息采集处理的效率。技术研发人员：孟庆云,石盼盼受保护的技术使用者：苏州徽之源数字技术有限公司技术研发日：技术公布日：2024/11/4