基于大数据的产学研信息资源共享服务系统的制作方法

本发明属于产学研信息资源共享服务领域，具体是指基于大数据的产学研信息资源共享服务系统。

背景技术：

1、随着信息技术的飞速发展，大数据已经成为一个不可忽视的趋势。大数据技术能够处理和分析海量、复杂、多样的数据，从中提取有价值的信息和洞见。这为产学研合作提供了前所未有的机会，使得各方可以更加深入地了解科研进展、市场需求和人才流动等信息，从而做出更加明智的决策；

2、但现有产学研信息资源共享服务还存在一定的缺陷，现有的产学研信息资源共享服务在数据采集频率、覆盖范围及数据更新速度上存在不足，导致科研成果、产业动态等信息不够及时和全面，未能有效地整合多源异构的数据，导致用户在检索时无法一站式获取所需的完整信息资源，数据存储的权限控制机制安全措施不到位，存在数据泄露风险，为此，提出基于大数据的产学研信息资源共享服务系统。

技术实现思路

1、本发明的目的在于提供基于大数据的产学研信息资源共享服务系统，以解决上述背景技术中提出的问题。

2、为实现上述目的，本发明提供如下技术方案：基于大数据的产学研信息资源共享服务系统，包括多元数据源模块、数据录入模块、数据存储管理模块、数据处理分析模块、智能检索推荐模块、个性化服务模块、资源共享模块、资源交互模块；

3、其中，所述多元数据源模块通过爬虫实时抓取各平台科研成果、文献、产业动态多元化的数据源；

4、其中，所述数据录入模块用于对接多元数据源模块，对获取的数据源预处理和格式化录入至数据存储；

5、其中，所述数据存储管理模块通过数据录入模块采集并预处理的数据存入数据存储并进行数据分类、标签化和结构化；

6、其中，所述数据处理分析模块用于对存储的数据进行清洗、整合、分析操作，形成产学研信息资源库；

7、其中，所述智能检索推荐模块根据用户行为进行分析，提供个性化信息检索结果和资源推荐；

8、其中，所述资源共享模块通过搭建在线平台，用户进行数据共享；

9、其中，所述资源交互模块用户通过论坛、社区进行资源交互。

10、其中，所述多元数据源模块用于对接数据源接口进行爬虫，根据网页结构解析规则抓取所需数据，并通过反爬策略处理，获取实时更新的数据。

11、其中，所述数据录入模块根据多元数据源获取的数据实时进行获取并进行去除无效、重复、错误和不完整的数据记录，将各种异构数据格式统一转换为系统可以识别和处理的标准格式，将不同来源但含义相近的数据字段进行统一命名和定义，经过预处理和标准化后的数据被整合成系统能够直接读取和存储的形式，将处理好的数据批量导入到大数据存储系统中，数据导入后，执行数据质量规则检查，包括完整性、一致性、准确性等方面的验证，记录数据处理的日志和审计信息。

12、其中，所述数据存储管理模块根据数据录入模块录入的数据进行数据分区，将数据分布到各个节点上，设置数据冗余备份策略，在数据入库前或者入库后根据业务逻辑对数据进行分类，每类数据设置元数据标签，通过etl过程在数据进入分布式存储时添加或更新标签信息，设定不同用户权限，结合认证服务和授权框架，实现细粒度的权限控制功能，实施实时监控系统，监控集群健康状况、存储空间利用率、数据读写性能等关键指标，根据监控结果调整集群配置、优化数据分布及索引策略。

13、其中，所述数据处理分析模块根据数据存储中读取所需原始数据，使用spark大数据处理框架对原始数据进行清洗，包括去除无效、重复或错误的数据，填充缺失值，转换数据格式，根据业务需求，将不同来源、不同类型的数据进行关联、融合和标准化处理，形成统一的数据视图，对数据进行特征提取，包括统计特征、时间序列特征、文本特征等，并进行特征选择和降维；

14、通过聚类分析进行数据分析，对大量文本数据采用nlp进行文本解析，获取有价值的科研关键词、主题和实体关系，形成产学研信息资源库。

15、其中，所述智能检索推荐模块采集用户的行为数据，对用户的行为数据进行数据处理，根据用户历史行为数据进行创建检索模型，结合实时更新的用户行为数据动态调整，根据用户行为数据设计多种个性化推荐策略，并根据实际情况切换融合不同策略。

16、其中，所述资源共享模块通过搭建在线平台，根据用户角色(设置不同的资源上传、下载、引用和分享权限，文件上传后通过与数据存储管理模块对接，将资源存储到数据存储库中，用户可查询到存储在数据存储库中的资源进行下载。

17、其中，所述资源交互模块通过资源共享模块进行资源交互，用户可在线预览资源、下载、订阅，通过论坛、社区进行资源交互交流。

18、与现有技术相比，本发明的有益效果是：

19、1、本发明通过多元数据源模块和智能爬虫技术，实现对全球科研成果、文献和产业动态等多元化数据源的实时抓取和集成，确保信息资源的全面性和时效性；

20、2、本发明通过能够有效处理各种异构数据，去除无效、重复、错误信息，进行格式转换和字段统一命名，极大地提高了数据质量及系统的兼容性；

21、3、本发明通过采用分布式存储架构，保证海量数据的安全存储与高效访问，同时支持数据分类、标签化管理和细粒度权限控制，实现了数据的有序管理和合规使用；

22、4、本发明通过政策资讯模块能够实时获取并智能推送相关政策信息，帮助企业快速了解并利用科技创新政策，制定更为科学的发展战略和项目计划；

23、5、本发明通过数据处理分析模块运用spark等大数据处理框架，对原始数据进行深度清洗、整合和分析，形成产学研信息资源库，并利用nlp技术提取关键词、主题和实体关系，有力支撑了知识发现和创新应用；

24、6、资源共享模块和资源交互模块构建了一个开放共享的在线平台，用户不仅可以上传、下载、引用和分享各类资源，还可以在论坛、社区中围绕资源展开深入讨论和合作，从而激发更多的创新灵感和合作机会。

技术特征：

1.基于大数据的产学研信息资源共享服务系统，其特征在于：包括多元数据源模块、数据录入模块、数据存储管理模块、数据处理分析模块、智能检索推荐模块、个性化服务模块、资源共享模块、资源交互模块；

2.根据权利要求1所述的基于大数据的产学研信息资源共享服务系统，其特征在于：所述多元数据源模块用于对接数据源接口进行爬虫，根据网页结构解析规则抓取所需数据，并通过反爬策略处理，获取实时更新的数据。

3.根据权利要求1所述的基于大数据的产学研信息资源共享服务系统，其特征在于：所述数据录入模块根据多元数据源获取的数据实时进行获取并进行去除无效、重复、错误和不完整的数据记录，将各种异构数据格式统一转换为系统可以识别和处理的标准格式，将不同来源但含义相近的数据字段进行统一命名和定义，经过预处理和标准化后的数据被整合成系统能够直接读取和存储的形式，将处理好的数据批量导入到大数据存储系统中，数据导入后，执行数据质量规则检查，包括完整性、一致性、准确性等方面的验证，记录数据处理的日志和审计信息。

4.根据权利要求1所述的基于大数据的产学研信息资源共享服务系统，其特征在于：所述数据存储管理模块根据数据录入模块录入的数据进行数据分区，将数据分布到各个节点上，设置数据冗余备份策略，在数据入库前或者入库后根据业务逻辑对数据进行分类，每类数据设置元数据标签，通过etl过程在数据进入分布式存储时添加或更新标签信息，设定不同用户权限，结合认证服务和授权框架，实现细粒度的权限控制功能，实施实时监控系统，监控集群健康状况、存储空间利用率、数据读写性能等关键指标，根据监控结果调整集群配置、优化数据分布及索引策略。

5.根据权利要求1所述的基于大数据的产学研信息资源共享服务系统，其特征在于：所述数据处理分析模块根据数据存储中读取所需原始数据，使用spark大数据处理框架对原始数据进行清洗，包括去除无效、重复或错误的数据，填充缺失值，转换数据格式，根据业务需求，将不同来源、不同类型的数据进行关联、融合和标准化处理，形成统一的数据视图，对数据进行特征提取，包括统计特征、时间序列特征、文本特征等，并进行特征选择和降维；

6.根据权利要求1所述的基于大数据的产学研信息资源共享服务系统，其特征在于：所述智能检索推荐模块采集用户的行为数据，对用户的行为数据进行数据处理，根据用户历史行为数据进行创建检索模型，结合实时更新的用户行为数据动态调整，根据用户行为数据设计多种个性化推荐策略，并根据实际情况切换融合不同策略。

7.根据权利要求1所述的基于大数据的产学研信息资源共享服务系统，其特征在于：所述资源共享模块通过搭建在线平台，根据用户角色(设置不同的资源上传、下载、引用和分享权限，文件上传后通过与数据存储管理模块对接，将资源存储到数据存储库中，用户可查询到存储在数据存储库中的资源进行下载。

8.根据权利要求1所述的基于大数据的产学研信息资源共享服务系统，其特征在于：所述资源交互模块通过资源共享模块进行资源交互，用户可在线预览资源、下载、订阅，通过论坛、社区进行资源交互交流。

技术总结本发明公开了基于大数据的产学研信息资源共享服务系统，属于产学研信息资源共享服务技术协同技术领域，包括多元数据源模块、数据录入模块、数据存储管理模块、数据处理分析模块、智能检索推荐模块、个性化服务模块、资源共享模块、资源交互模块，本发明通过多元数据源模块实时抓取全球科研成果、文献资料及产业动态等多类型数据，并对其进行标准化录入、清洗、整合与存储管理，运用先进的大数据技术进行深度挖掘和智能分析，形成丰富全面的产学研信息资源库，为用户提供精准的检索结果，通过搭建在线交互平台，允许用户上传、下载、引用和分享各类产学研信息资源，并支持权限控制以保护知识产权，大大提高了安全性、完整性和可用性。技术研发人员：杜晓文受保护的技术使用者：华开云科技产业发展（南京）有限公司技术研发日：技术公布日：2024/8/20