基于大数据技术的咨询信息化系统的制作方法

本发明涉及数据处理，具体为基于大数据技术的咨询信息化系统。

背景技术：

1、传统的信息系统在处理复杂的咨询项目时，尤其是那些需要深入分析非结构化数据来提取洞察和趋势的项目，效率和效果往往不足。因为传统系统多依赖于简单的数据处理方法，如关键词搜索和基础的统计分析，它们在面对非结构化数据时往往无法深入挖掘数据背后的复杂关联和潜在价值。这种方法在数据量爆炸性增长的今天显得尤为不足，无法满足客户对于深度、个性化咨询的需求

2、例如，当面对大量的非结构化文本数据，以及来自企业内部数据库的结构化数据时，这些系统往往难以有效地识别和处理数据中的关键信息，因为它们缺少能够处理复杂数据类型和格式的专业工具和算法。这不仅增加了数据预处理的时间和复杂度，也大大降低了数据分析的准确性和时效性。

3、此外，这些信息系统往往无法提供实时数据处理能力，这意味着在快速变化的市场环境中，在数据环境快速变化的情况下，这些系统难以实时调整其分析模型和策略，导致无法即时反映新的数据趋势和洞察，从而影响咨询结果的准确性和可靠性，在为客户提供深度、定制化咨询服务的过程中，传统信息化系统的这些劣势导致了其在洞察力、响应速度和个性化服务方面的明显短板。

4、综上所述，这些信息系统的数据处理能力的局限性不仅影响了数据分析的深度和广度，限制了企业对市场动态和消费者行为的洞察和咨询服务的质量和效果，也直接影响了咨询公司的决策时效性和准确性，最终可能导致企业在激烈的市场竞争中处于不利地位。

技术实现思路

1、本发明的目的在于提供基于大数据技术的咨询信息化系统，以解决上述背景技术中提出的问题。

2、为实现上述目的，本发明提供如下技术方案：基于大数据技术的咨询信息化系统，其包括数据收集与处理模块、结构化数据分析模块、非结构化数据分析模块和综合标签结果与优化模块，其中：

3、所述数据收集与处理模块用于收集实时的结构化数据与非结构化数据以及历史的结构化数据与非结构化数据，并对历史的结构化数据与非结构化数据利用规则引擎进行标签化处理；

4、所述结构化数据分析模块利用决策树算法根据标签化处理后历史的结构化数据进行决策树模型的训练，利用训练好的决策树模型对实时的结构化数据进行标签预测；

5、所述非结构化数据分析模块利用卷积神经网络算法根据标签化处理后历史的非结构化数据进行卷积神经网络模型的训练，利用训练好的卷积神经网络模型对实时的非结构化数据进行标签预测；

6、所述综合标签结果与优化模块利用共现分析方法评估实时结构化数据的标签与实时非结构化数据的标签之间的相关性，共现分析方法是通过比较不同实时结构化数据的标签与实时非结构化数据的标签结果的共现频率，确定标签间的相关性；

7、确定实时结构化数据的标签与实时非结构化数据的标签之间为不相关时，所述综合标签结果与优化模块对数据收集与处理模块标签化处理后的历史的结构化数据与非结构化数据进行数据清洗，用于提高相关性分析的准确度。

8、作为本技术方案的进一步改进，所述数据收集与处理模块收集的结构化数据格式为表格形式，收集的非结构化数据格式为文本形式；对于历史的结构化数据，利用逻辑规则引擎进行标签化处理；对于历史的非结构化数据，利用非结构化的规则引擎进行标签化处理。

9、作为本技术方案的进一步改进，所述结构化数据分析模块利用决策树算法根据标签化处理后历史的结构化数据进行决策树模型的训练，决策树算法基于分割准则分析历史的结构化数据集中的特征和标签之间的关系，以确定分割数据集的特征。

10、作为本技术方案的进一步改进，所述非结构化数据分析模块利用卷积神经网络算法根据标签化处理后历史的非结构化数据进行卷积神经网络模型的训练，卷积神经网络模型通过多层卷积层和池化层逐步提取和学习数据的特征，每一层都在前一层学习到的特征基础上构建更高级的特征表示，将标签化处理后的历史非结构化数据作为输入来训练模型。

11、作为本技术方案的进一步改进，所述综合标签结果与优化模块包括综合标签结果单元和数据优化单元，所述综合标签结果单元利用共现分析方法评估实时结构化数据的标签与实时非结构化数据的标签之间的相关性；所述数据优化单元对数据收集与处理模块标签化处理后的历史的结构化数据与非结构化数据进行数据清洗。

12、作为本技术方案的进一步改进，所述综合标签结果单元确定一个时间窗口，以该时间窗口捕捉实时结构化数据的标签结果和实时非结构化数据的标签结果，形成标签对；

13、统计标签对共现频率，并确定共现频率最大的标签对为相关，其余标签对为不相关。

14、作为本技术方案的进一步改进，所述数据优化单元对数据收集与处理模块标签化处理后的历史的结构化数据与非结构化数据进行数据清洗。

15、作为本技术方案的进一步改进，所述数据优化单元对数据收集与处理模块进行数据清洗的优化处理之后，再次将带有标签的历史结构化数据和非结构化数据分别发送给结构化数据分析模块和非结构化数据分析模块，用于进行模型的训练以及标签的预测，并进行后续综合标签结果单元中相关性的判定，多次迭代，直到确定实时结构化数据的标签结果和实时非结构化数据的标签结果为相关。

16、与现有技术相比，本发明的有益效果是：

17、1、该基于大数据技术的咨询信息化系统设计了高效的数据收集与处理模块，能够与多个数据源接口兼容，实时收集和处理来自不同渠道的数据，包括实时和历史的结构化数据以及非结构化数据；通过采用规则引擎进行数据的标签化处理，系统能够自动对收集到的数据进行快速分类和标记，无论是结构化数据还是非结构化数据，都能被高效地整合和分析；再利用擅长处理结构化数据的决策树算法以及擅长处理非结构化数据的卷积神经网络算法分别对实时的结构化数据和非结构化数据进行标签预测，不仅大幅度缩短了数据预处理的时间，也提高了数据分析的准确性和时效性，使企业能够及时捕捉市场变化，快速做出基于数据的决策。

18、2、该基于大数据技术的咨询信息化系统进一步整合和分析了来自实时结构化和非结构化数据的标签结果，运用共现分析方法评估标签结果之间的相关性，以此揭示了数据收集过程的准确性以及反映了模型训练的有效性，确定实时结构化和非结构化数据的之间标签结果不相关时，通过数据清洗技术对保证数据质量以及提升模型训练的有效性，随后再次进行相关性的判定，多次迭代，直到确定相关结果，这个迭代优化过程确保了数据分析和模型预测的持续改进，以及相关性分析的准确度。

技术特征：

1.基于大数据技术的咨询信息化系统，其特征在于：包括数据收集与处理模块(100)、结构化数据分析模块(200)、非结构化数据分析模块(300)和综合标签结果与优化模块(400)，其中：

2.根据权利要求1所述的基于大数据技术的咨询信息化系统，其特征在于：所述数据收集与处理模块(100)收集的结构化数据格式为表格形式，收集的非结构化数据格式为文本形式；对于历史的结构化数据，利用逻辑规则引擎进行标签化处理；对于历史的非结构化数据，利用非结构化的规则引擎进行标签化处理。

3.根据权利要求2所述的基于大数据技术的咨询信息化系统，其特征在于：所述结构化数据分析模块(200)利用决策树算法根据标签化处理后历史的结构化数据进行决策树模型的训练，决策树算法基于分割准则分析历史的结构化数据集中的特征和标签之间的关系，以确定分割数据集的特征。

4.根据权利要求3所述的基于大数据技术的咨询信息化系统，其特征在于：所述非结构化数据分析模块(300)利用卷积神经网络算法根据标签化处理后历史的非结构化数据进行卷积神经网络模型的训练，卷积神经网络模型通过多层卷积层和池化层逐步提取和学习数据的特征，每一层都在前一层学习到的特征基础上构建更高级的特征表示，将标签化处理后的历史非结构化数据作为输入来训练模型。

5.根据权利要求4所述的基于大数据技术的咨询信息化系统，其特征在于：所述综合标签结果与优化模块(400)包括综合标签结果单元(401)和数据优化单元(402)，所述综合标签结果单元(401)利用共现分析方法评估实时结构化数据的标签与实时非结构化数据的标签之间的相关性；所述数据优化单元(402)对数据收集与处理模块(100)标签化处理后的历史的结构化数据与非结构化数据进行数据清洗。

6.根据权利要求5所述的基于大数据技术的咨询信息化系统，其特征在于：所述综合标签结果单元(401)确定一个时间窗口，以该时间窗口捕捉实时结构化数据的标签结果和实时非结构化数据的标签结果，形成标签对；

7.根据权利要求5所述的基于大数据技术的咨询信息化系统，其特征在于：所述数据优化单元(402)对数据收集与处理模块(100)标签化处理后的历史的结构化数据与非结构化数据进行数据清洗。

8.根据权利要求7所述的基于大数据技术的咨询信息化系统，其特征在于：所述数据优化单元(402)对数据收集与处理模块(100)进行数据清洗的优化处理之后，再次将带有标签的历史结构化数据和非结构化数据分别发送给结构化数据分析模块(200)和非结构化数据分析模块(300)，用于进行模型的训练以及标签的预测，并进行后续综合标签结果单元(401)中相关性的判定，多次迭代，直到确定实时结构化数据的标签结果和实时非结构化数据的标签结果为相关。

技术总结本发明涉及数据处理技术领域，具体为基于大数据技术的咨询信息化系统，其包括数据收集与处理模块、结构化数据分析模块、非结构化数据分析模块和综合标签结果与优化模块，其中，数据收集与处理模块用于收集实时结构化数据与非结构化数据以及历史结构化数据与非结构化数据，并对历史结构化数据与非结构化数据利用规则引擎进行标签化处理，结构化数据分析模块利用决策树算法对历史和实时的结构化数据进行模型训练以及标签预测，非结构化数据分析模块利用卷积神经网络算法对历史和实时的非结构化数据进行模型训练以及标签预测，综合标签结果与优化模块利用共现分析方法评估实时结构化数据的标签与实时非结构化数据的标签之间的相关性。技术研发人员：颜治国,周鹏受保护的技术使用者：郴州市鼎虹科技有限公司技术研发日：技术公布日：2024/8/20