技术新讯 > 计算推算,计数设备的制造及其应用技术 > 面向烟草企业的算法驱动脑图模型构建方法与流程  >  正文

面向烟草企业的算法驱动脑图模型构建方法与流程

  • 国知局
  • 2024-07-31 23:09:31

本公开涉及烟草生产管理,特别涉及一种面向烟草企业的算法驱动脑图模型构建方法。

背景技术:

1、现代商业环境中,企业面临复杂的决策挑战,需要综合考虑多种因素和约束,平衡多个目标和利益相关者,做出准确、及时以及可解释的决策。传统的决策支持工具如电子表格、流程图、决策树等,难以全面刻画问题的复杂性,仅能对人工决策起到较弱的辅助作用。

2、在这种背景下,脑图模型应运而生,它是一种基于图形化表示和分析的建模范式,以人脑结构作为参照,由节点和边构成,节点代表决策过程中的关键要素,边代表节点之间的关系和依赖。

3、现有技术中的脑图模型的构建通常采用人机协同的方式,采用人工设计和知识工程方法构建脑图模型,这种构建方式由于烟草企业自身的多目标决策特点,存在以下技术问题:第一,存在知识获取瓶颈,涉及经验、直觉等隐形知识的专家知识的显式化和结构化表达存在难度;第二,模型构建难度高,烟草生产涉及原材料、工艺、设备、物流、营销等多个环节,影响因素众多,各因素之间存在复杂的非线性关联、动态反馈、时空耦合等,难以用简单的层次结构或因果链刻画,模型构建难以全面考虑各种约束条件,使模型泛化能力和鲁棒性不足;第三,模型的数据驱动和知识驱动割裂,或是对专家知识利用不足,或是对烟草企业积累的海量业务数据利用不足,难以从数据中学习模型结构和参数而使其发现隐含的模式和规律;第四,模型推理效率低下,脑图模型通常规模庞大,节点和边的数量巨大,难以在多目标、多约束条件下快速搜索最优决策。

技术实现思路

1、本公开提出一种面向烟草企业的算法驱动脑图模型构建方法,以解决上述技术问题。

2、一种面向烟草企业的算法驱动脑图模型构建方法,所述方法包括:构建数据层,其中,数据层包括数据采集与处理组件、异构数据融合组件、增量数据同步组件、隐私数据保护组件、结构化数据存储组件、以及非结构化数据存储组件;数据采集与处理组件用于采集烟草企业的多源异构数据,异构数据融合组件用于将多源异构数据中的烟草相关专业概念映射到统一本体而实现语义层的互操作与集成查询,增量数据同步组件用于将处理后的烟草生产过程数据实时同步到结构化数据存储组件和非结构化数据存储组件,隐私数据保护组件用于对敏感数据进行加密保护,结构化数据存储组件和非结构化数据存储组件用于分别存储处理后的结构化数据和非结构化数据;构建基于异质图注意力网络模型的特征学习层,其中,特征学习层包括异质图神经网络组件、强化学习驱动的注意力机制组件和贝叶斯因果推理组件,异质图神经网络组件用于将数据层的结构化数据映射为异质信息网络,并学习节点和边的低维表示,强化学习驱动的注意力机制组件用于自适应调整异质信息网络中不同类型节点和边的重要性权重,贝叶斯因果推理组件用于对异质信息网络中的关键节点和边进行因果关系挖掘和推理;构建基于大型语言模型的知识学习层,其中,知识学习层包括知识抽取组件、知识问答组件、模型压缩组件和知识更新组件,知识抽取组件用于从数据层的非结构化数据中抽取任务领域的实体、关系和属性知识,知识问答组件用于基于抽取的知识构建支持自然语言查询和问答的任务领域知识库,模型压缩组件用于对大型语言模型进行参数优化和压缩,知识更新组件用于使外部知识库与内部知识表示持续同步更新,实现增量学习;构建交互层,其中,交互层包括特征对齐组件、知识嵌入组件和知识选择组件,特征对齐组件用于对特征学习层的数据驱动特征表示与知识学习层的知识驱动特征表示进行对齐融合,知识嵌入组件用于将任务领域知识库的结构化知识嵌入到特征学习层的学习过程中;知识选择组件用于利用任务领域知识对特征学习层提取的特征进行重要性评估和选择,从而提高特征表示的针对性;构建应用层,其中,应用层包括任务分析组件、多目标优化组件、知识融合推理组件、交互式解释生成器组件和决策执行监控组件,任务分析组件用于对根据用户输入的任务类型和相关约束条件对任务进行形式化表示和分解,多目标优化组件用于将任务分析组件输出的任务进行建模求解,生成候选决策集,知识融合推理组件用于将任务分析组件提供的约束条件和多目标优化组件生成的候选决策集与知识学习层从非结构化数据中抽取的结构化任务领域知识进行融合,得到满足领域规则的最优决策,交互式解释生成器组件用于根据知识融合推理组件输出的最优决策生成自然语言解释,决策执行监控组件用于将最优决策传递给外部的生产执行系统,并实时监控决策过程和收集反馈数据,以及对执行效果进行评估。

3、在一些实施例中,所述将数据层的结构化数据映射为异质信息网络,包括:以任务相关数据作为异质图注意力网络模型的输入,构建包含烟草原料、烟草生产工艺、烟草生产设备多类型节点和多类型边的异质图;通过元路径定义不同语义下节点间的连接模型;利用节点级注意力和语义级注意力分层聚合异质邻居信息,通过数学表达式学习节点的低维嵌入表示,即,其中,表示激活函数,表示节点v在第l+1层的隐层特征表示,m表示元路径集合,表示节点v基于元路径m的注意力权重,表示节点v基于元路径m的邻居节点集合,表示元路径m对应的权重矩阵,表示节点v的邻居节点u在第l层的隐层特征表示。

4、在一些实施例中,所述自适应调整异质信息网络中不同类型节点和边的重要性权重,包括:将元路径的注意力权重建模为强化学习智能体的策略,状态为当前节点的特征,动作为选择关注某一元路径,奖励为采用当前注意力权重预测任务的提升幅度;强化学习智能体通过策略梯度算法优化元路径组合策略,学习最优的注意力权重分布;强化学习智能体将最优注意力权重反馈给异质图注意力网络模型。

5、在一些实施例中,所述对大型语言模型进行参数优化和压缩,包括:采用知识蒸馏技术,将大型语言模型归纳的任务领域相关知识压缩为轻量级的学习模型,由大型语言模型作为教师模型产生软标签,指导学生模型在任务领域的知识图谱上的表示学习,最终得到任务领域的轻量级的学生模型。

6、在一些实施例中,所述对特征学习层的数据驱动特征表示与知识学习层的知识驱动特征表示进行对齐融合,包括:参数优化和压缩后的大型语言模型将其归纳的结构化知识编码并输出知识表示向量,作为知识蒸馏的软目标,异质图注意力网络模型编码输出特征表示向量,基于知识蒸馏技术,最小化知识表示向量和特征表示向量的距离量度;进行特征对齐的损失函数的数学表达式为,其中,表示大型语言模型提取的知识表示向量,表示异质图注意力网络模型学习的特征表示向量,表示kl散度,表示第i维上与比值的对数,用于度量两个特征分布在第i维的相对差异;以最小化损失函数为目标进行特征对齐。

7、在一些实施例中,所述将任务领域知识库的结构化知识嵌入到特征学习层的学习过程中,包括:大型语言模型基于归纳的任务领域知识库,生成虚拟案例作为数据增强的来源,将扩充后的训练数据输入异质图注意力网络模型,由异质图注意力网络模型将大型语言模型生成的虚拟案例与原有的真实生产数据合并,形成一个知识增强型的训练集,异质图注意力网络模型在扩充后的训练集上进行端到端学习;大型语言模型根据其归纳的任务领域知识库中概念节点与异质图注意力网络模型当前处理节点的相关性,生成一组知识驱动的注意力权重,由异质图注意力网络模型在聚合邻居节点信息时,将原有的数据驱动注意力权重与大型语言模型输出的知识驱动权重进行结合;数据增强后,异质图注意力网络模型的训练目标是最小化扩充数据集上的经验风险,进行知识嵌入的损失函数的数学表达式为,其中,表示期望运算,表示从和的并集中随机采样一个任务数据对,表示真实任务数据集,表示大型语言模型生成的虚拟任务数据集,表示异质图注意力网络模型在任务样本上的损失函数值,表示异质图注意力网络模型从特征数据x中提取的任务表示向量,y表示对应的任务标签;最小化损失函数为目标进行知识嵌入,使异质图注意力网络模型在真实数据和大型语言模型的虚拟数据上联合优化。

8、在一些实施例中,所述利用任务领域知识对特征学习层提取的特征进行重要性评估和选择,包括:将大型语言模型的任务领域知识嵌入到注意力计算中,将融合了大型语言模型任务领域知识的注意力权重替代异质图注意力网络模型中节点i到节点j的注意力权重,实现异质图注意力网络模型注意力机制对大型语言模型任务领域知识的选择性融合,其中,融合了大型语言模型任务领域知识的注意力权重通过数学表达式计算,其中,表示异质图注意力网络模型中节点i到节点j的原始注意力权重,表示基于大型语言模型的任务领域知识图谱的注意力调制因子,和分别表示中与异质图注意力网络模型节点对应的知识概念节点,表示和在中的相关性度量函数。

9、本公开优点:该方法以多层次和多粒度的知识表示融合、端到端的任务建模、异质信息网络与因果推理的结合、领域知识嵌入的持续学习模式构建算法驱动脑图模型,能够显著提升烟草企业管理的智能化水平和决策效率;本公开在特征学习层和知识学习层分别利用异质图注意力网络模型(han)和大型语言模型(llm)学习数据的隐含特征表示和结构化知识表示,并在交互层利用知识蒸馏、数据增强等技术实现两种表示的交互融合,充分挖掘数据中的隐含模式和显式语义,实现数据驱动和知识驱动的协同增强;本公开在特征学习层引入强化学习驱动的注意力机制和贝叶斯因果推理,通过策略梯度等算法优化元路径组合策略,从而自适应调整han的注意力权重分布,再利用贝叶斯因果推理对han中的关键节点和边进行因果关系分析,从而全面充分的揭示烟草生产任务过程中复杂的影响机制,增强决策针对性和有效性;本公开将知识学习层从外部知识源中学习和积累的结构化的任务领域知识,通过交互层,以知识嵌入、知识选择等技术与数据特征交互,指导han的特征学习过程,克服单纯依赖数据学习的局限性,还可通过与领域专家的交互反馈实现知识的更新迭代,持续优化模型。

10、通过以下参照附图对本公开的示例性实施例的详细描述,本公开的其它特征及其优点将会变得清楚。

本文地址:https://www.jishuxx.com/zhuanli/20240730/196136.html

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至 YYfuon@163.com 举报,一经查实,本站将立刻删除。