一种基于大语言模型的学情报告生成方法及系统与流程

本发明涉及教育，尤其涉及一种基于大语言模型的学情报告生成方法及系统。

背景技术：

1、在传统教育体系中，学情报告作为评估学生学习进展、反馈教学效果的核心环节，一直扮演着至关重要的角色。然而，这一过程长期依赖于教师手动撰写，不仅耗时费力，还受限于个人经验与主观判断，难以保证报告的客观性、全面性及个性化。过去，学校和教育机构通常采用统计软件来辅助生成数据汇总，但这些报告往往仅停留在数据堆砌层面，缺乏深度分析与指导意义，无法满足现代教育对精准教学和个性化学习路径规划的需求。总结起来，传统学情报告的撰写存在如下几个主要问题：

2、耗时耗力：撰写报告需要收集、整理和分析大量数据，这是一个非常耗时的过程。

3、主观性强：报告的内容和结论往往受到撰写者个人经验、偏好和价值观的影响，缺乏客观性。

4、覆盖面有限：由于时间和精力的限制，传统报告很难全面覆盖所有学生的情况。

5、更新不及时：传统报告通常是定期生成的，无法实时反映学生的学习状态和进展。

6、个性化和针对性不足：传统报告往往采用统一的模板，难以针对每个学生的具体情况提供个性化的建议和指导。

技术实现思路

1、本发明通过提供一种基于大语言模型的学情报告生成方法及系统，解决了现有技术中耗时耗力、主观性强、覆盖面有限、更新不及时、个性化和针对性不足的技术问题，显著提高了效率和学情报告的客观性，全面覆盖了所有学生的情况，并且能够及时反映学生的学习状态和进展，还增强了个性化反馈，满足了每位学生的独特需求。

2、本发明提供了一种基于大语言模型的学情报告生成方法，包括：

3、采集教育资料和学生学情数据；

4、基于所述教育资料构造输入输出对；其中，输入是所述教育资料，输出是包含了下一令牌的移位文本数据，得到教育资料模型微调训练集；

5、保持大语言模型的原始参数不变，建立adalora旁支网络，基于所述教育资料模型微调训练集对所述adalora旁支网络进行adalora微调，得到adalora旁支网络权重；

6、基于所述学生学情数据构建对齐微调训练集；所述对齐微调训练集中包括：指令、输入及输出；其中，所述指令为学情报告各部分的内容指令，输入为所述学生学情数据，所述输出为学情报告各部分的内容；

7、保持所述大语言模型的原始参数不变，建立hydralora旁支网络，基于所述对齐微调训练集对所述hydralora旁支网络进行hydralora微调，得到hydralora旁支网络权重；

8、通过公式得到所述大语言模型的最终参数，继而得到训练完成的大语言模型；

9、将待生成的教育资料和学生学情数据输入到所述训练完成的大语言模型中，输出得到学情报告。

10、具体来说，所述基于所述教育资料模型微调训练集对所述adalora旁支网络进行adalora微调，得到adalora旁支网络权重，包括：

11、将对角矩阵设置为矩阵，然后基于所述教育资料模型微调训练集，利用梯度下降更新权重的左奇异值向量和右奇异值向量；接着固定所述和，重新计算对角矩阵的梯度，利用adalora微调的剪枝策略，得到对角矩阵的更新，不断训练直至收敛或者达到预设的训练轮次，得到训练完成的权重。

12、具体来说，所述保持所述大语言模型的原始参数不变，建立hydralora旁支网络，基于所述对齐微调训练集对所述hydralora旁支网络进行hydralora微调，得到hydralora旁支网络权重，包括：

13、构建n个专家的线性加权和和随机的高斯矩阵a；其中，为moe结构中的第个专家，为第个专家的权重，，其中，表示为一个可训练的线性网络层，x为输入的特征向量；

14、从所述对齐微调训练集中随机采样训练数据，基于目标损失函数的梯度下降，基于当前时刻的参数得到下一时刻的参数，迭代直至参数收敛或者达到迭代总步数，此时，，；

15、通过公式得到微调训练后的路由权重，此时整个指令对齐旁支网络的权重函数为。

16、具体来说，在所述输出得到学情报告之后，还包括：

17、通过正则化表达式从所述学情报告中提取出学情数据；

18、若所述学情数据既在所述学情报告中，也在原始学情数据集合中，记为,则总分得；其中，为通过正则化表达式从所述学情报告中提取出的学情数据集合，为所述原始学情数据集合；

19、若所述学情数据在所述学情报告中，但不在所述原始学情数据集合中，记为,总分失；

20、若所述学情数据不在所述学情报告中，但在所述原始学情数据集合中，记为，相应的得分；

21、通过公式计算得到验证总分；其中，表示集合中元素的个数；

22、若所述验证总分小于预设的第一验证阈值，标记所述学情报告有误差。

23、具体来说，在所述输出得到学情报告之后，还包括：

24、将所述学情报告按照句子进行切分，切分的句子总数为，对切分得到的第个句子提取句子的语义向量，形成语义向量集合；

25、假设所述学情数据包含总数为条文本，对第条文本提取语义向量，形成语义向量集合；

26、通过公式计算句子之间的相似度最大值的均值作为语义一致性得分；

27、若所述语义一致性得分小于预设的第二验证阈值，标记所述学情报告有误差。

28、本发明还提供了一种基于大语言模型的学情报告生成系统，包括：

29、数据采集模块，用于采集教育资料和学生学情数据；

30、输入输出对构造模块，用于基于所述教育资料构造输入输出对；其中，输入是所述教育资料，输出是包含了下一令牌的移位文本数据，得到教育资料模型微调训练集；

31、adalora微调模块，用于保持大语言模型的原始参数不变，建立adalora旁支网络，基于所述教育资料模型微调训练集对所述adalora旁支网络进行adalora微调，得到adalora旁支网络权重；

32、对齐微调训练集构建模块，用于基于所述学生学情数据构建对齐微调训练集；所述对齐微调训练集中包括：指令、输入及输出；其中，所述指令为学情报告各部分的内容指令，输入为所述学生学情数据，所述输出为学情报告各部分的内容；

33、hydralora微调模块，用于保持所述大语言模型的原始参数不变，建立hydralora旁支网络，基于所述对齐微调训练集对所述hydralora旁支网络进行hydralora微调，得到hydralora旁支网络权重；

34、大语言模型训练模块，用于通过公式得到所述大语言模型的最终参数，继而得到训练完成的大语言模型；

35、学情报告生成模块，用于将待生成的教育资料和学生学情数据输入到所述训练完成的大语言模型中，输出得到学情报告。

36、具体来说，所述adalora微调模块，包括：

37、adalora旁支网络建立单元，用于保持大语言模型的原始参数不变，建立adalora旁支网络；

38、adalora微调训练单元，用于将对角矩阵设置为矩阵，然后基于所述教育资料模型微调训练集，利用梯度下降更新权重的左奇异值向量和右奇异值向量；接着固定所述和，重新计算对角矩阵的梯度，利用adalora微调的剪枝策略，得到对角矩阵的更新，不断训练直至收敛或者达到预设的训练轮次，得到训练完成的权重。

39、具体来说，所述hydralora微调模块，包括：

40、hydralora旁支网络建立单元，用于构建n个专家的线性加权和和随机的高斯矩阵a；其中，为moe结构中的第个专家，为第个专家的权重，，其中，表示为一个可训练的线性网络层，为输入的特征向量；

41、hydralora旁支网络训练单元，用于从所述对齐微调训练集中随机采样训练数据，基于目标损失函数的梯度下降，基于当前时刻的参数得到下一时刻的参数，迭代直至参数收敛或者达到迭代总步数，此时，，；

42、权重函数获得单元，用于通过公式得到微调训练后的路由权重，此时整个指令对齐旁支网络的权重函数为。

43、具体来说，还包括：

44、学情数据提取模块，用于通过正则化表达式从所述学情报告中提取出学情数据；

45、第一分析模块，用于若所述学情数据既在所述学情报告中，也在原始学情数据集合中，记为,则总分得；其中，为通过正则化表达式从所述学情报告中提取出的学情数据集合，为所述原始学情数据集合；

46、第二分析模块，用于若所述学情数据在所述学情报告中，但不在所述原始学情数据集合中，记为,总分失；

47、第三分析模块，用于若所述学情数据不在所述学情报告中，但在所述原始学情数据集合中，记为，相应的得分；

48、验证总分计算模块，用于通过公式计算得到验证总分；其中，表示集合中元素的个数；

49、第一验证模块，用于若所述验证总分小于预设的第一验证阈值，标记所述学情报告有误差。

50、具体来说，还包括：

51、第一语义向量提取模块，用于将所述学情报告按照句子进行切分，切分的句子总数为，对切分得到的第个句子提取句子的语义向量，形成语义向量集合；

52、第二语义向量提取模块，假设所述学情数据包含总数为条文本，对第条文本提取语义向量，形成语义向量集合；

53、语义一致性得分获得模块，用于通过公式计算句子之间的相似度最大值的均值作为语义一致性得分；

54、第二验证模块，用于若所述语义一致性得分小于预设的第二验证阈值，标记所述学情报告有误差。

55、本发明中提供的一个或多个技术方案，至少具有如下技术效果或优点：

56、1、先采集教育资料和学生学情数据；在采集的教育资料进行下一个token的预测训练时采用adalora微调方法，将教育领域的知识细节训练进adalora旁支中，训练得到adalora旁支网络权重；基于采集的学生学情数据对构建的hydralora旁支进行hydralora微调，训练得到hydralora旁支网络权重；再将以上两个微调得到的旁支网络参数权重与大语言模型的原始参数叠加在一起，从而得到微调训练完成的大语言模型。再通过微调训练完成的大语言模型输出得到学情报告。在本发明中， adalora通过svd奇异矩阵的正交性和奇异向量的绝对值和特征重要性的相关性设计剪枝策略，从而保证了教育大模型微调出的效果；hydralora则通过融合多个专家的策略，通过类似集成学习的方法减少模型可能的幻觉问题，保证了大模型按照指令的要求学情报告需要的正确内容。此外，本发明采集教育资料和不同学生的学情数据并基于机器学习算法得到不同学生的学情报告，解决了现有技术中耗时耗力、主观性强、覆盖面有限、更新不及时、个性化和针对性不足的技术问题，显著提高了效率和学情报告的客观性，全面覆盖了所有学生的情况，并且能够及时反映学生的学习状态和进展，还增强了个性化反馈，满足了每位学生的独特需求。

57、2、本发明提供了一种教育内容智能抓取方法，该方法设计用于高效、准确地从互联网上抓取、筛选并整合各类教育相关的资源，包括教科书、学术论文、在线课程、教学视频、教育政策文档等，旨在为基于教育大语言模型的学情报告自动生成系统提供丰富、高质量的语料库。通过采用先进的网络爬虫技术、nlp及分布式存储与计算框架，实现了从大规模数据源中自动发现、解析、分类并存储教育内容的全过程。由此方法构建的网络抓取系统为接下来的大模型的微调训练做背景知识的准备，使得大语言模型能够更加准确地识别教育阶段的相关知识与常识。

58、3、本发明还设计并实现了一个以学生为中心的全面且准确的学情数据收集与管理方法，该方法融合了数据采集技术、大数据处理、机器学习算法，通过综合分析学生的学习行为、成绩、参与度等多维度数据，旨在全面准确地收集和整理学生的学情数据。本发明通过构建一个精准的学情分析平台，为教育大语言模型的微调训练提供相应的学情案例，并为后续学情报告生成提供个性化和针对性的支持。

59、4、使用正则化表达式提取出生成的学情报告中所有的数据信息，根据送入大语言模型的原始学情数据，对生成的基础数据进行验证。同时，还基于nlp句向量模型，建立生成的学情报告中的句子与原始学情数据之间的语义相似性，通过语义相似性度量进行事实和逻辑验证，可以进一步提高生成的学情报告的准确性和一致性。