基于生成式自动文摘的辅助判案方法及系统

本发明涉及自然语言处理，具体涉及一种基于生成式自动文摘的辅助判案方法及系统。

背景技术：

1、在辅助判案系统中，多模态融合与多模态生成技术以及生成式自动文摘技术正成为关键驱动力。多模态融合将来自不同模态的信息整合到一个模型中，提高了系统对案件信息的全面理解能力。联合训练模型使系统能够同时学习多种模态之间的关联性，从而提高了系统的智能化水平。生成式自动文摘技术能够快速、准确地生成判决文本和判案预测，为法官提供了有效的判案辅助。这些技术的应用使得辅助判案系统更具智能化和高效性，为司法决策提供了有力支持。

2、现有技术中，辅助判案系统会面对多模态证据的处理，尤其是如何高效整合来自图像和文本等不同模态的证据，存在着显著的挑战。现有的技术会引入大量的参数，可能会导致计算的复杂性增加，影响模型的效率；同时复杂的融合策略可能导致模型在训练数据上过度拟合，从而导致自动文摘的生成准确性较低。

技术实现思路

1、本发明的目的在于提供一种基于生成式自动文摘的辅助判案方法及系统，用于解决现有自动文摘的生成准确性较低的问题。

2、为解决上述技术问题，第一方面，本发明提供了一种基于生成式自动文摘的辅助判案方法，包括以下步骤：

3、获取多模态证据数据，并确定基于多模态证据数据的法律自动文摘格式；

4、对多模态证据数据进行内容标注，确定多模态证据数据中图像数据中的目标对象以及文本数据中的目标实体；

5、基于多模态证据数据中图像数据中的目标对象以及文本数据中的目标实体，对多模态证据数据进行特征提取，确定多模态证据数据中的图像特征和文本特征；

6、基于多模态证据数据中的图像特征和文本特征，进行图像和文本之间的模态对齐操作，得到多模态证据数据中模态对齐操作后的图像特征和文本特征；

7、将多模态证据数据中模态对齐操作后的图像特征和文本特征进行融合，生成内模态视觉上下文向量和内模态文本上下文向量；

8、通过自注意力机制将模态视觉上下文向量和内模态文本上下文向量融合生成向量，进而生成综合视觉和文本证据内容的案件描述文本；

9、基于生成的案件描述文本，进行要素抽取，并利用抽取的要素对所述法律自动文摘格式进行填充，生成法律文摘。

10、结合上述第一方面，在一些可能的实现方式中，生成内模态视觉上下文向量，包括：

11、给定表示输入图像所有m个区域的视觉特征的局部特征向量，从而确定视觉全局上下文向量；

12、给定视觉碎片特征，按照空间顺序组织它们，然后依次将它们输入到门控循环单元网络gru中以模拟它们之间的空间位置信息，从而获得一组隐藏状态向量；

13、对获得的隐藏状态向量执行均值池化，以获得视觉空间位置向量特征；

14、基于获得的视觉全局上下文向量特征和视觉空间位置向量特征，获取视觉查询指导向量；

15、通过将视觉特征向量和视觉查询指导向量放入注意力函数，计算出每个图像区域的注意力权重，注意力函数采用两层前馈感知器ffp，后接softmax函数，以确保所有计算出的权重求和为1；

16、基于图像中不同图像区域的注意力权重，确定内模态视觉上下文向量。

17、进一步的，确定视觉全局上下文向量，计算公式为：

18、

19、其中，v(glo)表示视觉全局上下文向量；p(0)表示一个权重矩阵；in表示输入图像的第n个区域的局部特征向量；tanh表示激活函数；n表示输入图像的区域数量。

20、结合上述第一方面，在一些可能的实现方式中，计算出每个图像区域的注意力权重，对应的计算公式为：

21、

22、其中和表示感知机的参数；代表视觉注意功能的隐藏状态；e代表元素级乘法；表示注意力权重；softmax表示激活函数；v(0)表示视觉查询指导向量。

23、结合上述第一方面，在一些可能的实现方式中，确定内模态视觉上下文向量，对应的计

24、算公式为：

25、

26、其中，v(1)表示内模态视觉上下文向量；p(1)表示一个权重矩阵。

27、结合上述第一方面，在一些可能的实现方式中，生成内模态文本上下文向量，包括：

28、给定表示句子中词汇文本特征的向量，将其融合形成全局文本表示，得到全局文本上下文向量；

29、基于全局文本上下文向量，确定内模态文本上下文向量。

30、结合上述第一方面，在一些可能的实现方式中，生成综合视觉和文本证据内容的案件描述文本，包括：

31、使用自注意力机制计算内模态视觉上下文向量与内模态文本上下文向量之间的关系，得到内模态视觉上下文向量与内模态文本上下文向量之间的注意力权重；

32、根据注意力权重，对内模态视觉上下文向量与内模态文本上下文向量进行加权平均，得到融合向量；

33、对融合向量进行位置编码并输入至迁移模型的transformer编码器，迁移模型的编码器通过自注意力学习融合数据的内在关系，迁移模型的解码器根据transformer编码器输出自回归地生成文本，从而得到综合视觉和文本证据内容的案件描述文本。

34、结合上述第一方面，在一些可能的实现方式中，基于生成的案件描述文本，采用roberta模型进行要素抽取，并在进行要素提取的过程中，通过构造无监督句子知识对roberta模型重新预训练，通过构造监督类型句子对知识，得到要素描述信息，将pos信息融入到roberta的词嵌入表示中。

35、结合上述第一方面，在一些可能的实现方式中，该方法还包括对获取的多模态证据数据进行质量增强处理，质量增强处理的步骤包括：

36、对于多模态证据数据中的图像数据，采用非局部均值去噪算法对图像数据进行去噪处理，得到去噪处理后的图像数据；

37、应用自动对比度增强算法对去噪处理后的图像数据进行增强处理，得到增强处理后的图像数据；

38、利用拉普拉斯算法对增强处理后的图像数据进行清晰度处理，最终得到质量增强处理后的图像数据；

39、对于多模态证据数据中的文本数据，对文本数据进行文本标准化处理，得到标准化处理后的文本数据；

40、利用语言模型自动校正标准化处理后的文本数据中的拼写错误和语法错误，最终得到质量增强处理后的文本数据。

41、为解决上述技术问题，第二方面，本发明还提供了一种基于生成式自动文摘的辅助判案系统，包括：

42、数据获取模块，用于：获取多模态证据数据，并确定基于多模态证据数据的法律自动文摘格式；

43、标注识别模块，用于：对多模态证据数据进行内容标注，确定多模态证据数据中图像数据中的目标对象以及文本数据中的目标实体；

44、特征提取模块，用于：基于多模态证据数据中图像数据中的目标对象以及文本数据中的目标实体，对多模态证据数据进行特征提取，确定多模态证据数据中的图像特征和文本特征；

45、模态对齐模块，用于：基于多模态证据数据中的图像特征和文本特征，进行图像和文本之间的模态对齐操作，得到多模态证据数据中模态对齐操作后的图像特征和文本特征；

46、上下文向量生成模块，用于：将多模态证据数据中模态对齐操作后的图像特征和文本特征进行融合，生成内模态视觉上下文向量和内模态文本上下文向量；

47、案件描述文本生成模块，用于：通过自注意力机制将模态视觉上下文向量和内模态文本上下文向量融合生成向量，进而生成综合视觉和文本证据内容的案件描述文本；

48、自动文摘生成模块，用于：基于生成的案件描述文本，进行要素抽取，并利用抽取的要素对所述法律自动文摘格式进行填充，生成法律文摘。

49、为解决上述技术问题，第三方面，本发明还提供了一种基于生成式自动文摘的辅助判案装置，包括存储器和处理器。该存储器用于存储可执行程序代码，该处理器用于从存储器中调用并运行该可执行程序代码，使得该设备执行上述第一方面或第一方面任意一种可能的实现方式中的方法。

50、为解决上述技术问题，第四方面，本发明还提供了一种计算机程序产品，该计算机程序产品包括：计算机程序代码，当该计算机程序代码在计算机上运行时，使得该计算机执行上述第一方面或第一方面任意一种可能的实现方式中的方法。

51、为解决上述技术问题，第五方面，本发明还提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序代码，当该计算机程序代码在计算机上运行时，使得该计算机执行上述第一方面或第一方面任意一种可能的实现方式中的方法。

52、本发明具有如下有益效果：通过对多模态证据数据进行特征提取，并在融合之前更好地学习单模态表征，进行图像-文本的对比学习，完成模态的对齐，从而能够更好地处理跨模态任务；同时将内模态视觉向量和文本向量通过自注意力机制融合生成向量，再利用位置编码和迁移模型进行处理，从而高效生成案件描述文本，旨在综合视觉和文本证据中的内容，提供事件描述、涉及的实体和关键事实，为后续的判案预测和法律词条分析提供基础；最后基于生成的案件描述文本，进行要素抽取，并利用抽取的要素对预先定义的面向多模态数据的法律自动文摘格式进行填充，最终生成法律文摘，提高了模型的效率，避免了模型在训练数据上过度拟合，有效提高了自动文摘生成的准确性。