技术新讯 > 计算推算,计数设备的制造及其应用技术 > 文件分析方法、装置、设备以及存储介质与流程  >  正文

文件分析方法、装置、设备以及存储介质与流程

  • 国知局
  • 2024-10-09 15:10:48

本公开涉及大数据领域,尤其涉及大模型、数据筛选等。

背景技术:

1、随着信息量的增加,从海量文件中挖掘出所需的内容是一项非常复杂的任务。相关技术中,可能需要定义一系列的数据筛选规则,然后依据该预先定义的数据筛选规则从海量数据中匹配出需要的数据。之后将得到的数据简单的合并到一起,然后仅能够给出笼统的简单描述。

技术实现思路

1、本公开提供了一种文件分析方法、装置、设备以及存储介质。

2、根据本公开的一方面,提供了一种文件分析方法,包括:

3、采用大模型分析决策参考信息,决策出文件筛选方法和文件筛选方法所需的筛选参数;

4、基于文件筛选方法和筛选参数,对混合文件集合进行粗筛,得到第一文件集;

5、从第一文件集合中筛选出精筛文件;

6、从混合文件集合中筛选出精筛文件的关联文件,得到以精筛文件为核心的待描述文件集;

7、基于大模型生成待描述文件集的描述信息。

8、根据本公开的另一方面,提供了一种文件分析装置,包括:

9、决策模块,用于采用大模型分析决策参考信息,决策出文件筛选方法和文件筛选方法所需的筛选参数;

10、粗筛模块,用于基于文件筛选方法和筛选参数,对混合文件集合进行粗筛,得到第一文件集;

11、精筛模块,用于从第一文件集合中筛选出精筛文件;

12、确定模块,用于从混合文件集合中筛选出精筛文件的关联文件,得到以精筛文件为核心的待描述文件集;

13、生成模块,用于基于大模型生成待描述文件集的描述信息。

14、根据本公开的另一方面,提供了一种电子设备,包括:

15、至少一个处理器;以及

16、与该至少一个处理器通信连接的存储器;其中,

17、该存储器存储有可被该至少一个处理器执行的指令,该指令被该至少一个处理器执行,以使该至少一个处理器能够执行本公开实施例中任一的方法。

18、根据本公开的另一方面,提供了一种存储有计算机指令的非瞬时计算机可读存储介质,其中,该计算机指令用于使该计算机执行根据本公开实施例中任一的方法。

19、根据本公开的另一方面,提供了一种计算机程序产品,包括计算机程序,该计算机程序在被处理器执行时实现根据本公开实施例中任一的方法。

20、本公开实施例中,能够通过大模型灵活的决策出文件筛选方法,能够筛选出需要的待描述文件集并能够给出丰富的描述。

21、应当理解,本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征,也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

技术特征:

1.一种文件分析方法,包括:

2.根据权利要求1所述的方法,其中,所述从所述第一文件集合中筛选出精筛文件,包括:

3.根据权利要求2所述的方法,其中,基于元信息过滤策略,对所述第一文件集合进行数据过滤,包括:

4.根据权利要求2所述的方法,其中,所述基于打分结果的过滤策略,对所述第一文件集合进行数据过滤,包括:

5.根据权利要求4所述的方法,其中,所述基于多种打分模型对所述第一文件集合内的文件进行打分,得到多个文件的最终分值,包括:

6.根据权利要求2-5中任一项所述的方法,其中,所述从剩余的文件中获取所述精筛文件,包括:

7.根据权利要求1所述的方法,其中,所述从所述混合文件集合中筛选出所述精筛文件的关联文件,得到以所述精筛文件为核心的待描述文件集,包括:

8.根据权利要求1-7中任一项所述的方法,其中,所述决策参考信息包括以下中的至少一种:

9.根据权利要求2所述的方法,还包括:

10.根据权利要求1-9中任一项所述的方法,其中,所述基于所述大模型生成所述待描述文件集的描述信息,包括:

11.一种文件分析装置,包括:

12.根据权利要求11所述的装置,所述精筛模块,具体用于:

13.根据权利要求12所述的装置,其中,所述精筛模块,具体用于:

14.根据权利要求12所述的装置,其中,所述精筛模块,包括:

15.根据权利要求14所述的装置,其中,所述打分单元,具体用于:

16.根据权利要求12-15中任一项所述的装置,其中,所述精筛模块,具体用于将剩余的文件分别确定为所述精筛文件。

17.根据权利要求11所述的装置,其中,所述确定模块,具体用于针对所述混合文件集合中的各候选文件,分别执行:

18.根据权利要求11-17中任一项所述的装置,其中,所述决策参考信息包括以下中的至少一种:

19.根据权利要求12所述的装置,还包括策略生成模块,用于:

20.根据权利要求11-19中任一项所述的装置,其中,所述生成模块,具体用于:

21.一种电子设备,包括:

22.一种存储有计算机指令的非瞬时计算机可读存储介质,其中,所述计算机指令用于使所述计算机执行根据权利要求1-10中任一项所述的方法。

23.一种计算机程序产品,包括计算机程序,所述计算机程序在被处理器执行时实现根据权利要求1-10中任一项所述的方法。

技术总结本公开提供了文件分析方法、装置、设备以及存储介质,本公开涉及大数据领域,尤其涉及大模型、数据筛选等技术领域。具体实现方案为:采用大模型分析决策参考信息,决策出文件筛选方法和文件筛选方法所需的筛选参数;基于文件筛选方法和筛选参数,对混合文件集合进行粗筛,得到第一文件集;从第一文件集合中筛选出精筛文件;从混合文件集合中筛选出精筛文件的关联文件,得到以精筛文件为核心的待描述文件集;基于大模型生成待描述文件集的描述信息。本公开实施例中,能够通过大模型灵活的决策出文件筛选方法,能够筛选出需要的待描述文件集并能够给出丰富的描述。技术研发人员:杨宏骏,裴中佑,刘春晓,赵以诚,施鹏受保护的技术使用者:北京度友信息技术有限公司技术研发日:技术公布日:2024/9/29

本文地址:https://www.jishuxx.com/zhuanli/20241009/307949.html

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至 YYfuon@163.com 举报,一经查实,本站将立刻删除。