技术新讯 > 计算推算,计数设备的制造及其应用技术 > 文件存储方法、装置、设备及存储介质与流程  >  正文

文件存储方法、装置、设备及存储介质与流程

  • 国知局
  • 2024-07-31 22:53:19

本公开实施例涉及人工智能,尤其涉及一种文件存储方法、装置、设备及存储介质。

背景技术:

1、随着人工智能技术的发展,越来越多的用户通过人工智能平台,从向量数据库中获取知识或解答问题,在应用之前,需要将相关的向量存储到向量数据库中。

2、现有技术中,要存储这些向量,至少需要两个重要的组件,一个组件用于拿到原始的素材,然后将原始的素材转化为向量;另一个组件用于将转化得到的向量存储到向量数据库中。

3、然而,发明人发现现有技术至少存在如下技术问题:向量数据库中存储的向量依赖于人工处理上传,导致文件的存储效率较低。

技术实现思路

1、本公开实施例提供一种文件存储方法、装置、设备及存储介质,可以提高了文件的存储效率。

2、第一方面,本公开实施例提供一种文件存储方法,包括:

3、响应于接收到目标文件的上传请求,确定所述目标文件所在的目标文件夹,从预先配置的多个文件夹各自对应的存储配置信息中,确定所述目标文件夹对应的存储配置信息,所述存储配置信息包括用于配置文件的存储大小的存储大小配置信息、用于配置文件的向量化模型的模型配置信息和用于配置文件的存储路径的存储路径配置信息;

4、根据所述存储大小配置信息对所述目标文件进行分片处理,得到所述目标文件对应的多个分片;

5、将所述目标文件对应的多个分片存储到关系数据库,以及,根据所述模型配置信息确定所述多个分片各自对应的向量,并根据所述存储路径配置信息将所述多个分片各自对应的向量存储到向量数据库。

6、第二方面,本公开实施例提供一种文件存储装置,包括:

7、获取模块,用于响应于接收到目标文件的上传请求,确定所述目标文件所在的目标文件夹,从预先配置的多个文件夹各自对应的存储配置信息中,确定所述目标文件夹对应的存储配置信息,所述存储配置信息包括用于配置文件的存储大小的存储大小配置信息、用于配置文件的向量化模型的模型配置信息和用于配置文件的存储路径的存储路径配置信息;

8、确定模块,用于根据所述存储大小配置信息对所述目标文件进行分片处理,得到所述目标文件对应的多个分片;

9、存储模块,用于将所述目标文件对应的多个分片存储到关系数据库,以及,根据所述模型配置信息确定所述多个分片各自对应的向量,并根据所述存储路径配置信息将所述多个分片各自对应的向量存储到向量数据库。

10、第三方面,本公开实施例提供一种电子设备,包括:

11、处理器,以及与所述处理器通信连接的存储器;

12、所述存储器存储计算机执行指令;

13、所述处理器执行所述存储器存储的计算机执行指令,以实现如上第一方面所述的文件存储方法。

14、第四方面,本公开实施例提供一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机执行指令,当处理器执行所述计算机执行指令时,实现如上第一方面所述的文件存储方法。

15、第五方面,本公开实施例提供一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现如上第一方面所述的文件存储方法。

16、本实施例提供的文件存储方法、装置、设备及存储介质,该方法包括:响应于接收到目标文件的上传请求,确定目标文件所在的目标文件夹,从预先配置的多个文件夹各自对应的存储配置信息中,确定目标文件夹对应的存储配置信息,存储配置信息包括用于配置文件的存储大小的存储大小配置信息、用于配置文件的向量化模型的模型配置信息和用于配置文件的存储路径的存储路径配置信息;根据存储大小配置信息对目标文件进行分片处理,得到目标文件对应的多个分片;将目标文件对应的多个分片存储到关系数据库,以及,根据模型配置信息确定多个分片各自对应的向量,并根据存储路径配置信息将多个分片各自对应的向量存储到向量数据库。在本公开实施例中,在接收到文件的上传请求时,对文件进行分片处理后,通过目标文件夹对应的存储配置信息,确定多个分片各自对应的向量,同时存储文件和文件对应的向量,这样只需一次分片处理即可存储文件和文件对应的向量,与现有技术相比,在获取向量的过程中,不需要单独对文件进行分片处理,因此提高了文件的存储效率,并且,在文件的上传时就可以将该文件对应的向量存储到向量数据库,提高了向量数据库的更新效率。

技术特征:

1.一种文件存储方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述向量数据库包括多个数据库表,每个数据库表中包括多个向量列;

3.根据权利要求1所述的方法,其特征在于,所述目标文件夹对应的存储配置信息还包括用于配置文件的存储模式的存储模式配置信息;

4.根据权利要求1所述的方法,其特征在于,所述目标文件夹对应的存储配置信息还包括用于配置文件的存储时间的存储时间配置信息;

5.根据权利要求1所述的方法,其特征在于,所述目标文件夹对应的存储配置信息还包括目标文件的文件标识、目标文件的文件大小和目标文件在关系数据库中的文件存储路径;

6.根据权利要求1所述的方法,其特征在于,所述目标文件包括多个文件信息;所述方法还包括:

7.根据权利要求1至6任一项所述的方法,其特征在于,所述根据所述模型配置信息确定所述多个分片各自对应的向量之前,还包括:

8.根据权利要求1至6任一项所述的方法,其特征在于,所述方法还包括:

9.一种文件存储装置,其特征在于,包括:

10.一种电子设备,其特征在于,包括:处理器,以及与所述处理器通信连接的存储器;

11.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有计算机执行指令,当处理器执行所述计算机执行指令时,实现如权利要求1至8任一项所述的文件存储方法。

12.一种计算机程序产品,其特征在于,包括计算机程序,该计算机程序被处理器执行时实现如权利要求1至8任一项所述的文件存储方法。

技术总结本公开实施例提供一种文件存储方法、装置、设备及存储介质,该方法包括:响应于接收到目标文件的上传请求,确定目标文件所在的目标文件夹,从预先配置的多个文件夹各自对应的存储配置信息中,确定目标文件夹对应的存储配置信息,存储配置信息包括存储大小配置信息、模型配置信息和存储路径配置信息;根据存储大小配置信息对目标文件进行分片处理,得到目标文件对应的多个分片;将目标文件对应的多个分片存储到关系数据库,以及,根据模型配置信息确定多个分片各自对应的向量,并根据存储路径配置信息将多个分片各自对应的向量存储到向量数据库。本申请提高了文件的存储效率。技术研发人员:祝百万受保护的技术使用者:北京火山引擎科技有限公司技术研发日:技术公布日:2024/7/29

本文地址:https://www.jishuxx.com/zhuanli/20240730/195190.html

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至 YYfuon@163.com 举报,一经查实,本站将立刻删除。