文件查询方法、装置、设备及存储介质与流程

本发明涉及分布式存储，尤其涉及一种用于提高文件查询效率的文件查询方法、装置、设备及存储介质。

背景技术：

1、计算机通过文件系统管理和存储数据，而信息爆炸时代中人们可以获取的数据成指数倍的增长，单纯通过增加硬盘个数来扩展计算机文件系统的存储容量的方式难以满足需求，分布式文件系统可以有效解决数据的存储和管理难题。

2、随着信息技术的发展，分布式文件系统，如基于gluster构建的分布式文件系统，有强大的横向扩展能力，可支持拍字节(petabytes，pb)存储容量和数千客户端，通过网络互联组成一个并行的网络文件系统，具有可扩展性、高性能以及高可用性等特点，在大数据时代得到了广泛应用。基于gluster分布式文件系统中，元数据和实体文件散列分布于逻辑磁盘卷中，通过哈希算法进行实体文件查找和定位，针对大文件(如1mb以上)拥有较高的查询效率，然而，当小文件(如1mb以下)的文件数量达到千万数量级时，也即在海量小文件存储场景下，传统的基于哈希算法的文件查询方式会导致数据查询时间复杂度急剧上升，也即大幅增加了文件查找的时间复杂度，文件查询效率低下。

技术实现思路

1、本发明提供了文件查询方法、装置、设备及存储介质，可以提高分布式文件系统的文件查询效率。

2、根据本发明的一方面，提供了一种文件查询方法，应用于分布式文件系统，所述分布式文件系统用于以散列模式存储实体数据文件，所述分布式文件系统中包括预设数据库，所述预设数据库中存储有预设数据库表，所述预设数据库表中包括所述实体数据文件对应的元数据信息，所述方法包括：

3、根据目标查询请求确定查询条件信息；

4、采用目标数据库查找算法，从所述预设数据库表中查找与所述查询条件信息相匹配的目标元数据信息；

5、根据所述目标元数据信息确定目标文件存储路径；

6、基于所述目标文件存储路径获取所述目标查询请求对应的目标实体数据文件。

7、根据本发明的另一方面，提供了一种文件查询装置，配置于分布式文件系统，所述分布式文件系统用于以散列模式存储实体数据文件，所述分布式文件系统中包括预设数据库，所述预设数据库中存储有预设数据库表，所述预设数据库表中包括所述实体数据文件对应的元数据信息，所述装置包括：

8、查询条件获取模块，用于根据目标查询请求确定查询条件信息；

9、元数据查找模块，用于采用预设数据库查找算法，从所述预设数据库表中查找与所述查询条件信息相匹配的目标元数据信息；

10、存储路径确定模块，用于根据所述目标元数据信息确定目标文件存储路径；

11、文件获取模块，用于基于所述目标文件存储路径获取所述目标查询请求对应的目标实体数据文件。

12、根据本发明的另一方面，提供了一种电子设备，所述电子设备包括：

13、至少一个处理器；以及

14、与所述至少一个处理器通信连接的存储器；其中，

15、所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明任一实施例所述的文件查询方法。

16、根据本发明的另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现本发明任一实施例所述的文件查询方法。

17、根据本发明的另一方面，提供了一种计算机程序产品，其特征在于，所述计算机程序产品包括计算机程序，所述计算机程序在被处理器执行时实现本发明任一实施例所述的文件查询方法。

18、本发明实施例的文件查询方案，应用于分布式文件系统，该分布式文件系统用于以散列模式存储实体数据文件，分布式文件系统中包括预设数据库，预设数据库中存储有预设数据库表，预设数据库表中包括实体数据文件对应的元数据信息，根据目标查询请求确定查询条件信息，采用目标数据库查找算法，从预设数据库表中查找与查询条件信息相匹配的目标元数据信息，根据目标元数据信息确定目标文件存储路径，基于目标文件存储路径获取目标查询任务对应的目标实体数据文件。通过采用上述技术方案，在分布式文件系统中采用数据库中的数据库表来存储实体数据文件的元数据信息，使得在执行查询任务时，能够采用数据库的查找算法来快速进行元数据信息的查找，进而根据所查找到的元数据信息进行相应的实体数据文件的获取，对于分布式文件系统中存储大量实体数据文件的情况，例如小文件较多的情况，可以显著提升文件查询效率。

19、应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。

技术特征：

1.一种文件查询方法，其特征在于，应用于分布式文件系统，所述分布式文件系统用于以散列模式存储实体数据文件，所述分布式文件系统中包括预设数据库，所述预设数据库中存储有预设数据库表，所述预设数据库表中包括所述实体数据文件对应的元数据信息，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述预设数据库表中还包括与所述元数据信息关联存储的所述实体数据文件对应的文件存储路径；

3.根据权利要求2所述的方法，其特征在于，在所述根据目标查询请求确定查询条件信息之后，还包括：

4.根据权利要求3所述的方法，其特征在于，所述预设数据库表的数量为至少两个，不同所述预设数据库表对应不同的元数据预排序方式；在所述确定所述查询条件信息对应的目标查询类型之后，还包括：

5.根据权利要求1所述的方法，其特征在于，所述预设数据库为分布式数据库，所述分布式数据库中的预设数量的节点存储有相同的预设数据库表。

6.根据权利要求1-5任一项所述的方法，其特征在于，所述分布式文件系统基于gluster构建。

7.一种文件查询装置，其特征在于，配置于分布式文件系统，所述分布式文件系统用于以散列模式存储实体数据文件，所述分布式文件系统中包括预设数据库，所述预设数据库中存储有预设数据库表，所述预设数据库表中包括所述实体数据文件对应的元数据信息，所述装置包括：

8.一种电子设备，其特征在于，所述电子设备包括：

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现权利要求1-6中任一项所述的文件查询方法。

10.一种计算机程序产品，其特征在于，所述计算机程序产品包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1-6中任一项所述的文件查询方法。

技术总结本发明公开了文件查询方法、装置、设备及存储介质，涉及分布式存储技术领域。该方法包括：根据目标查询请求确定查询条件信息，采用目标数据库查找算法，从预设数据库表中查找与查询条件信息相匹配的目标元数据信息，根据目标元数据信息确定目标文件存储路径，基于目标文件存储路径获取目标查询任务对应的目标实体数据文件，其中，该分布式文件系统用于以散列模式存储实体数据文件，分布式文件系统中包括预设数据库，预设数据库中存储有预设数据库表，预设数据库表中包括实体数据文件对应的元数据信息。通过采用上述技术方案，可提高文件查询效率。技术研发人员：张海松,王若媛,高梓嫣,王利姣,陈治良受保护的技术使用者：北京联创信安科技股份有限公司技术研发日：技术公布日：2025/1/6