一种数据处理的方法和装置与流程

本发明涉及计算机，尤其涉及一种数据处理的方法和装置。

背景技术：

1、在分布式存储系统中，广泛采用crush(controlled replication underscalable hashing，可扩展哈希下的受控复制)算法进行数据存储，实现数据路由，将数据的哈希值映射到bucket的树形结构上，得到数据的存储位置。然而，这种数据路由方式，在数据移动或存储设备扩缩容时，需要重新计算数据和存储位置之间的映射关系，会导致业务阻断，且crush算法需要频繁计算映射关系和存储位置，增加了系统的计算负载和延迟。

技术实现思路

1、有鉴于此，本发明实施例提供一种数据处理的方法和装置，能够在接收到数据访问请求后，通过地址簿寻址的方式获取请求数据，能够降低寻址计算量和复杂度，提升寻址效率，进而提升数据查询效率。

2、为实现上述目的，根据本发明实施例的一个方面，提供了一种数据处理的方法，包括：

3、响应于接收到数据访问请求，从所述数据访问请求中获取数据标识；

4、从地址簿中获取与所述数据标识对应的存储地址，所述存储地址指示了存储介质；

5、从所述存储介质中获取与所述数据访问请求对应的请求数据。

6、可选地，从地址簿中获取与所述数据标识对应的存储地址之前，还包括：

7、获取所述存储介质的数据属性；

8、将所述数据标识和存储地址存储在与所述数据属性对应的地址簿中。

9、可选地，将所述数据标识和存储地址存储在与所述数据属性对应的地址簿中之前，还包括：

10、建立与所述数据属性对应的地址簿。

11、可选地，从所述存储介质中获取与所述数据访问请求对应的请求数据，包括：

12、根据所述存储地址向连接器发送请求；

13、确定与所述存储介质对应的管道；

14、使所述连接器与所述管道构建连接，以通过所述管道向所述存储介质中获取所述请求数据。

15、可选地，所述方法还包括：

16、响应于接收到数据变更通知，从所述数据变更通知中获取目标数据标识和目标存储地址；所述目标存储地址指示了目标存储介质；

17、确定与所述目标存储介质对应的目标地址簿；

18、根据所述目标数据标识和所述目标存储地址更新所述目标地址簿。

19、可选地，所述方法还包括：

20、接收到数据变更通知之后，构建负载器；

21、获取与所述目标数据标识对应的原存储地址，所述原存储地址指示了原存储介质；

22、将所述负载器挂到与所述原存储介质对应的管道上，利用所述负载器将所述目标数据标识和所述目标存储地址存储到该管道中。

23、可选地，从所述数据访问请求中获取数据标识之前，还包括：

24、确定所述数据访问请求满足预设限流策略；所述预设限流策略通过热插拔限流策略插件实现；

25、在所述数据访问请求不满足预设限流策略的情况下，拒绝所述数据访问请求。

26、根据本发明实施例的再一个方面，提供了一种数据处理的装置，包括：

27、接收模块，响应于接收到数据访问请求，从所述数据访问请求中获取数据标识；

28、第一获取模块，从地址簿中获取与所述数据标识对应的存储地址，所述存储地址指示了存储介质；

29、第二获取模块，从所述存储介质中获取与所述数据访问请求对应的请求数据。

30、根据本发明实施例的另一个方面，提供了一种电子设备，包括：

31、一个或多个处理器；

32、存储装置，用于存储一个或多个程序，

33、当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明提供的数据处理的方法。

34、根据本发明实施例的还一个方面，提供了一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现本发明提供的数据处理的方法。

35、上述发明中的一个实施例具有如下优点或有益效果：本发明实施例的数据处理的方法，在接收到数据访问请求后，从数据访问请求中获取数据标识，然后根据数据标识从地址簿中获取对应的存储地址，然后根据存储地址从对应的存储介质中获取与数据访问请求对应的请求数据。该方法提供了一种通用高性能osd分层存储数据路由方法，在接收到数据访问请求后，通过地址簿寻址的方式获取请求数据，能够降低寻址计算量和复杂度，提升寻址效率，进而提升数据查询效率。

36、上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。

技术特征：

1.一种数据处理的方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，从地址簿中获取与所述数据标识对应的存储地址之前，还包括：

3.根据权利要求2所述的方法，其特征在于，将所述数据标识和存储地址存储在与所述数据属性对应的地址簿中之前，还包括：

4.根据权利要求1所述的方法，其特征在于，从所述存储介质中获取与所述数据访问请求对应的请求数据，包括：

5.根据权利要求1所述的方法，其特征在于，所述方法还包括：

6.根据权利要求5所述的方法，其特征在于，所述方法还包括：

7.根据权利要求1所述的方法，其特征在于，从所述数据访问请求中获取数据标识之前，还包括：

8.一种数据处理的装置，其特征在于，包括：

9.一种电子设备，其特征在于，包括：

10.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-7中任一所述的方法。

技术总结本发明公开了一种数据处理的方法和装置，涉及计算机技术领域。该方法的一具体实施方式包括：响应于接收到数据访问请求，从所述数据访问请求中获取数据标识；从地址簿中获取与所述数据标识对应的存储地址，所述存储地址指示了存储介质；从所述存储介质中获取与所述数据访问请求对应的请求数据。该实施方式在接收到数据访问请求后，通过地址簿寻址的方式获取请求数据，能够降低寻址计算量和复杂度，提升寻址效率，进而提升数据查询效率。技术研发人员：韩晓飞受保护的技术使用者：京东城市（北京）数字科技有限公司技术研发日：技术公布日：2024/7/29