数据处理方法、存储系统、网络接口设备及存储介质与流程

本技术涉及存储，特别涉及一种数据处理方法、存储系统、网络接口设备及存储介质。

背景技术：

1、随着数据量级的不断增长，存储系统面临高带宽、高每秒读写操作数(input/output operations per second，iops)、低时延、高可靠等多维度的高性能要求。

2、目前，为了保证存储系统的高可靠，通常采用备份节点来对存储系统中的数据进行冗余备份。例如，采用多副本技术，在向主节点(master/primary node)写入数据的同时，在副本节点(replica node)中存储数据的副本，来保证存储的可靠性。此过程中，主节点首先响应于主机(host)客户端的写请求，将数据写入控制器的内存，并通过远程直接内存访问(remote direct memory access，rdma)等方式向对应的备份节点发送数据，以指示备份节点对数据进行冗余备份。

3、然而，上述方案的数据写入流程中，存储系统的数据输入输出(io)带宽限制于存储节点控制器的内存带宽，并且，由于涉及从主机客户端到主节点、主节点到多个备份节点的多次rdma过程，导致整个数据处理过程的时延较大，存储系统的性能难以提升。

技术实现思路

1、本技术提供了一种数据处理方法、存储系统、网络接口设备及存储介质，能够有效提升存储系统的性能。该技术方案如下：

2、第一方面，提供了一种数据处理方法，由存储系统中的网络接口设备执行，存储系统包括网络接口设备、多个数据节点和多个元数据节点，方法包括：

3、网络接口设备根据写请求和存储系统的冗余信息，确定数据节点组和元数据节点组，冗余信息指示存储系统中节点之间的冗余关系，数据节点组包括数据节点以及数据节点的备份节点，元数据节点组包括元数据节点以及元数据节点的备份节点；

4、网络接口设备向数据节点组发送写请求的待写入数据，向元数据节点组发送待写入数据的元数据。

5、本技术的技术方案中，由网络接口设备管理存储系统的冗余备份策略，使得存储系统中的节点无需感知系统中的冗余关系，简化了节点的空间管理复杂度；通过并发写多个节点，实现高带宽和低时延的写流程，综合提升了存储系统的性能。

6、在一种可能实施方式中，网络接口设备根据写请求和存储系统的冗余信息，确定数据节点组和元数据节点组，包括：

7、根据写请求的逻辑地址，从冗余信息中查询与逻辑地址对应的数据节点组和元数据节点组。

8、在本技术中，数据节点之间和元数据节点之间均无需相互感知冗余，其只需管理本节点的空间分配。通过网络接口设备来存储冗余信息，并通过冗余信息实现多节点的冗余读写管理，简化了数据节点和元数据节点的空间管理复杂度，存储系统中的各节点能够充分地专注于任务的处理，因此，能够实现存储系统的高性能表现和低带宽需求。

9、在一种可能实施方式中，方法还包括：

10、网络接口设备记录待写入数据的超元数据，超元数据为元数据的元数据。

11、在一种可能实施方式中，方法还包括：

12、网络接口设备响应于针对该待写入数据的读请求，根据读请求的逻辑地址和待写入数据的超元数据，从元数据节点组中的目标元数据节点查询待写入数据的元数据，超元数据是元数据的元数据；

13、根据查询到的元数据，从数据节点组的目标数据节点中，获取该待写入数据。

14、本技术提供的技术方案中，由网络接口设备管理存储系统的超元数据，充分利用网络接口设备的大并发、高带宽、线速能力(转发交换能力)，基于所存储的超元数据和冗余信息，在冗余模式下进行精准的数据查询，有效减少系统消耗，提升系统性能。

15、在一种可能实施方式中，冗余信息指示下述任一项：

16、存储系统中的主节点和副本节点之间的映射关系；

17、存储系统中用于存储数据的节点和用于存储数据的校验数据的节点之间的映射关系。

18、基于此，本技术的技术方案能够适配多种冗余策略，从而能够在多种不同的业务场景下，提升存储系统的性能。

19、在一种可能实施方式中，网络接口设备上存储有存储系统中预先分配的可用存储空间的信息。

20、通过预分配可以提前规划好可用存储空间，为后续的并发读写提供基础，按照预分配粒度向业务侧提供可用存储空间，能够避免空间碎片化问题。

21、在一种可能实施方式中，数据节点组和元数据节点组中包括属于相同存储设备的数据节点和元数据节点；网络接口设备向数据节点组发送写请求的待写入数据，向元数据节点组发送待写入数据的元数据，包括：

22、网络接口设备通过一条写请求，向存储设备发送待写入数据和元数据。

23、本技术提供的数据处理方法，当数据节点和元数据节点部署在同一存储设备的情况下，最少仅需和存储设备发生一次交互，因此，能够进一步地节省并发写所需的交互次数，实现高带宽、低时延的数据写流程。

24、在一种可能实施方式中，存储系统还包括网络接口设备对应的至少一个副本网络接口设备，方法还包括：

25、网络接口设备将所存储的冗余信息和超元数据，发送至该至少一个副本网络接口设备中存储，超元数据为元数据的元数据。

26、本技术中，存储系统支持网络接口设备的冗余备份，该网络接口设备中所存储的数据能得到备份，避免网络接口设备导致的单点故障，提升存储系统的可靠性。

27、在一种可能实施方式中，网络接口设备包括处理器和接口，处理器为数据处理单元dpu，接口用于与存储系统中任一节点通信；或，网络接口设备为与存储系统中任一节点进行通信的交换机。

28、在一种可能实施方式中，网络接口设备还向数据节点组发送写请求的待写入数据的备份数据，向元数据节点组发送待写入数据的元数据的备份数据。

29、其中，在存储系统中冗余策略为多副本策略时，写请求的待写入数据的备份数据为待写入数据的副本；待写入数据的元数据的备份数据为所述待写入数据的元数据的副本。在存储系统中的冗余策略为纠删码(erasure coding，ec)策略时，所述写请求的待写入数据的备份数据为待写入数据的校验数据；所述待写入数据的元数据的备份数据为待写入数据的元数据的校验数据。数据节点组与元数据节点组的冗余策略可以相同，也可以不同。

30、本技术充分利用网络接口设备的大并发、高带宽、线速能力(转发交换能力)，通过并发写多个节点，实现高带宽和低时延的写流程，综合提升了存储系统的性能。采用本技术提供的方法进行数据处理，能够使得存储系统的带宽提升33％，iops提升6％。

31、第二方面，提供了一种数据处理装置，该装置配置在存储系统中，存储系统包括：网络接口设备、多个数据节点和多个元数据节点；该装置包括多个功能模块，用于执行如第一方面所提供的数据处理方法中的对应步骤。

32、第三方面，提供了一种存储系统，该系统包括：网络接口设备、多个数据节点和多个元数据节点；

33、网络接口设备用于，根据写请求和存储系统的冗余信息，确定数据节点组和元数据节点组，冗余信息指示存储系统中节点之间的冗余关系，数据节点组包括数据节点以及数据节点的备份节点，元数据节点组包括元数据节点以及元数据节点的备份节点；

34、网络接口设备用于，向数据节点组发送写请求的待写入数据，向元数据节点组发送待写入数据的元数据。

35、第四方面，提供了一种网络接口设备，包括至少一个计算设备，网络接口设备包括处理器和接口，接口用于与存储系统中任一节点通信，处理器用于执行如第一方面所提供的数据处理方法。

36、第五方面，提供了一种计算机可读存储介质，包括计算机程序指令，当该计算机程序指令由网络接口设备执行时，该网络接口设备执行如第一方面所提供的数据处理方法。

37、第六方面，提供了一种包含指令的计算机程序产品，当计算机程序产品包含的指令被网络接口设备运行时，使得该网络接口设备执行如第一方面所提供的数据处理方法。