一种DRBD网络连接拥塞处置设计与实现方法及系统与流程

本发明涉及数据同步，具体为一种drbd网络连接拥塞处置设计与实现方法及系统。

背景技术：

1、drbd技术全称distributed replicated block device，是一种分布式复制存储系统，由内核驱动模块、用户空间的管理工具及相关的shell脚本组成，主要用于构建高可用的计算机集群。drbd是一个基于软件的、无共享、复制存储解决方案，它在主机之间通过网络镜像块设备(硬盘、分区、逻辑卷等)的内容。其实现方式类似于服务器中raid1存储(raid1的存储是把相同的数据镜像到两块容量相同的磁盘中，通过磁盘的镜像实现数据冗余)。

2、现有技术中，在基于磁盘块复制的数据同步实现方案drbd(分布式复制块设备distributed repliated block device)中，支持支持三种不同的复制模式：protocol a、protocol b、protocol c。无论是哪种方式，都可能因复制链路出现拥塞(congested)而导致本地tcp网络发送缓冲区写满(尤其是广域网复制场景下)，这种情况会导致主节点上的i/o阻塞，对应用写入磁盘产生不良影响。对于实际生产环境中，因为复制链路拥塞导致服务可用性降低是不可接受的。

3、但是，我们需要一种drbd网络拥塞处置的实现方法，以动态检测并处理网络拥塞事件，降低主节点磁盘i/o拥塞时间，提高上层应用可用性。

技术实现思路

1、本发明的目的在于提供一种drbd网络连接拥塞处置设计与实现方法及系统，以解决上述背景技术中提出的问题。

2、为实现上述目的，本发明提供如下技术方案：一种drbd网络连接拥塞处置设计与实现方法，所述方法包括以下步骤：

3、环境预检查；

4、事件采集，通过对事件监听和收集，将监听的事件转交给断连决策器；

5、过滤关注的资源，过滤后的资源转交给断连决策器；

6、过滤堵塞事件；

7、拥堵决断和处理；

8、重连决断和处理。

9、优选的，环境预检查的具体操作包括：

10、检查drbd的用户空间工具是否存在，以满足后续drbd事件的监听与收集。

11、优选的，事件采集的具体操作包括：

12、在drbd中，数据面路径是在内核模块中实现的，获取其内核事件，通过用户空间工具drbdsetup获取，调用该工具的events2子命令获取所有的事件信息，通过解析该命令的输出，获取到相关的事件。

13、优选的，过滤关注的资源的具体操作包括：

14、通过资源过滤器的白名单配置实现对指定资源进行监控处理，白名单中指定资源名称列表，或通过正则方式匹配资源名称；通过资源过滤器过滤掉非关注的资源，只对白名单中资源进行后续处理，过滤后的资源转交给断连决策器；

15、过滤堵塞事件的具体操作包括：

16、断连决策器根据白名单中的资源和接收到的各种事件过滤出处于拥塞连接状态的资源，过滤后的资源其角色为primary，拥有至少一个连接，且至少一个连接处于拥塞状态。

17、优选的，拥堵决断和处理的具体操作包括：

18、对于处于连接状态的资源，当出现波动性拥塞时，为了避免“误杀”，断连决策器定期默认1秒执行计算用于判断是否断开连接；如果达到配置文件中设定的条件，则触发断开连接操作，定义的决断策略为：如果5秒内，累计出现3次拥塞将被判定为拥塞；进行连接断开时，优先采用优雅的方式进行断开，如果连续3次优雅断开执行失败，则进行强制断开；连接断开执行成功后，将断连资源放入观察队列，待时机成熟后执行重连操作；

19、重连决断和处理的具体操作包括：

20、对于角色为primary的资源，如果处于非连接状态且在重连观察队列中，重连决策器会定期默认1秒执行判断该资源是否可以恢复连接；如果达到配置文件中定义的重连策略设定的条件，则执行重连操作；重连成功后，将资源从重连观察列表中移除，资源此后继续被至于监控之下，执行上述逻辑。

21、一种drbd网络连接拥塞处置设计与实现系统，所述系统由预检查模块、采集模块、过滤模块、决断和处理模块组成；

22、预检查模块，用于环境预检查；

23、采集模块，用于事件采集，通过对事件监听和收集，将监听的事件转交给断连决策器；

24、过滤模块，用于过滤关注的资源，过滤后的资源转交给断连决策器；过滤堵塞事件；

25、决断和处理模块，用于拥堵决断和处理；重连决断和处理。

26、优选的，预检查模块，检查drbd的用户空间工具是否存在，以满足后续drbd事件的监听与收集。

27、优选的，采集模块，在drbd中，数据面路径是在内核模块中实现的，获取其内核事件，通过用户空间工具drbdsetup获取，调用该工具的events2子命令获取所有的事件信息，通过解析该命令的输出，获取到相关的事件。

28、优选的，过滤模块，通过资源过滤器的白名单配置实现对指定资源进行监控处理，白名单中指定资源名称列表，或通过正则方式匹配资源名称；通过资源过滤器过滤掉非关注的资源，只对白名单中资源进行后续处理，过滤后的资源转交给断连决策器；

29、断连决策器根据白名单中的资源和接收到的各种事件过滤出处于拥塞连接状态的资源，过滤后的资源其角色为primary，拥有至少一个连接，且至少一个连接处于拥塞状态。

30、优选的，决断和处理模块，对于处于连接状态的资源，当出现波动性拥塞时，为了避免“误杀”，断连决策器定期默认1秒执行计算用于判断是否断开连接；如果达到配置文件中设定的条件，则触发断开连接操作，定义的决断策略为：如果5秒内，累计出现3次拥塞将被判定为拥塞；进行连接断开时，优先采用优雅的方式进行断开，如果连续3次优雅断开执行失败，则进行强制断开；连接断开执行成功后，将断连资源放入观察队列，待时机成熟后执行重连操作；

31、对于角色为primary的资源，如果处于非连接状态且在重连观察队列中，重连决策器会定期默认1秒执行判断该资源是否可以恢复连接；如果达到配置文件中定义的重连策略设定的条件，则执行重连操作；重连成功后，将资源从重连观察列表中移除，资源此后继续被至于监控之下，执行上述逻辑。

32、与现有技术相比，本发明的有益效果是：

33、本发明提出的drbd网络连接拥塞处置设计与实现方法及系统，针对drbd复制链路出现拥塞的情况下，能够自动、快速地检测拥塞事件，通过事件驱动和必要的决策算法触发drbd连接断开，优先保证业务的可用性。待复制链路恢复后，自动建立drbd连接，进行未同步数据的同步。整个过程无需人工参与，极大地降低复制链路拥塞事件的处理、维护难度，提高drbd数据同步方案的可用性。

技术特征：

1.一种drbd网络连接拥塞处置设计与实现方法，其特征在于：所述方法包括以下步骤：

2.根据权利要求1所述的一种drbd网络连接拥塞处置设计与实现方法，其特征在于：环境预检查的具体操作包括：

3.根据权利要求1所述的一种drbd网络连接拥塞处置设计与实现方法，其特征在于：事件采集的具体操作包括：

4.根据权利要求1所述的一种drbd网络连接拥塞处置设计与实现方法，其特征在于：过滤关注的资源的具体操作包括：

5.根据权利要求1所述的一种drbd网络连接拥塞处置设计与实现方法，其特征在于：拥堵决断和处理的具体操作包括：

6.一种根据权利要求1-5任意一项所述的drbd网络连接拥塞处置设计与实现方法的drbd网络连接拥塞处置设计与实现系统，其特征在于：所述系统由预检查模块、采集模块、过滤模块、决断和处理模块组成；

7.根据权利要求6所述的一种drbd网络连接拥塞处置设计与实现6系统，其特征在于：预检查模块，检查drbd的用户空间工具是否存在，以满足后续drbd事件的监听与收集。

8.根据权利要求6所述的一种drbd网络连接拥塞处置设计与实现6系统，其特征在于：采集模块，在drbd中，数据面路径是在内核模块中实现的，获取其内核事件，通过用户空间工具drbdsetup获取，调用该工具的events2子命令获取所有的事件信息，通过解析该命令的输出，获取到相关的事件。

9.根据权利要求6所述的一种drbd网络连接拥塞处置设计与实现6系统，其特征在于：过滤模块，通过资源过滤器的白名单配置实现对指定资源进行监控处理，白名单中指定资源名称列表，或通过正则方式匹配资源名称；通过资源过滤器过滤掉非关注的资源，只对白名单中资源进行后续处理，过滤后的资源转交给断连决策器；

10.根据权利要求6所述的一种drbd网络连接拥塞处置设计与实现6系统，其特征在于：决断和处理模块，对于处于连接状态的资源，当出现波动性拥塞时，为了避免“误杀”，断连决策器定期默认1秒执行计算用于判断是否断开连接；如果达到配置文件中设定的条件，则触发断开连接操作，定义的决断策略为：如果5秒内，累计出现3次拥塞将被判定为拥塞；进行连接断开时，优先采用优雅的方式进行断开，如果连续3次优雅断开执行失败，则进行强制断开；连接断开执行成功后，将断连资源放入观察队列，待时机成熟后执行重连操作；

技术总结本发明涉及数据同步技术领域，具体为一种DRBD网络连接拥塞处置设计与实现方法及系统，包括以下步骤：环境预检查；事件采集，通过对事件监听和收集，将监听的事件转交给断连决策器；过滤关注的资源，过滤后的资源转交给断连决策器；过滤堵塞事件；拥堵决断和处理；重连决断和处理；有益效果为：本发明提出的DRBD网络连接拥塞处置设计与实现方法及系统，针对DRBD复制链路出现拥塞的情况下，能够自动、快速地检测拥塞事件，通过事件驱动和必要的决策算法触发DRBD连接断开，优先保证业务的可用性。待复制链路恢复后，自动建立DRBD连接，进行未同步数据的同步。整个过程无需人工参与，极大地降低复制链路拥塞事件的处理、维护难度，提高DRBD数据同步方案的可用性。技术研发人员：李聚章,尹东超,董玉全,马韬越受保护的技术使用者：浪潮云信息技术股份公司技术研发日：技术公布日：2024/9/12