一种基于智能处理的数据存储系统的制作方法

本发明涉及数据存储，具体为一种基于智能处理的数据存储系统。

背景技术：

1、过去十几年一直处于爆发式增长的视频监控市场正加速万物互联的时代的到来，视频监控技术如今已全面步入ai智能化。视频监控数据作为一种重要的时序数据，可利用现阶段研究火热的机器学习、深度学习算法来获取其中丰富的结构化信息，具有极高的研究、存储价值。伴随着物联网时代高清网络摄像头的广泛部署以及视频监控技术的持续发展，再加上视频监控数据本身具备的数据量大、时效性高、写多读少等特点，使用通用计算机及其存储设备构建而成的分布式云存储系统来存储视频监控数据已成为趋势。随着磁盘技术的发展，虽然存储密度不断增加，单位比特的成本也不断降低，但是受限磁盘的各盘片不可并行访问以及依赖于磁头移动寻道的机械特性，导致近几十年磁盘的性能并没有得到显著的提升，仍然是毫秒级的寻道延迟，与存取延迟低至几十纳秒的内存相差了多个数量级。因此，设计效率高及智能管理控制的一种基于智能处理的数据存储系统是很有必要的。

技术实现思路

1、本发明的目的在于提供一种基于智能处理的数据存储系统，以解决上述背景技术中提出的问题。

2、为了解决上述技术问题，本发明提供如下技术方案：一种基于智能处理的数据存储方法，包括：

3、对数据存储系统进行字符设备（scdn）的分配释放管理；

4、进行通信框架设计及消息控制分析处理；

5、进行数据存储系统的优化分析处理；

6、进行数据存储系统的备份存储及采集控制管理。

7、根据上述技术方案，所述对数据存储系统进行字符设备（scdn）的分配释放管理包括：

8、控制用户进程与内核lkm-server通过netlink提供的sendto函数和recvfrom函数来进行通信，当用户进程需要使用无需陷入内核的存储模型(non-trap store module，ntsm）作为存储引擎时，向lkm-server发出scdn分配和注册的请求，lkm-server收到请求后，进行scdn字符设备的分配与注册。

9、根据上述技术方案，所述进行通信框架设计及消息控制分析处理包括：

10、通过于reactor模式进行数据存储系统网络框架优化设计，并一个事件循环仅运行在一个线程内，不同事件循环间的交互通过使用线程同步机制处理；

11、对数据存储系统的消息格式进行处理，使每条消息都由固定格式长度的消息头部和变长的消息负载两部分组成，并使每种消息都有对应的ack消息，用于响应消息的请求处理结果。

12、根据上述技术方案，所述进行数据存储系统的优化分析处理包括：

13、在接受到来自数据存储节点的消息时，在消息处理函数中创建一个用于描述数据存储节点的datanode对象，通过datan odemanager的adddatanode方法将该对象添加到m_datanodemap成员变量中以纳入管理，并在m_status成员变量中记录其状态为running，且使每一个datanode对象通过ip地址和端口号来唯一确定，同时对应节点的状态信息将被记录在剩余成员变量中；

14、当数据存储节点完成对新的录像段的存储后，通过借助心跳消息向元数据管理节点汇报对应录像段的一级索引数据，消息处理函数heartbeattask会判断接收到的消息中是否有携带一级索引数据，如果有则通过数据索引管理模块提供的公有方法来同步更新对应的一级索引数据；

15、在接收到来自客户端的消息后，通过对应的消息处理函数调用storechannel的create方法，将写入的录像段创建存储上下文信息，并执行资源分配方面的工作。

16、根据上述技术方案，所述进行数据存储系统的备份存储及采集控制管理包括：

17、将数据存储系统的实时存储数据信息通过区块链进行备份存储，有效保证数据信息的安全性，避免数据信息被篡改；

18、对数据存储的运行处理数据信息进行采集，并将其传输对应的通过供管人员进行查阅分析。

19、根据上述技术方案，一种基于智能处理的数据存储系统，包括：

20、分配管理模块，用于进行数据存储系统的分配控制管理；

21、分析处理模块，用于进行数据存储系统的运行分析处理；

22、存储采集模块，用于进行数据信息的存储采集控制。

23、根据上述技术方案，所述分配管理模块包括：

24、分配释放模块，用于进行数据存储系统设备的分配释放管理；

25、通信框架模块，用于进行数据存储系统网络通信框架设计优化；

26、消息控制模块，用于进行数据存储系统的消息控制管理。

27、根据上述技术方案，所述分析处理模块包括：

28、存储节点模块，用于进行数据存储节点的控制管理；

29、索引管理模块，用于进行数据信息的索引分析处理；

30、缓冲处理模块，用于进行数据存储系统的缓冲控制。

31、根据上述技术方案，所述储采集模块包括：

32、备份存储模块，用于进行数据信息的备份存储；

33、采集管理模块，用于进行数据信息的采集控制管理。

34、与现有技术相比，本发明所达到的有益效果是：本发明，通过设置有分配管理模块、分析处理模块与存储采集模块，使数据存储系统的运行处理更加高效准确，提高网络通信框架处理请求的并行度，并使消息的接收方可以根据该字段准确地区分每一条消息的边界，有效解决tcp“粘包”问题，同时可根据负载均衡策略来为客户端选择一个目标数据存储节，使数据存储节点的负载均衡更加高效稳定。

技术特征：

1.一种基于智能处理的数据存储方法，其特征在于：包括：

2.根据权利要求1所述的一种基于智能处理的数据存储方法，其特征在于：所述对数据存储系统进行字符设备（scdn）的分配释放管理包括：

3.根据权利要求1所述的一种基于智能处理的数据存储方法，其特征在于：所述进行通信框架设计及消息控制分析处理包括：

4.根据权利要求1所述的一种基于智能处理的数据存储方法，其特征在于：所述进行数据存储系统的优化分析处理包括：

5.根据权利要求1所述的一种基于智能处理的数据存储方法，其特征在于：所述进行数据存储系统的备份存储及采集控制管理包括：

6.一种基于智能处理的数据存储系统，其特征在于：包括：

7.根据权利要求6所述的一种基于智能处理的数据存储系统，其特征在于：所述分配管理模块包括：

8.根据权利要求6所述的一种基于智能处理的数据存储系统，其特征在于：所述分析处理模块包括：

9.根据权利要求6所述的一种基于智能处理的数据存储系统，其特征在于：所述存储采集模块包括：

技术总结本发明公开了一种基于智能处理的数据存储系统，该系统的运行方法包括：对数据存储系统进行字符设备（SCDN）的分配释放管理；进行通信框架设计及消息控制分析处理；进行数据存储系统的优化分析处理；进行数据存储系统的备份存储及采集控制管理。所述对数据存储系统进行字符设备（SCDN）的分配释放管理包括：控制用户进程与内核LKM‑Server通过Netlink提供的sendto函数和recvfrom函数来进行通信，当用户进程需要使用无需陷入内核的存储模型(Non‑Trap Store Module，NTSM）作为存储引擎时，向LKM‑Server发出SCDN分配和注册的请求，LKM‑Server收到请求后，进行SCDN字符设备的分配与注册。本发明，具有效率高及智能管理控制的特点。技术研发人员：闫安受保护的技术使用者：雅安信达安禾科技有限公司技术研发日：技术公布日：2024/9/2