一种视频图像跨节点存储方法和系统与流程

本发明涉及视频图像存储，特别涉及一种视频图像跨节点存储方法和系统。

背景技术：

1、目前对于大数据量的存储视频存储方式主要云存储方式进行，云存储视频图像具有低成本的可扩展性，云存储视频图像允许用户根据需求动态地增加或减少存储空间，无需购买额外的硬件；并且云存储视频图像可以随时随地通过互联网访问存储在云中的数据，这大大增加了数据的可访问性和便利性。然而上述云存储视频图像容易遇到安全风险且不易管理，在云端的视频图像容易出现数据泄漏，数据篡改和数据缺失等问题。另外在云端存储的视频图像会增加流量成本，同时也受到网络传输带宽的影响，使得云端存储的视频图像在一定情况下存在较大的网络延迟。

技术实现思路

1、本发明其中一个发明目的在于提供一种视频图像跨节点存储方法和系统，所述方法和系统利用hdfs系统（hadoop distributed file system，海杜普分布式文件系统）构建本地hadoop（海杜普）节点集群用于视频图像存储，并且本发明在所述hadoop节点集群中构建循环链表节点，用于存储相同类型或相同属性的视频图像，通过所述循环链表节点可以在本地存储空间中对所述视频图像进行高效的存储和管理，所述循环链表节点通过指针的设置可以实现所述视频图像的快速存储和查询。

2、本发明另一个发明目的在于提供一种视频图像跨节点存储方法和系统，所述方法和系统利用所述hdfs系统的命名节点对存储节点构建所述循环链表节点，其中所述循环链表节点采用哈希验证的方式进行所述视频图像的存储和查询，并在所述hdfs系统中的两个副本存储节点也构建对应的循环链表节点，从而使得所述循环链表节点具有可恢复性，可以避免因为节点故障导致数据丢失的问题，提高循环链表节点对视频图像存储的鲁棒性。

3、本发明另一个发明目的在于提供一种视频图像跨节点存储方法和系统，所述方法和系统可以通过所述循环链表节点构建循环逻辑引用的图像或视频数据进行存储，使得图像数据存储更加智能化，在所述循环链表节点中插入或删除引用逻辑时，可以直接调整对应循环链表节点的指针指向即可，从而实现视频图像高效安全易管理的存储。

4、为了实现至少一个上述发明目的，本发明进一步提供一种视频图像跨节点存储方法，所述方法包括：

5、hdfs系统的命名节点根据待存储视频图像的关系类型分别生成不同的哈希标识，所述命名节点根据所述哈希标识在存储节点中构建循环链表节点；

6、所述命名节点将对应的哈希标识发送给对应存储节点，根据所述存储节点所在的循环链表节点，将对应的哈希标识发送给所有循环列表节点；

7、获取视频图像后，构建所述视频图像的渠道、属性或逻辑关系，所述hdfs系统的命名节点根据所述视频图像的渠道、属性或逻辑关系分配对应的哈希标识，并将所述视频图像和对应哈希标识发送到循环链表节点中；

8、对应的循环链表节点获取所述视频图像后，根据自身存储的哈希标识进行验证，若验证通过，则将所述视频图像通过节点指针存储到所述循环链表节点中。

9、根据本发明其中一个较佳实施例，所述循环链表节点构建方法包括：通过所述命名节点定义一个类，在被定义的类中包括定义的多个存储节点，并在所述多个存储节点中配置指针，其中所述定义的存储节点包括头节点尾节点，每一个存储节点通过所述配置的指针指向下一个存储节点，其中所述尾节点指针被配置指向头节点，以在所述定义的多个存储节点中构建循环链表节点。

10、根据本发明另一个较佳实施例，所述哈希标识的构建方法包括：获取视频图像输入接口mac地址，采用哈希算法将所述输入接口的mac地址计算得到哈希值，将所述哈希值作为所述视频图像渠道关系的哈希标识，将所述渠道关系的哈希标识发送给所述其中一个循环链表节点，根据所述其中一个循环链表节点的指针遍历所有对应循环链表内节点，并将所述渠道关系的哈希标识发送给所有同一循环链表节点存储，所述渠道关系的哈希标识用于对应视频图像的渠道存储验证。

11、根据本发明另一个较佳实施例，所述哈希标识的构建方法包括：在所述命名节点配置随机数生成器，利用所述随机数生成器生成至少一个随机数，在获取到视频图像后，判断所述视频图像包括视频图像格式、视频图像类型的属性，并根据每一个视频图像包括格式和类型的属性分配一个随机数，并采用哈希算法计算所述随机数的哈希值，将所述随机数的哈希值作为对应视频图像属性关系的哈希标识，并将所述视频图像属性关系的哈希标识发送其中一个循环链表节点，根据所述其中一个循环链表节点的指针指向遍历所有对应循环链表节点，将所述视频图像属性关系的哈希标识发送给所有同一循环链表节点存储，所述视频图像属性关系的哈希标识用于对应视频图像的属性验证。

12、根据本发明另一个较佳实施例，所述哈希标识的构建方法包括：在所述命名节点配置随机数生成器，利用所述随机数生成器生成至少一个随机数，在获取到视频图像后，利用ai模型识别所述视频图像中的包括人物和事件，并判断所述人物和事件的逻辑关系，根据所述人物和事件的逻辑关系分配对应的随机数，并采用哈希算法计算所述随机数的哈希值，将所述随机数的哈希值作为对应视频图像的逻辑关系的哈希标识，将所述逻辑关系的哈希标识发送到其中一个循环链表节点，根据所述其中一个循环链表节点的指针指向遍历所有对应循环链表节点，将所述视频图像逻辑关系的哈希标识发送给所有同一循环链表节点存储，所述视频图像逻辑关系的哈希标识用于对应视频图像的逻辑验证。

13、根据本发明另一个较佳实施例，所述哈希验证方法包括：定义所述循环链表节点预先存储的哈希标识为第一哈希标识，所述hdfs系统的命名节点在对每一视频图像分配对应的第二哈希标识后，将所述第二哈希标识和对应视频图像绑定，并将所述第二哈希标识发送到其中一个存储节点，所述存储节点将自身存储的第一哈希标识和所述第二哈希标识对比，若所述第一哈希标识和第二哈希标识相同，则所述存储节点验证通过，所述命名节点将所述第二哈希标识绑定的视频图像发送到所述验证通过的存储节点进行存储；若所述存储节点验证未通过，则返回验证失败，不再执行对应视频图像在所述存储节点的存储。

14、根据本发明另一个较佳实施例，所述循环链表节点的跨节点存储方法包括：当所述存储节点验证通过，计算当前存储节点的存储空间，若当前存储节点无存储空间，则根据所述循环链表节点在当前存储节点的指针指向计算下一个存储节点的存储空间，若下一个存储节点存在存储空间，则将所述绑定第二哈希标识的视频图像发送到所述下一个存储节点，直到遍历所有循环链表节点的存储空间均被存满。

15、根据本发明另一个较佳实施例，所述跨节点存储方法包括：所述hdfs系统在获取需要存储的视频图像并构建循环链表节点后，自动生成所述视频图像的副本数据，并获取对应循环链表节点的第一哈希标识，配置指针后构建对应副本数据的副本循环链表节点，所述第一哈希标识存储于每一个副本循环链表节点，当所述循环链表节点中其中一个存储节点宕机且存在数据丢失，则所述命名节点通过所述第一哈希标识查找对应的副本循环链表节点的对应数据，用于对应丢失数据的恢复。

16、为了实现至少一个上述发明目的，本发明进一步提供一种视频图像跨节点存储系统，所述系统执行上述一种视频图像跨节点存储方法。

17、本发明进一步提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行以实现上述一种视频图像跨节点存储方法。