一种基于特征的混合云平台数据管理系统的制作方法

1.本发明涉及数字信息的传输，例如电报通信的技术领域，特别涉及一种基于特征的混合云平台数据管理系统。


背景技术：

2.云计算是一种服务的交互和使用模式，其指通过网络，以按需、易扩展的方式获得所需的服务，这种服务可以是it和软件、互联网相关，也可以是其他服务，这意味着计算能力也可作为一种商品通过互联网进行流通。
3.云及虚拟化正在动摇着企业的基础设施的根基，云带来的新的计算模式改变了存储和处理。
4.云包括公有云、私有云、混合云等形式；公有云通常指第三方提供商为用户提供的能够使用的云，其可能是免费或成本低廉的，公有云的核心属性是共享资源服务，可在当今整个开放的公有网络中提供服务；私有云则是为一个用户单独使用而构建的，可部署在企业数据中心的防火墙内，也可以部署在一个相对安全的主机托管场所，其核心属性是专有资源；而混合云则融合公有云和私有云，在将公有云和私有云进行混合和匹配后可以获得最佳的效果，这种个性化的解决方案，达到了既省钱又安全的目的。
5.可以预见，混合云是用户，特别是企业用户未来选择云计算的主要模式，也是云技术的发展方向。
6.然而现有技术中，对于何时、在何种决策下将数据从内部数据存储服务器进行上云是不明确的，大量数据的无序上云将导致数据存储服务器的算量过大，严重的情况下也可能导致服务器的寿命缩短、易瘫痪，无法实现数据级容灾。


技术实现要素：

7.本发明解决了现有技术中存在的问题，提供了一种优化的基于特征的混合云平台数据管理系统。
8.本发明所采用的技术方案是，一种基于特征的混合云平台数据管理系统，所述系统包括：若干数据存储区块，任一数据存储区块用于存储预设特征的数据；基于任意两个数据存储区块间设有关联因子；一鉴权单元，用于对用户的登入进行鉴权，对验证通过的用户进行放行及权限匹配；一数据接入单元，用于接收不同的用户录入的数据并对数据进行处理；一数据分配单元，用于对处理后的数据进行特征匹配并配置至对应的数据存储区块；一数据读出单元，用于基于读出请求对一个或多个数据存储区块中的数据进行重组并输出；
一数据推出单元，用于基于预设的规则将一个或多个数据存储区块中的数据推出至公有云和/或私有云。
9.优选地，配合任一所述数据存储区块设有用于标识特征的标签项，所述标签项由具有预设权限的用户进行配置。
10.优选地，所述关联因子k∈[-1,1]，构建基于所述关联因子的数据存储阵列，每两个数据存储区块间的关联因子对应所述数据存储阵列的一个元素，对满足k∈(0,1]的任意两个数据存储区块间设置关联指针。
[0011]
优选地，任一用户向系统发起登录请求，鉴权单元在预设网络范围内对当前用户发送响应数据包，所述响应数据包内包括校验口令，用户基于校验口令及对应的用户名和密钥进行登入，鉴权通过，则系统对当前用户进行放行，获取用户对应的权限；用户的权限包括可读及可写的数据存储区块。
[0012]
优选地，所述数据接入单元接收鉴权通过的用户录入的数据；获取数据对应的一个或多个标签项，若所述一个或多个标签项对应的数据存储区块为当前用户的权限范围内，则全部接收并预备写入，否则，对在当前用户的权限范围外的数据进行退回，其余数据接收并预备写入；对预备写入的数据进行清洗和缺值补充；所述数据分配单元获取处理后的数据的标签项，将数据写入一个或多个数据存储区块。
[0013]
优选地，所述数据读出单元获取用户的读出请求及当前用户对应的权限；对用户权限为可读的数据存储区块进行筛选，对输出请求涉及的筛选后的数据存储区块中的数据进行拼接重组，权限不可读的数据存储区块对应的数据标识为缺失；基于关联因子和用户权限获取其他关联数据，建立关联读出文件。
[0014]
优选地，所述数据推出单元中，预设的规则包括数据存储区块中的可写入空间小于预设值、按时间频率推出、按数据更新频率推出；任一所述数据存储区块的数据进行推出时，获取当前可访问的一个或多个公有云，进行损失核算，取损失核算值较小的方案进行推出。
[0015]
优选地，当数据灾难发生时，将数据回滚至最近一次正确推出的时刻并获取数据存储区块的标签项，以标签项对应到一个或多个公有云和/或私有云，获取所述时刻的数据进行取回。
[0016]
优选地，完成数据取回后，对其他数据存储区块的数据强制触发推出。
[0017]
优选地，所述系统还包括安全告警单元，所述安全告警单元内设置灾备预警模型；所述灾备预警模型获取公有云和大数据中，预设时间段内的数据报警信息及灾备取回信息，获取数据特征；构建样本集和训练集，对灾备预警模型进行训练；灾备预警模型同步获取当前系统中的数据报警信息，输入模型进行灾备取回信息的预测；基于误报及实测数据对模型进行更新。
[0018]
本发明提供了一种优化的基于特征的混合云平台数据管理系统，包括若干数据存储区块，任一数据存储区块用于存储预设特征的数据，任意两个数据存储区块间设有关联因子，系统以鉴权单元对用户的登入进行鉴权，对验证通过的用户进行放行及权限匹配，以数据接入单元接收不同的用户录入的数据并对数据进行处理，以数据分配单元对处理后的
数据进行特征匹配并配置至对应的数据存储区块，基于读出请求以数据读出单元对一个或多个数据存储区块中的数据进行重组并输出，基于预设的规则以数据推出单元将一个或多个数据存储区块中的数据推出至公有云和/或私有云。
[0019]
本发明的有益效果在于：（1）可以实现多云环境及云上、线下环境的统一运维；（2）可以实现多云资源的调配和管理；（3）可以实现基于特征的云成本分摊；（4）可以实现数据的有序上云，服务器的寿命长；（5）可以实现数据级容灾；（6）可以实现云架构的持续优化。
附图说明
[0020]
图1为本发明的系统结构示意图，其中，箭头所示为数据传输的方向；图2为本发明中以最后一数据存储区块出现数据灾难为例的结构示意图，其中，虚线箭头为数据取回的方向，实线箭头为其他数据存储区块的数据推出。
具体实施方式
[0021]
下面结合实施例对本发明做进一步的详细描述，但本发明的保护范围并不限于此。
[0022]
如图1所示，本发明涉及一种基于特征的混合云平台数据管理系统，所述系统包括若干数据存储区块、鉴权单元、数据接入单元、数据分配单元、数据读出单元、数据推出单元。
[0023]
若干数据存储区块，任一数据存储区块用于存储预设特征的数据；基于任意两个数据存储区块间设有关联因子；配合任一所述数据存储区块设有用于标识特征的标签项，所述标签项由具有预设权限的用户进行配置。
[0024]
所述关联因子k∈[-1,1]，构建基于所述关联因子的数据存储阵列，每两个数据存储区块间的关联因子对应所述数据存储阵列的一个元素，对满足k∈(0,1]的任意两个数据存储区块间设置关联指针。
[0025]
本发明中，对于数据存储区块进行改进，将传统的数据存储区块进行特征划分，并匹配每个特征设置标签项，这使得对于同一业务的数据可以存储至不同的标签项对应的数据存储区块，这可以有效分散并归纳数据，使得其依据一定的规则进行存放，同时在需要被利用时基于标签项被快速获取。
[0026]
本发明中，标签项的配置设定由具有预设权限的用户进行。
[0027]
本发明中，对于不同的两个数据存储区块间配置设有关联因子，事实上也表征了标签项及特征间的关联度；关联因子k满足k∈[-1,1]，当k为-1时，表示两个数据存储区块为负相关，即当存在其一时，另一区块内的数据不可能出现，当k为0时，表示两个数据存储区块间没有任何的关系，包括相斥关系，而当k为1时，表示两个数据存储区块间强相关；以此数据存储阵列快速存储每两个数据存储区块间的关系，进而获得快速的数据推荐；举例
来说，对于一个共享带宽的标签项对应的数据存储区块，其与接入人数必然是相关的，而其与独享带宽间的关联因子k显然为-1，而其与物业质量的关联因子为0。
[0028]
本发明中，在满足k∈(0,1]的任意两个数据存储区块间设置关联指针，可以实现数据的管理和快速调取，可以有效对列在不同标签项下的数据进行整合。
[0029]
鉴权单元，用于对用户的登入进行鉴权，对验证通过的用户进行放行及权限匹配；任一用户向系统发起登录请求，鉴权单元在预设网络范围内对当前用户发送响应数据包，所述响应数据包内包括校验口令，用户基于校验口令及对应的用户名和密钥进行登入，鉴权通过，则系统对当前用户进行放行，获取用户对应的权限；用户的权限包括可读及可写的数据存储区块。
[0030]
本发明中，以鉴权单元完成用户的登录管理及权限匹配作业。
[0031]
本发明中，当用户发送登录请求后，鉴权单元首先收到请求数据包，确定此用户处于被保护的网络范围内后发送带有校验口令的响应数据包，正常状态下的用户可以获取校验口令，进而实现鉴权及登入；鉴权单元在获得用户的登录信息后，匹配其权限并用于后续的读写处理。
[0032]
数据接入单元，用于接收不同的用户录入的数据并对数据进行处理；数据分配单元，用于对处理后的数据进行特征匹配并配置至对应的数据存储区块；所述数据接入单元接收鉴权通过的用户录入的数据；获取数据对应的一个或多个标签项，若所述一个或多个标签项对应的数据存储区块为当前用户的权限范围内，则全部接收并预备写入，否则，对在当前用户的权限范围外的数据进行退回，其余数据接收并预备写入；对预备写入的数据进行清洗和缺值补充；所述数据分配单元获取处理后的数据的标签项，将数据写入一个或多个数据存储区块。
[0033]
本发明中，基于鉴权单元获取的用户权限，数据接入单元完成的工作包括：接入数据，获取标签项；对符合权限的标签项对应的数据接受，退回不在可写权限范围内的数据；对被接受的数据进行处理，包括但不限于删去重复数据及补充缺失数据；对于缺失数据，若为缺省状态则直接补齐，若无法自动补充则提示数据缺失，由用户进行补全。
[0034]
本发明中，完成数据的接入处理后，由数据分配单元根据标签项，将数据分别写到对应的数据存储区块中；事实上这种按照标签项（特征）的数据写入方式避免了在出现严重错误时数据批量化丢失情况，可以通过系统内置的修补逻辑，基于部分最新的数据和部分出错后重新获取的历史数据自动进行推定，进而获得更多的正确内容，最大程度实现系统的自我修复；如已知当前用户为10户，读回信息后读回了10户的部分历史信息和部分最新信息，那么可以在读回数据后，根据最新信息，对部分历史信息中失效的部分进行修改或覆盖，并基于最新信息实现用户信息的推测。
[0035]
数据读出单元，用于基于读出请求对一个或多个数据存储区块中的数据进行重组并输出；所述数据读出单元获取用户的读出请求及当前用户对应的权限；对用户权限为可读的数据存储区块进行筛选，对输出请求涉及的筛选后的数据存
储区块中的数据进行拼接重组，权限不可读的数据存储区块对应的数据标识为缺失；基于关联因子和用户权限获取其他关联数据，建立关联读出文件。
[0036]
本发明中，在对数据进行读取的过程中，数据读出单元完成的工作包括：基于用户的权限，对用户的读出请求进行判断，仅处理用户权限为可读的范围内的用户读出请求；用户的读出请求中包括了标签项，基于标签项获取数据存储区块中的数据并进行拼接，拼接的规则为默认，可以通过预先配置实现；基于读出的数据所在的数据存储区块的关联因子及用户权限，另立关联读出文件，用于将满足预设要求的关联数据一并获取，实现数据的快速读取及系统的智能化实现；预设要求基于对关联因子k的取值实现。
[0037]
数据推出单元，用于基于预设的规则将一个或多个数据存储区块中的数据推出至公有云和/或私有云。
[0038]
所述数据推出单元中，预设的规则包括数据存储区块中的可写入空间小于预设值、按时间频率推出、按数据更新频率推出；任一所述数据存储区块的数据进行推出时，获取当前可访问的一个或多个公有云，进行损失核算，取损失核算值较小的方案进行推出。
[0039]
如图2所示，当数据灾难发生时，将数据回滚至最近一次正确推出的时刻并获取数据存储区块的标签项，以标签项对应到一个或多个公有云和/或私有云，获取所述时刻的数据进行取回。
[0040]
完成数据取回后，对其他数据存储区块的数据强制触发推出。
[0041]
本发明中，数据上云的规则包括但不限于：数据存储区块中的可写入空间小于预设值，这种情况一般不会发生在服务器完备的网络中心里，但数据存储区块在写入较多数据后，需要进行上云，确保数据可以及时备份；按时间频率推出，一般在空闲时刻完成，如每天的00：00开始，将上一天的数据进行推出；按数据更新频率推出，主要针对数据读写操作较为频繁的数据存储区块，确保其数据可以更快被更新备份；但这种情况下，这个数据存储区块往往本身数据量较大，故可以采用断点式推出的方式进行推出，即以节点的形式将新增数据进行切分，在空闲时或带宽占用量较小时分批上云。
[0042]
本发明中，在数据推出上云的过程中，同一数据存储区块内的数据可以推出至同一个公有云，也可以是多个公有云，在此过程中，应当基于不同公有云的实时价格、具体业务内容和总的待推出数据量进行损失核算，选择成本最小的方案进行执行；此为本领域技术人员容易理解的内容，本领域技术人员可以依据需求自行设置，其中，业务内容的拆分应当由用户自行决定。
[0043]
本发明中，当数据灾难发生时，系统本身实现数据回滚，将最近一次正确推出的时刻对应的数据自公有云和/或私有云取回；同时，容灾服务启动，确保服务平顺进行。
[0044]
本发明中，由于数据灾难发生时，可能存在系统安全问题，进而可能将逐步影响不同的数据存储区块，故在完成数据取回后，需要对其他数据存储区块的数据强制触发推出，
完成数据上云及备份。
[0045]
所述系统还包括安全告警单元，所述安全告警单元内设置灾备预警模型；所述灾备预警模型获取公有云和大数据中，预设时间段内的数据报警信息及灾备取回信息，获取数据特征；构建样本集和训练集，对灾备预警模型进行训练；灾备预警模型同步获取当前系统中的数据报警信息，输入模型进行灾备取回信息的预测；基于误报及实测数据对模型进行更新。
[0046]
本发明中，灾备预警模型可以基于获取预设时间段内的数据报警信息及灾备取回信息获得特征，同时，为了避免冷启动，还可以获取大数据及其特征，构建模型、用于对日常数据报警和数据灾难的触发进行关联，在数据不断扩充的过程中实现模型的更新迭代，进而使其更为准确地实现灾备预警，直至达到日常数据报警触发部分特征后，对数据灾难进行即时、及时预警的效果。
[0047]
本发明中，灾备预警模型可以基于常规的神经网络和数据训练后实现，如bp神经网络，此为本领域技术人员容易理解的内容，本领域技术人员可以基于需求自行设置。
[0048]
本发明中，基于此模型，使得用户可以在有限的时间内、在数据出现危险预警时即进行数据上云或备份至灾备空间中，即完成备份，一则可以实现后续数据备份的有效性，避免数据的丢失和服务的中止，二则对于数据安全的监控和排查也可以更为准确。