基于敏捷数据仓库的运维系统及方法与流程

技术特征：
1.基于敏捷数据仓库的运维系统，其特征在于：包括 基建管理单元（100）、运维作业单元（200）、异常管理单元（300）和 定期任务单元（400）；所述基建管理单元（100）、所述运维作业单元（200）、 所述异常管理单元（300）与所述定期任务单元（400）依次通过网络通信连接； 所述基建管理单元（100）用于对支撑系统运行的基建设备进行集中的连接管 控；所述运维作业单元（200）用于对数仓的日常运维工作进行作业分配和管 理；所述异常管理单元（300）用于对数仓及系统运行过程中的异常情况进行 监测并进行故障处理操作；所述定期任务单元（400）用于通过程序设定定期 的任务对数仓的运维工作进行完善和补充； 所述基建管理单元（100）包括数据仓库模块（101）、运维终端模块（102）、 工具管理模块（103）和用户管理模块（104）； 所述运维作业单元（200）包括数据检查模块（201）、数库检查模块（202）、 etl 处理模块（203）和异常处理模块（204）； 所述异常管理单元（300）包括备份系统模块（301）、故障监测模块（302）、 业务转移模块（303）和隔离自愈模块（304）； 所述定期任务单元（400）包括数据备份模块（401）、运维日志模块（402）、 系统重启模块（403）和总结统计模块（404）。2.根据权利要求 1 所述的基于敏捷数据仓库的运维系统，其特征在于： 所述数据仓库模块（101）、所述运维终端模块（102）、所述工具管理模块（103） 与所述用户管理模块（104）依次通过网络通信连接；所述数据仓库模块（101） 用于根据业务需求按照常规流程搭建敏捷数据仓库的架构体系并正常投入使 用；所述运维终端模块（102）用于在数仓架构基础上增设部分终端设备以承 载运维系统的软件平台来支撑运维工作；所述工具管理模块（103）用于通过 开发工具开发软件自动化管理平台并载入多种敏捷运维工具来满足数仓运维 的需求；所述用户管理模块（104）用于给用户提供访问系统的通道并根据用 权 利 要 求 书 2 户的身份开放相应的操作权限。3.根据权利要求 2 所述的基于敏捷数据仓库的运维系统，其特征在于： 所述工具管理模块（103）包括自动部署模块（1031）、数据扩容模块（1032）、 资源调配模块（1033）和配置下发模块（1034）；所述自动部署模块（1031）、 所述数据扩容模块（1032）、所述资源调配模块（1033）与所述配置下发模块 （1034）依次通过网络通信连接；所述自动部署模块（1031）用于通过软件自 动化管理使敏捷运维工具在平台上完成自动化部署，并通过工具实现数仓业 务的快速自动部署；所述数据扩容模块（1032）用于通过在敏捷运维软件工具 上做业务部署来实现数据中心的扩容操作，不需关注数仓基础架构的实现，也 不需增加运维人员，并可以增强运维工具的监控效果；所述资源调配模块 （1033）用于通过各敏捷软件工具之间的自动互联互通来快速进行底层的资 源调配；所述配置下发模块（1034）用于通过软件自动下发系统的底层资源调 配及网络配置。4.根据权利要求 3 所述的基于敏捷数据仓库的运维系统，其特征在于： 所述资源调配模块（1033）中，资源调配过程中采用作业优先级算法，其计算 公式为： 푃푗 [
푖
] = 푃표 [
푖
] 푁
ꢀ∗ꢀ
푇푤푎푖푡
； 其中，
푃표 [
푖
]为作业提交时指定的优先级，
푇푤푎푖푡
为作业在队列中等待的时 间，
푁
为常数因子，随着等待时间的增加，作业优先级动态的增加，直到增加 到阈值，即最高优先级。5.根据权利要求 2 所述的基于敏捷数据仓库的运维系统，其特征在于： 所述数据检查模块（201）、所述数库检查模块（202）、所述 etl 处理模块 （203）与所述异常处理模块（204）依次通过网络通信连接且并列运行；所述 数据检查模块（201）用于每日在数据仓库
启动批处理程序之前对源头的数据 和生产处的数据进行检查以确保当日批处理程序正常作业；所述数库检查模 权 利 要 求 书 3 块（202）用于每日定时查看数据仓库中包括 stage、app_space、pdm 等各子 库的空间情况，每日查看磁盘、磁带是否余有以便数据备份需求的足够空间， 并在空间不足时及时同时管理员来分配库空间或增加磁盘空间；所述 etl 处 理模块（203）用于通过 etl 批处理工具对数据仓库运行过程中的对数据进行 etl 全过程中的各主要项目进行检测管理；所述异常处理模块（204）用于由 运维人员按照预设程序查找数仓问题、找到原因并上报，指定处理方案、在获 得数仓客户的授权后执行实时，并详细记录整个处理过程。6.根据权利要求 5 所述的基于敏捷数据仓库的运维系统，其特征在于： 所述数据检查模块（201）包括常规数据模块（2011）、转定长传输模块（2012）、 源数据传输模块（2013）和下游系统数据模块（2014）；所述常规数据模块 （2011）、所述转定长传输模块（2012）、所述源数据传输模块（2013）与所 述下游系统数据模块（2014）依次通过网络通信连接且并列运行；所述常规数 据模块（2011）用于对数据仓库中现存的历史数据进行常规的快速检查；所述 转定长传输模块（2012）用于由运维制备人员通过预设的程序命令检查每个大 任务的初始化操作过程、数据装卸载及上传整个处理模块等，查找是否存在错 误，检查各模块的转定长情况及检查日志中是否存在中断的转定长现象，最后 将异常情况进行上报反馈；所述源数据传输模块（2013）用于每日定时检查源 数据的传输过程、源数据是否全部到达、源数据传输作业是否完成等，筛查未 到达的文件及检查接口文件未达到的原因，并将源数据未正确到达的情况进 行上报反馈；所述下游系统数据模块（2014）用于每日检查给下游系统的数据 是否完全给出以判断下游脚本是否正常运行，筛查未给出的数据及数据未给 出的原因并进行上报反馈。7.根据权利要求 5 所述的基于敏捷数据仓库的运维系统，其特征在于： 所述 etl 处理模块（203）包括报警反馈模块（2031）、窗口监控模块（2032）、 工作状态模块（2033）和数据转换模块（2034）；所述报警反馈模块（2031）、 权 利 要 求 书 4 所述窗口监控模块（2032）、所述工作状态模块（2033）与所述数据转换模块 （2034）依次通过网络通信连接且并列运行；所述报警反馈模块（2031）用于 查看是否获取由客户方管理的硬件维护项目及巡检报告；所述窗口监控模块 （2032）用于按照预设的工具程序查看 etl 监控窗口是否存在脚本错误或其 它异常的提示；所述工作状态模块（2033）用于按照预设程序每隔一端时间查 看监控窗口有否错误/异常提示以判断系统工作状态是否正常，同时每隔一段 时间查看监控窗口内是否存在长时间处于未完成状态的作业；所述数据转换 模块（2034）用于每日定时查看数据日期的转换作业完成情况并记录完成时间， 查看前一时间阶段完成的时间以作对比，并及时上报反馈存在异常的情况。8.根据权利要求 5 所述的基于敏捷数据仓库的运维系统，其特征在于： 所述备份系统模块（301）、所述故障监测模块（302）、所述业务转移模块（303） 与所述隔离自愈模块（304）依次通过网络通信连接；所述备份系统模块（301） 用于通过原型化可开发方法，在数据仓库的应用过程中，另外构建一个备份的 业务操作系统；所述故障监测模块（302）用于通过敏捷软件实时对数据仓库 的运行过程进行全年无中断的监测并可快速发现应用故障；所述业务转移模 块（303）用于在检测到应用故障时自动执行切换动作，将业务转移到备用系 统中以确保业务不受影响；所述隔离自愈模块（304）用于通过敏捷软件工具 对故
障部分进行隔离，同时可以按照预设的排障程序对故障进行自愈，以便给 运维人员进行故障抢修赢得时间。9.根据权利要求 8 所述的基于敏捷数据仓库的运维系统，其特征在于： 所述数据备份模块（401）、所述运维日志模块（402）、所述系统重启模块（403） 与所述总结统计模块（404）依次通过网络通信连接；所述数据备份模块（401） 用于采用永久或每日循环的方式，通过调度机制调度脚本来触发工作，在每日 业务结束后对源数据、运行脚本、日志、数据库等进行备份并存储到磁带库； 所述运维日志模块（402）用于由运维管理人员每日记录运维日志来进行每日 权 利 要 求 书 5 检查工作，以便随时查看系统的运行状况；所述系统重启模块（403）用于按 照预设程序，在通知客户后与客户协作完成服务器的系统重启工作，以使批处 理程序能够完全释放内存，避免因程序长期运行、系统缓存被占用造成系统资 源不足导致的程序运行失败；所述总结统计模块（404）用于定期对数仓的运 行环境、系统的运维情况、数仓出现过的异常故障情况等进行分类的总结统计， 并自动生成对应的报表图形以便上报。10.基于敏捷数据仓库的运维方法，包括权利要求 9 所述的基于敏捷数据 仓库的运维系统，其特征在于：包括如下步骤： s1、根据业务场景需求，按照常规流程，构建敏捷数据仓库并正常投入使 用； s2、在原数据仓库的架构体系中增设计算机处理器组件，通过开发工具研 发软件自动化管理平台，载入多种敏捷运维工具，并将运维系统与敏捷数据仓 库业务系统连接起来； s3、运维管理人员以合法身份访问系统，根据运维规则，通过预设的程序 及对应的运维工具，每日进行数据仓库的运维检查； s4、运维人员每日对数据仓库的常规数据、转定长传输情况、源数据传输 到达情况及下游系统数据发出完成情况进行检查，并反馈异常情况； s5、运维人员每日对数据仓库的 etl 批处理过程进行巡检，包括硬件巡 检情况、脚本运行情况、工作状态、数据日期转换作业完成情况等，并反馈异 常情况； s6、运维管理人员获取上报的异常情况，制定异常处理方案并反馈给客户， 经客户批准后可执行方案来进行异常处理操作； s7、敏捷运维工具全年无休地监测系统运行过程，在发现故障情况时可自 动执行切换动作将业务转移到备用系统中，并隔离故障、尝试排障自愈，直到 运维人员完成抢修作业； 权 利 要 求 书 6 s8、运维系统定期进行数据备份、记录运维日志，并按照程序定期自动进 行重启操作，以保障系统的稳定运行，系统定期自动对所有运维情况的相关数 据进行总结统计，生成对应的报表图形； s9、数仓客户以合法身份登录系统，可以查看所有运维情况的工作记录， 并可提出运维管理的建议和需求，由系统开发人员对运维系统进行修改调整。

技术总结
本发明涉及数据仓库运维管理技术领域，具体地说，涉及基于敏捷数据仓库的运维系统及方法。包括基建管理单元、运维作业单元、异常管理单元和定期任务单元；基建管理单元用于对基建设备进行管控；运维作业单元用于对运维工作进行分配管理；异常管理单元用于对异常情况进行监测并处理；定期任务单元用于设定定期任务对运维工作进行完善。本发明设计的系统可以减少人力投入、节省运维费用支出，可以监测数仓运行、快速发现异常，确保故障时业务不受影响，减少故障中断时间，提升数据仓库的运营能力；其运维方法可以减轻运维工作量、缩短耗时，有效减少出现检查遗漏的情况，提高运维工作的管理成效，并可统计记录运维情况，以便用户直观地查看。查看。查看。


技术研发人员：王洋 孙佳亮 杜斌
受保护的技术使用者：中建材信云智联科技有限公司
技术研发日：2021.11.10
技术公布日：2022/1/18