实时数据仓库构建、异常检测方法、装置、设备及产品与流程

技术特征：
1.一种实时数据仓库构建方法，其特征在于，包括：预先获取目标用户的数据信息；对所述目标用户的数据信息进行分层处理，将分层处理结果存储到对应的存储介质。2.根据权利要求1所述的实时数据仓库构建方法，其特征在于，所述实时数据仓库包括明细数据层、轻度汇总层和公共汇总层，相应的，所述对所述目标用户的数据信息进行分层处理，包括：统计所述目标用户不同主题类型下所对应的日志数据，将不同主题类型下的日志数据存储到所述明细数据层中对应的用户主题列表；统计多个维度的目标用户的行为基线数据，根据不同预设时间将不同的行为基线数据存储到所述轻度汇总层中对应的用户行为列表中；统计所述目标用户的指标数据，将得到的不同指标数据存储到对应的用户指标宽表中。3.根据权利要求2所述的实时数据仓库构建方法，其特征在于，所述实时数据仓库至少包括以下存储介质：消息队列、第三方数据库和非关系数据库，相应的，所述将分层处理结果存储到对应的存储介质，包括：将所述明细数据层处理得到的明细数据存储到所述非关系数据库；将所述轻度汇总层处理得到的用户行为基线数据存储到所述消息队列；将所述公共汇总层处理得到的指标数据存储到所述第三方数据库。4.一种异常检测方法，基于权利要求1-3任一项所述的实时数据仓库构建方法得到的实时数据仓库，其特征在于，包括：获取目标用户在预设时间段内产生的日志数据以及事件配置数据；根据所述日志数据确定所述目标用户的行为数据；根据所述事件配置数据确定异常检测类型；将所述日志数据输入实时数据仓库，以得到根据所述日志数据更新后的与所述异常检测类型对应的异常检测基准数据；根据所述目标用户的行为数据、更新后的与所述异常检测类型对应的异常检测基准数据，确定目标用户是否存在异常事件。5.根据权利要求4所述的异常检测方法，其特征在于，所述根据所述日志数据确定所述目标用户的行为数据，包括：将所述日志数据存储到消息队列中；在所述消息队列中，对所述日志数据进行消息分发，得到所述目标用户的行为数据。6.根据权利要求4所述的异常检测方法，其特征在于，所述根据所述日志数据更新与所述异常检测类型对应的异常检测基准数据，包括：将所述日志数据传输至实时数据仓库，以使得所述实时数据仓库根据所述日志数据以及所述目标用户的历史日志数据计算与所述异常检测类型对应的异常检测基准数据，得到更新后的与所述异常检测类型对应的异常检测基准数据；从所述实时数据仓库接收所述更新后的与所述异常检测类型对应的异常检测基准数据。7.根据权利要求4所述的异常检测方法，其特征在于，所述更新后的与所述异常检测类
型对应的异常检测基准数据包括：更新后的与所述异常检测类型对应的目标用户行为基线数据、异常概率阈值；相应的，所述根据所述目标用户的行为数据、更新后的与所述异常检测类型对应的异常检测基准数据，确定目标用户是否存在异常事件，包括：确定所述目标用户是否存在更新后的与所述异常检测类型对应的目标用户行为基线数据；在所述目标用户不存在更新后的与所述异常检测类型对应的目标用户行为基线数据的情况下，确定所述目标用户不存在异常访问事件。8.根据权利要求7所述的异常检测方法，其特征在于，所述根据所述目标用户的行为数据、更新后的与所述异常检测类型对应的异常检测基准数据，确定目标用户是否存在异常事件，还包括：在所述目标用户存在更新后的与所述异常检测类型对应的目标用户行为基线数据的情况下，根据所述目标用户的行为数据和更新后的与所述异常检测类型对应的异常检测基准数据，计算所述目标用户的异常概率数值；在所述异常概率数值小于或等于预设的异常概率阈值的情况下，确定所述目标用户存在与所述异常检测类型相关的异常事件；在所述异常概率数值大于预设的异常概率阈值的情况下，确定所述目标用户不存在与所述异常检测类型相关的异常事件。9.根据权利要求6所述的异常检测方法，其特征在于，所述更新后的与所述异常检测类型对应的异常检测基准数据包括：更新后的与所述异常检测类型对应的目标用户行为基线数据；相应的，所述将所述日志数据传输至实时数据仓库，以使得所述实时数据仓库根据所述日志数据以及所述目标用户的历史日志数据计算与所述异常检测类型对应的异常检测基准数据，得到更新后的与所述异常检测类型对应的异常检测基准数据，包括：将所述日志数据传输至实时数据仓库；在所述实时数据仓库中，基于目标用户的历史日志数据以及所接收到的所述日志数据，计算在多个维度下的目标用户的行为基线数据；根据所述多个维度下的目标用户的行为基线数据，确定与所述异常检测类型对应的目标用户行为基线数据，得到更新后的与所述异常检测类型对应的目标用户行为基线数据。10.一种实时数据仓库构建装置，其特征在于，包括：获取模块，用于预先获取目标用户的数据信息；处理模块，用于对所述目标用户的数据信息进行分层处理，将分层处理结果存储到对应的存储介质。11.一种异常检测装置，其特征在于，包括；获取模块，用于获取目标用户在预设时间段内产生的日志数据以及事件配置数据；第一确定模块，用于根据所述日志数据确定所述目标用户的行为数据；第二确定模块，用于根据所述事件配置数据确定异常检测类型；更新模块，用于将所述日志数据输入实时数据仓库，以得到根据所述日志数据更新后的与所述异常检测类型对应的异常检测基准数据；
第三确定模块，用于根据所述目标用户的行为数据、更新后的与所述异常检测类型对应的异常检测基准数据，确定目标用户是否存在异常事件。12.根据权利要求11所述的异常检测装置，其特征在于，所述第一确定模块还用于：将所述日志数据存储到消息队列中；在所述消息队列中，对所述日志数据进行消息分发，得到所述目标用户的行为数据。13.一种电子设备，其特征在于，包括：处理器、存储器和总线，其中，所述处理器和所述存储器通过所述总线完成相互间的通信；所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行如权利要求1至3中任一项所述实时数据仓库构建方法或权利要求4至9中任一项所述异常检测方法的步骤。14.一种计算机程序产品，所述计算机程序产品包括计算机可执行指令，其特征在于，所述指令在被执行时用于实现如权利要求1至3中任一项所述实时数据仓库构建方法或权利要求4至9中任一项所述异常检测方法的步骤。15.一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使计算机执行如权利要求1至3中任一项所述实时数据仓库构建方法或权利要求4至9中任一项所述异常检测方法的步骤。

技术总结
本发明提供一种实时数据仓库构建、异常检测方法、装置、设备及产品，方法包括：预先获取目标用户的数据信息，并对数据信息进行分层处理，将分层处理结果存储到对应的存储介质；异常检测方法包括：获取目标用户在预设时间段内产生的日志数据以及事件配置数据，根据日志数据确定出行为数据，根据事件配置数据确定异常检测类型，将日志数据输入实时数据仓库中，以得到根据日志数据更新后的与异常检测类型对应的异常检测基准数据，根据目标用户的行为数据、更新后的异常检测基准数据，确定目标用户是否存在异常事件。本发明提供的基于实时数据仓库的异常检测方法，能够保证异常检测实时性和准确性，提高异常检测的速度，提升用户体验。提升用户体验。提升用户体验。


技术研发人员：岳刚 田礼军 安锦程 冯词童
受保护的技术使用者：网神信息技术（北京）股份有限公司
技术研发日：2021.12.28
技术公布日：2022/5/17