数据处理方法、装置、电子设备及计算机可读存储介质与流程

技术特征：
1.一种数据处理方法，应用于计算设备，其特征在于，所述方法包括：基于数据源的信息，将来自于所述数据源的源表注册为持久化的hive外部表；通过spark sql从所述持久化的hive外部表中获取指标数据；将获取的所述指标数据导入到结果表中；从所述结果表中调取所述指标数据，将调取的指标数据写入预先创建的数据库；导出所述数据库中的数据以用于显示。2.根据权利要求1所述的数据处理方法，其特征在于，所述基于数据源的信息，将来自于所述数据源的源表注册为持久化的hive外部表，包括：从所述数据源的信息中提取对应于所述源表的固定配置信息；将所述源表以及所述固定配置信息组装生成建表语句；通过所述spark sql执行所述建表语句，生成所述持久化的hive外部表。3.根据权利要求1所述的数据处理方法，其特征在于，所述通过spark sql从所述持久化的hive外部表中获取指标数据，包括：通过所述spark sql从所述持久化的hive外部表中查询出所有的指标初始数据；通过所述spark sql对所述所有的指标初始数据进行汇总计算，得到所述指标数据。4.根据权利要求1所述的数据处理方法，其特征在于，所述将调取的指标数据写入预先创建的数据库，包括：判断所述预先创建的数据库中是否存在与所述调取的指标数据相匹配的预设表；若不存在所述预设表，则新建一个与所述调取的指标数据相匹配的表，并将所述指标数据导入到新建的所述相匹配的表中；若存在所述预设表，则将所述预设表与所述指标数据的对应信息进行比对，得到比对结果；根据所述比对结果，采用对应于所述比对结果的更新方式，利用所述调取的指标数据更新所述预设表。5.根据权利要求4所述的数据处理方法，其特征在于，所述根据所述比对结果，采用对应于所述比对结果的更新方式，利用所述调取的指标数据更新所述预设表，包括：如果所述比对结果为所述预设表与所述指标数据的对应信息相匹配，则将所述调取的指标数据添加导入到所述预设表中，或者，将所述预设表清空，将所述调取的指标数据导入到清空后的所述预设表中；如果所述比对结果为所述预设表与所述指标数据的对应信息不匹配，则利用所述调取的指标数据更新所述预设表中不匹配的字段。6.根据权利要求5所述的数据处理方法，其特征在于，所述利用所述调取的指标数据更新所述预设表中不匹配的字段，包括：针对所述预设表中的数据中与所述调取的指标数据中不匹配的字段，利用所述调取的指标数据中的相应字段替换所述不匹配的字段。7.根据权利要求5所述的数据处理方法，其特征在于，所述利用所述调取的指标数据更新所述预设表中不匹配的字段，包括：若所述预设表中与所述调取的指标数据中相对应的位置上缺少字段，则将所述调取的指标数据中所述相对应的位置上的字段插入到所述预设表中的所述相对应的位置上。
8.一种数据处理装置，应用于计算设备，其特征在于，所述装置包括：注册模块，用于基于数据源的信息，将来自于所述数据源的源表注册为持久化的hive外部表；获取模块，用于通过spark sql从所述持久化的hive外部表中获取指标数据；导入模块，用于将获取的所述指标数据导入到结果表中；写入模块，用于从所述结果表中调取所述指标数据，将调取的指标数据写入预先创建的数据库；导出模块，用于导出所述数据库中的数据以用于显示。9.一种电子设备，其特征在于，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现如权利要求1-8中任一所述的数据处理方法。10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行，以实现如权利要求1-8中任一所述的数据处理方法。

技术总结
本申请公开了一种数据处理方法、装置、电子设备及计算机可读存储介质。该数据处理方法包括：基于数据源的信息，将来自于数据源的源表注册为持久化的Hive外部表；通过Spark SQL从持久化的Hive外部表中获取指标数据；将获取的指标数据导入到结果表中；从结果表中调取指标数据，将调取的指标数据写入预先创建的数据库；导出数据库中的数据以用于显示。本申请实施例的方法，将来自于所述数据源的源表注册为一个持久化的Hive外部表，由于持久化的Hive外部表可多次重复使用，所以避免了编辑数据源和表的配置项并创建视图的操作，简化了数据处理流程，可以有效地提高数据处理效率、提高数据计算的易用性，可扩展性好，能够很好地满足实际应用的需要。际应用的需要。际应用的需要。


技术研发人员：郭健 张乐
受保护的技术使用者：新华三大数据技术有限公司
技术研发日：2021.11.18
技术公布日：2022/3/1