列式数据库的数据写入方法、装置、电子设备及可读介质与流程

本发明涉及数据处理，特别是涉及一种列式数据库的数据写入方法、一种列式数据库的数据写入装置、一种电子设备以及一种计算机可读介质。

背景技术：

1、现有技术中，对于大数据分析场景，通常可以选用列式数据库。列式数据库为以列相关存储架构进行数据存储的数据库，适合于批量数据处理和即时查询，使其在数据分析过程中可以具有更快的响应效率，提高数据处理效率。列式数据库通常可以是clickhouse、hbase等。

2、对于列式数据库而言，由于其在数据写入过程中，相同的数据在覆盖更新过程中，可能被写入不同的节点中，导致对于同一数据来说，不同更新时间对应的数据可能存在于不同节点。若需要再次覆盖更新数据时，查询待覆盖的数据，返回的结果不一致，出现数据跳变问题。该问题容易导致后续数据分析过程中获取得到错误的数据。

技术实现思路

1、本发明实施例是提供一种列式数据库的数据写入方法、装置、电子设备以及计算机可读存储介质，以解决列式数据库中数据跳变的问题。

2、本发明实施例公开了一种列式数据库的数据写入方法，其应用于数据流执行引擎，所述方法包括：

3、建立与列式数据库中至少一个节点的连接；

4、获取待写入所述列式数据库的数据；

5、针对所述数据中预设字段的值，采用哈希算法计算得到哈希值；

6、基于所述哈希值，在所述节点中选取所述数据对应的目标节点；

7、将所述数据写入所述目标节点中。

8、本发明实施例还提供一种列式数据库的数据写入装置，其应用于数据流执行引擎，所述装置包括：

9、节点连接建立模块，用于建立与列式数据库中至少一个节点的连接；

10、数据获取模块，用于获取待写入所述列式数据库的数据；

11、哈希计算模块，用于针对所述数据中预设字段的值，采用哈希算法计算得到哈希值；

12、目标节点确定模块，用于基于所述哈希值，在所述节点中选取所述数据对应的目标节点；

13、目标节点写入模块，用于将所述数据写入所述目标节点中。

14、本发明实施例还公开了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，所述处理器、所述通信接口以及所述存储器通过所述通信总线完成相互间的通信；

15、所述存储器，用于存放计算机程序；

16、所述处理器，用于执行存储器上所存放的程序时，实现如本发明实施例所述的方法。

17、本发明实施例还公开了一个或多个计算机可读介质，其上存储有指令，当由一个或多个处理器执行时，使得所述处理器执行如本发明实施例所述的方法。

18、本发明实施例还公开了一种计算机程序产品，包括计算机程序/指令，所述计算机程序/指令被处理器执行时实现如本发明实施例所述方法的步骤。

19、本发明实施例包括以下优点：

20、通过本发明实施例提供的列式数据库的数据写入方法，建立与列式数据库中至少一个节点的连接；获取待写入所述列式数据库的数据；针对所述数据中预设字段的值，采用哈希算法计算得到哈希值；基于所述哈希值，在所述节点中选取所述数据对应的目标节点；将所述数据写入所述目标节点中。通过数据流执行引擎接管列式数据库的数据写入，通过识别数据中预设字段哈希值的方式，快速确定数据应写入的目标节点。从而预设字段相同的数据始终写入相同节点，可以有效地避免数据跳变的问题。

技术特征：

1.一种列式数据库的数据写入方法，其特征在于，其应用于数据流执行引擎，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述基于所述哈希值，在所述节点中选取所述数据对应的目标节点的步骤，包括：

3.根据权利要求2所述的方法，其特征在于，所述对所述哈希值进行取模运算，得到节点关联数值的步骤，包括：

4.根据权利要求1所述的方法，其特征在于，所述将所述数据写入所述目标节点中的步骤，包括：

5.根据权利要求1所述的方法，其特征在于，所述建立与列式数据库中至少一个节点的连接的步骤包括：

6.根据权利要求5所述的方法，其特征在于，所述方法还包括：

7.根据权利要求6所述的方法，其特征在于，所述数据写入模式包括分片写入模式、平衡模式、随机模式、取值模式中的至少一种。

8.一种列式数据库的数据写入装置，其特征在于，其应用于数据流执行引擎，所述装置包括：

9.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，所述处理器、所述通信接口以及所述存储器通过所述通信总线完成相互间的通信；

10.一个或多个计算机可读介质，其上存储有指令，当由一个或多个处理器执行时，使得所述处理器执行如权利要求1-7任一项所述的方法。

11.一种计算机程序产品，包括计算机程序/指令，其特征在于，所述计算机程序/指令被处理器执行时实现权利要求1-7任一项所述方法的步骤。

技术总结本发明实施例提供了一种列式数据库的数据写入方法、装置、电子设备及可读介质，其应用于数据流执行引擎，所述方法包括：建立与列式数据库中至少一个节点的连接；获取待写入所述列式数据库的数据；针对所述数据中预设字段的值，采用哈希算法计算得到哈希值；基于所述哈希值，在所述节点中选取所述数据对应的目标节点；将所述数据写入所述目标节点中。通过数据流执行引擎接管列式数据库的数据写入，通过识别数据中预设字段哈希值的方式，快速确定数据应写入的目标节点。从而预设字段相同的数据始终写入相同节点，可以有效地避免数据跳变的问题。技术研发人员：谢进超受保护的技术使用者：上海众源网络有限公司技术研发日：技术公布日：2025/1/6