数据聚合系统的制作方法

本公开总体上涉及改进的计算机系统，并且更具体地涉及用于大规模数据聚合的方法、装置、计算机系统和计算机程序产品。

背景技术：

1、数据库、分布式数据处理框架和文件格式只有在批量加载、插入或格式化数据时才具有最高的性能。这种类型的性能可以在列式数据库、分布式文件系统、parquet数据格式、事件存储库以及用于作为数据操作目标的格式的许多其它类型的系统中找到。要放置到这些面向批量的目标中的数据可以采取小的频繁事务的形式。这些事务被聚合成对于这些目标而言最佳的格式。因此，使用软件将这些高频消息聚合成用于批量或批量优化目标的最佳格式。批次和批量是优化一个单位或一组工作的技术。批次优化目标被优化以处理工作组。批量优化目标在以组处理工作时具有改进的性能。批量优化目标在处理大量数据时具有改进的性能。

技术实现思路

1、根据一个说明性实施例，一种计算机实现的方法聚合变化数据。计算机系统接收以字节序列格式化的变化数据，该字节序列由变化数据的目标使用。计算机系统响应于变化数据用于添加操作而将变化数据存储在缓冲器系统中的添加缓冲器中的区域中。计算机系统响应于变化数据用于删除操作而确定在变化数据与添加缓冲器中存储的变化数据之间是否存在冲突。计算机系统响应于冲突的存在，将该区域的冲突位置存储在添加缓冲器中，该添加缓冲器包含存储的与冲突相对应的变化数据。当要将变化数据应用于目标时，计算机系统将添加缓冲器中不存在冲突的集合的区域中存储的变化数据发送到目标。根据其它说明性实施例，提供了一种用于聚合变化数据的计算机系统和计算机程序产品。

技术特征：

1.一种用于聚合变化数据的计算机实现的方法，所述计算机实现的方法包括：

2.根据权利要求1所述的计算机实现的方法，还包括：

3.根据权利要求2所述的计算机实现的方法，其中，发送所述存储的变化数据包括：

4.根据权利要求3所述的计算机实现的方法，其中，发送所述存储的变化数据还包括：

5.根据权利要求1所述的计算机实现的方法，其中，确定是否存在所述冲突包括：

6.根据权利要求5所述的计算机实现的方法，其中所述变化数据的所述唯一标识符是所述变化数据中使所述变化数据唯一的字节的散列。

7.根据权利要求1所述的计算机实现的方法，还包括：

8.根据权利要求2所述的计算机实现的方法，还包括：

9.根据权利要求8所述的计算机实现的方法，其中，发送所述存储的变化数据包括：

10.一种计算机系统，包括：

11.根据权利要求10所述的计算机系统，其中，所述多个处理器单元执行程序指令以：

12.根据权利要求11所述的计算机系统，其中，在发送所述存储的变化数据时，所述多个处理器单元执行程序指令以：

13.根据权利要求12所述的计算机系统，其中，在发送所述存储的变化数据时，所述多个处理器单元执行程序指令以：

14.根据权利要求10所述的计算机系统，其中在确定所述冲突是否存在时，所述多个处理器单元执行程序指令以：

15.根据权利要求14所述的计算机系统，其中，所述变化数据的所述唯一标识符是所述变化数据中使所述变化数据唯一的字节的散列。

16.根据权利要求10所述的计算机系统，其中，所述多个处理器单元执行程序指令以：

17.根据权利要求11所述的计算机系统，其中，所述多个处理器单元执行程序指令以：

18.根据权利要求17所述的计算机系统，其中，在发送所述存储的变化数据时，所述多个处理器单元执行程序指令以：

19.一种用于聚合变化数据的计算机程序产品，所述计算机程序产品包括计算机可读存储介质，所述计算机可读存储介质具有与其一起体现的程序指令，所述程序指令可由计算机系统执行以使所述计算机系统执行以下方法：

20.根据权利要求19所述的计算机程序产品，还包括：

技术总结一种计算机实现的方法聚合变化数据。接收以字节序列格式化的所述变化数据，所述字节序列由所述变化数据的目标使用。响应于变化数据用于添加操作，变化数据被存储在缓冲器系统中的添加缓冲器中的区域中。响应于变化数据用于删除操作，确定在变化数据与添加缓冲器中存储的变化数据之间是否存在冲突。响应于冲突的存在，区域的冲突位置被存储在添加缓冲器中，添加缓冲器包含与冲突相对应的存储的变化数据。响应于当变化数据要被应用于目标时，添加缓冲器中不存在冲突的集合的区域中存储的变化数据被发送到目标。技术研发人员：S·R·罗布森,M·乔里受保护的技术使用者：国际商业机器公司技术研发日：技术公布日：2024/9/2