数据处理方法、装置、电子设备、介质及程序产品与流程

本公开涉及大数据、分布式系统以及金融，更具体地涉及一种数据处理方法、装置、电子设备、介质及程序产品。

背景技术：

1、随着信息化和数字化程度的提高，各个行业对数据实时性的要求也越来越高。无论是金融市场的交易数据、物流系统的订单状态，还是在线服务的用户行为数据，都需要进行实时的处理和推送。然而在如今的大数据时代，数据的规模呈爆炸式增长，传统的数据处理方式无法满足实时性的需求。因此，需要利用大数据处理技术，例如，通过分布式系统实现对数据进行实时的收集、分析和推送。

2、然而在跨地域的分布式系统中，会涉及多个地理位置的节点之间的通信和协作，在网络传输不稳定的状态下会对数据推送的准确性产生不利的影响。

技术实现思路

1、鉴于上述问题，本公开提供了一种数据处理方法、装置、电子设备、介质及程序产品。

2、本公开的第一个方面提供了一种数据处理方法，应用于消息消费端，方法包括：根据与交易属性变更数据相关的数据属性，确定查询键值信息；利用查询键值信息在分布式缓存集群的至少一个缓存节点进行数据状态查询，得到与交易属性变更数据相对应的数据处理状态，数据处理状态表征变更数据是否已经被消费；以及在数据处理状态表征交易属性变更数据已经被消费的情况下，从消息队列中获取第一目标变更数据，第一目标变更数据与交易属性变更数据不同。

3、本公开的第二个方面提供了一种数据处理方法，应用于消息生产端，方法包括：在检测到目标用户的交易属性数据发生变更的情况下，将与目标用户相关的初始交易属性变更数据，存储在关系型数据库的目标变更数据表中；基于预设的报送规则，从初始交易属性变更数据中确定的至少一个待选交易属性变更数据；以及将待选交易属性变更数据发送至消息队列。

4、其中，消息队列存储有多个待选交易属性变更数据，消费端基于如下方式从消息队列获取多个待选交易属性变更数据中的第一目标变更数据：根据与交易属性变更数据相关的数据属性，确定查询键值信息；利用查询键值信息在分布式缓存集群的至少一个缓存节点进行数据状态查询，得到与交易属性变更数据相对应的数据处理状态，数据处理状态表征变更数据是否已经被消费；以及在数据处理状态表征交易属性变更数据已经被消费的情况下，从消息队列中获取第一目标变更数据，第一目标变更数据与交易属性变更数据不同。

5、本公开的第三个方面提供了一种数据处理装置，应用于消息消费端，装置包括：第一确定模块，用于根据与交易属性变更数据相关的数据属性，确定查询键值信息；查询模块，用于利用查询键值信息在分布式缓存集群的至少一个缓存节点进行数据状态查询，得到与交易属性变更数据相对应的数据处理状态，数据处理状态表征变更数据是否已经被消费；以及获取模块，用于在数据处理状态表征交易属性变更数据已经被消费的情况下，从消息队列中获取第一目标变更数据，第一目标变更数据与交易属性变更数据不同。

6、本公开的第四个方面提供了一种数据处理装置，应用于消息生产端所述装置包括：存储模块，用于在检测到目标用户的交易属性数据发生变更的情况下，将与目标用户相关的初始交易属性变更数据，存储在关系型数据库的目标变更数据表中；第二确定模块，用于基于预设的报送规则，从初始交易属性变更数据中确定的至少一个待选交易属性变更数据；以及发送模块，用于将待选交易属性变更数据发送至消息队列。

7、其中，消息队列存储有多个待选交易属性变更数据，消费端基于如下方式从消息队列获取多个待选交易属性变更数据中的第一目标变更数据：根据与交易属性变更数据相关的数据属性，确定查询键值信息；利用查询键值信息在分布式缓存集群的至少一个缓存节点进行数据状态查询，得到与交易属性变更数据相对应的数据处理状态，数据处理状态表征变更数据是否已经被消费；以及在数据处理状态表征交易属性变更数据已经被消费的情况下，从消息队列中获取第一目标变更数据，第一目标变更数据与交易属性变更数据不同。

8、本公开的第五方面提供了一种电子设备，包括：一个或多个处理器；存储器，用于存储一个或多个计算机程序，其中，上述一个或多个处理器执行上述一个或多个计算机程序以实现上述方法的步骤。

9、本公开的第六方面还提供了一种计算机可读存储介质，其上存储有计算机程序或指令，上述计算机程序或指令被处理器执行时实现上述方法的步骤。

10、本公开的第七方面还提供了一种计算机程序产品，包括计算机程序或指令，上述计算机程序或指令被处理器执行时实现上述方法的步骤。

11、根据本公开的供的数据处理方法，消费端通过在获取交易属性变更数据之前生成查询键值信息并向缓存节点中进行查询，并在查询到交易属性变更数据已经被消费的情况下，从消息队列中获取不同的第一目标变更数据，这样可以避免在消息队列与消费端之间因通信网络故障导致不同的消费端重复消费相同的变更数据，节省空间占用，避免变更数据重复导致变更数据更新错误，降低交易属性数据的增量信息统计错误的风险。

技术特征：

1.一种数据处理方法，其特征在于，应用于消息消费端，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，利用所述查询键值信息在分布式缓存集群的至少一个缓存节点进行数据状态查询，得到与所述交易属性变更数据相对应的数据处理状态包括：

3.根据权利要求2所述的方法，其特征在于，所述缓存节点包括n个，n为大于1的整数；

4.根据权利要求3所述的方法，其特征在于，所述方法还包括：

5.根据权利要求1所述的方法，其特征在于，从所述消息队列中获取第一目标变更数据包括：

6.根据权利要求1所述的方法，其特征在于，所述方法还包括：

7.一种数据处理方法，其特征在于，应用于消息生产端，所述方法包括：

8.根据权利要求7所述的方法，其特征在于，将所述初始交易属性变更数据中的至少一个待选交易属性变更数据发送至消息队列包括：

9.一种数据处理装置，应用于消息消费端，其特征在于，所述装置包括：

10.一种数据处理装置，应用于消息生产端，其特征在于，所述装置包括：

11.一种电子设备，包括：

12.一种计算机可读存储介质，其上存储有计算机程序或指令，其特征在于，所述计算机程序或指令被处理器执行时实现根据权利要求1～8中任一项所述方法的步骤。

13.一种计算机程序产品，包括计算机程序或指令，其特征在于，所述计算机程序或指令被处理器执行时实现根据权利要求1～8中任一项所述方法的步骤。

技术总结本公开提供了一种数据处理方法、装置、电子设备、介质及程序产品，可以应用于大数据、分布式系统以及金融技术领域。该数据处理方法应用于消息消费端，该方法包括：根据与交易属性变更数据相关的数据属性，确定查询键值信息。利用查询键值信息在分布式缓存集群的至少一个缓存节点进行数据状态查询，得到与交易属性变更数据相对应的数据处理状态，数据处理状态表征变更数据是否已经被消费。以及在数据处理状态表征交易属性变更数据已经被消费的情况下，从消息队列中获取第一目标变更数据，第一目标变更数据与交易属性变更数据不同。技术研发人员：郑晓琳,胡慧丽,林苏燕,熊明豪受保护的技术使用者：中国工商银行股份有限公司技术研发日：技术公布日：2024/7/29