数据表的传输方法、装置、存储介质和电子设备与流程

本技术涉及金融科技领域，具体而言，涉及一种数据表的传输方法、装置、存储介质和电子设备。

背景技术：

1、在数据存储系统中，数据的导出是一个重要的操作，在相关技术的数据传输场景中，在待传输的数据表中存储的数据量过多的情况下，就会导致传输数据表的过程中，发生数据丢失的概率增高，使得数据表传输的稳定性降低。

2、针对相关技术中数据表传输的稳定性较低的问题，目前尚未提出有效的解决方案。

技术实现思路

1、本技术的主要目的在于提供一种数据表的传输方法、装置、存储介质和电子设备，以解决相关技术中数据表传输的稳定性较低的问题。

2、为了实现上述目的，根据本技术的一个方面，提供了一种数据表的传输方法。该方法包括：

3、在数据表的传输时刻到达的情况下，从数据库中提取待传输的初始数据表，其中，所述初始数据表中存储了待传输的数据；

4、检测所述初始数据表的中所存储的数据量的变化率与变化率阈值之间的关系；

5、在检测到所述初始数据表中存储的数据量的变化率高于或者等于变化率阈值的情况下，将所述初始数据表拆分为n个候选数据表，其中，n为大于1的正整数，所述n个候选数据表中存储了所述初始数据表中的全量数据；

6、对n个所述候选数据表中存储的数据执行标准化操作得到n个目标数据表；

7、将n个所述目标数据表传输至待接收所述待传输的数据的目标地址。

8、可选的，所述检测所述初始数据表的中所存储的数据量的变化率与变化率阈值之间的关系，包括：从所述数据库中提取与所述初始数据表对应的m个历史数据表，其中，所述m个历史数据表是所述初始数据表在不同历史时间下的数据表，m为大于1的正整数；计算所述m个历史数据表中存储的数据量的平均值；将所述初始数据表中存储的数据量与所述平均值的差值确定为所述变化率；将所述变化率与所述变化率阈值进行比对，其中，在所述变化率低于所述变化率阈值的情况下，对所述初始数据表中存储的数据执行标准化操作得到所述目标数据表。

9、可选的，所述将所述初始数据表拆分为n个候选数据表，包括：检测所述初始数据表中是否存在字段长度大于或者等于长度阈值的目标数据字段；在检测到所述初始数据表中存在所述目标数据字段的情况下，将所述目标数据字段拆分为符合目标长度的p个候选字段，得到待拆分数据表，其中，p为大于1的正整数；将所述待拆分数据表拆分为n个所述候选数据表。

10、可选的，所述对n个所述候选数据表中存储的数据执行标准化操作得到n个目标数据表，包括：识别每个所述候选数据表中存储的数据的数据类型；按照所述数据类型对应的标准化策略对所述数据类型为目标数据类型的数据进行标准化操作，直至完成n个所述候选数据表的所述标准化操作，得到n个所述目标数据表，其中，所述目标数据类型包括以下至少之一：日期类型、字符类型、媒体类型、浮点类型。

11、可选的，所述按照所述数据类型对应的标准化策略对所述数据类型为目标数据类型的数据进行标准化操作，包括：在所述数据的所述数据类型为所述日期类型的情况下，将所述日期类型的数据的格式转换为“yyyymmdd”，其中，yyyy用于指示年份，mm用于指示月份，dd用于指示日期；在所述数据的所述数据类型为所述字符类型的情况下，将所述字符类型的数据的换行符和回车符替换为空；在所述数据的所述数据类型为所述媒体类型的情况下，计算所述媒体类型的数据的字段长度；将所述媒体类型的数据中的换行符和回车符替换为目标字符，其中，所述目标字符用于确保每条所述媒体类型的数据处于完整的一行；在所述数据的所述数据类型为所述浮点类型的情况下，保留所述浮点类型的数据在目标位数的小数。

12、可选的，所述将n个所述目标数据表传输至待接收所述待传输的数据的目标地址，包括：检测所述目标数据表的数据表配置是否指示了对所述目标数据表执行入湖操作；在检测到所述数据表配置指示了对所述目标数据表执行入湖操作的情况下，使用所述目标数据表更新数据湖中对应的参考数据表；在确定完成所述入湖操作，或者检测到所述数据表配置指示了不对所述目标数据表执行入湖操作的情况下，复制所述目标数据表得到所述目标数据表的备份数据表；将所述目标数据表和所述备份数据表传输至所述目标地址。

13、可选的，在所述将所述目标数据表和所述备份数据表传输至所述目标地址之后，所述方法还包括：使用所述数据湖中的所述参考数据表检测所述目标数据表是否存在数据丢失；在检测到所述目标数据表存在数据丢失的情况下，使用所述备份数据表恢复所述目标数据表中的丢失数据。

14、为了实现上述目的，根据本技术的另一方面，提供了一种数据表的传输装置。该装置包括：

15、提取模块，用于在数据表的传输时刻到达的情况下，从数据库中提取待传输的初始数据表，其中，所述初始数据表中存储了待传输的数据；

16、第一检测模块，用于检测所述初始数据表的中所存储的数据量的变化率与变化率阈值之间的关系；

17、拆分模块，用于在检测到所述初始数据表中存储的数据量的变化率高于或者等于变化率阈值的情况下，将所述初始数据表拆分为n个候选数据表，其中，n为大于1的正整数，所述n个候选数据表中存储了所述初始数据表中的全量数据；

18、操作模块，用于对n个所述候选数据表中存储的数据执行标准化操作得到n个目标数据表；

19、传输模块，用于将n个所述目标数据表传输至待接收所述待传输的数据的目标地址。

20、根据本技术的又一个实施例，还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。

21、根据本技术的又一个实施例，还提供了一种电子设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行上述任一项方法实施例中的步骤。

22、根据本技术的又一个实施例，还提供了一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现上述任一项方法实施例中的步骤。

23、通过本技术，采用以下步骤：在数据表的传输时刻到达的情况下，从数据库中提取待传输的初始数据表，其中，初始数据表中存储了待传输的数据；检测初始数据表的中所存储的数据量的变化率与变化率阈值之间的关系；在检测到初始数据表中存储的数据量的变化率高于或者等于变化率阈值的情况下，将初始数据表拆分为n个候选数据表，其中，n为大于1的正整数，n个候选数据表中存储了初始数据表中的全量数据；对n个候选数据表中存储的数据执行标准化操作得到n个目标数据表；将n个目标数据表传输至待接收待传输的数据的目标地址。通过将存储的数据量的变化率高于或者等于变化率阈值的初始数据表拆分为n个候选数据表，将传输单个过大的初始数据表转换为并行传输数据量较少的n个候选数据表，降低了发生数据丢失的概率，解决了相关技术中数据表传输的稳定性较低的问题。进而达到了提高数据表传输的稳定性的效果。