数据传输方法、装置、设备及存储介质与流程

本申请涉及数据通信，尤其涉及数据传输方法、装置、设备及存储介质。

背景技术：

1、随着互联网、物联网（iot）和各种智能设备的广泛应用，数据量呈爆炸式增长。传统单一服务器或集中式存储系统难以有效管理和处理如此庞大的数据量，在大数据和云计算日益普及的今天，对于高效、可靠数据传输的需求日益增长，而通过智能化的数据处理、优化编码策略以及精确的传输控制是满足数据快速安全传输的重要途径。

2、随着数据量的增长，对高容量、高速度、高耐用性的存储介质需求也在增加，传统的数据传输方式往往面临带宽限制、网络拥塞、数据安全威胁等问题，为了适应不断变化的业务需求和技术环境，在数据传输过程中，如何高效且安全地将大量数据从源端传输到目标端成为一大挑战。

3、上述内容仅用于辅助理解本申请的技术方案，并不代表承认上述内容是现有技术。

技术实现思路

1、本申请的主要目的在于提供一种数据传输方法、装置、设备及存储介质，旨在解决大量数据传输时传输失败导致数据损坏的技术问题。

2、为实现上述目的，本申请提出一种数据传输方法，所述数据传输方法包括：

3、获取待传输数据；

4、根据所述待传输数据构建投影平面，基于所述投影平面对所述待传输数据进行聚类，得到数据子集；

5、根据各个数据块之间的预设大小比例将所述数据子集划分为多个数据块；

6、根据所述数据块的大小得到参考纠错码，基于参考纠错码对多个所述数据块进行编码，得到待传输编码，基于所述待传输编码进行数据传输。

7、在一实施例中，所述根据所述待传输数据构建投影平面，基于所述投影平面对所述待传输数据进行聚类，得到数据子集，包括：

8、根据所述待传输数据得到投影向量，根据所述投影向量构建投影平面；

9、将所述待传输数据投影至所述投影平面，得到数据特征向量；

10、对所述数据特征向量进行多次聚类，得到多个聚类数据集；

11、根据各个聚类数据集构建数据分类模型，基于所述数据分类模型对所述数据特征向量进行分类，得到数据子集。

12、在一实施例中，所述根据所述待传输数据得到投影向量，根据所述投影向量构建投影平面，包括：

13、获取标准化参数，基于所述标准化参数对所述待传输数据进行标准化处理，得到标准数据；

14、根据所述标准数据得到相关系数，根据所述相关系数对所述标准数据构建协方差矩阵；

15、根据所述协方差矩阵得到所述待传输数据的特征值和特征向量；

16、将最大特征值对应的特征向量作为投影向量。

17、在一实施例中，所述根据各个聚类数据集构建数据分类模型，基于所述数据分类模型对所述数据特征向量进行分类，得到数据子集，包括：

18、获取初始分类模型，将各个聚类数据集中部分数据作为训练数据对各个初始分类模型进行训练，得到数据分类模型；

19、将数据特征向量输入各个数据分类模型，得到多个初始数据类别；

20、将多个所述初始数据类别中重复类别最多的初始数据类别作为参考类别；

21、将同一参考类别的数据特征向量作为数据子集。

22、在一实施例中，所述根据各个数据块之间的预设大小比例将所述数据子集划分为多个数据块，包括：

23、获取各个数据块之间的预设大小比例和所述数据子集的数据量；

24、根据所述预设大小比例和所述数据量得到各个数据块的参考数据量；

25、基于所述参考数据量对所述数据子集进行数据划分，得到多个数据块。

26、在一实施例中，所述根据所述数据块的大小得到参考纠错码，基于参考纠错码对所述多个数据块进行编码，得到待传输编码，包括：

27、根据所述数据块的大小计算码长和信息位长，根据所述码长和所述信息位长得到监督位长；

28、根据所述监督位长得到最大纠错个数；

29、根据所述最大纠错个数、所述码长以及所述信息位长得到最小码距；

30、将所述最大纠错个数、所述码长、所述最小码距、所述监督位长以及所述信息位长作为参考纠错码；

31、基于参考纠错码对所述多个数据块进行编码，得到待传输编码。

32、在一实施例中，所述基于参考纠错码对所述多个数据块进行编码，得到待传输编码，包括：

33、基于所述参考纠错码对所述多个数据块进行编码，得到多个初始编码数据；

34、根据哈希链生成参考哈希值，基于参考哈希值确定置换位置和置换方向；

35、根据所述置换位置和置换方向将多个所述初始编码数据进行置换，得到待传输编码。

36、此外，为实现上述目的，本申请还提出一种数据传输装置，所述数据传输装置包括：

37、数据获取模块，用于获取待传输数据；

38、数据划分模块，用于根据所述待传输数据构建投影平面，基于所述投影平面对所述待传输数据进行聚类，得到数据子集；

39、所述数据划分模块，还用于根据各个数据块之间的预设大小比例将所述数据子集划分为多个数据块；

40、数据传输模块，用于根据所述预设大小得到参考纠错码，基于参考纠错码对所述多个数据块进行编码，得到待传输编码，基于所述待传输编码进行数据快速传输。

41、此外，为实现上述目的，本申请还提出一种数据传输设备，所述设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序配置为实现如上文所述的数据传输方法的步骤。

42、此外，为实现上述目的，本申请还提出一种存储介质，所述存储介质为计算机可读存储介质，所述存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上文所述的数据传输方法的步骤。

43、此外，为实现上述目的，本申请还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，所述计算机程序被处理器执行时实现如上文所述的数据传输方法的步骤。

44、本申请提出的一个或多个技术方案，至少具有以下技术效果：

45、通过将待传输数据投影并对投影后的数据特征进行聚类，基于聚类后的数据子集划分的数据块传输，并对数据块编码加密，保证数据划分准确率和传输效率的同时，提高数据的安全性和鲁棒性，实现对海量数据的快速安全传输，避免因数据量大导致数据传输时数据受损。

技术特征：

1.一种数据传输方法，其特征在于，所述数据传输方法包括：

2.如权利要求1所述的数据传输方法，其特征在于，所述根据所述待传输数据构建投影平面，基于所述投影平面对所述待传输数据进行聚类，得到数据子集，包括：

3.如权利要求2所述的数据传输方法，其特征在于，所述根据所述待传输数据得到投影向量，根据所述投影向量构建投影平面，包括：

4.如权利要求2所述的数据传输方法，其特征在于，所述根据各个聚类数据集构建数据分类模型，基于所述数据分类模型对所述数据特征向量进行分类，得到数据子集，包括：

5.如权利要求1所述的数据传输方法，其特征在于，所述根据各个数据块之间的预设大小比例将所述数据子集划分为多个数据块，包括：

6.如权利要求1所述的数据传输方法，其特征在于，所述根据所述数据块的大小得到参考纠错码，基于参考纠错码对所述多个数据块进行编码，得到待传输编码，包括：

7.如权利要求6所述的数据传输方法，其特征在于，所述基于参考纠错码对所述多个数据块进行编码，得到待传输编码，包括：

8.一种数据传输装置，其特征在于，所述数据传输装置包括：

9.一种数据传输设备，其特征在于，所述设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的数据传输程序，所述数据传输程序配置为实现如权利要求1至7中任一项所述的数据传输方法。

10.一种存储介质，其特征在于，所述存储介质上存储有数据传输程序，所述数据传输程序被处理器执行时实现如权利要求1至7任一项所述的数据传输方法。

技术总结本申请公开了一种数据传输方法、装置、设备及存储介质，涉及数据通信技术领域，公开了：获取待传输数据；根据所述待传输数据构建投影平面，基于所述投影平面对所述待传输数据进行聚类，得到数据子集；根据各个数据块之间的预设大小比例将所述数据子集划分为多个数据块；根据所述数据块的大小得到参考纠错码，基于参考纠错码对多个所述数据块进行编码，得到待传输编码，基于所述待传输编码进行数据传输；该方法通过将待传输数据投影并对投影后的数据特征进行聚类，基于聚类后的数据子集划分的数据块传输，并对数据块编码加密，保证数据划分准确率和传输效率的同时，提高数据的安全性和鲁棒性，实现对海量数据的快速安全传输。技术研发人员：王兴,季翔宇,陈森崇受保护的技术使用者：南凌科技股份有限公司技术研发日：技术公布日：2024/7/25