一种基于量化技术的通信数据压缩方法及系统

本发明属于通信领域，尤其涉及一种基于量化技术的通信数据压缩方法及系统。

背景技术：

1、广义最小残差法(gmres)是求解稀疏线性系统ax＝b的一种迭代求解算法，其中a是一个稀疏矩阵，x和b是稠密向量。稀疏线性系统通常有两种求解方法，分别是直接法和迭代法。直接法具有通用性好、计算结果精度高的优点，但在求解大规模稀疏线性系统时面临存储需求高和计算量大等问题。迭代法通过多次迭代生成一系列逼近精确解的近似解，具有计算量小、内存需求低，且能充分利用矩阵稀疏性的优点，是求解大规模稀疏线性系统的主流方法，广泛应用于计算电磁学、计算流体动力学等科学计算和模拟领域。

2、由于单一计算节点无法满足大规模稀疏线性系统求解的存算资源需求，因此分布式迭代求解器在科学与工程计算中更为常用。虽然分布式系统有更多的计算和存储资源可用于问题求解，但是节点之间的通信延迟相较单个节点内部的通信延迟会有大幅的增加。

3、gmres的分布式计算是求解大规模稀疏线性系统的一种重要手段。其分布式实现将稀疏矩阵向量乘(spmv)、向量加法以及向量内积等主要计算内核分布到各个节点上计算。为保证迭代的正常运行，各进程需要对向量加法、向量内积、二范数等典型向量算子的局部计算结果进行合并规约，这些计算结果通常为标量，具有较小的通信开销。而对于涉及稀疏矩阵运算的spmv算子y＝ap，各进程在每次迭代中调用spmv内核之前需要先通过进程间通信得到完整的相乘向量p，进程间通信的数据为向量。通过在29个稀疏线性系统上对分布式gmres的实验结果分析表明，spmv算子执行前的向量通信时间占迭代算法总运行时间的平均比值超过80％。这意味着分布式节点之间的数据通信是分布式gmres的主要性能瓶颈，如何降低其通信开销是优化分布式gmres整体效率的重要方向。

技术实现思路

1、为解决上述技术问题，本发明提供了一种基于量化技术的通信数据压缩方法及系统。其中，一种基于量化技术的通信数据压缩方法，包括：

2、基于量化与反量化策略进行分布式迭代，当每个进程得到自己的局部计算结果后，基于所述局部计算结果的数值特征对传输向量进行量化压缩；

3、每个进程将量化之后的结果通过网络发送给其他进程，每个进程获得完整的量化结果；

4、基于所述完整的量化结果，各个进程对自己接收到的数据进行反量化，获得使用原始精度表示的向量，再对所述使用原始精度表示的向量进行局部的spmv运算和后续操作。

5、优选地，基于量化与反量化策略进行分布式迭代的过程包括：

6、在每次迭代过程中，每个进程先将自己要传输给其他进程的高精度表示的数据通过量化函数fp2intw量化为w位宽的定点表示，然后发送给其他进程，并接收其他进程量化之后的数据，得到完整的量化结果vw；之后调用intw2fp将所述完整的量化结果vw反量化为高精度浮点表示vout，然后继续后续的spmv和其他运算。

7、优选地，基于所述局部计算结果的数值特征对传输向量进行量化压缩的过程包括：

8、基于均匀量化的通信压缩方法将[a,b]区间的所有浮点数映射到一个固定步长的整数区间中，给定一个浮点向量xin和一个无符号整型网格，进行量化操作将实数向量映射到低位宽的整型网格中，实现数据的压缩。

9、优选地，所述量化的过程表示为：

10、

11、其中，表示将输入数据舍入到最近的整数，clamp函数的定义为：

12、

13、优选地，基于均匀量化的通信压缩方法根据零点的选择不同，均匀量化包括对称量化和非对称量化；

14、所述非对称量化的参数组成包括缩放因子s、零点z、位宽w；其中，所述缩放因子s为浮点数，用于决定量化器的步长。

15、优选地，基于所述局部计算结果的数值特征对传输向量进行量化压缩的过程包括：

16、基于非均匀量化的通信压缩方法，采用基于分段线性函数的量化技术在量化范围中引入一个分段点，将量化区间拆分为两个不重叠的区域，获得中心稠密区域和边缘离散区域；

17、基于所述分段线性函数的量化技术分别对分布在两个量化区间中的数据进行均匀量化，通过控制所述分段点调控边缘离散区域和中心稠密区域的量化损失。

18、优选地，采用基于分段线性函数的量化技术在量化范围中引入一个分段点，将量化区间拆分为两个不重叠的区域的过程包括：

19、引入参数p表示中心稠密区域中包含的元素占比，通过调整所述参数p实现中心稠密区域和边缘离散区域的分段，完成数据分布自适应的分段点设置。

20、优选地，基于所述分段线性函数的量化技术分别对分布在两个量化区间中的数据进行均匀量化的过程包括：

21、通过量化映射和浮点表示的混合压缩，对所述边缘离散区域中的元素不进行量化压缩，依然使用原始的fp64或fp32表示；

22、定义所述中心稠密区域中包含的元素占比为α，则所述边缘离散区域包含的元素占比为1-α，假设使用64位整型表示边缘离散区域，用均匀量化压缩中心稠密区域，量化位宽为w，则量化实现的通信压缩比η为：

23、

24、优选地，基于所述完整的量化结果，各个进程对自己接收到的数据进行反量化的过程包括：

25、对压缩后的数据进行进程间通信后，每个进程对接收到的数据进行反量化，反量化得到的浮点向量近似等于初始的浮点向量；

26、其中，所述反量化的过程表示为：

27、xout＝s·(xw-z)

28、量化因子s由量化范围[a,b]和量化位宽w按照如下方式决定:

29、

30、本发明还提供一种基于量化技术的通信数据压缩系统，包括：

31、量化模块，用于当每个进程得到自己的局部计算结果后，基于所述局部计算结果的数值特征对传输向量进行量化压缩；每个进程将量化之后的结果通过网络发送给其他进程，每个进程获得完整的量化结果；

32、反量化模块，与所述量化模块连接，用于基于所述完整的量化结果，各个进程对自己接收到的数据进行反量化，获得使用原始精度表示的向量，再对所述使用原始精度表示的向量进行局部的spmv运算和后续操作。

33、与现有技术相比，本发明具有如下优点和技术效果：

34、本发明通过对浮点数量化后再进行传输，一方面能够显著降低数据传输量，另一方面能够实现对比特位宽的有效利用，从而减少对迭代收敛性的影响。

35、本发明提出的基于量化技术的通信压缩方法根据有限浮点数据的数值特征，将给定的浮点数集合映射到特定范围的一个定点数区间内，相对于划分了指数和尾数的浮点格式表示，量化表示能够提高有限位宽的利用效率，从而提升浮点数的表示精度。更重要的是，基于量化技术的压缩后的数据仅用于通信，不用于计算，因此支持任意位宽的压缩。

技术特征：

1.一种基于量化技术的通信数据压缩方法，其特征在于，包括：

2.根据权利要求1所述的基于量化技术的通信数据压缩方法，其特征在于，

3.根据权利要求1所述的基于量化技术的通信数据压缩方法，其特征在于，

4.根据权利要求3所述的基于量化技术的通信数据压缩方法，其特征在于，

5.根据权利要求3所述的基于量化技术的通信数据压缩方法，其特征在于，

6.根据权利要求1所述的基于量化技术的通信数据压缩方法，其特征在于，

7.根据权利要求6所述的基于量化技术的通信数据压缩方法，其特征在于，

8.根据权利要求6所述的基于量化技术的通信数据压缩方法，其特征在于，

9.根据权利要求1所述的基于量化技术的通信数据压缩方法，其特征在于，

10.一种基于量化技术的通信数据压缩系统，其特征在于，包括：

技术总结本发明公开了一种基于量化技术的通信数据压缩方法及系统，包括：基于量化与反量化策略进行分布式迭代，当每个进程得到自己的局部计算结果后，基于局部计算结果的数值特征对传输向量进行量化压缩；每个进程将量化之后的结果通过网络发送给其他进程，每个进程获得完整的量化结果；基于完整的量化结果，各个进程对自己接收到的数据进行反量化，获得使用原始精度表示的向量，再对使用原始精度表示的向量进行局部的SpMV运算和后续操作。本发明通过对浮点数量化后再进行传输，一方面能够显著降低数据传输量，另一方面能够实现对比特位宽的有效利用，从而减少对迭代收敛性的影响。技术研发人员：高建花,计卫星,张寓祥,石剑君,黄华受保护的技术使用者：北京师范大学技术研发日：技术公布日：2024/11/14