融合Transformer和混合卷积的大规模MIMO信道信息反馈方法

本发明涉及融合transformer和混合卷积的大规模mimo信道信息反馈方法，属于无线通信、深度学习。

背景技术：

1、无线通信技术与人类社会密不可分，随着人类社会的发展，无线通信网络不断更新换代，目前成熟的5g网络需要处理大量的无线数据，不断增长的数据通信量使得当前无线网络频谱需求、基站数目、天线数目、业务场景都在急剧增加，为未来无线通信的发展带来挑战，人们日益增长的无线通信需求迫使研究者寻找可以提高无线网络频谱效率、计算能力、前向后向链路容量的自优化、自适应、低复杂度的智能方案。

2、大规模mimo技术是当前5g和未来6g通信系统中最突出的技术之一。借助空间复用和波束成形等先进技术，具有多个天线阵列的5g基站可以有效抑制多用户干扰，并提供高频谱效率。大规模mimo技术的有效性严重依赖于信道信息的准确性。在时分复用系统中，利用信道互易性来估计下行信道信息是有益的，因为下行和上行信道之间的衰落特性表现出最小的差异。相反，在频分复用系统中，上行和下行信道之间缺乏互易性。因此，下行信道信息首先由用户设备使用来自基站的导频进行估计，随后通过反馈链路将其传输回基站。随着天线、接收器和子载波数量的增加，用于下行信道信息反馈的大量上行带宽开销成为了部署大规模mimo系统的不可接受的限制。因此，在传输之前必须有效地压缩和量化下行信道信息，以更低的反馈开销实现信道信息重建准确性，这对于大规模mimo系统下的频分复用工作有着非常高的研究价值。

3、信道信息压缩技术主要包括压缩感知方法和基于深度学习的方法。传统的压缩感知方法依赖于信道稀疏性的假设，但在迭代重构方面的效率受到了限制。深度学习辅助的智能无线通信被赋予巨大的发展前景，深度学习算法往往假设可以获取大量的标签训练数据以执行监督学习，为通信网络的设计和优化提供了更多的可能性，目前基于深度学习的信道信息压缩技术已经获得了超越传统压缩感知算法的效果。

4、目前的基于深度学习的信道信息反馈框架主要利用了卷积神经网络、transformer架构等，并获得了不错的信道信息反馈精度。基于深度学习的网络框架通常分为卷积框架和注意力框架，卷积操作擅长提取局部特征，而多头注意机制专注于捕捉全局表示。目前存在的深度学习架构并不能够高效地同时提取信道信息中的局部细节和整体特征，因此，将这两种特征整合起来是至关重要的。

技术实现思路

1、技术问题：针对现有的大规模mimo信道信息反馈问题，传统的压缩感知方法依赖于信道稀疏性的假设，其迭代重建的效率受到阻碍；现有的深度学习方法中，卷积网络擅长提取局部特征，而注意力机制主要用于捕获全局信息，两者各有优势和局限。因此，利用融合transformer和混合卷积将信道信息矩阵局部细节和全局特征集成在一起，能够提高反馈的准确性。

2、为了实现上述目的,本发明提供如下技术方案:

3、融合transformer和混合卷积的大规模mimo信道信息反馈方法，该方法包括以下步骤：

4、步骤s1：构造基于融合transformer和混合卷积的编码器以及解码器结构；

5、步骤s2：构造通道量化变分自编码器量化模型；

6、步骤s3：根据步骤s1和s2搭建神经网络模型，所述的神经网络模型包括基于融合transformer和混合卷积的编码器、通道量化变分自编码器量化模型和基于融合transformer和混合卷积的解码器，所述基于融合transformer和混合卷积的编码器、通道量化变分自编码器量化模型之间串接第一全连接层，所述通道量化变分自编码器量化模型、基于融合transformer和混合卷积的解码器之间串接第二全连接层；

7、步骤s4：获取数据集，对数据集中包含的信道信息矩阵进行预处理，然后将数据集划分训练集和测试集，通过训练集对搭建的融合transformer和混合卷积的神经网络模型进行训练，将训练好的神经网络模型用于信道信息反馈。

8、优选的，所述基于融合transformer和混合卷积的编码器以及解码器结构均包括：第一前馈模块、多头自注意力模块、卷积模块和第二前馈模块：

9、第一前馈模块和第二前馈模块均包含预归一化半步残差单元、第三全连接层，应用swish激活和随机失活进行正则化；

10、多头自注意力模块引入注意力机制，使用预先标准化的残差单元与随机失活；

11、卷积模块包含门控线性单元、逐点卷积层和一维深度卷积层。

12、优选的，所述通道量化变分自编码器量化模型包含升维卷积、向量量化变分自编码器、降维卷积：

13、升维卷积包含一个1×1的卷积层；

14、向量量化变分自编码器构造码本e∈rk×d，码本包含k个潜在嵌入向量ei，i∈1，2，...，k，每个潜在嵌入向量ei的长度为d，通过最近邻查找，压缩码字的每个元素与码本中的潜在嵌入向量相关联，得到元素为潜在嵌入向量索引的量化比特流；

15、降维卷积是一个1×1的卷积层，实现升维卷积的镜像操作。

16、优选的，步骤s4的具体实现过程为：

17、步骤s401：采用数据集cost2100，基于角-时延域中信道信息矩阵的稀疏性，对数据集cost2100中包含的信道信息矩阵进行二维离散傅里叶变换得到矩阵h′：

18、

19、其中fc和ft分别为维数为nc×nc和nt×nt的离散傅里叶变换矩阵；

20、步骤s402：取矩阵h′的前na行为ha，矩阵ha的元素为复数，进行特征图的实部与虚部分解，得到长为na,宽为nt，通道数为2的矩阵，拼接得到基于融合transformer和混合卷积的编码器的输入；

21、步骤s403：基于融合transformer和混合卷积的编码器的第一前馈模块先应用层规范化，再使用第三全连接层的扩展因子展开信道信息矩阵的行，通过swish激活和随机失活进行正则化；

22、步骤s404：多头自注意力模块的输入是na×2nt的实值矩阵x，得到矩阵qn、kn和vn：

23、

24、其中n是注意力头数，s是注意力维度，是网络参数；

25、步骤s405：利用矩阵qn、kn得到注意力得分矩阵an：

26、

27、步骤s406：利用归一化矩阵atten(an)和矩阵vn来计算zn：

28、

29、zn为多头自注意力模块的输出矩阵；

30、步骤s407：输出矩阵zn进入卷积模块，先通过一个点卷积和一个门控线性单元，接着是一个一维深度卷积层，批归一化和swish激活层在卷积之后部署；

31、步骤s408：紧接着，信道信息矩阵被转换为长度为2nant的向量，送入第一全连接层，根据预设的压缩比压缩信道信息特征；

32、步骤s409：在基于融合transformer和混合卷积的解码器端先通过第二全连接层进行解压缩操作；

33、步骤s410：再通过基于融合transformer和混合卷积的解码器得到输出为重建信道信息矩阵，整个反馈过程用均方误差mse度量，mse表达式为：

34、

35、式中n为神经网络的训练样本总数，n为样本的索引，目标是训练基于融合transformer和混合卷积的编码器、通道量化变分自编码器量化模型和基于融合transformer和混合卷积的解码器的参数以最小化mse。

36、优选的，对于所述通道量化变分自编码器量化模型：首先，构造通道量化变分自编码器码本e∈rk×d，包含k个潜在嵌入向量ei，i＝1，2，...，k，每个潜在嵌入向量ei的长度为d；将压缩码字变换为单通道矩阵；将经过变换后单通道矩阵经过升维卷积；将经过升维卷积后多通道矩阵送入向量量化变分自编码器，通过最近邻查找将原多通道矩阵转换成由特定潜在嵌入向量组成的多通道矩阵；将多通道矩阵转换为由潜在嵌入向量索引组成的量化比特流，得到量化输出；将量化比特流与潜在嵌入向量相匹配，获得恢复的多通道矩阵；将恢复的多通道矩阵经过降维卷积，得到反量化输出，输入至基于融合transformer和混合卷积的解码器的全连接层；

37、通道量化变分自编码器的训练目标为：

38、

39、其中，x为编码器的输入，qs(x)为上行通道卷积的输出，qr(x)为下行通道卷积的输入，sg[·]为停止梯度算子，β为损失权重；

40、计算总的训练损失l总用以训练神经网络：

41、

42、其中，为重建信道信息矩阵。

43、有益效果：本方案与当前主要的基于深度学习的反馈模型相比，能够对信道信息的反馈质量和效率实现进一步的提升，是一种相对轻量级的、信息重建度更高的、信息反馈开销较少的深度学习网络。