一种基于多数据自适应技术的语义通信方法

本发明涉及边缘智能技术中语义通信领域，尤其涉及一种基于多数据自适应技术的语义通信方法。

背景技术：

1、由于深度学习技术在计算机视觉、自然语言处理和语音识别等领域取得显著成就，智能通信领域也逐渐引起广泛关注。然而，深度学习模型通常需要大量计算资源，限制了其在移动终端设备上的部署。

技术实现思路

1、本发明的目的在于提供一种基于多数据自适应技术的语义通信方法，，能够实现了信道自适应和带宽自适应并且提高传输质量以在边缘智能环境下实现低延迟通信。

2、本发明采用的技术方案是：

3、一种基于多数据自适应技术的语义通信方法，其包括步骤：

4、s1：首先搭建处理多数据的自适应语义通信框架对不同数据类型的数据在不同信道下进行带宽自适应的传输；自适应语义通信框架包括编码器、解码器和深度强化学习网络组成；编码器和解码器分别由特征学习(fl)模块和注意特征(af)模块构成注意特征(af)模块嵌入到编码器中与编码器的特征学习(fl)模块交替连接；

5、s2：利用自适应语义通信框架从原始数据中提取的语义向量；

6、s3：基于原始数据和信噪比，结合提取的语义向量对自适应语义通信框架进行深度强化学习(dqn)训练得到作为输出的传输所需的带宽；

7、s4：在对应带宽下进行语义通信传输，再通过解码器解码恢复所需数据。

8、进一步地，s1中自适应语义通信框架通过pytorch搭建；多数据指图像、文本、语音三种类型数据。

9、进一步地，s2具体包括以下步骤：

10、s2-1，将原始的数据输入编码器中，特征学习(fl)模块先从数据中提取信息，

11、s2-2，然后将提取信息与信噪比snr融合形成上下文信息传递给下一个注意特征(af)模块，

12、s2-3，下一个注意特征(af)模块从上下文信息中进一步提取信息后传递给下一个特征学习(fl)模块；

13、s2-4，重复循环s2-1至s2-3四次得到从原始数据中提取的语义向量。

14、具体地，本发明在提出了信道自适应的方法。该方法能够在传输过程中在不同的信噪比水平下工作。它根据信道信噪比动态调整信源编码的压缩比和信道编码速率。这是通过注意力机制来实现的。本发明在一定范围的信噪比下进行训练使其自适应的在不同信道环境下对数据进行编码，实现了在信道质量较差及信噪比较低的情况下提高数据的传输质量。

15、进一步地，s3中利用原始数据和信噪比作为深度强化学习(dqn)的输入状态，并选择提取的语义向量的不同的带宽作为深度强化学习(dqn)的动作，将平均最小均方误差、平均峰值信噪比、结构相似性和双语评价替补作为深度强化学习(dqn)的奖励指标；期望获得最大化的奖励，对深度强化学习(dqn)进行训练得到相应的输出，即传输所需的带宽。

16、进一步地，步骤s3具体包括以下步骤：

17、步骤s3-1，设定带宽决策由元组(s，a，r)定义，其中s是状态集，a是动作集，r：s×a→r是奖励函数；具体地，将时间步长n的状态定义为：

18、sn＝{datan，snrn，speech_n，snr_n}

19、其中，text_n表示文本数据，image_n表示图像数据，speech_n表示音频数据，snr_n表示当前信噪比；

20、对动作集a是定义如下：

21、an＝{1，2，3，...，k}

22、其中k表示可分配的带宽上限；

23、步骤s3-2，在每个时间步n中观察状态sn∈s并根据对应策略π：s→a选择行动an∈a；

24、步骤s3-3，根据数据传输质量的反馈将状态转换为sn+1，并且收到一个奖励rn；

25、步骤s3-4，以最大化回报的期望和作为目标，对带宽决策进行强化学习；

26、步骤s3-5，a1，a2，a3分别代表对不同数据分配的不同带宽，根据数据在实际生活中的应用重要性，对不同的a分配不同的带宽上限，即不同的k值；具体表达式如下：

27、a1＝{1，2，3…k1}

28、a2＝{1，2，3…k2}

29、a3＝{1，2，3…k3}

30、步骤s3-6，在对数据传输之后得到反馈的传输质量及平均均方差mse，传输质量越高mse越小；对n个数据的平均最小均方误差mse定义如下：

31、

32、mse＝a1*mse1+a2*mse2+a3*mse3

33、步骤s3-7，基于平均最小均方误差mse设定奖励r，具体为：

34、r＝100-mse

35、步骤s3-8，为了学习最优分配策略，使用深度q学习，其中网络qψ寻求逼近q函数q:s×a→r；q函数的目的是将每个状态和动作对映射到一个q值，q值表示给定状态和动作对(sn，an)的步骤n的总折扣奖励，如下所示：

36、

37、其中，s×a是状态和动作空间的集合，ri表示第i步的奖励，sn表示在第n步情况下，整个状态的集合，an表示第n步情况下所要进行动作的集合，n表示训练的第n步；

38、步骤s3-9，基于典型的深度强化学习(dqn)方法采用重放缓冲区、目标网络以及ε-贪心策略来增强q函数的学习；重放缓冲区r存储经验(sn，an，rn，sn+1)，并统一采样以更新参数ψ；计算深度强化学习(dqn)的损失函数如下：

39、

40、对于qψ，q是神经网络需要拟合的函数，ψ是该函数的参数。

41、进一步地，单个的文本语义传输或图像语义带宽传输时，步骤s3-5包括以下步骤：

42、s3-11，获取欧洲议会的议事录作为数据集，数据集被预处理成4到30个单词的句子长度，并被分割成训练数据和测试数据；

43、s3-12，采用pytorch来训练自适应语义通信框架，使用adam优化器进行训练；

44、s3-13，将训练好的两组模型进行带宽测试，根据测试信噪比分四组，每组实验调整传输时的带宽比，以变量观察对应组的传输质量。

45、进一步地，adam优化器以0.0001的学习速度进行训练，测试信噪比分为snr＝0；snr＝6；snr＝12；snr＝18四组；采用双语评价替补bleu评分来表示文本传输质量；对于发送的长度为l的句子和解码的长度为l的句子，双语评价替补bleu表示为

46、

47、进一步地，单个的音频语义传输时，s3-5包括以下步骤：

48、s3-21，爱丁堡数据共享的语音数据集，数据集被预处理成4到30个单词的句子长度，并被分割成训练数据和测试数据；

49、s3-22，将语音样本采样下降至8khz；输入是语音样本序列，s＝[s1，s2，...，sw]，有w个样本；将语音样本序列s分为m份，作为训练的m份训练集；在仿真中固定w＝6，384；训练集中的每个样本序列由帧f＝128组成，帧长度l＝128；

50、s3-23，采用pytorch来训练自适应语义通信框架，使用adam优化器进行训练；

51、s3-24，将训练好的两组模型进行带宽测试，根据测试信噪比分四组，每组实验调整传输时的带宽比，以变量观察对应组的传输质量；

52、进一步地，adam优化器以0.0001的学习速度进行训练，测试信噪比分为snr＝0；snr＝6；snr＝12；snr＝18四组；采用ssim(结构相似性)对传输效果进行评估，ssim定义如下：

53、ssim(x，y)＝[l(x，y)]α[c(x，y)]β[s(x，y)]γ

54、

55、

56、

57、其中，x和y为输入的图像，μx是x的平均值，μy是y的平均值，是x的方差；是y的方差，σxy是x和y的协方差；c1，c2，c3都为常数，α，β，γ皆大于0；ssim是一个0到1之间的数，越大表示输出图像和无失真图像的差距越小，即图像质量越好。进一步地，α＝β＝γ＝1。

58、本发明采用以上技术方案，通过引入信道自适应和深度强化学习技术，该架构提高了对复杂通信环境的适应性，提高了传输效率和质量。特别是在低信噪比和低带宽条件下，该架构在有效处理多任务通信方面表现出优越的性能。因此将该框架运用于边缘计算领域与其就近实时性结合能够进一步提升传输效率和通信性能。未来的研究可以集中于进一步优化算法，增强系统的适应性和稳定性，促进广泛应用。