一种基于自监督学习的联合信源信道编码方法及系统

本发明涉及一种基于自监督学习的联合信源信道编码方法及系统，属于无线通信。

背景技术：

1、信息论的经典结果指出，信源信道分离编码在理论上是一种渐进最优的方法。然而，现代通信系统对于时延、带宽等性能指标的要求越来越高，这导致了分离设计假设解码具有无限计算能力的前提难以成立。特别是在带宽受限的情况下，相较于信源信道分离编码，信源信道联合编码(joint source-channel coding，jscc)已被证明是更为优秀的选择[k.choi,k.tatwawadi,a.grover,t.weissman,s.ermonneural,“joint source-channelcoding,”in icml.pmlr,2019,pp.1182-1192]。

2、传统的jscc方案通常需要复杂的编码方案，而数据驱动的深度学习技术为通信系统设计带来了新的思路。具体来说，利用神经网络构建编码器-解码器模型，然后在大规模数据上进行训练，系统能够从中学习信道的特性和信源的分布，从而实现端到端的jscc。这种方法不仅简化了系统设计的复杂性，而且在一些场景下能够取得更好的性能。现有的基于深度学习的jscc方法[j.shao,y.mao,j.zhang,“learning task-orientedcommunication for edge inference:an information bottleneck approach,”in ieeejournal on selected areas in communications,2022,40(1):197-211]针对不同的通信任务设计了专门的编码器-解码器网络。然而，当接收端需求变化时，就需要重新设计编码器-解码器网络并重新进行训练。为了减少资源消耗，可以利用均方误差(mean squareerror，mse)作为损失函数来训练自编码器，从而获得通用编码器。然后，接收端根据需求仅训练解码器。然而，需要注意的是，mse倾向于优化输入和输出之间的相似性。这种偏向可能会导致编码器过度专注于原始信源数据的表面相似性，从而忽视了那些深层次的、对数据本质理解或高级任务执行更为关键的特征。因此，虽然使用mse可以获得在重构精度上表现良好的编码器，但为了满足接收端的不同需求，可能需要更加精细的方法来确保编码器捕获的特征既准确又具有针对性。

技术实现思路

1、针对现有技术的不足，本发明提出了一种基于自监督学习的联合信源信道编码方法和系统。具体而言，本发明通过最大化全局互信息和局部互信息来训练编码器，然后利用训练好的编码器引导接收端解码器的优化。这样的设计大大降低了因接收端需求变化而重新设计和训练jscc系统的资源消耗。本发明进行了图像分类任务和图像检索任务的验证，结果显示所设计的联合信源信道编码系统相较于现有设计方案，在相同信道条件下表现出更优异的性能。这一创新不仅提升了联合信源信道编码的可靠性和效率，也为未来通信系统的发展提供了新的思路和方法。

2、术语解释：

3、1、发射端：是指发送消息或数据的设备或者位置。在无线通信中，发射端会将信息转换成电磁波，通过天线或其他传输介质发送出去。

4、2、接收端：是指接收发射端发送的消息或数据的设备或位置。接收端会接收到传输的信号，并将其转换为可处理的形式，以供用户使用或进一步处理。

5、3、互信息估计神经网络：通过训练神经网络来实现互信息的估计。本发明中，该神经网络由一系列卷积层、全连接层和激活函数relu构成。

6、本发明的技术方案为：

7、一种基于自监督学习的联合信源信道编码方法，包括：

8、建立基于自监督学习的联合信源信道编码模型；为基于自监督学习的联合信源信道编码模型重构目标函数；

9、利用重构的目标函数训练基于自监督学习的联合信源信道编码模型；

10、通过训练好的基于自监督学习的联合信源信道编码模型执行图像任务。

11、根据本发明优选的，所述联合信源信道编码模型包括jsc编码器(信源信道编码器)和jsc解码器(信源信道解码器)；

12、jsc编码器包括一系列卷积层、激活函数relu和归一化层；

13、jsc解码器包括一系列全连接层、激活函数relu和softmax层。

14、根据本发明优选的，通过训练好的基于自监督学习的联合信源信道编码模型执行图像任务，包括：

15、jsc编码器将输入图像映射为复值信道输入符号，表示为式(i)：

16、x＝tα(s)(i)

17、式(i)中，表示图像输入，n为图像维度；表示复值信道输入符号，k为信道维数；tα(·)表示由网络参数α参数化的jsc编码器；

18、复值信道输入符号x通过有噪声的无线信道传输到jsc解码器，表示为式(ii)：

19、y＝x+ε(ii)

20、式(ii)中，ε表示加性信道噪声，从零均值高斯分布中采样，噪声方差为σ2，即其中，i表示单位矩阵；y表示jsc解码器接收到的噪声损坏的信号；

21、接收端执行图像分类任务，jsc解码器基于接收到的信号y进行处理并输出分类结果；表示为式(iii)：

22、

23、式(iii)中，表示估计的分类结果，l为类别数目；rβ(·)表示由网络参数β参数化的jsc解码器。

24、根据本发明优选的，构造目标函数为式(iv)：

25、

26、式(iv)中，s为原始输入，y为jsc解码器接收到的噪声损坏的信号；λ为超参数，用于平衡第一项全局互信息i(s；y)和第二项局部互信息为卷积得到的局部中间特征，w和h表示中间特征图f1α(s)的宽度和高度。

27、根据本发明优选的，式(iv)中第一项全局互信息i(s；y)计算表达式为式(v)：

28、

29、式(v)中，p(s)为输入分布；pα(y|s)为jsc编码器完全定义的编码分布；p(y)为jsc解码器接收到的信号的分布；

30、将输入分布p(s)代入式(v)得到式(vi)：

31、

32、式(vi)中，dkl(·)表示kl散度，用于度量分布之间的距离。

33、根据本发明优选的，式(vi)优化为式(vii)：

34、

35、式(vii)中，djs(·)表示js散度，用于度量分布之间的距离。

36、根据本发明优选的，通过互信息估计神经网络对式(vii)进行估计，得到第一项全局互信息i(s；y)的上界，即式(viii)：

37、

38、式(viii)中，fτ1(·)表示互信息估计神经网络；表示非线性激活函数；表示期望计算。

39、根据本发明优选的，遵循最大化第一项全局互信息的计算步骤，最大化第二项局部互信息计算表达式为式(ix)：

40、

41、式(ix)中，fτ2(·)表示互信息估计神经网络；为卷积得到的局部中间特征，w和h表示中间特征图f1α(s)的宽度和高度。

42、根据本发明优选的，重构目标函数为式(x)：

43、

44、式(x)中，λ为超参数；fτ1(·)和fτ2(·)均为互信息估计神经网络；表示非线性激活函数；为卷积得到的局部中间特征，w和h表示中间特征图f1α(s)的宽度和高度；表示期望计算。

45、根据本发明优选的，利用重构的目标函数训练基于自监督学习的联合信源信道编码模型，训练过程包括：

46、第一阶段：

47、(1)随机初始化基于自监督学习的联合信源信道编码模型的参数；

48、(2)输入用于训练的图像数据；

49、(3)jsc编码器将输入图像映射为信道输入符号，具体是指x←tα(s)，其中，s是输入图像，x是信道输入符号，tα(·)表示由网络参数α参数化的jsc编码器；

50、(4)信道输入符号x通过无线信道，具体表示为y←x，其中y是接收端接收信号；

51、(5)基于式(x)计算损失，并利用adam优化器更新jsc编码器；

52、(6)重复步骤(3)-(5)，直到最大训练次数，得到训练好的jsc编码器；

53、第二阶段：

54、(7)jsc编码器将输入图像映射为信道输入符号，具体是指x←tα(s)，其中，s是输入图像，x是信道输入符号，tα(·)表示由网络参数α参数化的jsc编码器；

55、(8)信道输入符号x通过无线信道，具体表示为y←x，其中y是接收端接收信号；

56、(9)jsc解码器基于接收到的信号y执行图像任务；

57、(10)计算损失，冻结jsc编码器，利用adam优化器更新jsc解码器；

58、(11)重复步骤(7)-(10)，直到最大训练次数，得到训练好的jsc解码器。

59、进一步优选的，当执行图像任务为图像分类时，则具体是指：其中，表示估计的分类结果；rβ(·)表示由网络参数β参数化的jsc解码器；

60、一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现基于自监督学习的联合信源信道编码方法的步骤。

61、一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现基于自监督学习的联合信源信道编码方法的步骤。

62、一种基于自监督学习的联合信源信道编码系统，包括：

63、基于自监督学习的联合信源信道编码模型建立模块，被配置为：建立基于自监督学习的联合信源信道编码模型；为基于自监督学习的联合信源信道编码模型重构目标函数；

64、基于自监督学习的联合信源信道编码模型训练模块，被配置为：利用重构的目标函数训练基于自监督学习的联合信源信道编码模型；

65、图像任务执行模块，被配置为：通过训练好的基于自监督学习的联合信源信道编码模型执行图像任务。

66、本发明的有益效果为：

67、针对现有jscc技术的不足，本发明提出了一种基于自监督学习的联合信源信道编码方法及系统。具体而言，本发明通过最大化全局互信息和局部互信息来训练编码器，然后利用训练好的编码器引导接收端解码器的优化。本发明大大降低了因接收端需求变化而重新设计和训练jscc系统的资源消耗。本发明进行了图像分类任务和图像检索任务的验证，结果显示所设计的jscc系统相较于现有设计方案，在相同信道条件下表现出更优异的性能。