生成式图像编解码知识库跨域同步方法、系统及介质

本发明属于语义通信，具体涉及一种生成式图像编解码知识库跨域同步方法、系统及介质。

背景技术：

1、近年来，随着图形计算水平的提升与深度学习算法的发展，各种基于深度学习构建的图像通信方法层出不穷。基于深度学习构建的通信系统依赖于收发双方享有相同的编解码知识库，但受神经网络的表达能力上限限制，训练集合难以包含所有的通信场景，因此在不同数据域之间进行神经网络的编解码知识库同步已成为影响通信系统性能的主要瓶颈。

2、在不同数据域之间进行编解码知识库同步指的是，接收方与发送方的模型权重是在非独立同分布的数据域中单独训练得到的。例如，接收方能够对车辆图像进行编解码，而发送方能够对行人图像进行编解码。在这种情况下，发送方的编码内容无法被接收方识别并正确解码，因此需要进行编解码的知识库同步。

3、现有的同步方法以直接传递神经网络权重为代表。首先对网络权重进行压缩编码，然后通过信道传输，接收方获得参数后解压覆盖自身参数。然而，由于现代神经网络参数量大，对参数的浮点数精度要求高，无损压缩与传输过程需要占用较大的计算资源和信道带宽，并容易受到信道噪声的影响。此外，覆盖接收方自身的参数也同时覆盖了接收方自身的编解码知识库，导致丢失了接收方所有的网络权重，无法实现真正的知识同步。同时，基于深度学习的同步方法，需要对模型参数进行汇总与合并，但现有合并方法受限于神经网络的黑盒性质，在合并参数时无法明确收发双方的参数比重，导致接收方或发送方中的其中一方参数主导同步过程，从而参数中的数据知识无法汇总，最终产生同步失败。

4、因此，现有的知识库跨域同步方法存在对同步带宽要求高，抗噪能力差以及双方知识库无法融合的问题。

技术实现思路

1、为了解决现有技术中所存在的上述问题，本发明提供了一种生成式图像编解码知识库跨域同步方法、系统及介质。

2、本发明要解决的技术问题通过以下技术方案实现：

3、第一方面，本发明提供了一种生成式图像编解码知识库跨域同步方法，包括：

4、通过发送方的编码次数，判断是否到达预设同步条件；

5、当到达预设同步条件，通过第一预训练分布变换网络以及第一预训练编解码知识库，获取第一同步图像数据；

6、将第一同步图像数据发送给接收方，并通过第二预训练分布变换网络以及第二预训练编解码知识库，得到第二同步图像数据；

7、将第一同步图像数据和第二同步图像数据进行合并，得到同步合并数据；

8、从同步合并数据中随机选择部分样本，作为同步采样数据；

9、将同步采样数据输入第二预训练编解码知识库，得到同步预测数据；

10、通过同步采样数据以及同步预测数据，优化第二预训练编解码知识库的参数，得到优化编解码知识库；

11、将优化编解码知识库覆盖第二预训练编解码知识库，以完成当前的知识库跨域同步；

12、第一预训练编解码知识库以及第一预训练分布变换网络设置于发送方，第二预训练编解码知识库以及第二预训练分布变换网络设置于接收方，第一预训练分布变换网络和第二预训练分布变换网络为通过元学习优化训练得到。

13、可选地，第一预训练编解码知识库包括：第一预训练编码知识库和第一预训练解码知识库；

14、第二预训练编解码知识库包括：第二预训练编码知识库和第二预训练解码知识库。

15、可选地，当到达预设同步条件，通过第一预训练分布变换网络以及第一预训练编解码知识库，获取第一同步图像数据，包括：

16、当到达预设同步条件，通过第一预训练分布变换网络中的预设正态分布采样函数，采样得到第一初始正态分布数据，并将第一初始正态分布数据输入第一预训练分布变换网络，获取第一正态分布数据；

17、将第一正态分布数据输入第一预训练解码知识库，得到第一同步图像数据。

18、可选地，通过同步采样数据以及同步预测数据，优化第二预训练编解码知识库的参数，得到优化编解码知识库，包括：

19、利用均方误差损失函数mse，计算同步采样数据以及同步预测数据之间的损失值得到预测损失值；

20、通过预测损失值以及反向传播算法优化第二预训练编解码知识库的参数，得到优化编解码知识库。

21、可选地，第一预训练分布变换网络和第二预训练分布变换网络均包括：线性变换层、sigmoid非线性变换层和自注意力层；

22、线性变换层、sigmoid非线性变换层和自注意力层依次串联连接；自注意力层包括多个注意力头。

23、可选地，第一预训练分布变换网络的训练过程包括：

24、s201、获取第一训练数据集a和第二训练数据集b，并将a与b合并形成第三训练数据集ab；

25、s202、利用a对第一初始编解码知识库进行训练，得到第一预训练编解码知识库；第一初始编解码知识库包括：第一初始编码知识库和第一初始解码知识库；

26、s203、利用b对第二初始编解码知识库进行训练，得到第二中间编解码知识库；第二中间编解码知识库包括：第二中间编码知识库和第二中间解码知识库；

27、s204、通过第一初始分布变换网络以及第一初始分布变换网络内部预置的正态分布采样函数，获取得到正态分布训练样本(h1,h2,h3)；其中，h1、h2和h3分别表示正态分布训练样本一、正态分布训练样本二以及正态分布训练样本三；

28、s205、将h1输入第一预训练解码知识库，得到第一解码训练图像a；

29、s206、将h2输入第二中间解码知识库，得到第二解码训练图像b；

30、s207、在a上添加高斯噪声，并与b进行求并集处理，得到第三训练图像ab；

31、s208、从ab中随机选取选择部分样本，作为第一采样训练图像x；

32、s209、将x输入第二中间编解码知识库，得到预测训练图像

33、s210、采用均方误差损失mse计算x与之间的训练损失值；

34、s211、通过训练损失值以及反向传播算法优化第二中间编解码知识库的参数，得到第二预训练编解码知识库；

35、s212、将h3输入第二预训练编解码知识库，获取测试图像testab；

36、s213、利用testab以及ab，对第一初始分布变换网络进行参数优化，得到第三损失值；

37、s214、重复执行过程s204-s213，直至第三损失值小于预设损失阈值，并将第三损失值小于预设损失阈值时对应的第一初始分布变换网络，作为第一预训练分布变换网络。

38、可选地，利用a对第一初始编解码知识库进行训练，得到第一预训练编解码知识库，包括：

39、s301、从a中随机采样部分数据，作为第二采样训练图像；

40、s302、将第二采样训练图像输入第一初始编码知识库，得到第二训练编码图像；

41、s303、将第二训练编码图像输入第一初始解码知识库，得到第二训练解码图像；

42、s304、采用均方误差损失函数mse计算第二采样训练图像以及第二训练解码图像之间的第四损失值，并通过反向传播算法以及第四损失值优化第一初始编解码知识库的参数；

43、s305、重复执行步骤s301-s304，直至第一初始编解码知识库达到预设收敛条件，并将满足预设收敛条件时的第一初始编解码知识库，作为第一预训练编解码知识库。

44、可选地，利用testab以及ab，对第一初始分布变换网络进行参数优化，得到第三损失值，包括：

45、从ab中采样得到与testab数量相等的图像数据，作为第三采样训练数据；

46、通过lpips损失计算第三采样训练数据与testab之间的损失值，得到第三损失值。

47、第二方面，本发明提供了一种生成式图像编解码知识库跨域同步系统，包括：处理器、存储介质和总线，存储介质存储有处理器可执行的机器可读指令，当生成式图像编解码知识库跨域同步系统运行时，处理器与存储介质之间通过总线通信，处理器执行机器可读指令，以执行如上述第一方面方法的步骤。

48、第三方面，本发明提供了一种存储介质，存储介质上存储有计算机程序，计算机程序被处理器运行时执行如上述第一方面方法的步骤。

49、本发明提供了一种生成式图像编解码知识库跨域同步方法、系统及介质。其中，一种生成式图像编解码知识库跨域同步方法包括：通过发送方的编码次数，判断是否到达预设同步条件；当到达预设同步条件，通过第一预训练分布变换网络以及第一预训练编解码知识库，获取第一同步图像数据；将第一同步图像数据发送给接收方，并通过第二预训练分布变换网络以及第二预训练编解码知识库，得到第二同步图像数据；将第一同步图像数据和第二同步图像数据进行合并，得到同步合并数据；从同步合并数据中随机选择部分样本，作为同步采样数据；将同步采样数据输入第二预训练编解码知识库，得到同步预测数据；通过同步采样数据以及同步预测数据，优化第二预训练编解码知识库的参数，得到优化编解码知识库；将优化编解码知识库覆盖第二预训练编解码知识库，以完成当前的知识库跨域同步；第一预训练编解码知识库以及第一预训练分布变换网络设置于发送方，第二预训练编解码知识库以及第二预训练分布变换网络设置于接收方，第一预训练分布变换网络和第二预训练分布变换网络为通过元学习优化训练得到。在本发明中，通过发送同步图像的方式指导接收方进行知识同步，由于图片本身的抗噪性能远高于对精度要求苛刻的神经网络权重，进而提高了知识库跨域同步的抗噪性能；其次，由于到达预设编码次数才进行同步且仅以部分图像(第一同步图像)作为示例进行知识同步，相比于传递庞大的模型参数具有更低的带宽资源消耗；最后，采用元学习的优化策略进行分布变换网络的训练，较好的保留了同步双方自身的知识库，提高了编解码知识库跨域同步的兼容性和可扩展性。

50、以下将结合附图及实施例对本发明做进一步详细说明。