一种信源信道联合优化的无人机视频编码传输方法与装置

本发明属于无人机视频编码传输，特别是涉及一种信源信道联合优化的无人机视频编码传输方法与装置。

背景技术：

1、无人机凭借成本低、机动性高的优势，在越来越多的实际场景中得到推广应用。尤其在危险复杂的环境中得到广泛应用，如紧急搜救、地质灾害监测、森林火灾探测等。与卫星、临空飞艇等平台相比，无人机具有部署快、灵活性好等优势。它能迅速响应应急救援、对地观测等任务，实现对目标区域的重点覆盖。另外，无人机作为空天地一体化信息网络的末梢节点，还承担着信息感知、编码传输等功能，可实现对目标区域信息服务能力的局部增强。

2、在无人机运用中，视频采集与传输是其关键任务之一。无人机可通过机载摄像机拍摄目标，并将压缩编码后的视频通过机载数传模块传输出去。尽早获取现场动态信息，可为应急救援赢得宝贵时间。及时清晰的视频信息是制定高效任务规划的核心依据。因此，无人机视频编码传输技术已成为当前学术界和工业界共同关注的热点问题。

3、然而，实现无人机视频及时高效传输的挑战极大。首先，视频具有信息量大、时效性强等特点。无人机视频传输必须先通过视频编码消除信息冗余，但视频编码计算复杂度高、能耗大，对受能量强约束的无人机来说挑战很大。其次，受位置移动、信号干扰、信道快衰落等因素影响，无人机节点通信吞吐量动态变化。如果视频编码码率超过无人机节点信道传输容量，会导致拥塞丢包，接收端视频解码花屏卡顿等问题。如何确保视频编码码率与无人机节点信道传输能力相匹配具有很大挑战。

技术实现思路

1、为了解决上述问题，本发明提出一种信源信道联合优化的无人机视频编码传输方法与装置，该方法与装置综合考虑信源编码与信道传输的编码控制和资源分配。旨在通过视频编码参数优化配置以及无人机发射功率的优化分配，在满足端到端时延、总可用功耗和信源信道码率匹配的约束下，最小化端到端失真和能耗。

2、根据本发明的实施方式提供了一种信源信道联合优化的无人机视频编码传输方法，该方法包括以下步骤：

3、步骤s0，通过机载摄像机获取无人机视频；

4、步骤s1，基于所获取的无人机视频，构建无人机信源编码时延-功率-码率-失真(delay-power-rate-distortion，d-p-r-d)模型，包括构建无人机视频编码的视频编码码率模型、编码失真模型、编码时延模型和编码功率模型；

5、步骤s2，构建无人机信道传输d-p-r-d模型，包括构建无人机视频的传输码率模型、传输失真模型、传输时延模型和传输功率模型；

6、步骤s3，基于所构建的信源编码d-p-r-d模型和信道传输d-p-r-d模型，构建信源信道联合的非凸优化问题；

7、步骤s4，采用变量替换、优化问题近似等策略变换所构建的非凸优化问题得到变换后的优化问题，并采用凸优化工具求解该变换后的优化问题，得到搜索范围、量化步长和发射功率的优化解；

8、步骤s5，根据步骤s4获得的优化解对所拍摄的无人机视频进行编码；

9、步骤s6，通过机载数传模块，将步骤s5编码后的无人机视频传输至地面接收装置。

10、优选的，所述步骤s1中，构建无人机视频编码的视频编码码率模型包括，给定视频编码的量化步长q和搜索范围λ，在时隙t，视频编码码率re(λ，q；t)与量化步长q和搜索范围λ之间的关系式表示如下：

11、

12、其中，a、b、c和d是视频编码变换残差模型的拟合系数，μ是介于(0，1)之间的参数，e＝2.71828。

13、可选地，在所述步骤s1中，构建无人机视频编码的编码失真模型包括，在时隙t，将视频编码失真de(re(λ，q；t))与视频编码码率re(λ，q；t)间的关系建模为

14、de(rv(λ，q；t))＝c·(re(λ，q；t))-k     (5)

15、其中，c，k为变量，且与视频内容有关。

16、可选地，在所述步骤s1中，构建无人机视频编码的编码时延模型包括，视频编码中，帧间编码的p帧的编码时延的计算公式如下：

17、

18、其中，n是一帧中所有预测单元的数量，(2λ+1)2表示对每个预测单元在三维空间范围内搜索比较的绝对差和(sum ofabsolute difference，sad)操作次数，r(q)表示在视频编码器中实际的sad操作次数与理论上sad操作次数的比值，cs是在给定cpu上进行一次sad操作所需的时钟周期数，fclk表示cpu的时钟频率，即每秒的cpu时钟周期数。

19、可选地，在所述步骤s1中，构建无人机视频编码的编码功率模型包括，无人机视频编码的编码功率计算公式如下：

20、

21、其中，k是cmos电路动态电压缩放模型中的常数，由电源电压和电路的有效开关电容确定，fclk表示cpu的时钟频率，即每秒的cpu时钟周期数。

22、优选的，所述步骤s2中，构建无人机视频的传输码率模型包括，在时隙t时，视频接收端接收无人机信号的传输码率的计算公式为：

23、rc(t)＝log2(1+snr(t))  (9)

24、且，接收端接收无人机发射信号的信噪比(signal to noise ratio，snr)的计算公式为

25、

26、其中，ptr(t)表示时隙t时无人机的发射功率，pn表示噪声功率；

27、且，在所述步骤s2中，构建传输失真模型包括，视接收端的接收误码率(bit errorrate，ber)为传输失真，其计算公式为：

28、

29、其中，erf(x)为误差函数，且空对地链路的传输损耗latg(t)的计算公式如下：

30、

31、其中，e＝ηlos-ηnlos，ηlos和ηnlos与环境有关且分别对应视距链路和非视距链路的传输损耗，fc表示载波频率，c表示光速，π表示圆周率，h表示无人机的飞行高度，表示无人机与视频接收端之间的距离，[xuav(t)，yuav(t)]t表示无人机的水平位置，[xuser，yuser]t表示视频接收端的水平位置，且

32、其中，视距通信的概率plos表达式为

33、

34、其中，α和β是常系数，与无人机的飞行环境有关，表示视频接收端与无人机之间的仰角，h表示无人机的飞行高度，e＝2.71828。

35、可选地，在所述步骤s2中，构建传输时延模型包括，传输时延的计算公式为：

36、

37、其中，l为无人机发送数据单元的长度，b表示无人机网络带宽，rc(t)为传输速率。

38、可选地，在所述步骤s2中，构建传输功率模型包括，信道传输的功率被定义为无人机的发射功率ptr(t)与射频电路功率pc之和。

39、优选的，在一个实施方式中，在所述步骤s3中，构建非凸优化问题如下：

40、

41、ptot(t)＝pe+pc+ptr(t)≤pmax   (12.e)

42、其中，de(re(λ，q；t))表示编码失真，dc(ptr(t))表示传输失真，ρ1和ρ2均为正常数且其取值反映信源编码失真、信道传输失真和无人机总功耗间的权衡，可根据用户的偏好以及所构建的多目标优化问题的帕累托边界来选择ρ1和ρ2。

43、分别表示视频编码码率和传输码率的时间平均。d(λ，q)表示编码时延，l表示无人机发送数据单元的长度，b表示无人机网络带宽，rc(t)为传输速率，d0∈[0，1]表示比例参数，dmax表示最大容忍时延，pe表示编码功率，pc表示射频电路功率，pmax表示最大无人机额定功率，t是一个足够大的整数，ptr(t)表示无人机的发射功率，ptot(t)表示无人机编码功率、射频电路功率和无人机的发射功率的总和。

44、优选的，在一个实施方式中，所述步骤s4具体包括以下步骤。

45、步骤s4-1，利用李雅普诺夫漂移惩罚技术将步骤s3的非凸优化问题转换成在每个时隙重复优化的问题。

46、针对包含时间平均项的约束条件，该实施方式采用李雅普诺夫漂移惩罚技术对其进行处理。具体地，引入一组虚拟队列{x(t)}，并作如下定义

47、

48、其中，x(t)表示时隙t时虚拟队列的长度。

49、接着，定义李雅普诺夫函数其可以看作时隙t时约束违反的标量度量。相应地，李雅普诺夫漂移惩罚的函数表达式可以表示为δ(t)+v(de(re(λ，q；t))+ρ1dc(pt(t))+ρ2ptot(t))，其中，δ(t)＝l(t+1)-l(t)代表李雅普诺夫漂移，de(re(λ，q；t))+ρ1dc(pt(t))+ρ2ptot(t)是优化问题的惩罚函数，v是一个非负系数，表征约束违反和最优性间的权衡。

50、进而可以得到李雅普诺夫漂移惩罚函数的上界，即

51、

52、其中，[x(t)]+＝max{x(t)，0}，表示rc(t)可能取得的最大值。

53、至此，复杂的时间序列优化问题可以通过近似求解以每个时隙t时漂移惩罚函数的上界为目标的优化问题来实现。具体地，可以通过在每个时隙t重复优化如下问题近似求解步骤s3中的非凸优化问题：

54、

55、

56、ptot(t)≤pmax  (15.d)。

57、步骤s4-2，给定无人机的发射功率和视频编码搜索范围，构建并利用挂载在无人机上的机载处理器求解量化步长优化子问题。

58、通过引入一组松弛变量δ、ε、ξ、ω，等价变换目标函数，并对非凸的约束条件进行一阶泰勒展开近似，近似构建如下量化步长优化子问题：

59、

60、(ε，1，ξ)∈kexp         (17.c)

61、(δ，c，-ckξ)∈kexp      (17.d)

62、

63、其中，表示一个任意给定的量化步长局部迭代点，kexp表示一个指数锥，相关含义为c、k为变量且与视频内容有关，表示求偏导数运算。

64、步骤s4-3，给定无人机的视频编码量化步长q，构建并利用挂载在无人机上的机载处理器求解无人机的功率控制及搜索范围优化子问题。

65、引入一组松弛变量δ、ε、ξ、ω、τ、ζ，等价变换目标函数，并对非凸的约束条件进行一阶泰勒展开近似之后，近似构建如下无人机发射功率控制及搜索范围优化子问题：

66、

67、τ≤d0dmax          (19.e)

68、(ε，1，ξ)∈kexp      (19.f)

69、(δ，c，-ckξ)∈kexp    (19.g)

70、

71、z2＝2λ+1(19.1)

72、

73、ptot(t)≤pmax    (19.n)

74、其中，和分别表示任意给定的搜索范围和发射功率局部迭代点，表示一个旋转二次锥，相关含义为z1、z2和z3均为变量，coe≈0.003612(0.7422e-0.01113q+0.212)。

75、步骤s4-4，返回步骤s4-2直至收敛或达到最大迭代次数。

76、步骤s4-5，更新x(t+1)＝x(t)+re(λ，q；t)-rc(t)，t＝t+1，返回步骤s4-2直至t＝t+1。

77、根据本发明的另一个实施方式提供了一种信源信道联合优化的无人机视频编码传输装置，包括：

78、机载摄像头，其获取无人机视频；

79、机载处理器，其基于所获取的无人机视频进行处理，包括获取视频编码残差，拟合残差模型参数，构建信道衰落模型，构建信源信道联合优化问题，并进行信源信道联合优化处理，得到视频编码的优化解，以及根据获得的优化解编码所述无人机视频；

80、数传模块，其从所述机载处理器接收编码后的无人机视频，并传送至地面接收装置；

81、其中，所述机载处理器基于所获取的无人机视频进行处理包括：

82、步骤s1，基于机载摄像头所获取的无人机视频，构建无人机的信源编码d-p-r-d模型，包括构建无人机视频编码的视频编码码率模型、编码失真模型、编码时延模型和编码功率模型；

83、步骤s2，构建无人机的信道传输d-p-r-d模型，包括构建无人机视频传输码率模型、传输失真模型、传输时延模型和传输功率模型；

84、步骤s3，基于所构建的信源编码d-p-r-d模型和信道传输d-p-r-d模型，构建信源信道联合的非凸优化问题；

85、步骤s4，采用变量替换和优化问题近似策略变换所构建的非凸优化问题，并采用凸优化工具求解变换后的优化问题，得到搜索范围、量化步长和发射功率的优化解；

86、步骤s5，根据步骤s4获得的优化解对所拍摄的无人机视频进行编码。

87、根据本发明的另一个实施方式提供了一种信源信道联合优化的无人机视频编码传输装置，包括：

88、机载摄像头，其获取无人机视频；

89、机载处理器，其基于所获取的无人机视频进行处理，包括获取视频编码残差，拟合残差模型参数，构建信道衰落模型，构建信源信道联合优化问题，并进行信源信道联合优化处理，得到视频编码的优化解；

90、机载编码器，其根据从机载处理器获得的优化解编码所述无人机视频

91、数传模块，其从所述机载编码器接收编码后的无人机视频，并传送至地面接收装置；

92、其中，所述机载处理器基于所获取的无人机视频进行处理包括：

93、步骤s1，基于机载摄像头所获取的无人机视频，构建无人机的信源编码d-p-r-d模型，包括构建无人机视频编码的视频编码码率模型、编码失真模型、编码时延模型和编码功率模型；

94、步骤s2，构建无人机的信道传输d-p-r-d模型，包括构建无人机视频传输码率模型、传输失真模型、传输时延模型和传输功率模型；

95、步骤s3，基于所构建的信源编码d-p-r-d模型和信道传输d-p-r-d模型，构建信源信道联合的非凸优化问题；

96、步骤s4，采用变量替换和优化问题近似策略变换所构建的非凸优化问题，并采用凸优化工具求解变换后的优化问题，得到搜索范围、量化步长和发射功率的优化解。

97、相比于现有技术，本发明至少具有以下有益效果。

98、(1)本发明的一种信源信道联合优化的无人机视频编码传输方法与装置，通过数据拟合策略获得视频编码变换残差标准差的模型。在此基础上，构建包含视频编码量化步长、搜索范围及参考帧数的视频编码时延-功率-码率-失真(delay-power-rate-distortion，d-p-r-d)的模型。此外，基于无人机视距传播信道及莱斯衰落信道模型构建无人机信道传输的d-p-r-d模型。构建无人机信源编码d-p-r-d模型和信道传输d-p-r-d模型是对无人机视频编码与传输的全方位、细粒度的理论建模分析，有利于对无人机视频编码与传输的精细化优化控制。

99、(2)本发明的一种信源信道联合优化的无人机视频编码传输方法与装置，基于上述设计的八维d-p-r-d模型，构建一个信源信道联合的无人机视频编码传输优化问题，确保视频编码码率与无人机节点信道传输能力的优化匹配。并且在满足端到端时延、最大功耗要求和信源信道码率匹配的约束下，通过对视频编码量化步长、搜索范围以及无人机发射功率的联合优化与控制，最小化端到端失真和能耗，从而可通过无人机获得及时清晰的视频信息。

100、(3)本发明的一种信源信道联合优化的无人机视频编码传输方法与装置，利用李雅普诺夫优化策略将该所构建的视频编码传输优化问题分解为两个独立的子问题，即量化步长优化子问题和功率控制及搜索范围优化子问题。接着，设计一个两阶段迭代分治策略交替优化上述两个子问题，最后得到视频编码传输优化问题的解。通过上述采用李雅普诺夫优化策略和迭代分治策略，可以将变量紧密耦合、难以直接优化求解的问题转换成变量解耦、容易直接求解的优化问题，有利于视频的快速处理和高效传输，从而实现即时、流畅、清晰的无人机视频传输。