一种用于认知无线电的多智能体协作频谱感知与接入方法与流程

技术特征：
1.一种用于认知无线电的多智能体协作频谱感知与接入方法，其特征在于，基于一认知无线电网络，所述认知无线电网络中有m个主要用户pu、n个次要用户su，n
fb
个正交信道，pu的发射功率固定为p，信道噪声为加性高斯白噪声；所述感知与接入方法包括：步骤s101：获取n个所述su中每一个su
n
在当前时间帧开始时的环境参数，其中所述n＝1，2，
…
，n，所述环境参数包括所述每一个su
n
的观测s
n
；步骤s102：将所述每一个su
n
在当前时间帧开始时的所述环境参数输入确定性策略深度梯度maddpg模型；步骤s103：获取所述maddpg模型输出的每一个su
n
在当前时间帧的感知策略，其中所述感知策略是选择某一个信道检测是否空闲；步骤s104：将sun的感知结果及其合作伙伴的感知结果融合成全局状态s(t)，再把全局状态s(t)与全局动作a(t)、奖励r(t)和下一时刻状态s(t 1)送到确定性策略深度梯度maddpg模型的经验重放缓冲区；将所述全局状态s(t)作为下一时刻的观测，如此循环往复，直到训练步数结束。2.如权利要求1所述的一种用于认知无线电的多智能体协作频谱感知与接入方法，其特征在于，所述步骤s103还包括：每一时间帧开始时，所有su同时按照自己的观测选择自身策略，即选择某一信道检测该信道是否空闲，每个su有且仅有一次机会，直至所有的su找到一个空闲信道或者失败，则一个时间帧结束。3.如权利要求1或2所述的一种用于认知无线电的多智能体协作频谱感知与接入方法，其特征在于，所述步骤s104中，将sun的感知结果及其合作伙伴的感知结果融合成全局状态s(t)的方法为：步骤s1041：当前su
n
根据历史时刻其他su执行动作后的所获得奖励计算可信度，若某个su曾担任过当前su
n
的合作伙伴，则会过的更高的可信度；步骤s1042：根据可信度计算相应权重；步骤s1043：计算其余su被选作合作伙伴的次数；步骤s1044：综合上述其余su的权重和次数，对其余su进行排序，选择最优的一个或者几个作为当前su
n
的合作伙伴；步骤s1045：合作伙伴之间共享检测结果，融合检测结果成为全局状态。4.如权利要求3所述的一种用于认知无线电的多智能体协作频谱感知与接入方法，其特征在于，选择合作伙伴的具体方法为：定义可靠性变量：根据公式(1)计算步骤s1041中的可靠性，n代表su，k代表合作伙伴，t'表示初始时刻，t
s
表示终止时刻，t表示当前时刻，ρ
n,k
(t)表示在当前时刻下su
n
选择su
k
作为其合作伙伴的可靠性，由初始时刻到当前时刻累计折扣奖励计算，其中γ为衰减率，r
n
为su
n
获得的奖励，g
n
为合作伙伴集合，i(
·
)为指示函数，若k∈g
n
∪n,则i(
·
)＝1，否则i(
·
)＝0；
根据公式(2)计算步骤s1042中的权重，ω
n,k
(t)表示当前时刻下su
n
选择su
k
作为其合作伙伴融合检测结果时su
k
所占的权重，其中ρ
n,k
(t)表示当前时刻的伙伴可靠性，g
n
为合作伙伴集合，该权重是当前su
k
的可信度与g
n
中所有su的可信度之和的比值，其余的su序号用k'表示；根据公式(3)计算步骤s1043中的合作次数，累计开始时刻到当前时刻t的合作次数，g
n
为合作伙伴集合，i(
·
)为指示函数，若k∈g
n
,则i(
·
)＝1，否则i(
·
)＝0；根据公式(4)对其余su进行排序，选择值最大的一个或者几个作为合作伙伴，ω
n,k
为伙伴权重，η
n,k
是合作次数，ε为固定常数。5.如权利要求1或2所述的一种用于认知无线电的多智能体协作频谱感知与接入方法，其特征在于，所述步骤s104中，su采用能量检测的方法，判断信道是否空闲，来获得相应检测结果。6.如权利要求1或2所述的一种用于认知无线电的多智能体协作频谱感知与接入方法，其特征在于，用由状态、动作和奖励组成的元组(s，a，r)对所述maddpg模型进行训练，其中所述状态s包括所述每一个su
n
融合其合作伙伴的感知结果，所述动作a包括所述每一个su
n
在所述当前时间帧的感知策略，所述奖励r是根据所述每一个su
n
所采取的动作获得的奖励。7.一种用于认知无线电的多智能体协作频谱感知与接入装置，其特征在于，包括：获取模块(201)，可以用于获取所述n个su中每一个su
n
在当前时间帧开始时的环境参数，其中所述n＝1，2，
…
，n，所述环境参数包括所述每一个su
n
的自身观测s
n
；ddpg模块(202)，可以用于将所述每一个su
n
的在当前时间帧开始时的所述环境参数输入确定性策略深度梯度maddpg模型，以及获取所述maddpg模型输出的所述每一个su
n
在所述当前时间帧的感知策略，其中所述感知策略包括选择哪一个信道检测；控制模块(203)，可以用于控制所述每一个su
n
在所述当前时间帧根据所述频谱感知策略，所述频谱感知策略是选择某一个信道检测。8.一种用于认知无线电的多智能体协作频谱感知与接入装置，其特征在于，包括：存储器(301)，用于存储程序代码、无线设备的环境参数以及感知策略，所述环境参数包括所述智能体在认知无线电网络crn中的位置信息，观测、呼入次数；确定性策略深度梯度maddpg模型(302)，用于根据所述环境参数确定所述感知策略；处理器(303)，用于调用所述程序代码和所述maddpg模型，以执行如权利要求1至6中任一项所述的一种用于认知无线电的多智能体协作频谱感知与接入方法。

技术总结
本发明公开了一种用于认知无线电的多智能体协作频谱感知与接入方法，包括：步骤S101：获取每一个SU


技术研发人员：高昂 杜程圆 梁微 常宝成
受保护的技术使用者：西北工业大学
技术研发日：2021.05.31
技术公布日：2022/1/6