一种联合接入点选择和波束成形设计的优化方法

本发明涉及无线通信优化，更具体地，涉及一种联合接入点选择和波束成形设计的优化方法。

背景技术：

1、在无线通信领域中，去蜂窝大规模mimo(multiple-input multiple-output，多输入输出)利用大量地理位置上随机分布的接入点，通过前传网络连接到中央处理单元，联合服务网络中的用户，实现无缝无线覆盖。考虑到每个用户由所有的ap(accesspoint，接入点)服务会导致大量前传信令开销和复杂度与能耗的提高，因此如何为每个用户选择合适的接入点集合为自己服务成为了当前的一个研究热点。此外，波束成形是毫米波系统中常见的技术，用于形成定向性波束，从而提高通信效率。如何通过合理的设计使得在减少射频链路数量的同时保持显著的复用增益，对于充分发挥去蜂窝大规模mimo系统潜在优势也具有重要意义。

2、目前基于凸优化算法的分布优化是解决此类的联合优化问题的热门方法，但是将联合优化问题分为多个子问题进行分步优化往往导致最终的优化性能受限于其中某个子问题。尤其是在用户数量与接入点数量庞大，以及对联合波束成形性能要求较高的去蜂窝大规模mimo系统，这就要求中央处理器能够在保证最优的接入点选择基础上，同时实现高效的波束成形设计。

3、因此，如何在联合接入点选择和波束成形设计，在保证获得最优的接入点选择方案同时，以低硬件成本实现接近全数字混合波束成形的性能，成了目前亟需解决的问题。

技术实现思路

1、本发明为解决上述现有技术所述的如何保证获得最优的接入点选择方案的同时，以低硬件成本实现接近全数字混合波束成形的性能的问题，提供一种联合接入点选择和波束成形设计的优化方法。

2、为解决上述技术问题，本发明的技术方案如下：

3、第一方面，一种联合接入点选择和波束成形设计的优化方法，包括：

4、建立网络场景模型，以及智能体的演员家网络以及评价网络；其中，所述网络场景模型包括用户及接入点的数量和位置；

5、令所述智能体在每个时间步t决策自己的动作at，即每个所述用户与每个所述接入点之间的连接状态；

6、在执行所述动作at之后，环境根据输入，进行混合波束成形设计；

7、获取环境输出以得到经验样本et＝{st，at，rt，st+1}；其中，st表示在时间步t时的用户状态，rt表示所述智能体所获得的奖励，st+1表示所述智能体在执行所述动作at后转移到的下一个所述用户状态，并将所述经验样本et存入经验池；

8、从所述经验池中取出批量所述经验样本对所述智能体中的所述演员家网络和所述评价网络进行同步训练更新，直至训练结束，通过所述智能体得到联合优化策略。

9、第二方面，一种电子设备，包括：

10、存储器，用于存储计算机可执行指令或者计算机程序；

11、处理器，用于执行所述存储器中存储的计算机可执行指令或者计算机程序时，实现第一方面所述方法。

12、第三方面，一种计算机程序产品，包括计算机程序或计算机可执行指令，所述计算机程序或计算机可执行指令被处理器执行时，实现第一方面所述方法。

13、与现有技术相比，本发明技术方案的有益效果是：

14、本发明公开了一种联合接入点选择和波束成形设计的优化方法，通过深度强化学习(即演员家网络-评价网络架构)训练一个智能体，来解决以用户为中心的接入点选择问题，以输出最优的用户连接点选择策略，同时环境根据当前接入点选择，实时更新给出最优的波束成形设计，从而最大化系统的全局用户速率，实现接入点选择和波束成形联合优化，以达到全局最优。相较于现有技术，本发明更加适合对算法收敛延迟和性能指标要求较高的无线通信场景，特别是去蜂窝大规模mimo场景。

技术特征：

1.一种联合接入点选择和波束成形设计的优化方法，其特征在于，包括：

2.根据权利要求1所述的一种联合接入点选择和波束成形设计的优化方法，其特征在于，所述演员家网络包括嵌入层、编码层、解码层、注意力层和指针生成器；其中，

3.根据权利要求2所述的一种联合接入点选择和波束成形设计的优化方法，其特征在于，令所述智能体在每个时间步t决策自己的动作at时，所述演员家网络中的所述指针生成器根据所述注意力层的输出结果选择连接所述用户和所述接入点以形成用户-接入点对ai，并根据全局的连接状态确定动作at，其表达式为：

4.根据权利要求3所述的一种联合接入点选择和波束成形设计的优化方法，其特征在于，所述根据全局的连接状态确定动作at，包括：

5.根据权利要求3所述的一种联合接入点选择和波束成形设计的优化方法，其特征在于，所述指针向量的长度为用户数量与接入点数量的乘积，由所述注意力层基于注意力机制生成，其表达式如下：

6.根据权利要求2所述的一种联合接入点选择和波束成形设计的优化方法，其特征在于，所述智能体的训练过程中，所述演员家网络和所述评价网络的同步更新包括：

7.根据权利要求1所述的一种联合接入点选择和波束成形设计的优化方法，其特征在于，所述用户状态st由每个所述用户的sinr组成，定义为st＝{γ1，γ2…，γk}，其中，γk表示第k个用户的sinr，k∈[1，k]；

8.根据权利要求1-7任一项所述的一种联合接入点选择和波束成形设计的优化方法，其特征在于，所述混合波束成形设计，包括：

9.一种电子设备，其特征在于，包括：

10.一种计算机程序产品，包括计算机程序或计算机可执行指令，其特征在于，所述计算机程序或计算机可执行指令被处理器执行时，实现权利要求1-8任一项所述方法。

技术总结本发明公开了一种联合接入点选择和波束成形设计的优化方法，涉及无线通信优化领域。所述方法包括：建立网络场景模型，以及智能体的演员家网络以及评价网络；令智能体在每个时间步决策自己的动作；在执行动作a<subgt;t</subgt;之后，环境根据输入，进行混合波束成形设计；获取环境输出以得到经验样本，并将经验样本存入经验池；从经验池中取出批量经验样本对智能体中的演员家网络和评价网络进行同步训练更新，直至训练结束，通过智能体得到联合优化策略。相较于现有技术，本发明解决了以用户为中心的接入点选择问题，并实时更新给出最优的波束成形设计，实现接入点选择和波束成形联合优化，以达到全局最优，适合对算法收敛延迟和性能指标要求较高的无线通信场景。技术研发人员：马炜锋,孙兴华,陈翔受保护的技术使用者：中山大学技术研发日：技术公布日：2024/9/9