一种深地钻探机器人集群的通讯资源分配方法

本发明属于深地钻探机器人集群通信，涉及一种深地钻探机器人集群的通讯资源分配方法。

背景技术：

1、复杂的深地地质环境中，机器人通信信号传输受到严重衰减，形成弱连通的网络环境，给深地钻探机器人集群中的通信和协作带来了挑战。由于深地环境中的强衰减和干扰，传统的通信频段往往无法满足需求，信号的可靠性和传输质量难以保证，并且信号传输需要合理地调整信号传输功率，以确保信号质量和传输距离。

2、出于对多深地机器人之间高协作性的考虑，需要尽可能的保证通讯的可靠性，使用单一路径传输往往无法满足要求。因此，现有技术采用多路径传输技术，利用多个并行的、相对独立的信道进行数据传输。因此如何进行通讯信道的分配以及传输功率的选择成为解决信号传输问题的重中之重。在常见的信道分配算法中，常把信噪比以及通讯延迟等作为约束，将通讯的qos作为目标，公式化为最优化问题，并尝试用各种方法进行求解，如先将通讯链路分组，然后在组内迭代交换通讯链路的频谱分配，以此来找寻最优分配方案。近年来，基于深度强化学习的方法也渐渐被应用到通讯领域，这种以试错的方式来寻找通讯资源分配方案的方法具有较好的反应能力，能够在没有先验知识的前提下对通讯资源进行分配。

3、中国专利cn117614573a中，在分配信道时根据上一时刻的信道分配方式分配信道，确定信噪比、传输速率和信道功率，并获得当前时刻的状态向量，与前一时刻状态向量对比来确定模型是否需要继续训练，如果不满足所给出的三个条件之一，就需要继续训练。然而随着通讯链路增加，训练的难度也将加大，算法的收敛速度会受到影响，同时，算法需要全局信道信息来支撑，当通讯范围由于环境或者发出者受限时，分布式的方法将更加适合，因此此方法不适用于通讯信号衰减较为严重的环境。

技术实现思路

1、本发明目的提供一种深地钻探机器人集群的通讯资源分配方法，基于深度强化学习方法，结合sinr通讯干扰模型以及通讯的p持久性协议，合理设计状态向量以及奖励函数，面向深部地质环境，使用训练的策略为深地机器人进行通讯信道的分配以及信号传输功率的选择，寻找局部观测(包括局部信道信息和干扰水平)和通讯资源分配与调度解决方案之间的映射，具有较高的分配效率以及反应能力。

2、本发明提供一种深地钻探机器人集群的通讯资源分配方法，包括：

3、步骤1：对深地环境进行建模，并进行初始化设置；

4、步骤2：基于信号与干扰加噪声比计算通讯容量，对通讯资源块进行划分，并设置深地机器人广播场景的p持久性协议的参数；

5、步骤3：使用ddqn算法，建立深度强化学习模型；

6、步骤4：根据建立的深度强化学习模型，对q网络参数进行训练；

7、步骤5：使用训练好的策略在模拟深地环境中为深地钻探机器人进行通信信道分配和传输功率的选择。

8、本发明的一种深地钻探机器人集群的通讯资源分配方法，至少具有以下有益效果：

9、本发明的通讯资源分配方法针对深地环境中的弱联通机制融入了分布式的分配机制，基于ddqn算法进行局部感知与计算，能够在不需要全信道状态信息的情况下为深地机器人进行通讯信道的分配以及传输功率的选择，同时在ddqn算法中采用了目标网络和优先经验回放的技术加速训练并提升训练的稳定性。在对深地机器人集群进行信道分配以及传输功率的选择时具有较高的反应能力和较强的鲁棒性。

技术特征：

1.一种深地钻探机器人集群的通讯资源分配方法，其特征在于，包括：

2.如权利要求1所述的深地钻探机器人集群的通讯资源分配方法，其特征在于，所述步骤1具体为：

3.如权利要求1所述的深地钻探机器人集群的通讯资源分配方法，其特征在于，所述步骤2具体为：

4.如权利要求3所述的深地钻探机器人集群的通讯资源分配方法，其特征在于，所述步骤2.2中p持久性的通讯协议及设定时隙具体为：

5.如权利要求1所述的深地钻探机器人集群的通讯资源分配方法，其特征在于，所述步骤3具体为：

6.如权利要求1所述的深地钻探机器人集群的通讯资源分配方法，其特征在于，所述步骤4具体为：

7.如权利要求1所述的深地钻探机器人集群的通讯资源分配方法，其特征在于，所述步骤4.2中设置样本的优先级具体为：

8.如权利要求1所述的深地钻探机器人集群的通讯资源分配方法，其特征在于，所述步骤5具体为：

技术总结本发明的一种深地钻探机器人集群的通讯资源分配方法，包括：步骤1：对深地环境进行建模，并进行初始化设置；步骤2：基于信号与干扰加噪声比计算通讯容量，对通讯资源块进行划分，并设置深地机器人广播场景的p持久性协议的参数；步骤3：使用DDQN算法，建立深度强化学习模型；步骤4：根据建立的深度强化学习模型，对Q网络参数进行训练；步骤5：使用训练好的策略在模拟深地环境中为深地钻探机器人进行通信信道分配和传输功率的选择。本发明通过集中式训练、分布式执行的方法，这样训练出来的策略能够从其他机器人上学到相关经验并优化策略，从而达到更好的效果。技术研发人员：唐艺譞,王昊,周佳浩,王斐受保护的技术使用者：东北大学技术研发日：技术公布日：2024/8/16