资源分配方法、装置、设备、存储介质及程序产品与流程

本申请涉及无线通信，尤其涉及一种资源分配方法、装置、设备、存储介质及程序产品。

背景技术：

1、相关技术中，车联网的无线资源分配方法是利用动态频谱访问技术，根据不同车辆的通信需求和信道测量信息，动态分配无线资源。但是，由于车辆的高速移动特性，连接的基站存在频繁切换的情况，会引起无线资源的过度占用，导致整体网络吞吐量较低，从而影响用户网络感知体验。

技术实现思路

1、本申请的主要目的在于提供一种资源分配方法、装置、设备、存储介质及程序产品，旨在解决车联网中车辆的高速移动特性，导致整体网络吞吐量低的技术问题。

2、为实现上述目的，本申请提出一种资源分配方法，包括：

3、获取车联网网络中车辆的当前基站连接信息、当前资源块分配信息、当前数据速率和当前信道增益；

4、将当前基站连接信息、当前资源块分配信息、当前数据速率和当前信道增益，输入深度强化学习模型，得到车辆的预测基站连接信息和预测资源块分配信息；其中，深度强化学习模型的状态空间包括车辆的历史基站连接信息、历史资源块分配信息、历史数据速率和历史信道增益，深度强化学习模型的动作空间包括历史基站连接信息和历史资源块分配信息；

5、根据预测基站连接信息和预测资源块分配信息，对车联网网络进行资源分配。

6、在一实施例中，状态空间包括多个时隙的状态矩阵；

7、将当前基站连接信息、当前资源块分配信息、当前数据速率和当前信道增益，输入深度强化学习模型，得到车辆的预测基站连接信息和预测资源块分配信息的步骤之前，方法还包括：

8、根据状态空间、动作空间和预设奖励函数，构建当前深度强化学习模型；

9、从状态空间中确定出当前状态矩阵；

10、利用当前深度强化学习模型，根据当前状态矩阵，确定预测动作；

11、根据预测动作和预设奖励函数，确定至少一个预测奖励值；

12、判断各预测奖励值是否存储在预设存储栈表中；

13、若任一预测奖励值未存储在预设存储栈表中，则将各预测奖励值存储到预设存储栈表中，并根据所有预设奖励值，确定动作价值；

14、若动作价值不满足预设价值条件，则更新当前深度强化学习模型的模型参数，得到更新后的深度强化学习模型；

15、将更新后的深度强化学习模型，作为当前深度强化学习模型，返回执行从状态空间中确定出当前状态矩阵的步骤；

16、直到动作价值满足预设价值条件，将当前深度强化学习模型作为深度强化学习模型。

17、在一实施例中，根据预测动作和预设奖励函数，确定至少一个预测奖励值的步骤之前，资源分配方法还包括：

18、根据车辆的数据速率和基站切换次数，构建预设奖励函数。

19、在一实施例中，根据预测动作和预设奖励函数，确定至少一个预测奖励值的步骤，包括：

20、根据预测动作，确定至少一个预测数据速率；

21、若预测数据速率大于预设速率阈值，则根据预测数据速率和预设奖励函数，确定预测奖励值；

22、若预测数据速率小于或等于预设速率阈值，则将预设惩罚值，作为预测奖励值。

23、在一实施例中，判断各预测奖励值是否存储在预设存储栈表中的步骤之后，方法还包括：

24、若各预测奖励值均已存储在预设存储栈表中，则返回执行从状态空间中确定出当前状态矩阵的步骤。

25、在一实施例中，根据车辆的数据速率和基站切换次数，确定预设奖励函数的步骤之前，方法还包括：

26、根据车辆的基站连接信息、车辆与连接的基站之间的信道增益以及基站的数据传输功率，确定初始数据速率；

27、根据初始数据速率和车辆的资源块分配信息，确定车辆数据速率。

28、此外，为实现上述目的，本申请还提出一种资源分配装置，资源分配装置包括：

29、获取模块，用于获取车联网网络中车辆的当前基站连接信息、当前资源块分配信息、当前数据速率和当前信道增益；

30、预测模块，用于将当前基站连接信息、当前资源块分配信息、当前数据速率和当前信道增益，输入深度强化学习模型，得到车辆的预测基站连接信息和预测资源块分配信息；其中，深度强化学习模型的状态空间包括车辆的历史基站连接信息、历史资源块分配信息、历史数据速率和历史信道增益，深度强化学习模型的动作空间包括历史基站连接信息和历史资源块分配信息；

31、分配模块，用于根据预测基站连接信息和预测资源块分配信息，对车联网网络中网络资源进行资源分配。

32、此外，为实现上述目的，本申请还提出一种资源分配设备，设备包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，计算机程序配置为实现如上文的资源分配方法的步骤。

33、此外，为实现上述目的，本申请还提出一种存储介质，存储介质为计算机可读存储介质，存储介质上存储有计算机程序，计算机程序被处理器执行时实现如上文的资源分配方法的步骤。

34、此外，为实现上述目的，本申请还提供一种计算机程序产品，计算机程序产品包括计算机程序，计算机程序被处理器执行时实现如上文的资源分配方法的步骤。

35、本申请提出的一个或多个技术方案，至少具有以下技术效果：

36、本申请提供一种资源分配方法、装置、设备、存储介质及程序产品，通过深度强化学习模型结合当前时刻车联网网络中车辆的信道测量信息、基站连接信息和资源块分配信息，预测下一时刻车辆的基站连接信息和资源块分配信息，对车联网网络中网络资源进行资源分配，在确定资源分配动作时，考虑到了车辆与基站连接情况的影响，可以生成无需频繁切换车辆连接基站的资源分配动作，减少了无线资源的过度占用的情况，提高了车联网网络的整体网络吞吐量，进而提高了车联网网络的用户网络感知体验。

技术特征：

1.一种资源分配方法，其特征在于，所述资源分配方法包括：

2.如权利要求1所述的资源分配方法，其特征在于，所述状态空间包括多个时隙的状态矩阵；

3.如权利要求2所述的资源分配方法，其特征在于，所述根据所述预测动作和预设奖励函数，确定至少一个预测奖励值的步骤之前，所述资源分配方法还包括：

4.如权利要求2所述的资源分配方法，其特征在于，所述根据所述预测动作和所述预设奖励函数，确定至少一个预测奖励值的步骤，包括：

5.如权利要求2所述的资源分配方法，其特征在于，所述判断各所述预测奖励值是否存储在预设存储栈表中的步骤之后，所述方法还包括：

6.如权利要求3所述的资源分配方法，其特征在于，所述根据所述车辆的数据速率和基站切换次数，确定所述预设奖励函数的步骤之前，方法还包括：

7.一种资源分配装置，其特征在于，所述资源分配装置包括：

8.一种资源分配设备，其特征在于，所述设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序配置为实现如权利要求1至6中任一项所述的资源分配方法的步骤。

9.一种存储介质，其特征在于，所述存储介质为计算机可读存储介质，所述存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至6中任一项所述的资源分配方法的步骤。

10.一种计算机程序产品，其特征在于，所述计算机程序产品包括计算机程序，所述计算机程序被处理器执行时实现如权利要求1至6中任一项所述的资源分配方法的步骤。

技术总结本申请公开了一种资源分配方法、装置、设备、存储介质及程序产品，涉及无线通信技术领域，公开的资源分配方法，包括：获取车联网网络中车辆的当前基站连接信息、当前资源块分配信息、当前数据速率和当前信道增益；将当前基站连接信息、当前资源块分配信息、当前数据速率和当前信道增益，输入深度强化学习模型，得到车辆的预测基站连接信息和预测资源块分配信息；根据预测基站连接信息和预测资源块分配信息，对车联网网络进行资源分配。本申请可以生成无需频繁切换车辆连接基站的资源分配动作，减少了无线资源的过度占用的情况，解决了车联网中车辆的高速移动特性，导致整体网络吞吐量低的技术问题，提高了车联网网络的用户网络感知体验。技术研发人员：王同有,高嘉浩受保护的技术使用者：中国移动通信集团吉林有限公司技术研发日：技术公布日：2024/11/18