基于大模型强化学习的边缘Web3.0系统的任务调度方法及任务调度装置、边缘Web3.0系统与流程

本技术涉及去中心化应用任务调度，例如涉及一种基于大模型强化学习的边缘web3.0系统的任务调度方法及任务调度装置、边缘web3.0系统。

背景技术：

1、相关技术中，由于边缘计算可以提供支持dapp(decentralized application，去中心化应用)所需的计算能力与存储空间，web 3.0可以提供边缘计算服务去中心化时所需的信任与安全性。所以，会将web 3.0和边缘计算集成为边缘web3.0系统。

2、在实现本公开实施例的过程中，发现相关技术中至少存在如下问题：

3、边缘web 3.0系统的dapp任务需要全部发送至底层的以太坊区块链处理。在用户数量较大时，dapp需要处理大规模的dapp任务，此时，会有大量dapp任务通过交易的方式被发送至底层的以太坊区块链等待处理，这会导致dapp吞吐量降低、服务时延上升，造成边缘web 3.0系统处理dapp任务的效率降低。

4、需要说明的是，在上述背景技术部分公开的信息仅用于加强对本技术的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

技术实现思路

1、为了对披露的实施例的一些方面有基本的理解，下面给出了简单的概括。所述概括不是泛泛评述，也不是要确定关键/重要组成元素或描绘这些实施例的保护范围，而是作为后面的详细说明的序言。

2、本公开实施例提供了一种基于大模型强化学习的边缘web3.0系统的任务调度方法及任务调度装置、边缘web3.0系统，可以提高边缘web 3.0系统处理dapp任务的效率。

3、在一些实施例中，基于大模型强化学习的边缘web3.0系统的任务调度方法，包括：获取边缘web 3.0系统的当前状态向量；将当前状态向量输入目标任务调度模型，获得目标调度策略；按照目标调度策略对边缘web 3.0系统中的dapp任务进行调度；其中，目标任务调度模型为预先构建的能够输出包括执行模式决策和任务卸载决策的dapp任务调度策略并最大化边缘web 3.0系统的系统利用率的模型；执行模式决策中dapp任务的执行模式包括混合执行模式和链上执行模式，混合执行模式为dapp任务的部分智能合约部署在区块链，部分智能合约部署在边缘服务器进行处理的模式；链上执行模式为dapp任务的智能合约部署在区块链进行处理的模式。

4、可选地，按照如下方式构建目标任务调度模型：将边缘web 3.0系统中部分dapp任务采用混合执行模式处理，部分dapp任务采用链上执行模式处理；获取边缘web 3.0系统的第一状态向量，以及预设的能够体现边缘web 3.0系统状态变化的奖励函数；基于第一状态向量和奖励函数训练初始任务调度模型，获得能够基于边缘web 3.0系统的状态向量，确定对边缘web 3.0系统中dapp任务调度策略的目标任务调度模型。。

5、可选地，基于第一状态向量和奖励函数训练初始任务调度模型，包括：初始化初始任务调度模型的actor网络参数和critic网络参数后，以第一状态向量作为初始任务调度模型的输入，获得初始任务调度策略；按照初始任务调度策略对边缘web 3.0系统的dapp任务进行调度后，获取边缘web3.0系统的第二状态向量，以及基于奖励函数计算奖励函数值；根据第一状态向量、初始任务调度策略、奖励函数值和第二状态向量更新初始任务调度模型的actor网络参数和critic网络参数，并将第二状态向量作为第一状态向量，重新执行以上步骤，直至初始任务调度模型收敛后，将其确定为目标任务调度模型。

6、可选地，根据第一状态向量、初始任务调度策略、奖励函数值和第二状态向量更新初始任务调度模型的actor网络参数和critic网络参数，包括：将第一状态向量、初始任务调度策略、奖励函数值和第二状态向量作为一个训练元组存储至初始任务调度模型的经验池中；从经验池中获取迷你批次大小的训练元组，采用随机梯度上升的方法更新actor网络参数，以及采用随机梯度下降的方法更新critic网络参数。

7、可选地，按照如下方式确认初始任务调度模型是否收敛：计算初始任务调度模型训练过程中，多个连续的损失函数值和奖励函数值；在多个损失函数值中相邻两个损失函数值的差值均小于第一阈值，多个奖励函数值中相邻两个奖励函数值的差值均小于第二阈值的情况下，确定初始任务调度模型收敛。

8、可选地，按照目标调度策略对边缘web 3.0系统中的dapp任务进行调度，包括：按照任务卸载决策将dapp任务卸载至边缘web 3.0系统中相应的位置；按照执行模式决策执行dapp任务。

9、可选地，按照执行模式决策处理执行dapp任务，包括：在目标执行模式为混合执行模式的情况下，确定当前dapp任务的智能合约中的函数复杂度和智能合约待执行应用场景的隐私保护需求程度；根据函数复杂度和隐私保护需求程度，将当前dapp任务的智能合约划分为链上合约和链下合约，并将链上合约部署于以太坊区块链，将链下合约部署于边缘服务器；在以太坊区块链上执行链上合约，在边缘服务器上执行链下合约。

10、可选地，在以太坊区块链上执行链上合约，在边缘服务器上执行链下合约之后，还包括：将边缘服务器执行链下合约的执行结果发送至以太坊区块链，以使以太坊区块链采用零知识证明技术验证执行结果。

11、在一些实施例中，基于大模型强化学习的边缘web3.0系统的任务调度装置，包括处理器和存储有程序指令的存储器，所述处理器被配置为在运行所述程序指令时，执行如上述的基于大模型强化学习的边缘web3.0系统的任务调度方法。

12、在一些实施例中，边缘web3.0系统，包括：多个边缘服务器；终端设备，与多个边缘服务器通信连接；去中心化设备，与多个边缘服务器通信连接；如上述的基于大模型强化学习的边缘web3.0系统的任务调度装置，设置于去中心化设备。

13、本公开实施例提供的基于大模型强化学习的边缘web3.0系统的任务调度方法及任务调度装置、边缘web3.0系统，可以实现以下技术效果：

14、本公开实施例中，混合执行模式为dapp任务的部分智能合约部署在区块链，部分智能合约部署在边缘服务器进行处理的模式，链上执行模式为dapp任务的智能合约部署在区块链进行处理的模式。具体地，本公开实施例中，对于边缘web 3.0系统中大量的dapp任务，可以基于web 3.0系统的当前状态向量，确定能够使边缘web 3.0系统的系统利用率最大化的dapp任务调度策略(即目标调度策略)。这样，可以采用与边缘web 3.0系统的当前状态向量相匹配的dapp任务调度策略处理边缘web 3.0系统中大量的dapp任务，降低了出现大量dapp任务在底层区块链等待处理情况的风险。且目标调度策略中会将部分dapp任务会采用混合执行模式进行处理，这样，可以减少底层的以太坊区块链的任务处理量。因此，本公开实施例可以提高边缘web 3.0系统处理dapp任务的效率。

15、以上的总体描述和下文中的描述仅是示例性和解释性的，不用于限制本技术。