一种面向智慧养老的自我感知式多边缘节点计算卸载方法

本发明属于边缘计算,尤其涉及一种面向智慧养老的自我感知式多边缘节点计算卸载方法。

背景技术：

1、随着全球老龄化问题的日益严重，智慧养老成为了现代社会解决老年人护理、健康监控和日常生活管理等问题的关键技术手段。通过物联网(iot)技术的广泛应用，智慧养老环境中大量的智能设备和传感器可以实时监测老年人的健康状况、活动行为以及紧急事件。然而，这些设备所产生的数据量巨大，且具有高时效性要求，因此单一的数据中心或云端处理方案可能会面临网络延迟、带宽限制以及计算资源瓶颈等挑战，难以满足智慧养老场景中对实时性和可靠性的要求。边缘计算作为一种新兴的计算范式，通过将计算任务分布到靠近数据源的边缘节点上，可以有效减轻中心服务器的负载，减少网络时延，提高数据处理的效率和系统响应速度。因此，边缘计算在智慧养老环境中的应用逐渐受到关注。然而，智慧养老环境具有动态、复杂且多变的特点，用户需求和网络状态频繁变化，传统的静态计算任务卸载方案难以适应这种复杂环境。因此，提出一种基于多边缘节点的自我感知式计算卸载方法，能够根据智慧养老环境中的实时状态进行智能的资源调度与任务分配，成为解决当前问题的有效途径。

技术实现思路

1、本发明的目的是提供一种面向智慧养老的自我感知式多边缘节点计算卸载方法,以解决上述现有智慧养老环境中的计算卸载问题。为了实现上述目的,本发明提供了如下方案:一种面向智慧养老的自我感知式多边缘节点计算卸载方法，包括如下步骤：

2、步骤1、每个的边缘节点上搭载用户请求收集模块，获取智慧养老环境中新到达的用户业务请求的数据量和服务时延上限参数、无线信道状态参数、基站和边缘服务器侧的用户业务请求缓冲队长度参数，并将所获取的参数数据进行归一化处理，并上传至中心节点；

3、步骤2、中心节点上搭载了数据存储模块，接收边缘节点上传的数据信息，并将数据信息转化为部分可观测马尔可夫决策过程，发送至计算任务管理模块；步骤3、中心节点上搭载了计算任务管理模块，接收马尔可夫决策过程的数据信息后，利用双延迟深度确定性策略梯度算法获得卸载的最优策略；步骤4、计算任务管理模块根据最优策略，下发计算资源到边缘节点；步骤5、边缘节点群搭载有令牌token，实现边缘节点的动态拓展和监控，所有边缘节点通过一个虚拟闭合链的结构排列，每个节点通过一个令牌传递来记录。根据最优策略，增加或减少边缘节点时，令牌会自动更新设备信息，确保边缘节点群的动态适应性。若某个节点出现故障，通过令牌传递，节点群可以自动检测和更新节点状态，确保系统能正常运行。步骤6、边缘节点得到计算资源后，继续运行用户请求收集模块，获取参数数据。进一步的，步骤1中具体包括以下步骤：步骤1.1、边缘节点与智慧养老环境交互，收集用户请求，得到一个三元组(st,rt,st+1)，其中st表示当前时刻t节点环境的状态，其包括时刻t到达的用户业务请求i的特征信息、服务时延上限参数、无线信道状态参数、基站和边缘服务器侧的用户业务请求缓冲队长度参数以及边缘节点的计算资源；rt表示边缘节点执行当前收集任务后反馈的一个奖励值；st+1表示节点的下一个状态；步骤1.2、将边缘节点与智慧养老环境交互得到的三元组存入存储库中；若存储库中三元组数量未超过存储库的最大容量，直接将三元组存储到记忆库中；若超出存储库最大容量，则先暂停本次收集，将现有存储库中的三元组进行归一化处理；步骤1.3、根据以下公式对所获取的参数数据进行归一化处理：

4、

5、式中,xk表示系统所获取的第k项参数,xk,max表示第k项参数的最大数值,表示第k项参数的最小数值,x′k表示经归一化处理后,第k项参数的数值,k表示不同参数的数量。步骤1.4、将归一化处理后的数据上传至中心节点。进一步的，步骤2具体包括以下步骤：步骤2.1、中心节点将经过归一化处理后的用户请求数据输入到数据存储模块中；步骤2.2、将数据转化为马尔可夫决策过程，过程具体为：状态空间：在智慧养老系统中，系统状态是由一名用户、i个边缘节点以及环境构成的，因此时隙k的系统状态可以定义为其中，ere(k)表示的是时隙k边缘节点的剩余能量，p(k)表示时隙k用户的位置信息，qi(k)表示边缘节点在k个时隙的位置信息，dre(k)表示整个系统的剩余请求收集任务大小，di(k)表示边缘节点i在时隙k收集的请求资源大小，fi(k)表示边缘节点i在时隙k是否被障碍物遮挡；动作空间：边缘节点根据当前的用户状态和环境收集请求，包括卸载的设备，用户行动的角度和速度，动作空间可以表示为：

6、actionk＝(i(k)，β(k)，v(k)，ri(k))

7、其中，i(k)表示的是时隙k的边缘节点的动作变量，β(k)代表的是时隙k的边缘节点运动角度，v(k)代表的是时隙k的边缘节点的运动速度，ri(k)代表的是时隙k的边缘节点的任务卸载率；

8、由于用户输出的是连续的动作，动作的变量由边缘节点选择，需要离散化，用户的运动速度和角度以及请求卸载比例可以在一个连续的动作空间中准确的进行优化，系统对上述四个变量进行了联合优化，使得成本最小；奖励函数：奖励函数是一种对设备行为的量化度量，它会影响到边缘节点在特定环境中做出的决策和行动。因此，为了获得最佳性能，需要设计一个合适的奖励函数，可以引导边缘节点做出更加优秀的决策和行为，同时避免出现非预期的行为和不良后果。因此，在选择奖励函数时，需要充分考虑系统的目标、任务需求和约束条件等因素，并设计出合理的奖励函数，以提高算法的性能和效果；目标是最小化边缘节点请求任务卸载的最大处理时延，将它作为奖励函数定义为：

9、rewordk＝r(statek，actionk)＝-delay(k)，

10、其中，delay(k)表示为：αik代表的是卸载任务i在时隙k上的激活变量，它表示任务i是否在时隙k被执行。如果任务i在时隙k被执行，则αi(k)＝1；否则，αi(k)＝0；tloc，i(k)表示的是任务i在时隙k上的本地处理时间；tedge，i(k)表示的是任务i在时隙k上由边缘节点处理的时间；tt，i(k)表示的是任务i在时隙k上的传输时间。它表示任务i从本地系统传输到边缘节点处理所需要的时间；

11、步骤2.3、将结果发送至计算任务管理模块；进一步的，步骤3具体包括以下步骤：步骤3.1、计算任务管理模块接收马尔可夫决策过程；

12、步骤3.2、利用双延迟深度确定性策略梯度算法获得卸载的最优策略，具体如下：

13、建立两个值函数网络q1和q2,为了稳定学习过程,创建两个目标值函数网络q1'和q2'；创建两个策略函数网络μ和μ'；引入高斯噪声作为噪声增加边缘节点的探索性,行为策略为策略函数加入高斯噪声产生,使用行为策略进行环境探索；

14、初始化值函数网络参数和策略函数网络参数θμ,将两个网络参数拷贝给与其相对应的目标值函数网络和目标策略函数网络,即初始化记忆回放库d；

15、遍历所有的episode,初始化高斯噪声,即噪声ε,从环境中接收起始状态s1,对于每个episode,遍历所有步；

16、从记忆回放库d中,随机采样n个(si,ri,si+1)作为值函数网络和策略函数网络的一个mini-batch训练数据；

17、使用目标值函数网络q1'和q2'分别计算下一个状态的q值,q'(st+1,μ'st+1|θμ')),选取两个值函数网络的最小值minq(st+1,a)作为下一个状态的q值,更新价值函数网络,yt＝rt+1+γminq'(st+1,μ'(st+1|θμ')),使用梯度下降算法更新值函数网络的参数和

18、每隔若干个时间步,使用策略函数网络μ产生新的行为策略并更新策略函数网络,使用目标值函数网络计算策略梯度的估计量,更新策略函数网络的参数θμ；

19、使用软更新方式更新目标值函数网络q1'和

20、不断更新价值函数网络和策略函数网络,最终会收敛至最优策略,使用收敛了的策略函数网络即获得最优的卸载决策。

21、进一步的，步骤4具体包括以下步骤：

22、步骤4.1、根据得到的最优卸载策略，将所需的计算资源分配至相关的边缘节点。

23、进一步的，步骤5具体包括以下步骤：

24、步骤5.1、为了确保边缘计算网络的灵活扩展和稳健运行，每个边缘节点配备了令牌token机制。边缘节点通过虚拟闭合链的结构进行排列，每个节点通过传递令牌来维护状态信息。令牌机制使得边缘节点能够动态增加或减少节点，并在发生故障时，自动更新设备信息和网络拓扑，保证系统的自适应性和鲁棒性。当最优策略要求增加或减少边缘节点时，令牌将自动更新，以确保新的节点或移除的节点不会影响整体计算效率。

25、步骤5.2、令牌的表示如下：

26、

27、其中，workgroup表示边缘节点的工作组；是工作组中每个节点的状态信息列表；每个都代表边缘工作节点i的信息；

28、servergroup表示服务器组；是服务器组中每个服务器的状态信息列表；每个表示服务器节点i的信息；

29、所有节点设备被分为两部分：工作组(k台设备)和服务器组(t台设备)。初始令牌通过预设测试程序生成，记录设备的计算性能、状态和ip地址。系统根据用户提供的设备数量和预定义的工作组/服务器组比率，自动分配适合分布式训练任务的工作组和服务器组数量。在设备逐一启动时，它们将相关信息添加到令牌中。所有设备测试完毕后，最后一台设备对令牌中的信息进行排序并将设备分组。系统通过调制令牌信息来动态调整配置，删除或添加设备，若服务器组要求不满足，重新分配工作组/服务器角色，以确保分布式采集过程与最新的设备信息保持一致。步骤5.3、为了增强系统的可靠性和弹性，提出了一种自愈方法来降低故障风险。任意一个ps节点的故障都可能导致整个集群的乱序，从而导致系统故障。例如从设备1开始，根据令牌中的顺序将令牌发送到下一个设备，该设备记为设备2。发送之前，设备1尝试与设备2通信，以确定它是否仍然在线。如果是，发送令牌；如果不是，设备1尝试与设备3通信，并以这种方式继续，直到找到在线的设备。

30、步骤5.4、当在训练过程中发现任何设备离线时，检测过程根据其ip地址确定所属组。如果在工作组中，则从令牌中删除该设备，系统继续运行。如果它在服务器组中，则会触发全局通知并广播以重启集群中最近的检查点上的所有设备。

31、步骤5.5、在交付令牌之前，设备1从令牌中删除所有离线设备信息。设备2等待接收令牌，然后执行相同的过程来检查令牌中的下一个设备是否在线。因此，无论属于哪个组，只要token持有者工作，系统就应该始终保持正常运行。

32、进一步的，步骤6具体包括以下步骤：

33、边缘节点在得到计算资源后，继续运行用户请求收集模块，动态获取新的业务请求数据和网络状态参数。通过周期性地上传最新的参数数据，中心节点可以根据最新的网络状况持续优化卸载策略，实现系统的自适应更新和动态调整。

34、本发明相对于现有技术取得了以下有益技术效果:

35、1、针对多边缘节点的智慧养老场景,研究计算卸载和资源分配问题,根据系统中各边缘节点用户请求的动态变化和计算资源的动态变化,为动态到达的用户请求选择最佳目标卸载边缘节点和分配计算资源,在满足多边缘节点系统用户请求的服务时延上限以及系统计算资源约束要求的前提下,最大化系统的吞吐量。

36、2、本发明提供的面向智慧养老的自我感知式多边缘节点计算卸载方法,将智慧养老场景下的用户请求问题转化为部分可观测马尔可夫决策过程,使用双延迟深度确定性策略梯度算法获得卸载的最优策略,并在最优策略中加入了两种独立的高斯噪声网络进行状态增强,进一步提升了多边缘节点系统的时延性能。