一种SDN架构DDPG算法的QKD网络路由系统、方法、存储装置及智能终端与流程

本发明涉及量子通信领域，具体涉及一种sdn架构ddpg算法的qkd网络路由系统、方法，存储装置及智能终端。

背景技术：

1、量子密钥分发(quantum key distribution，qkd)是量子保密通信的重要应用之一，其借助量子叠加态的传输与测量，使通信的双方能够产生并分享一对随机且安全的密钥，结合一次一密的对称加密体制即可实现无条件安全的保密通信。量子密钥分发过程中，点对点qkd协议不仅是保障信息加密过程安全性的基础，也是决定密钥生成速率的关键。

2、量子密钥分发系统，其主要包含qkd发送机、接收机、量子信道与经典信道。qkd收发机包含了qkd过程所需要的硬件，包括单光子发射器、光子数探测器、偏振编码器等。qkd信道中，量子信道用于传输量子信号，即将信息通过量子特性编码至量子态中；经典信道用于传输经典信号，包括通信双方的密钥协商过程信息与同步信息等。通信双方的qkd终端遵从对应的qkd协议执行特定的流程，即可生成一组共享的对称密钥，配合加密算法即可实现安全的信息传输。

3、诸多科学家在qkd网络的验证和开发过程中，研究团队设计了多种网络架构对密钥分发与网络管理过程进行控制与协调，以适应用户对密钥应用的需求。软件定义网络(software defined network，sdn)是一种新型网络架构，其通过将网络的控制层与数据层分离，实现对网络的灵活管理与控制。网络的控制功能集中于控制器中，而网络基础设施仅按控制器下发的规则进行数据转发等操作。

4、量子保密通信技术的发展与qkd网络的应用，涌现了一批对基于sdn技术的qkd网络体系架构、协议以及资源分配方法的研究。现有的qkd网络中，密钥生成与消耗的速率不匹配且通信请求的生成是随机的。网络中不均衡的密钥消耗可能造成密钥不足与密钥浪费的情况，不合理的路由与资源分配策略会加剧该问题并导致保密通信失败。传统的可信中继qkd网络中，路由计算常使用最短路径算法，选择节点间跳数最少的路径进行信息加密转发以减少密钥资源消耗。或使用k最短路径算法，在k条最短路径中随机选择一条作为信息传输的路径以降低请求阻塞率。这些路由方法仅仅考虑了路径的跳数，而没有考虑网络中的密钥资源情况。

5、因此，需要对现有技术qkd网络中的路由策略进行改进，以均衡网络整体的密钥资源消耗，并在密钥资源有限的情况下尽可能提高通信请求成功率，保证网络提供服务的稳定性，延长网络的运行时间。

技术实现思路

1、为了解决上述技术问题，提出了sdn架构ddpg算法的qkd网络路由系统及方法，以均衡网络整体的密钥资源消耗，并在密钥资源有限的情况下尽可能提高通信请求成功率，保证网络提供服务的稳定性，延长网络的运行时间。

2、为实现上述目的，本发明采取的技术方案如下：一种sdn架构ddpg算法的qkd网络路由系统，包括基础设施层、控制层和应用层组，其中：

3、所述基础设施层包括多个qkd节点，任意两个qkd之间通过链路相互连接，每条链路两端的qkd节点构建一个量子密钥池qkp，形成qkd网络拓扑g(n,l,q)，n为qkd网络节点合集，l代表qkd网络链路合集，q为密钥池qkp的合集；

4、每个qkd节点与若干主机相连，所述主机用于生成请求信息r(sr,dr,kr)，其中，sr是请求信息的源节点，dr是请求信息的目的节点，kr是请求信息的密钥需求量；

5、所述控制层包括网络管理模块、密钥管理模块和路由计算模块，所述网络管理模块用于接收请求，所述密钥管理模块用于获取qkd网络中的密钥资源状态，所述计算模块根据通信请求信息与链路密钥资源情况通过ddpg算法计算的通信请求信息的通信转发路径，并将通信转发路径下发至基础设施层；

6、所述应用层用于向用户提供接口。

7、优选地，所述qkd节点以固定速率kv生成量子密钥并保存在与之连接的密钥池qkp中，且设定qkp的初始密钥量为kinit，密钥量上限为kmax。

8、优选地，所述ddpg算法的计算通信请求信息的通信转发路径的过程中：

9、所述qkd网络拓扑在一个时间步t内将接受的请求信息请求量与链路密钥池中的密钥量发送给路由计算模块；

10、请求信息请求量与链路密钥池中的密钥量表示为[r1,r2,...,rk,k1,k2,...,kl]，rk是节点对之间的密钥请求量，kl是链路密钥池中的密钥；

11、所述路由计算模块通过sdn强化学习计算得到qkd网络的链路权值表示为

12、[w1,w2,...wn]，其中n为网络中的链路总数，wn为第n条链路的权值；

13、根据qkd网络链路的权值，结合最短路径算法即可计算节点之间的信息通信转发路径。

14、一种sdn架构ddpg算法的qkd网络路由方法，应用了上述一种sdn架构ddpg算法的qkd网络路由系统，该方法包括以下步骤：

15、步骤s1:通过sdn强化学习方式结合路由计算模块形成ddpg智能体，通过qkd网络结合与网络密钥池qkp形成环境模块；

16、步骤s2：初始化ddpg智能体以及环境模块的参数；

17、步骤s3：环境模块接收来自用户的保密通信请求集r；

18、步骤s4:所述环境模块将请求集r与各链路密钥量kl结合形成输入值s输入到智能体模块内；

19、步骤s5:所述智能体根据输入值s输出行为值a，更新网络链路权值wl；

20、步骤s6:智能体的路由计算模块使用最短路径算法计算每对qkd节点之间的通信转发路径；

21、步骤s6：所述智能体为通信请求信息r规划信息加密转发路径；

22、步骤s7：所述智能体为通信请求r分配qkp中的密钥资源。

23、优选地，还包括以下步骤：

24、步骤s8：若资源分配成功，

25、则所述智能体根据根据各qkp中剩余密钥量计算奖励值r；

26、环境模块更新qkp中的密钥资源，并进入下一状态为s′，将四元组(s,a,r,s′)保存至经验回放池；

27、若资源分配不成功，

28、则网络停止运行，给予智能体负反馈，将四元组(s,a,r,s′)保存至经验回放池。

29、优选地，还包括以下步骤：

30、步骤s9：从经验回放池中随机抽取一批样本数据，智能体根据样本数据更新神经网络并优化路由策略。

31、优选地，qkd网络中密钥池初始密钥量设置为500个密钥单位，最大密钥量设置为1000个密钥单位。

32、优选地，在每个时间步t，预设的保密通信请求合集r在节点对之间随机生成，其数量服从泊松分布；对于每个保密通信请求r，其密钥资源需求数量服从均匀分布，范围为[1,10]。

33、一种存储装置，该存储装置中存储有多条指令，所述指令适用于由处理器加载并执行如上所述的一种sdn架构ddpg算法的qkd网络路由方法的步骤操作。

34、一种智能终端，包括用于执行各指令的处理器和用于存储多条指令的存储装置，所述指令适用于由所述处理器加载并执行如上所述的一种sdn架构ddpg算法的qkd网络路由方法的步骤操作。

35、本发明有益的技术效果：本发明根据保密通信请求强度与链路密钥资源状态对qkd网络链路权重进行调整，从而实现自适应的网络路由优化。相比dijkstra算法，ddpg路由方法下qkd网络运行时间平均可提升60％以上；qkd网络的密钥资源利用率的提升率可达65％以上。