基于联邦学习的家庭路由器数据流识别方法和识别架构与流程

技术特征：
1.一种基于联邦学习的家庭路由器数据流识别方法，其特征在于，包括：步骤1：在家庭路由器管理平台中对应用流量进行域名提取，生成域名配置文件；步骤2：在家庭路由器中，依据域名配置文件进行流量标记，生成初始数据集；步骤3：在深度学习管理平台的调度下，家庭路由基于初始模型利用初始数据集进行联邦训练，生成家庭路由器深度学习模型；步骤4：家庭路由器管理平台根据应用类型制定流转发策略表并进行下发，家庭路由器使用基于联邦训练的家庭路由器深度学习模型对采集的流量进行应用分类，并根据流转发策略表和ip进行不同优先级的路由转发。2.根据权利要求1所述的基于联邦学习的家庭路由器数据流识别方法，其特征在于，所述步骤1具体包括：在基于linux的安卓模拟器内搭建域名提取环境、安装并启动应用，对该应用执行具有应用特点的操作，产生包含应用标识域名的流量，监听安卓模拟器的虚拟网卡并采集域名流量，其中，所述具有应用特点的操作指用户在使用该应用时会进行的操作，采集的域名流量包含向服务器询问域名解析的请求包，以及域名服务器返回的包含通过域名解析得出的ip的回复包，用域名服务器返回的包含通过域名解析得出的ip的回复包中的合法ip的第一条rrname标识作为域名，同时将该回复包中所有合法ip作为该域名对应的解析ip数组，将包含解析ip数组的域名写入同一个文件作为该应用的域名配置文件。3.根据权利要求2所述的基于联邦学习的家庭路由器数据流识别方法，其特征在于，通过编写基于monkeyrunner的自动化脚本，自动在基于linux的安卓模拟器内安装并启动需要进行域名提取的应用。4.根据权利要求2所述的基于联邦学习的家庭路由器数据流识别方法，其特征在于，通过编写流量采集代码监听安卓模拟器虚拟机的虚拟网卡来采集域名流量。5.根据权利要求1所述的基于联邦学习的家庭路由器数据流识别方法，其特征在于，步骤2具体包括：家庭路由器从家庭路由器管理平台获取域名配置文件，在采集前，修改路由器驱动，在其代码内嵌入钩子函数；在采集时，利用驱动中的钩子函数把网卡驱动收到的数据拷贝到环状缓冲区，再从环状缓冲区中获取以用户数据报协议为载体的udp数据和以传输控制协议为载体的tcp数据；逐一分析udp数据中的dns回复包，检查是否包含与域名配置文件一致的域名，若有，则将该dns回复包中的所有合法ip生成该域名的域名解析ip列表，并记录应用名称；若没有，则继续分析采集到的下一个dns回复包，直至将获取的所有dns回复包分析完毕；解析udp数据和tcp数据，检查采集到的udp和tcp数据包中ip层的来源ip、目的ip是否在上述域名解析ip列表中，若在，则将该源目ip的所有流量包提取出来进行形成上行/下行的双向数据流，对这些数据流进行流特征提取并打上对应的应用标签，形成初始数据集；若不在，则继续检查下一收到的数据。6.根据权利要求5所述的基于联邦学习的家庭路由器数据流识别方法，其特征在于，所述的数据的流特征提取方法为：对tcp数据和udp数据提取流特征，首先使用五元组来标识数据包，提取形成上行/下行的数据流，然后对上行/下行的数据流分别计算特征：
(1)五元组作为流的标记，保存在hash表中，同时保存有流的第一个数据包的时间戳、最后一个数据包的时间戳；如果一个流的持续时间超过120秒，则把流截断、输出一次特征并且把hash表中的信息清除，后续的数据包作为新的流计算特征；(2)tcp数据包的fin标识作为流的结束标识，fin标识出现后立刻输出该流的ai特征并且把hash表中的信息清除；(3)指标计算中，把符合tcp syn包的src ip
–
>dst ip方向的数据包称为“正向”，反之称为“反向”；没有tcp syn包的流，取第一个数据包的src ip
–
>dst ip方向称为“正向”，反之称为“反向”；(4)每个流输出20个特征，且输出特征时根据ai芯片的输入要求转换成8位。7.根据权利要求1所述的基于联邦学习的家庭路由器数据流识别方法，其特征在于，所述步骤3中采用联邦聚合算法，每次全局聚合只挑选部分节点参与，具体步骤包括：
①
收集各节点用于训练的数据量和训练损失，并形成损失数组l＝[l0,l1,l2……
l
n
]和数据量数组d＝[d0,d1,d2……
d
n
]，所述损失数组和数据量数组分别存放第0个节点到第n个节点最终的训练损失和用于训练的数据量；
②
对训练损失和数据量统一量纲处理，都统一成值越大对结果影响越积极，方便后续计算，利用公式(1)对训练损失进行处理，利用公式(2)对数据量进行处理：理，利用公式(2)对数据量进行处理：
③
根据步骤
②
得到每个节点的损失值和数据量，形成新的损失数组l
′
＝[l
′0,l
′1,l
′2……
l
′
n
],和新的数据量数组d
′
＝[d
′0,d
′1,d
′2……
d
′
n
]，利用公式(3)计算评价值t：t
i
＝l
′
i
*d
′
i ,i＝1,2,
…
,n
ꢀꢀ
(3)
④
将每个节点的评价值从小到大进行排序，得到前m个模型的节点id参与模型的聚合；
⑤
利用fed-avg算法对选出的m个模型进行聚合；
⑥
当全局损失值比上一轮变化小于设定阈值时，停止模型训练。8.一种基于联邦学习的家庭路由器数据流识别架构，其特征在于，基于权利要求1-7任一所述的基于联邦学习的家庭路由器数据流识别方法，所述识别架构包括：智能家居基础设施层，包括若干家庭智能设备；家庭路由器节点层，在训练阶段，家庭路由器利用家庭路由器管理平台下发的域名配置文件，实时采集流量数据，形成初始数据集，并基于初始数据集在深度学习管理平台的调度下训练联邦模型；在识别阶段，家庭路由器首先通过家庭路由器管理平台获得流转发策略表，所述策略表中记录着不同应用的优先等级，再根据联邦模型的流分类结果匹配流转发策略表，将优先级高的应用的流量包优先转发至其数据包的目的ip，优先级低的应用的流量进行排队等待；云平台层，包括家庭路由器管理平台和深度学习管理平台，其中，家庭路由器管理平台用于生成并向家庭路由器节点层下发域名配置文件和流量转发策略表；深度学习管理平台用于管理各家庭路由器的联邦模型的下发及训练调度，并实时调整联邦模型。

技术总结
本发明提供了一种基于联邦学习的家庭路由器数据流识别方法的识别架构，识别架构包括智能家庭基础设施层、家庭路由器节点层和云平台层。在训练阶段，家庭路由器利用路由器管理平台下发的域名配置文件，实时采集流量数据，形成初始数据集，利用初始模型、基于初始数据集在深度学习管理平台的调度下实现联邦学习模型训练。在识别阶段，家庭路由器流转发策略表，根据深度学习模型的流分类结果，依据IP进行不同优先级的路由转发。通过本发明的识别方法可以有效解决联邦学习应用于流量识别领域时，无法在线自动标记数据形成数据集的问题，同时通过节点选择降低了参与全局训练的节点数量，大大减少计算量和通信资源消耗。大大减少计算量和通信资源消耗。大大减少计算量和通信资源消耗。


技术研发人员：付改兰 王梓炫
受保护的技术使用者：南京邮数通信息科技有限公司
技术研发日：2022.07.08
技术公布日：2022/11/22