一种基于主动学习和半监督学习的车联网联邦学习方法

本发明属于车联网联邦学习领域，尤其涉及一种基于主动学习和半监督学习的车联网联邦学习方法。

背景技术：

1、车联网(internet of vehicles，iov)与机器学习(machine learning，ml)的融合正在彻底改变汽车行业。车联网指的是车辆、基础设施和互联网的互联，实现信息交换，为驾驶员和乘客提供广泛的服务。联网自动驾驶汽车(connected and automated vehicle，cav)作为车联网的一个组成部分，结合了车对车(vehicle-to-vehicle，v2v)和车对基础设施(vehicle-to-infrastructure，v2i)的通信能力，利用摄像头、传感器和其他数据源来识别和定位车内的各种物体或车辆环境中的实体。联网自动驾驶汽车的应用旨在提高车辆的整体安全性、效率和自主性。通过实时准确地检测和识别物体，联网自动驾驶汽车可以做出明智的决策，并采取适当的行动来防止碰撞，绕过障碍物，并改善整体驾驶体验。

2、当利用车辆执行感知任务时，rgb图像是自动驾驶汽车最关键的数据模式之一。然而，从用户的角度来看，由于集中式机器学习的侵入式设计，隐私问题对于基于图像的系统至关重要。联邦学习解决了基于图像的系统固有的隐私问题，因为只有模型参数或梯度信息被传输，而敏感数据仍然存储在自动驾驶汽车本地。此外，基于模型的联邦学习避免了图像和视频数据源过度消耗通信资源的问题，从而导致更有效的通信学习框架。然而，在车联网中部署以自动驾驶汽车为主要实体的联邦学习带来了多方面的挑战。这些挑战包括联邦学习模型的准确性较低，缺乏有效的选择和聚合方法，缺乏真实世界的模拟器、在线训练策略和预训练的基础模型等。

3、为了应对这些挑战，人们致力于机器学习架构。首先，半监督学习通过利用标记和未标记数据来提高检测精度，这在标记数据稀缺或难以获得的情况下特别有价值。一些研究集中在将半监督学习与联邦学习相结合，实现半监督学习的在线训练或得到预训练模型。然而，这些工作大多基于简单的数据集和任务，对目标检测的研究有限，也没有描述车联网实际场景中的部署过程。其次，通过改变聚合方法和客户端选择来提高联邦学习的效率和模型性能。例如利用客户参与度和用户数据的kl散度(kullback-leiblerdivergence)作为参考来提高联邦学习性能。此外，一些研究还优先考虑了那些容易被低估或忽视的客户，从而减轻了联邦学习模型中的偏差，提高了模型性能。然而，考虑到车联网背景下自动驾驶车辆用户对目标检测的需求，这些工作依然缺乏细化。

4、因此，面向大型车联网场景能够处理大量真实数据以及复杂任务的新型联邦学习架构成为问题的关键。

5、联邦学习已被广泛应用于与目标识别相关的任务中，例如，研究表明，在城市环境中的恶劣天气条件下，联邦学习框架可以比集中式学习(centralized learning)和流言去中心化方法(gossip-decentralized methods)实现更高的检测精度。这项工作证明了协作训练的有效性，但忽略了异构数据分布带来的挑战。此外，现有的研究强调了通过多级资源分配和明智的车辆选择等策略显著提高联邦学习性能的潜力。现有的一种技术方案利用激光雷达技术在自动驾驶汽车上部署了一种用于目标分类的分散联邦学习方法，同时通过v2v通信促进联邦协作。研究结果强调了联邦学习比自学技术更加有效。总之，联邦学习技术在隐私、协作学习和精简带宽网络方面具有一定优势。

6、主动学习已经获得了巨大的吸引力，特别是与联邦学习结合在一起，这体现在两个主要概念上：在客户端应用主动学习来解决联邦学习中的数据挑战，或者在模型选择或聚合中使用主动学习。

7、现有的一种技术方案中采用主动学习进行客户端数据选择，并展示了将主动学习与联邦学习相结合用于训练目标检测模型的可行性。现有的一种技术方案引入了一种考虑模型不确定性的联邦学习方法，在每一轮训练中根据不确定性值主动选择客户。现有的一种技术方案将主动学习和抽样策略集成到联邦学习框架中，提出了一种基于客户端协作的主动学习方法用于获取最大化改进联邦学习的全局模型实例。此外，现有的一种技术方案将主动学习纳入传统联邦学习，利用高斯过程建模客户端损失相关性，提出了新的客户端选择策略，提高了联邦学习的收敛速度。然而，大多数现有方法都是基于单一评估视角的数据特征筛选模型，并且与目标检测任务的集成仍然有限。关于模型适应和训练的讨论缺乏全面的论证和实验。

8、在半监督学习领域，最近的工作已经将其应用扩展到对象检测，主要使用师生架构。现有的技术方案介绍了这种框架在目标检测中的应用。然而，在这项工作中使用静态标记策略限制了其性能。随后的研究通过指数滑动平均(exponential sliding average，ema)、焦点损失和主动学习等方法解决了这些局限性，有效地提高了性能。这些方法中的大多数都使用了集中式架构。此外，一些工作集中在使用师生架构将半监督学习与联邦学习相结合。然而，目前这些作品大多使用简单的任务(如图像分类)作为示例，不能作为自动驾驶汽车应用的典型示例。

技术实现思路

1、针对现有技术中的上述不足，本发明提供的一种基于主动学习和半监督学习的车联网联邦学习方法解决了传统联邦学习应用于车联网时有效性太低的问题。

2、为了达到上述发明目的，本发明采用的技术方案为：一种基于主动学习和半监督学习的车联网联邦学习方法，包括以下步骤：

3、s1、设置通信轮次，在云服务器端存储标记过的历史车辆行驶图像数据，即为标记数据，并基于标记数据训练全局模型，更新全局模型参数；

4、s2、通过若干个路侧单元，将全局模型参数分发至各路侧单元信号覆盖范围内的自动驾驶汽车；

5、s3、基于自动驾驶汽车行驶过程中的图像数据，得到未标记数据，根据全局模型参数和未标记数据更新车侧模型的参数；

6、s4、通过路侧单元将各自动驾驶汽车的车侧模型的参数发送至云服务器端；

7、s5、随机确定聚合客户端集合，并在云服务器端对聚合客户端集合中各自动驾驶汽车车侧模型的参数进行聚合，得到全局模型参数，将全局模型复制到云服务器端的教师学生网络，并返回步骤s2，直至达到通信轮次。

8、本发明的有益效果为：本发明提出了结合了一个专为利用未标记数据的半监督在线学习而设计的师生架构，基于数据丰富性、多样性和模型损失标准选择性地过滤模型，最终提出了一个先进的主动聚合框架，旨在从用户数据的角度实现更有效的聚合，从而提高联邦学习的泛化和性能，将所提出的新型联邦学习方法应用于车联网，提高了传统联邦学习应用于车联网时的效率。

9、进一步地，所述步骤s1中在云服务器端存储标记数据，并基于标记数据更新全局模型参数，具体为：

10、a101、在云服务器端以faster r-cnn网络为基线检测网络构建云服务器端的教师学生网络，云服务器端的教师网络即为全局模型；

11、a102、在云服务器端存储标记数据：

12、dl＝{xl,yl}

13、其中，dl为标记数据；xl为数据集；yl为路侧单元收集的标签集；

14、a103、从数据集中获取当前样本，用于训练云服务器端的教师学生网络，更新教师学生网络的参数，得到教师网络参数，即为全局模型参数，重复步骤a102，直至数据集中样本均完成训练。

15、上述进一步方案的有益效果为：在服务器端正确初始化学生和教师模型是训练中的关键步骤，因为后续阶段依赖于教师模型来生成伪标签以训练学生模型；分离监督学习和无监督学习以及增量更新，可以防止训练车辆通过梯度变化对数据进行逆向工程(reverse-engineer)，从而增强安全性。

16、进一步地，所述步骤s3具体为：

17、s301、在自动驾驶汽车以faster r-cnn网络为基线检测网络构建自动驾驶汽车的教师学生网络，即为车侧模型；

18、s302、收集自动驾驶汽车行驶过程中的图像数据，达到自动驾驶汽车缓存容量后，得到未标记数据，并清空缓存；

19、s303、基于全局模型参数更新车侧模型的教师网络；

20、s304、对未标记数据分别进行两种强弱程度的数据增强，得到弱增强训练数据和强增强训练数据；

21、s305、将弱增强训练数据输入车侧模型的教师网络，得到数据的伪标签：

22、

23、其中，为数据的伪标签；f()为伪标签计算函数；γ()为数据弱增强；xu,m为第m辆自动驾驶汽车的未标记数据；θt,m为第m辆自动驾驶汽车的教师网络参数；

24、s306、将强增强数据输入车侧模型的学生网络，得到数据的预测标签；

25、s307、根据数据的伪标签和数据的预测标签，计算车侧模型的损失函数：

26、

27、

28、其中，lunsup为车侧模型的损失函数；nu为未标记数据中的样本数量；i为未标记数据中的样本编号；lcls()为分类损失函数；为第i个未标记数据样本；为第i个未标记数据样本的伪标签；为区域提议网络的分类损失；为兴趣提议头目的分类损失；

29、s308、根据车侧模型的损失函数，分别更新教师网络参数和学生网络参数：

30、

31、

32、其中，为更新后的学生网络参数；为当前学生网络参数；η为学习率；为当前学生网络参数下；为更新后的教师网络参数；α为师生模型聚合的超参数；为当前教师网络的参数。

33、上述进一步方案的有益效果为：增强学生模型的鲁棒性并平滑预测结果，以达到提高学习效率的效果。

34、进一步地，所述步骤s4具体为各自动驾驶汽车将车侧模型中的学生网络参数发送至通信范围内的路侧单元，并由各路侧单元将所有车侧模型中学生网络参数发送至云服务器端。

35、上述进一步方案的有益效果为：实现联邦学习的模型聚合，聚合得到一个鲁棒且泛化性良好的全局模型，只传输学生模型可以有效实现更新并减少联邦师生架构的通信负担。

36、进一步地，所述s5具体为：

37、s501、根据云服务器端的计算负载确定聚合客户端集合容量，并基于聚合客户端容量随机获取参与聚合的自动驾驶汽车，得到聚合客户端集合；

38、s502、通过路侧单元获取聚合客户端集合中各自动驾驶汽车的车侧模型的评价向量：

39、

40、

41、

42、

43、其中，为聚合客户端集合中第m'辆自动驾驶汽车的车侧模型的评价向量；m'为聚合客户端集合中的自动驾驶汽车编号；为聚合客户端集合中第m'辆自动驾驶汽车的车侧模型的信息评估；nu为未标记数据中的样本数量；i为未标记数据中的样本编号；j为教师网络预测的第i样本的边界框编号；为教师网络预测的第i样本的边界框总数；confidence()为教师网络预测的边界框的最高置信度得分；θt,m'为聚合客户端集合中第m'辆自动驾驶汽车的车侧模型的教师网络参数；bj为第i样本的锚定框；为聚合客户端集合中第m'辆自动驾驶汽车的车侧模型的多样性评估；cj为教师网络预测的第i样本的第j个边界框的预测类别；为绝对值；为聚合客户端集合中第m'辆自动驾驶汽车的车侧模型的损失评估；e为自然常数；为损失函数；xu,m'为聚合客户端集合中第m'辆自动驾驶汽车的未标记数据；θs,m'为聚合客户端集合中第m'辆自动驾驶汽车的车侧模型的学生网络参数；为数据的伪标签；

44、s503、根据聚合客户端集合中各自动驾驶汽车的车侧模型的评价向量，得到聚合客户端集合中各自动驾驶汽车的主动聚合参数：

45、

46、

47、其中，为聚合客户端集合中第m'辆自动驾驶汽车的主动聚合参数；a为信息评估权重；为归一化后的数据；b为多样性评估权重；为归一化后的数据；c为损失评估权重；为归一化后的数据；为归一化后的数据；q为参数指代标识；info为信息评估标识；dive为多样性评估标识；loss为损失评估标识；为归一化前的数据；为归一化前的数据最大值；

48、s504、基于聚合客户端集合中各自动驾驶汽车车侧模型的学生网络参数和主动聚合参数，得到全局模型；所述全局模型参数的表达式为：

49、

50、其中，θg为全局模型参数；m为聚合客户端集合容量；

51、s505、将全局模型复制到云服务器端的教师学生网络，并返回步骤s2，直至达到通信轮次。

52、上述进一步方案的有益效果为：通过主动聚合方法实现了全局模型的高效聚合，使得效果较好的客户端模型获得较大权重。

53、进一步地，所述步骤s504中全局模型的目标函数为：

54、

55、

56、其中，为使全局模型的目标函数l(θg)最小的全局模型参数值θ；l(θg)为全局模型的目标函数；pm'为聚合的比例；lm'(θ)为聚合客户端集合中第m'辆自动驾驶汽车的损失函数；m'为聚合客户端集合中的自动驾驶汽车编号；st为聚合客户端集合；为期望值计算；lm(θg；x)为聚合客户端集合中第m'辆自动驾驶汽车的损失函数；θg为全局模型参数；x为聚合客户端集合中第m'辆自动驾驶汽车未标记的原始数据。

57、上述进一步方案的有益效果为：通过全局损失函数的确立实现优化目标的确定，与模型聚合方案统一。

58、进一步地，所述步骤s504中全局模型的损失函数的表达式为：

59、l＝lsup+λlunsup

60、

61、其中，l为全局模型的损失函数；lsup为在云服务器端计算的监督学习损失；lunsup为车侧模型的损失函数；λ为无监督学习损失权重；nl为标记数据的数据量大小；i'为标记数据的次序；lcls()为分类损失函数；为第i'个标记数据；为第i'个标记数据的置信度标签；lreg()为边界框回归网络层损失；为第i'个标记数据的偏移量标签。

62、上述进一步方案的有益效果为：确保客户端本地进行有效训练。