联邦学习的训练用的方法、计算机设备以及可读介质与流程

本公开总体涉及用于提供自动驾驶车辆的应用(application)中的神经网络的训练的系统和方法。具体而言，本公开涉及维持安全和用户隐私，并且将联邦学习的训练提供给神经网络。

背景技术：

1、神经网络有时会被集成到部署于许多分布式边缘设备(例如安装于医院或便携式电话的处理器或计算机设备)的应用。对这样的神经网络进行训练的一个方法是确保用户的隐私并且使用大量的数据来对机器学习(ml：machine learning)模型进行训练的联邦学习(fl：federated learning)。

2、为了该目的，fl技术由本地训练阶段(local training phase)和全球汇集阶段(global aggregation phase)构成。在本地训练阶段中，各边缘设备使用由应用感测并且使用的数据来对各边缘设备的神经网络的副本进行训练。通过在边缘设备上进行训练，本地数据不会被暴露或发送至外部(例如远程协调器或服务器)，由此，会确保边缘设备用户的数据的隐私。反之，仅将对在边缘设备上进行了训练的神经网络的本地的更新发送至协调器，协调器汇集更新来生成新的全球模型。之后，可以为了应用中的使用而将全球模型提供给其他边缘设备。

3、极其重要的是，被集成到自动驾驶车辆中的计算机视觉(cl：computer vision)或其他机器学习(ml)应用(例如自动驾驶控制)这样的安全关键(safety critical)的应用的机器学习(ml)模型用大量的数据进行训练，以确保推定的精度和在真实世界环境中使用的安全性。fl可以被应用于这些模型，但不存在用于车辆上下文(context)中的训练的可靠的教师信号(例如人的注释(annotation))。其结果是，在车辆中的本地数据上进行了训练时，推定的精度有时会降低。

技术实现思路

1、通过一个或多个示例性的实施方式，提供用于将驾驶信息提供给非驾驶员用户的系统和方法。

2、根据本公开的方案，由被编程的一个或多个处理器执行的方法包括：从一个或多个服务器计算机经由通信网络接收第一模型；收集由第一车辆上的传感器获取到的传感器数据；在判定为第一数据项目满足基准时，从收集到的传感器数据之中确定第一数据项目；使用确定出的第一数据项目作为向第一模型的输入来使第一模型工作，由此检测确定出的第一数据项目中所包括的物体；建立与位于距第一车辆规定距离以下的第二车辆上的计算机的通信；从第二车辆上的计算机接收被表示为包括物体的第二数据项目；生成训练数据集来作为教师信号，其中，该训练数据集包括第一数据项目、第二数据项目以及物体的标签；在训练数据集上进行对第一模型的训练；以及将表示进行了训练的第一模型的第一数据经由通信网络发送至一个或多个服务器计算机。

3、根据本公开的方案，计算机设备包括：存储器，存储命令；以及处理器，处理器被配置为执行用于以下处理的命令：从一个或多个服务器计算机经由通信网络接收第一模型；收集由第一车辆上的传感器获取到的传感器数据；在判定为第一数据项目满足基准时，从收集到的传感器数据之中确定第一数据项目；使用确定出的第一数据项目作为向第一模型的输入来使第一模型工作，由此检测确定出的第一数据项目中所包括的物体；建立与位于距第一车辆规定距离以下的第二车辆上的计算机的通信；从第二车辆上的计算机接收被表示为包括物体的第二数据项目；生成训练数据集来作为教师信号，其中，该训练数据集包括第一数据项目、第二数据项目以及物体的标签；在训练数据集上进行对第一模型的训练；以及将表示进行了训练的第一模型的第一数据经由通信网络发送至一个或多个服务器计算机。

4、根据本公开的方案，非暂时性计算机可读介质存储命令，命令包括在由装置的一个或多个处理器执行时使一个或多个处理器执行以下处理的一个或多个命令：从一个或多个服务器计算机经由通信网络接收第一模型；收集由第一车辆上的传感器获取到的传感器数据；在判定为第一数据项目满足基准时，从收集到的传感器数据之中确定第一数据项目；使用确定出的第一数据项目作为向第一模型的输入来使第一模型工作，由此检测确定出的第一数据项目中所包括的物体；建立与位于距第一车辆规定距离以下的第二车辆上的计算机的通信；从第二车辆上的计算机接收被表示为包括物体的第二数据项目；生成训练数据集来作为教师信号，其中，该训练数据集包括第一数据项目、第二数据项目以及物体的标签；在训练数据集上进行对第一模型的训练；以及将表示进行了训练的第一模型的第一数据经由通信网络发送至一个或多个服务器计算机。

5、追加的方案在以下的记载中部分地进行说明，根据以下的记载而显而易见，或可以从本公开所呈现的实施方式的实践中学习。

技术特征：

1.一种联邦学习的训练用的方法，是由被编程的一个或多个处理器执行的方法，包括：

2.根据权利要求1所述的联邦学习的训练用的方法，还包括：

3.根据权利要求1或2所述的联邦学习的训练用的方法，其中，

4.根据权利要求1至3中任一项所述的联邦学习的训练用的方法，还包括：

5.根据权利要求3所述的联邦学习的训练用的方法，还包括：

6.根据权利要求1至5中任一项所述的联邦学习的训练用的方法，其中，

7.根据权利要求1至6中任一项所述的联邦学习的训练用的方法，其中，

8.一种计算机设备，具备：

9.根据权利要求8所述的计算机设备，其中，

10.根据权利要求8或9所述的计算机设备，其中，

11.根据权利要求8至10中任一项所述的计算机设备，其中，

12.根据权利要求10所述的计算机设备，其中，

13.根据权利要求8至12中任一项所述的计算机设备，其中，

14.根据权利要求8至13中任一项所述的计算机设备，其中，

15.一种非暂时性计算机可读介质，是存储命令的非暂时性计算机可读介质，其中，

16.根据权利要求15所述的非暂时性计算机可读介质，其中，

17.根据权利要求15或16所述的非暂时性计算机可读介质，其中，

18.根据权利要求15至17中任一项所述的非暂时性计算机可读介质，其中，

19.根据权利要求18所述的非暂时性计算机可读介质，其中，

20.根据权利要求15至19中任一项所述的非暂时性计算机可读介质，其中，

技术总结本公开涉及联邦学习的训练用的方法、计算机设备以及可读介质。方法包括：接收第一模型；以及收集由第一车辆上的传感器获取到的传感器数据。此外，方法包括在判定为第一数据项目满足基准时，从收集到的传感器数据之中确定第一数据项目。方法还包括：使用确定出的第一数据项目作为向第一模型的输入来使第一模型工作，由此检测确定出的第一数据项目中所包括的物体；以及建立与位于距第一车辆规定距离以下的第二车辆上的计算机的通信。此外，方法包括：从第二车辆上的计算机接收被表示为包括物体的第二数据项目；以及生成训练数据集。方法还包括：在训练数据集上进行对第一模型的训练；以及发送表示进行了训练的第一模型的第一数据。技术研发人员：川名雄树,谷内出悠介,田川贵章,山口晃一郎,桥本大辅,青野博之,高桥亮受保护的技术使用者：织望丰田股份有限公司技术研发日：技术公布日：2024/7/29