用于训练学生神经网络的学习设备和测试设备的制作方法

本公开涉及一种使用多个教师神经网络基于知识提取来训练学生神经网络的学习设备、其学习方法、使用该学习设备的测试设备以及使用该测试设备的测试方法。

背景技术：

1、最近，随着基于深度神经网络的计算机视觉技术在自动驾驶领域的发展，研究了各种人工智能模型，诸如对象检测、语义分割、深度估计和车道检测。

2、例如，使用自动驾驶车辆的摄像头，语义分割被不同地用于识别车辆的周围情况和空间、线路、自由空间等。

3、此外，最近，基于深度神经网络的计算机视觉技术构建了包括高质量标签的大型数据集，并且借助于使用大型数据集的监督学习实现了性能的显著提高。

4、然而，由于构建具有高质量标签的大型训练数据集需要大量成本、时间和人力，因此构建训练数据集阶段可在工作流程中产生瓶颈，甚至在人工智能模型可被认真训练之前。

5、提出半监督学习作为解决上述问题的方案。半监督学习是指使用标记和未标记数据的学习方案。

6、在这类半监督学习中，伪标记方案可与未标记的数据一起使用。可通过使用大量训练数据预训练的神经网络来生成伪标签。

7、然而，因为由于神经网络的性质而难以在所有方面实现完美的性能(例如，完美的准确度等)，并且神经网络易受特定特征的影响(例如，因为神经网络易受局部区域和宽感受野的影响)，所以当使用由神经网络(例如，教师神经网络)生成的伪标签来训练新的神经网络(例如，学生神经网络)时，学生神经网络可具有与教师神经网络相同或类似的脆弱性。

技术实现思路

1、本公开可解决上述问题，同时保持所获得的任何优势不变。

2、本公开的一个方面提供了一种使用多个教师神经网络基于知识提取来训练学生神经网络的学习设备、其学习方法、使用该学习设备的测试设备以及使用该学习设备的测试方法。

3、本公开的另一方面提供了一种用于将多个教师神经网络中的每一个的优势传递给学生神经网络的学习设备、其学习方法、使用该学习设备的测试设备以及使用该学习设备的测试方法。

4、本公开的另一方面提供了一种用于降低构建训练数据集所消耗成本的学习设备、其学习方法、使用该学习设备的测试设备以及使用该学习设备的测试方法。

5、本公开的另一方面提供了一种基于多个学生神经网络之间的知识提取来提高学生神经网络性能的学习设备、其学习方法、使用该学习设备的测试设备以及使用该学习设备的测试方法。

6、本公开要解决的技术问题不限于上述问题，本公开所属领域的技术人员将从以下示出中清楚地理解本文未提及的任何其他技术问题。

7、根据本公开的一个或多个示例实施例，一种学习设备可包括：一个或多个处理器；以及存储器。存储器可存储指令，这些指令在由一个或多个处理器执行时，使得学习设备：将第一学生神经网络的神经网络操作应用于训练图像，以生成对应于特定任务的第一预测信息；将第二学生神经网络的神经网络操作应用于训练图像，以生成对应于特定任务的第二预测信息；基于第一预测信息和训练图像，将错误标识网络的错误标识操作应用于第一整合图像，以生成用于预测第一预测信息的准确度的第一错误标识预测信息；基于第二预测信息和训练图像，将错误标识网络的错误标识操作应用于第二整合图像，以生成用于预测第二预测信息的准确度的第二错误标识预测信息；将与第一学生神经网络相关联的第一教师神经网络的神经网络操作应用于训练图像，以生成对应于特定任务的第一伪标签信息；将与第二学生神经网络相关联的第二教师神经网络的神经网络操作应用于训练图像，以生成对应于特定任务的第二伪标签信息；使用参数更新设备，基于第一预测信息、第二预测信息、第一错误标识预测信息、第二错误标识预测信息、第一伪标签信息或第二伪标签信息中的至少一个，反向传播损失；以及使用参数更新设备并基于损失而更新第一学生神经网络和第二学生神经网络的参数。

8、损失可包括第一损失、第二损失和第三损失。指令在由一个或多个处理器实行时，可另外促使学习设备：基于第一预测信息、第一错误标识预测信息和第一伪标签信息而生成第一损失；基于第二预测信息、第二错误标识预测信息和第二伪标签信息而生成第二损失；以及基于第一预测信息和第二预测信息而生成第三损失。

9、指令在由一个或多个处理器实行时，还使得使学习设备执行以下操作中的至少一项：使用错误标识网络并基于第一预测信息准确的确定，通过确定对应于第一标识值的第一特定范围内的第一特定值来生成第一错误标识信息，或者使用错误标识网络并基于第一预测信息不准确的确定，通过确定对应于小于第一标识值的第二标识值的第二特定范围内的第二特定值来生成第一错误标识预测信息。指令在由一个或多个处理器实行时，可另外促使学习设备执行以下各项中的至少一项：使用错误标识网络并基于第二预测信息准确的确定，通过确定第一特定范围内的第三特定值来生成第二错误标识预测信息，或者使用错误标识网络并基于第二预测信息不准确的确定，通过确定第二特定范围内的第四特定值来生成第二错误标识预测信息。

10、指令在由一个或多个处理器实行时，还使得学习设备：利用对第一预测信息和训练图像的级联操作来生成第一整合图像；以及利用对第二预测信息和训练图像的级联操作来生成第二整合图像。

11、特定任务可包括以下任务中的一个：分割任务、深度估计任务或图像恢复任务。

12、根据本公开的一个或多个示例实施例，测试设备可包括：一个或多个处理器；以及存储器。存储器存储指令，这些指令在由一个或多个处理器执行时，可使得学习设备：将第一学生神经网络的第一神经网络操作应用于训练图像，以生成对应于特定任务的第一预测信息，其中第一学生神经网络包含特定任务神经网络；将第二学生神经网络的神经网络操作应用于训练图像，以生成对应于特定任务的第二预测信息；基于第一预测信息和训练图像，将错误标识网络的错误标识操作应用于第一整合图像，以生成用于预测第一预测信息的准确度的第一错误标识预测信息；基于第二预测信息和训练图像，将错误标识网络的错误标识操作应用于第二整合图像，以生成用于预测第二预测信息的准确度的第二错误标识预测信息；将与第一学生神经网络相关联的第一教师神经网络的神经网络操作应用于训练图像，以生成对应于特定任务的第一伪标签信息；将与第二学生神经网络相关联的第二教师神经网络的神经网络操作应用于训练图像，以生成对应于特定任务的第二伪标签信息；使用参数更新设备，基于第一预测信息、第二预测信息、第一错误标识预测信息、第二错误标识预测信息、第一伪标签信息或第二伪标签信息中的至少一个，反向传播第一损失；使用参数更新设备并基于第一损失而更新第一学生神经网络和第二学生神经网络的参数；使用测试图像输入设备接收测试图像；以及将特定任务神经网络的特定神经网络操作应用于测试图像，以生成用于测试的预测信息，该预测信息对应于特定任务。

13、损失可包括第一损失、第二损失和第三损失。指令在由一个或多个处理器执行时，可使得学习设备：基于第一预测信息、第一错误标识预测信息和第一伪标签信息而生成第一损失；基于第二预测信息、第二错误标识预测信息和第二伪标签信息而生成第二损失；以及基于第一预测信息和第二预测信息而生成第三损失。

14、指令在由一个或多个处理器实行时，还可使得学习设备执行以下操作中的至少一项：使用错误标识网络并基于第一预测信息准确的确定，通过确定对应于第一标识值的第一特定范围内的第一特定值，生成第一错误标识信息，或者使用错误标识网络并基于第一预测信息不准确的确定，通过确定对应于小于第一标识值的第二标识值的第二特定范围内的第二特定值来生成第一错误标识预测信息。指令在由一个或多个处理器实行时，可另外促使学习设备执行以下各项中的至少一项：使用错误标识网络并基于第二预测信息准确的确定，通过确定第一特定范围内的第三特定值来生成第二错误标识预测信息，或者使用错误标识网络并基于第二预测信息不准确的确定，通过确定第二特定范围内的第四特定值来生成第二错误标识预测信息。

15、指令在由一个或多个处理器实行时，还可使得学习设备：利用对第一预测信息和训练图像的级联操作来生成第一整合图像；以及利用对第二预测信息和训练图像的级联操作来生成第二整合图像。

16、特定任务可包括以下任务中的一个：分割任务、深度估计任务或图像恢复任务。

17、根据本公开的一个或多个示例实施例，一种方法可包括：将第一学生神经网络的神经网络操作应用于第一训练图像，以生成对应于特定任务的第一预测信息；将第二学生神经网络的神经网络操作应用于第一训练图像，以生成对应于特定任务的第二预测信息；基于第一预测信息和训练图像，将错误标识网络的错误标识操作应用于第一整合图像，以生成用于预测第一预测信息的准确度的第一错误标识预测信息；基于第二预测信息和训练图像，将错误标识网络的错误标识操作应用于第二整合图像，以生成用于预测第二预测信息的准确度的第二错误标识预测信息；将与第一学生神经网络相关联的第一教师神经网络的神经网络操作应用于第一训练图像，以生成对应于特定任务的第一伪标签信息；将与第二学生神经网络相关联的第二教师神经网络的神经网络操作应用于第一训练图像，以生成对应于特定任务的第二伪标签信息；使用参数更新设备，基于第一预测信息、第二预测信息、第一错误标识预测信息、第二错误标识预测信息、第一伪标签信息或第二伪标签信息中的至少一个，反向传播损失；以及使用参数更新设备并基于损失而更新第一学生神经网络和第二学生神经网络的参数。

18、更新参数可包括：使用参数更新设备，通过以下方式反向传播损失：

19、基于第一预测信息、第一错误标识预测信息和第一伪标签信息而生成第一损失；

20、基于第二预测信息、第二错误标识预测信息和第二伪标签信息而生成第二损失；以及

21、基于第一预测信息和第二预测信息而生成第三损失。

22、该方法还可包括以下各项中的一项：使用错误标识网络并基于第一预测信息准确的确定，通过确定对应于第一标识值的第一特定范围内的第一特定值来生成第一错误标识信息，或者使用错误标识网络并基于第一预测信息不准确的确定，通过确定对应于小于第一标识值的第二标识值的第二特定范围内的第二特定值来生成第一错误标识预测信息。该方法可另外包括以下各项中的一项：使用错误标识网络并基于第二预测信息准确的确定，通过确定第一特定范围内的第三特定值来生成第二错误标识预测信息，或者使用错误标识网络并基于第二预测信息不准确的确定，通过确定第二特定范围内的第四特定值来生成第二错误标识预测信息。

23、第一学生神经网络或第二学生神经网络中的一个是特定学生神经网络。在生成第一预测信息和第二预测信息之前，该方法可另外包括：使用特定学生神经网络，将特定神经网络操作应用于包括对应于特定任务的特定标签信息的第二训练图像，以生成对应于特定任务的特定预测信息；使用参数更新设备，基于特定预测信息和特定标签信息而反向传播第二损失；以及使用参数更新设备并基于第二损失而更新特定学生神经网络的参数。

24、在更新特定学生神经网络的参数之后，该方法还可包括：使用错误标识网络并基于特定预测信息和第二训练图像而将错误标识操作应用于特定整合图像，以生成用于预测特定预测信息的准确度的特定错误标识预测信息；以及使用参数更新设备，基于特定错误标识预测信息和对应于特定错误标识预测信息的特定错误标识标签信息，反向传播第三损失；以及使用参数更新设备更新错误标识网络的参数。

25、根据本公开的一个方面，一种学习设备可包括：第一学生神经网络，其将1_1st神经网络操作应用于训练图像，以生成对应于特定任务的第一预测信息；第二学生神经网络，其将2_1st神经网络操作应用于训练图像，以生成对应于特定任务的第二预测信息；错误标识网络，其基于第一预测信息和训练图像而将错误标识操作应用于第一整合图像，以生成用于预测第一预测信息的准确度的第一错误标识预测信息，并且基于第二预测信息和训练图像而将错误标识操作应用于第二整合图像，以生成用于预测第二预测信息的准确度的第二错误标识预测信息，第一教师神经网络，其将1_2nd神经网络操作应用于训练图像以生成对应于特定任务的第一伪标签信息；第二教师神经网络，其将2_2nd神经网络操作应用于训练图像以生成对应于特定任务的第二伪标签信息；以及参数更新设备，其基于第一预测信息、第二预测信息、第一错误标识预测信息、第二错误标识预测信息、第一伪标签信息或第二伪标签信息中的至少一些反向传播第一损失，并且更新第一学生神经网络和第二学生神经网络的参数。

26、在一个实施例中，第一损失可包括1_1st损失、1_2nd损失和1_3rd损失。可基于第一预测信息、第一错误标识预测信息和第一伪标签信息而生成1_1st损失，可基于第二预测信息、第二错误标识预测信息和第二伪标签信息而生成1_2nd损失，并且可基于第一预测信息和第二预测信息而生成1_3rd损失。

27、在一个实施例中，当第一预测信息被确定为准确时，错误标识网络可生成对应于第一标识值的第一特定范围内的第一特定值作为第一错误标识预测信息；当第一预测信息被确定为不准确时，可生成对应于小于第一标识值的第二标识值的第二特定范围内的第二特定值作为第一错误标识预测信息；当第二预测信息被确定为准确时，可生成第一特定范围内的第三特定值作为第二错误标识预测信息；以及当第二预测信息被确定为不准确时，可生成第二特定范围内的第四特定值作为第二错误标识预测信息。

28、在一个实施例中，当将级联操作应用于第一预测信息和训练图像时，可生成第一整合图像，以及当将级联操作应用于第二预测信息和训练图像时，可生成第二整合图像。

29、在一个实施例中，特定任务可为分割任务、深度估计任务或图像恢复任务中的任何一个。

30、根据本公开的另一方面，测试设备可包括接收测试图像的测试图像输入设备和特定任务神经网络，该特定任务神经网络将特定神经网络操作应用于测试图像，以生成用于测试的预测信息，该预测信息对应于特定任务。

31、根据本公开的另一方面，一种学习方法可包括：由第一学生神经网络将1_1st神经网络操作应用于第一训练图像，以生成对应于特定任务的第一预测信息，由第二学生神经网络将2_1st神经网络操作应用于第一训练图像，以生成对应于特定任务的第二预测信息，由错误标识网络基于第一预测信息和第一训练图像而将错误标识操作应用于第一整合图像，以生成用于预测第一预测信息的准确度的第一错误标识预测信息，以及由错误标识网络基于第二预测信息和第一训练图像而将错误标识操作应用于第二整合图像，以生成用于预测第二预测信息的准确度的第二错误标识预测信息，由第一教师神经网络将1_2nd神经网络操作应用于第一训练图像，以生成对应于特定任务的第一伪标签信息，由第二教师神经网络将2_2nd神经网络操作应用于第一训练图像，以生成对应于特定任务的第二伪标签信息，以及由参数更新设备基于第一预测信息、第二预测信息、第一错误标识预测信息、第二错误标识预测信息、第一伪标签信息或第二伪标签信息中的至少一些而反向传播第一损失，以及由参数更新设备更新第一学生神经网络和第二学生神经网络的参数。

32、在一个实施例中，参数的更新可包括由参数更新设备反向传播基于第一预测信息、第一错误标识预测信息和第一伪标签信息而生成的1_1st损失，以及基于第二预测信息、第二错误标识预测信息和第二伪标签信息而生成的1_2nd损失，以及基于第一预测信息和第二预测信息而生成的1_3rd损失作为第一损失，以及由参数更新设备更新第一学生神经网络和第二学生神经网络的参数。

33、在一个实施例中，第一错误标识预测信息和第二错误标识预测信息的生成可包括，当第一预测信息被确定为准确时，由错误标识网络生成对应于第一标识值的第一特定范围内的第一特定值作为第一错误标识预测信息；当第一预测信息被确定为不准确时，由错误标识网络生成对应于小于第一标识值的第二标识值的第二特定范围内的第二特定值作为第一错误标识预测信息；当第二预测信息被确定为准确时，由错误标识网络生成第一特定范围内的第三特定值作为第二错误标识预测信息；以及当第二预测信息被确定为不准确时，由错误标识网络生成第二特定范围内的第四特定值作为第二错误标识预测信息。

34、在一个实施例中，在生成第一预测信息和第二预测信息之前，学习方法还可包括，由第一学生神经网络和第二学生神经网络之间的特定学生神经网络，将特定神经网络操作应用于包括对应于特定任务的特定标签信息的第二训练图像，以生成对应于特定任务的特定预测信息，以及由参数更新设备基于特定预测信息和特定标签信息而反向传播第二损失，以及由参数更新设备更新特定学生神经网络的参数。

35、在一个实施例中，在更新特定学生神经网络的参数之后，学习方法还可包括，由错误标识网络基于特定预测信息和第二训练图像而将错误标识操作应用于特定整合图像，以生成用于预测特定预测信息的准确度的特定错误标识预测信息，以及由参数更新设备基于特定错误标识预测信息和对应于特定错误标识预测信息的特定错误标识标签信息而反向传播第三损失，以及由参数更新设备更新错误标识网络的参数。