一种用于雨天的无源在线跨域语义分割方法、系统及终端

本发明涉及图像处理，尤其涉及一种用于雨天的无源在线跨域语义分割方法、系统、终端及计算机可读存储介质。

背景技术：

1、语义分割是计算机视觉中的一项关键任务，其广泛应用于自动驾驶、视障人士智能导盲和医学影像诊断等领域。目前，基于卷积神经网络和transformer的语义分割算法在有监督学习范式下取得了显著进展。但此类算法面对分布外的场景时，由于域差异的存在，其分割性能往往会显著降低。

2、然而，目前传统的基于无监督域适应的语义分割算法大都存在两个问题。首先，这些方法通常需要已知源域和目标域的完整信息，并在域适应过程中需要进行多个epoch的训练。其次，这些方法大多都假定一个特定目标域，且长期连续域适应能力有限。这使得这些方法难以应对现实世界的雨天场景中目标域完整信息未知、降雨强度连续变化、数据以流的形式到来以及源域因隐私或保密等原因可能无法访问等情况。

3、目前用于雨天的在线连续域语义分割算法大致分为基于自训练的方法、基于归一化的方法和基于风格迁移的方法。其中基于自训练的方法受伪标签质量的直接影响。并且在长期域适应的过程中，伪标签中的噪声会累积从而造成伪标签质量下降，进而影响算法的适应性能。基于归一化的方法，难以应对域差异较大的情况，即经过域适应后模型在目标域上的性能提升有限。而基于风格迁移的方法通过将目标域风格迁移到源域上，进而使用迁移后的源域图像和标签来训练学生模型，使其适应变化的目标域。但其受源域数据的限制，当源域数据首先无法访问时，此类方法就会失效。

4、因此，现有技术还有待于改进和发展。

技术实现思路

1、本发明的主要目的在于提供一种用于雨天的无源在线跨域语义分割方法、系统、终端及计算机可读存储介质，旨在解决现有技术中雨天的在线连续域适应语义分割算法中受限于源域数据，自训练伪标签中的噪声在长期域适应过程中累积会造成伪标签质量下降以及灾难性遗忘，导致在雨天无法准确分割语义类别的问题。

2、为实现上述目的，本发明提供一种用于雨天的无源在线跨域语义分割方法，所述一种用于雨天的无源在线跨域语义分割方法包括如下步骤：

3、获取雨天的目标域数据流和非雨天的源域数据流，将所述源域数据流和所述目标域数据流分别输入到源预训练模型进行计算，得到第一目标域类特征原型、源域每批图像的置信度和目标域每批图像的置信度，根据所述目标域每批图像的置信度得到先验模型；

4、将所述目标域数据流输入到教师模型进行特征提取得到第一特征，并将所述目标域数据流输入到所述先验模型进行预测，得到先验预测结果，根据所述第一特征、所述第一目标域类特征原型得到第一归一化结果，根据所述第一归一化结果对所述先验预测结果进行去噪，得到去噪伪标签；

5、将所述目标域数据流输入到学生模型中，得到学生模型预测结果和第二特征，根据所述学生模型预测结果和所述去噪伪标签计算出分割损失，根据所述第二特征与所述第一目标域类特征原型得到第二归一化结果，根据所述第二归一化结果和所述第一归一化结果计算得到特征空间结构一致性约束；

6、根据所述分割损失和所述特征空间结构一致性约束计算出目标损失函数，通过最小化所述目标损失函数训练学生模型，得到一步迭代后的学生模型，并通过指数移动平均更新教师模型的参数；

7、根据所述目标域每批图像的置信度和所述源域每批图像的置信度对所述一步迭代后的学生模型参数进行调整，将调整后的学生模型进行下一步迭代，完成一轮的迭代后得到目标学生模型；

8、获取待处理数据流，将所述待处理数据流输入到所述目标学生模型进行计算，得到所述待处理数据流的语义分类结果。

9、可选地，所述的用于雨天的无源在线跨域语义分割方法，其中，所述将所述源域数据流输入到源预训练模型进行计算，根据计算结果确定出先验模型并得到第一目标域类特征原型，具体包括：

10、将所述源域数据流分批输入到所述源预训练模型进行特征提取，根据提取的特征计算得到源域类特征的一次方原型、源域类特征的二次方原型；

11、将所述目标域数据流分批输入到所述源预训练模型进行计算，得到目标域每批图像的置信度，其中，为批的序数；

12、根据目标域每批图像的置信度得到所述先验模型：

13、；

14、其中，和为分别为不同的置信度阈值，表示域分布发生变化时的置信度变化阈值，表示第批的置信度，为前置域学生模型；

15、根据所述源域类特征的一次方原型和所述源域类特征的二次方原型得到所述第一目标域类特征原型，其中，所述第一目标域类特征原型包括第一目标域类特征的一次方原型和第一目标域类特征的二次方原型。

16、可选地，所述的用于雨天的无源在线跨域语义分割方法，其中，所述教师模型定义为学生模型的指数移动平均；

17、所述根据所述第一特征、所述第一目标域类特征原型得到第一归一化结果，具体包括：

18、根据所述第一目标域类特征的一次方原型和所述第一目标域类特征的二次方原型计算出目标域类别原型的方差：

19、根据所述方差计算教师模型提取的所述第一特征与类别原型之间距离的所述第一归一化结果。

20、可选地，所述的用于雨天的无源在线跨域语义分割方法，其中，所述根据所述第一归一化结果对所述先验预测结果进行去噪，得到去噪伪标签，具体包括：

21、使用所述第一归一化结果对所述先验模型产生的所述先验预测结果进行去噪，得到去噪伪标签：

22、；

23、其中，为将软标签转换为独热编码的函数。

24、可选地，所述的用于雨天的无源在线跨域语义分割方法，其中，所述根据所述第一归一化结果对所述先验预测结果进行去噪，得到去噪伪标签，之后还包括：

25、使用所述去噪伪标签计算出真实一次方类特征原型和真实二次方类特征原型；

26、根据所述真实一次方类特征原型和所述真实二次方类特征原型，对所述第一目标域类特征的一次方原型和所述第一目标域类特征的二次方的原型进行更新，得到第二目标域类特征的一次方原型和第二目标域类特征的二次方的原型：

27、；

28、；

29、其中，为原型动量系数。

30、可选地，所述的用于雨天的无源在线跨域语义分割方法，其中，所述根据所述学生模型预测结果和所述去噪伪标签计算出分割损失，根据所述第二特征与所述第一目标域类特征原型得到第二归一化结果，根据所述第二归一化结果和所述第一归一化结果计算得到特征空间结构一致性约束，具体包括：

31、根据所述学生模型预测结果和所述去噪伪标签计算出分割损失：

32、；

33、其中，为交叉熵损失，和为超参数；

34、根据所述第二特征与所述第一目标域类特征原型得到第二归一化结果，将所述第二归一化结果与所述第一归一化结果之间的 kl散度最小化，得到所述特征空间结构一致性约束：

35、；

36、其中， kl为归一化结果之间的散度，为当前批次的总类数， c为类的序数，为第 c类特征原型的第一归一化结果，为第 c类特征原型的第二归一化结果。

37、可选地，所述的用于雨天的无源在线跨域语义分割方法，其中，所述用于雨天的无源在线跨域语义分割方法，还包括：

38、从第二步迭代开始，使用所述第二目标域类特征的一次方原型和所述第二目标域类特征的二次方的原型计算所述第一归一化结果，并在每一步迭代完成后更新所述第二目标域类特征的一次方原型和第二目标域类特征的二次方的原型。

39、可选地，所述根据所述目标域每批图像的置信度和所述源域每批图像的置信度对所述第一步迭代后的学生模型参数进行调整，具体包括：

40、根据所述目标域每批图像的置信度和所述源域每批图像的置信度计算出初始参数混合动量，根据目标域与源域的分布关系，使用不同的衰减系数对所述初始参数混合动量进行衰减，得到目标混合动量；

41、根据目标混合动量对所述第一步迭代后的学生模型参数进行调整：

42、；

43、其中，为调整后的学生模型的参数，为源预训练模型的参数，为所述第一步迭代后的学生模型参数。

44、此外，为实现上述目的，本发明还提供一种用于雨天的无源在线跨域语义分割方法系统，其中，所述用于雨天的无源在线跨域语义分割方法系统包括：

45、数据准备模块，用于获取雨天的目标域数据流和非雨天的源域数据流，将所述源域数据流和所述目标域数据流分别输入到源预训练模型进行计算，得到第一目标域类特征原型、源域每批图像的置信度和目标域每批图像的置信度，根据所述目标域每批图像的置信度得到先验模型；

46、伪标签去噪模块，用于将所述目标域数据流输入到教师模型进行特征提取得到第一特征，并将所述目标域数据流输入到所述先验模型进行预测，得到先验预测结果，根据所述第一特征、所述第一目标域类特征原型得到第一归一化结果，根据所述第一归一化结果对所述先验预测结果进行去噪，得到去噪伪标签；

47、损失计算模块，用于将所述目标域数据流输入到学生模型中，得到学生模型预测结果和第二特征，根据所述学生模型预测结果和所述去噪伪标签计算出分割损失，根据所述第二特征与所述第一目标域类特征原型得到第二归一化结果，根据所述第二归一化结果和所述第一归一化结果计算得到特征空间结构一致性约束；

48、模型更新模块，用于根据所述分割损失和所述特征空间结构一致性约束计算出目标损失函数，通过最小化所述目标损失函数训练学生模型，得到一步迭代后的学生模型，并通过指数移动平均更新教师模型的参数；

49、目标模型获取模块，用于根据所述目标域每批图像的置信度和所述源域每批图像的置信度对所述一步迭代后的学生模型参数进行调整，将调整后的学生模型进行下一步迭代，完成一轮的迭代后得到目标学生模型；

50、语义分类模块，用于获取待处理数据流，将所述待处理数据流输入到所述目标学生模型进行计算，得到所述待处理数据流的语义分类结果。

51、此外，为实现上述目的，本发明还提供一种终端，其中，所述终端包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的用于雨天的无源在线跨域语义分割方法程序，所述用于雨天的无源在线跨域语义分割方法程序被所述处理器执行时实现如上所述的用于雨天的无源在线跨域语义分割方法的步骤。

52、此外，为实现上述目的，本发明还提供一种计算机可读存储介质，其中，所述计算机可读存储介质存储有用于雨天的无源在线跨域语义分割方法程序，所述用于雨天的无源在线跨域语义分割方法程序被处理器执行时实现如上所述的用于雨天的无源在线跨域语义分割方法的步骤。

53、本发明中，确定出先验模型并得到特征原型；将目标域数据流输入到教师模型和先验模型进行预测，得到第一归一化结果，根据第一归一化结果得到去噪伪标签；将目标域数据流输入到学生模型中，根据学生模型的预测结果和去噪伪标签得到分割损失，根据学生模型的预测结果和特征原型得到第二归一化结果，根据所述第二归一化结果和所述第一归一化结果得到特征空间结构一致性约束；根据分割损失和特征空间结构一致性约束对模型进行监督训练，得到目标学生模型，将待处理数据流输入到目标学生模型得到待处理数据流的语义分类结果。本发明提出的基于置信度模型参数混合策略，可以在不使用源域数据的情况下，有效地抑制灾难性遗忘，能够在雨天实现准确的语义类别分割。