一种基于三重损失的物联网应用轻量级小样本学习方法与流程

本发明属于物联网的数据分析和机器学习领域，具体地说，涉及一种基于三重损失的物联网应用轻量级小样本学习方法。

背景技术：

1、物联网发展最终是希望实现连接设备的智能化，目前的主要途径是云计算智能和边缘智能。然而云端智能不适用于许多对延迟、可靠性和隐私敏感的物联网场景；边缘智能设备位置部署固定不够灵活，不适用于高度动态的物联网场景。智能终端的计算性能由于深度学习的发展也有巨大飞跃。物联网智能逐渐沉入终端设备之中，而在将深度学习模型部署到端点设备的过程中，会遇到受限数据资源和计算资源的挑战。

2、相关技术中，小样本学习旨在解决在训练样本较少的情况下实现较高检测效率，解决资源受限的问题。模型压缩技术在保持模型性能的同时减少模型大小和计算复杂度，解决计算资源受限的问题。目前对三元损失函数的模型仍然无法区分正类样本和困难负类样本，无法利用小样本学习方法学习到足够的区分特征。

技术实现思路

1、发明目的：提供一种基于三重损失的物联网应用轻量级小样本学习方法，该方法能有效解决数据资源受限以及资源受限的物联网端点设备，可以充分利用每个标记样本来表示少数标记样本的类内和类间关系，并以更高的精度和效率构建模型。

2、技术方案：

3、一种基于三重损失的物联网应用轻量级小样本学习方法，该方法包括如下步骤：

4、s1：收集数据集，采用网络结构conv4和算法，通过对物联网端点的设备进行采样获得若干小样本学习网络训练所需的训练样本数据集；

5、s2：构建网络模型，对获得的若干数据集中的每个数据集随机选择支持集和查询集，并将其馈送至轻量级嵌入模块中，轻量级嵌入模块获取支持集和查询集的特征表示，获得小样本学习设置，构建conv4小样本网络模型，初始化相关参数：

6、s3：获得三重损失信息，构造锚、正样本和负样本三组集合，其中，锚来源于查询集，正样本和负样本均来源于支持集，通过三组集合获得三重损失信息；

7、s4：优化更新，优化三重损失信息更新轻量化嵌入模块的参数，判断模型是否达到所设的损失函数要求；

8、s4-1：判断模型达到所设的损失函数要求，则保存该模型，生成小样本学习网络模型测试器；

9、s4-2：判断模型未达到所设的损失函数要求，则继续优化更新模型。

10、在进一步的实施例中，在所述s2中小样本学习设置下还包括一组源类csource，对应于源数据集dsource，其中每个源类都有大量的标记样本；

11、还包括一组目标类ctarget，对应于目标数据集dtarget，其中每个目标类只有少量的标记样本；

12、根据源类和目标类设置训练阶段和测试阶段。

13、在进一步的实施例中，源类和目标类不重叠，即

14、其中，在源类上训练和优化模型的过程是训练阶段，通过学习模型对目标类进行分类的过程是测试阶段，采用情景式训练和测试。

15、在进一步的实施例中，在所述训练阶段中，对于每一个数据集，从源类csource中随机抽取n个类，因此所选类集表示为对应的数据集即为d＝{di|i＝1,...,n}；

16、从数据集di中随机取ks个样本，则支持集为：

17、

18、而从剩余数据集di\si中随机选取kq个样本，即为查询集：

19、

20、通过情景采样，将支持样本和查询样本送入轻量化嵌入模块，得到相应的特征表示。

21、在进一步的实施例中，原型conv4网络取每个支持样本类的平均作为类的代表点，计算每个查询点与代表点之间的交叉熵损失，进行网络优化；

22、对查询样本，损失函数为：

23、

24、其中，ry和rn分别表示标记为y和n的支持样本的均值向量。

25、在进一步的实施例中，在所述s3中，根据样本划分，支持样本用于为提供类别信息，查询样本用于计算模型损失，因此，选择查询样本作为三重结构的锚；

26、所述s3具体包括如下步骤：

27、s3-1：将支持集中的样本(含于)与锚中的样本相比，与锚相同类别的样本为正样本，与锚不同类别的样本为负样本；

28、s3-2：测量三重信息，通过三元组损失函数来度量，该函数使类内距离与类间距离的余量最大化，从而学习到区分特征；

29、其中，类内距离指锚与正样本之间的距离，类间距离指锚与负样本之间的距离：

30、将其作为基本损耗度量，即对则：

31、l(x；φ,i,j,n)＝max{||fφ(x)-fφ(xi(y))||2-||fφ(x)-fφ(xj(n))||2+m,0}

32、其中，m＞0为超参数，fφ是嵌入模块，xi(y)∈sy，i∈{1,...,ks}，xj(n)∈sn，n∈{1,...,n}\{y}，j∈{1,...,ks}。

33、在进一步的实施例中，所述s3还包括如下步骤：

34、s3-3：计算锚点、正样本、负样本的平均损失：

35、

36、其中，类别为n(n＝1,...,n；n≠y)。

37、然后取n-1损失的最大值作为查询样本的损失，有：

38、l(x；φ)＝max{ln}n＝1,...,n&n≠y

39、则情景损失为：

40、

41、在进一步的实施例中，所述步骤s4-1具体包括如下步骤：

42、s4-1-1：构建小样本学习分类器，通过训练conv4网络和所述s3中的三重信息度量方法进行构建；

43、在测试阶段中，将每一类支持样本的平均特征向量作为基准，即：

44、

45、通过softmax函数将模型的输出(未归一化的数值)转换为概率分布，获得每个查询样本的预测概率和预测标签：

46、

47、

48、本发明的有益效果：

49、(1)本方法提出了一种计算复杂度低、网络结构简单的轻量级小样本学习方法，不仅通过三元组捕获每个样本的有效信息，而且仅用低复杂度的网络结构就保证了准确性，有助于资源受限物联网端点设备场景的实现。

50、(2)本方法不需要引入额外的样本、语义信息和网络来增加模型复杂度，而是基于低复杂度的网络结构，利用有限样本的类内和类间关系来区分不同的类，不仅具有较强的泛化能力，而且可以部署在资源受限的终端设备上进行物联网应用，本方法是首次将小样本学习方法应用于实际场景数据集。

技术特征：

1.一种基于三重损失的物联网应用轻量级小样本学习方法，其特征在于：该方法包括如下步骤：

2.根据权利要求1所述的一种基于三重损失的物联网应用轻量级小样本学习方法，其特征在于：在所述s2中小样本学习设置下还包括一组源类csource，对应于源数据集dsource，其中每个源类都有大量的标记样本；

3.根据权利要求2所述的一种基于三重损失的物联网应用轻量级小样本学习方法，其特征在于：源类和目标类不重叠，即

4.根据权利要求3所述的一种基于三重损失的物联网应用轻量级小样本学习方法，其特征在于：在所述训练阶段中，对于每一个数据集，从源类csource中随机抽取n个类，因此所选类集表示为对应的数据集即为d＝{di|i＝1,...,n}；

5.根据权利要求4所述的一种基于三重损失的物联网应用轻量级小样本学习方法，其特征在于：原型conv4网络取每个支持样本类的平均作为类的代表点，计算每个查询点与代表点之间的交叉熵损失，进行网络优化；

6.根据权利要求1所述的一种基于三重损失的物联网应用轻量级小样本学习方法，其特征在于：在所述s3中，根据样本划分，支持样本用于为提供类别信息，查询样本用于计算模型损失，因此，选择查询样本作为三重结构的锚；

7.根据权利要求6所述的一种基于三重损失的物联网应用轻量级小样本学习方法，其特征在于：所述s3还包括如下步骤：

8.根据权利要求7所述的一种基于三重损失的物联网应用轻量级小样本学习方法，其特征在于：

技术总结本发明公开了一种基于三重损失的物联网应用轻量级小样本学习方法，包括收集数据集，获得若干小样本学习网络训练所需的训练样本数据集；对获得的若干数据集中的每个数据集随机选择支持集和查询集，构建Conv4小样本网络模型，构造锚、正样本和负样本三组集合，优化三重损失信息更新轻量化嵌入模块的参数，判断模型是否达到所设的损失函数要求；该基于三重损失的物联网应用轻量级小样本学习方法，本方法是首次将小样本学习方法应用于实际场景数据集，提出了一种计算复杂度低、网络结构简单的轻量级小样本学习方法，不仅通过三元组捕获每个样本的有效信息，而且仅用低复杂度的网络结构就保证了准确性，有助于资源受限物联网端点设备场景的实现。技术研发人员：唐海,徐建平受保护的技术使用者：江苏通信置业管理有限公司技术研发日：技术公布日：2024/7/29