模型训练方法、计算机设备及计算机可读存储介质与流程

技术特征：
1.一种模型训练方法，所述方法包括：获取预训练模型；获取第一数据集；利用所述第一数据集对所述预训练模型进行训练；其中，所述第一数据集中第一数据为文本，所述第一数据中提供有掩蔽标记以及至少两个候选项，所述至少两个候选项的其中一个候选项用于提示所述掩蔽标记对应的单词，以使所述预训练模型在所述至少两个候选项的提示下，在预测所述掩蔽标记对应的单词时从所述至少两个候选项中进行选择；存储训练好的模型，所述训练好的模型应用于下游任务。2.根据权利要求1所述的方法，所述训练好的模型应用于下游任务的小样本学习场景。3.根据权利要求1所述的方法，所述方法还包括：接收用户发起的模型训练请求，所述模型训练请求包括用户提供的第二数据集，所述第二数据集的数据数量小于预设阈值；从存储的模型中选取模型；利用用户提供的第二数据集，对选取的模型进行训练后提供给所述用户。4.根据权利要求3所述的方法，所述方法还包括：展示数据提示信息，所述数据提示信息用于提示用户：第二数据集中第二数据提供掩蔽标记以及至少两个候选项，所述至少两个候选项的其中一个候选项用于提示所述掩蔽标记对应的单词。5.根据权利要求1或3所述的方法，所述至少两个候选项以提问的形式提供，以使模型基于所述提问，在预测所述掩蔽标记对应的单词时从所述至少两个候选项中进行选择。6.根据权利要求1或3所述的方法，所述至少两个候选项中其中一个候选项用于提示：所述掩蔽标记对应的单词的反义词。7.根据权利要求1或3所述的方法，所述第一数据和/或第二数据通过如下方式获得：获取无标签文本，将所述无标签文本进行分词处理得到多个单词，从所述多个单词中识别出形容词，对其中一个形容词替换为掩蔽标记后获得的。8.一种模型训练方法，包括：获取待训练模型；获取第一数据集；利用所述第一数据集对所述待训练模型进行训练；其中，所述第一数据集中第一数据为文本，所述第一数据中提供有掩蔽标记以及至少两个候选项，所述至少两个候选项的其中一个候选项用于提示所述掩蔽标记对应的单词，以使所述待训练模型在所述至少两个候选项的提示下，在预测所述掩蔽标记对应的单词时从所述至少两个候选项中进行选择。9.根据权利要求8所述的方法，所述第一数据采用提问的形式提供有所述至少两个候选项，以使所述待训练模型基于所述提问，在预测所述掩蔽标记对应的单词时从所述至少两个候选项中进行选择；和/或，所述第一数据通过如下方式获得：获取无标签文本，将所述无标签文本进行分词处理得到多个单词，从所述多个单词中识别出形容词，对其中一个形容词替换为掩蔽标记后获得的；和/或，所述至少两个候选项中其中一个候选项用于提示：所述掩蔽标记对应的单词的反义
词。10.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，所述处理器执行所述程序时实现权利要求1至9任一所述的方法。11.一种计算机可读存储介质，所述计算机可读存储介质上存储有若干计算机指令，所述计算机指令被执行时实现权利要求1至9任一项所述方法的步骤。

技术总结
本说明书一个或多个实施例提供一种模型训练方法、计算机设备及计算机可读存储介质，所述模型训练方法包括：获取待训练模型；获取第一数据集；利用所述第一数据集对所述待训练模型进行训练；其中，所述第一数据集中第一数据为文本，所述第一数据中提供有掩蔽标记以及至少两个候选项，所述至少两个候选项的其中一个候选项用于提示所述掩蔽标记对应的单词，以使所述待训练模型在所述至少两个候选项的提示下，在预测所述掩蔽标记对应的单词时从所述至少两个候选项中进行选择。至少两个候选项中进行选择。至少两个候选项中进行选择。


技术研发人员：汪诚愚 邱明辉 黄俊
受保护的技术使用者：阿里云计算有限公司
技术研发日：2022.02.25
技术公布日：2022/6/10