一种残膜回收机防缠绕挑膜装置的制 一种秧草收获机用电力驱动行走机构

面向多级标签的文本分类方法、装置、设备及存储介质

2022-07-02 14:56:00 来源:中国专利 TAG:

技术特征:
1.一种面向多级标签的文本分类方法,其特征在于,所述方法包括:获取文本以及文本中关键词对应的标签;基于预设的面向多级标签的文本分类模型中的文本编码模型对所述文本进行编码处理,得到所述文本的特征向量,所述文本的特征向量对所述文本的关键词进行敏感表征,基于预设的面向多级标签的文本分类模型中的标签编码模型,对所述标签进行编码处理,得到标签的向量;分别计算所述文本的特征向量与每个标签的向量之间的余弦相似度;将所述余弦相似度大于预设阈值的标签确定为所述文本的标签。2.根据权利要求1所述的方法,其特征在于,所述获取文本以及文本中关键词对应的标签,包括:基于已有的关键词表,从所述文本中匹配得到关键词;基于关键词和标签之间的映射关系,确定得到所述文本中的关键词对应的标签。3.根据权利要求1所述的方法,其特征在于,所述基于预设的面向多级标签的文本分类模型中的文本编码模型对所述文本进行编码处理,得到所述文本的特征向量,所述文本的特征向量对所述文本的关键词进行敏感表征,基于预设的面向多级标签的文本分类模型中的标签编码模型,对所述标签进行编码处理,得到标签的向量之前,所述方法还包括:对所述文本进行预处理,所述预处理的方式至少包括删除超文本标记语言、繁体字转为简体字、英文大小写统一、删除符合预设正则表达式的内容中的一种。4.根据权利要求1所述的方法,其特征在于,对所述文本进行编码处理,包括:从所述文本中提取标题以及首段和尾段的内容,并对所述标题以及所述首段和尾段的内容进行拼接,或者从所述文本中提取标题和摘要,并对所述标题和摘要进行拼接;基于拼接得到的文本内容进行编码处理,得到文本的特征向量。5.一种面向多级标签的文本分类装置,其特征在于,所述装置包括:获取模块,用于获取文本以及文本中关键词对应的标签;编码模块,用于基于预设的面向多级标签的文本分类模型中的文本编码模型对所述文本进行编码处理,得到所述文本的特征向量,所述文本的特征向量对所述文本的关键词进行敏感表征,基于预设的面向多级标签的文本分类模型中的标签编码模型,对所述标签进行编码处理,得到标签的向量;计算模块,用于分别计算所述文本的特征向量与每个标签的向量之间的余弦相似度;确定模块,用于将所述余弦相似度大于预设阈值的标签确定为所述文本的标签。6.根据权利要求5所述的装置,其特征在于,所述获取模块,包括:第一匹配子模块,用于基于已有的关键词表,从所述文本中匹配得到关键词;第一确定子模块,用于基于关键词和标签之间的映射关系,确定得到所述文本中的关键词对应的标签。7.根据权利要求5所述的装置,其特征在于,所述装置还包括:预处理模块,用于对所述文本进行预处理,所述预处理的方式至少包括删除超文本标记语言、繁体字转为简体字、英文大小写统一、删除符合预设正则表达式的内容中的一种。8.根据权利要求5所述的装置,其特征在于,所述编码模块,包括:第一拼接子模块,用于从所述文本中提取标题以及首段和尾段的内容,并对所述标题
以及所述首段和尾段的内容进行拼接,或者从所述文本中提取标题和摘要,并对所述标题和摘要进行拼接;第一编码子模块,用于基于拼接得到的文本内容进行编码处理,得到文本的特征向量。9.一种计算设备,其特征在于,包括:存储器和处理器,其中,所述存储器中存储有计算机程序,当所述计算机程序被所述处理器执行时,实现如权利要求1-4中任一项所述的面向多级标签的文本分类方法。10.一种计算机可读存储介质,其特征在于,所述存储介质中存储有计算机程序,当所述计算机程序被处理器执行时,实现如权利要求1-4中任一项所述的面向多级标签的文本分类方法。

技术总结
本公开实施例涉及一种面向多级标签的文本分类方法、装置、设备及存储介质。本公开实施例通过获取文本以及文本中关键词对应的标签;基于预设的面向多级标签的文本分类模型中的文本编码模型对文本进行编码处理,得到文本的特征向量,文本的特征向量对文本的关键词进行敏感表征,基于预设的面向多级标签的文本分类模型中的标签编码模型,对标签进行编码处理,得到标签的向量;分别计算文本的特征向量与每个标签的向量之间的余弦相似度;将余弦相似度大于预设阈值的标签确定为文本的标签。通过对文本和现有类别标签进行编码处理和余弦相似度计算处理,选择出文本内容相匹配的标签,可减轻对人工标注标签的依赖,降低人工标注和标签体系的维护成本,提高标签标注的准确率,使文本分类结果更准确。文本分类结果更准确。文本分类结果更准确。


技术研发人员:王婧宜 禹宁 冯昊 孔庆超 王宇琪 许刚刚 曹家 罗引
受保护的技术使用者:北京中科闻歌科技股份有限公司 中国科学院自动化研究所
技术研发日:2022.03.09
技术公布日:2022/7/1
再多了解一些

本文用于企业家、创业者技术爱好者查询,结果仅供参考。

发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表

相关文献