华南理工大学学报(自然科学版)

作者：苏锦钿 洪晓斌 余珊珊

单位：1． 华南理工大学 计算机科学与工程学院，广东 广州 510640; 2． 华南理工大学 机械与汽车工程学院，广东 广州 510640; 3． 广东药科大学 医药信息工程学院，广东 广州 510006

关键词：深度学习,语义文本相似度,自然语言处理,预训练语言模型,多模型集成

基金：广东省重点领域科技计划项目;国家自然科学基金

作为目前自然语言处理及人工智能领域的主流方法，各种预训练语言模型由于在语言建模、特征表示、模型结构、训练目标及训练语料等方面存在差异，导致它们在下游任务中的表现各有优劣。为了更好地融合不同预训练语言模型中的知识及在下游任务中的学习能力，结合语义文本相似性判断任务的特点提出一种多模型集成方法MME-STS（Multi-Model Ensemble for Semantic Textual Similarity），给出相应的模型总体架构及相应的特征表示，并针对多模型的集成问题分别提出基于平均值、基于全连接层训练和基于Adaboost算法的三种不同的集成策略。实验结果表明，MMF-STS在国际语义评测SemEval 2014任务4的SICK和SemEval 2017 STS-B数据集上的Pearson共关系值和Spearman相关系数值均超过单个预训练语言模型方法。

来源：2022年第4期

《华南理工大学学报(自然科学版)》期刊编辑部

查看华南理工大学学报(自然科学版)杂志2022年第4期