%A 黄露,周恩国,李岱峰 %T 融合特定任务信息注意力机制的文本表示学习模型* %0 Journal Article %D 2020 %J 数据分析与知识发现 %R 10.11925/infotech.2096-3467.2020.0204 %P 111-122 %V 4 %N 9 %U {https://manu44.magtech.com.cn/Jwk_infotech_wk3/CN/abstract/article_4828.shtml} %8 2020-09-25 %X

目的】 通过任务标签嵌入方法改进注意力机制,学习特定任务信息并产生与任务相关的注意力权重,提高文本向量的表示能力。【方法】 通过多层LSTM提取文本潜在语义的向量表示;通过标签嵌入学习到不同标签下最关注的单词,获取特定任务下的背景语义信息,并产生注意力权重;计算得到融合特定任务信息的文本表示向量,并用于文本的分类预测。【结果】 相比TextCNN、BiGRU、TLSTM、LSTMAtt以及SelfAtt模型,本文方法在情感、主题、主客观句、领域等多个数据集上的分类准确率提升0.60%~11.95%,总体平均提升5.27%,同时该模型具有收敛速度快、复杂度较低等优点。【局限】 实验数据集规模和任务类型相对有限,可进一步扩充进行模型验证和优化。【结论】 该模型具有面向任务、轻量级的特点,可有效提高文本语义的表达能力和分类效果,具有较强的实用价值。