Please wait a minute...
Advanced Search
数据分析与知识发现  0, Vol. Issue (): 1-     https://doi.org/10.11925/infotech.2096-3467. 2019.1222
  本期目录 | 过刊浏览 | 高级检索 |
基于深度学习的词汇表示模型对比研究
余传明,王曼怡,林虹君,朱星宇,黄婷婷,安璐
(中南财经政法大学信息与安全工程学院 武汉  430073)
(中南财经政法大学统计与数学学院 武汉  430073)
(武汉大学信息管理学院 武汉  430072)
A Comparative Study of Word Representation Models based on Deep Learning
Yu Chuanming,Wang Manyi,Lin Hongjun,Zhu Xingyu,Huang Tingting,An Lu
(School of Information and Safety Engineering, Zhongnan University of Economics and Law, Wuhan 430073, China)
(School of Statistics and Mathematics, Zhongnan University of Economics and Law, Wuhan 430073, China)
(School of Information Management, Wuhan University, Wuhan 430072, China)
全文: PDF (804 KB)  
输出: BibTeX | EndNote (RIS)      
摘要 

[目的]系统揭示传统深度表示模型与最新预训练模型的原理,探究其在文本挖掘任务中的效果差异。[方法]采用对比研究法,从模型侧和实验侧分别比较传统模型与最新模型在CR、MR、MPQA、Subj、SST-2和TREC六个数据集上的效果差异。[结果]在六个任务上,XLNet模型取得了最高的平均F1值(0.9186),优于ELMo(0.8090)、BERT(0.8983)、Word2Vec(0.7692)、GloVe(0.7576)和FastText(0.7506)。[局限]受制于篇幅限制,实证研究以文本挖掘中的分类任务为主,尚未比较词汇表示学习方法在机器翻译、问答等其他任务中的效果。[结论]传统深度表示学习模型与最新预训练模型在文本挖掘任务中的表现仍存在较大差异。

服务
把本文推荐给朋友
加入引用管理器
E-mail Alert
RSS
作者相关文章
关键词 词汇表示学习知识表示深度学习文本挖掘     
Abstract

[Objective] This study aims to systematically reveal the principles of the traditional deep representation models and the latest pre-training models and explore their differences in text mining tasks. [Methods] Using the comparative study method, we investigate the differences between the traditional models and the latest models on the six datasets of CR, MR, MPQA, Subj, SST-2 and TREC from the model side and the experimental side. [Results] On the six tasks, the XLNet model achieved the best average F1 value (0.9186) overall, which is better than ELMo (0.8090), BERT(0.8983), Word2Vec(0.7692), GloVe(0.7576) and FastText(0.7506). [Limitations] Due to space limitations, the empirical research focuses on classification tasks of text mining. It has not compared the effects of multiple vocabulary representation methods in machine translation, Q&A and other tasks. [Conclusions] The traditional deep representation learning model and the latest pre-training model still have large effect differences in text mining tasks.

Key words Word Representation Learning    Knowledge Representation    Deep Learning    Text Mining
     出版日期: 2020-06-05
ZTFLH:  TP391  
引用本文:   
余传明, 王曼怡, 林虹君, 朱星宇, 黄婷婷, 安璐. 基于深度学习的词汇表示模型对比研究 [J]. 数据分析与知识发现, 0, (): 1-.
Yu Chuanming, Wang Manyi, Lin Hongjun, Zhu Xingyu, Huang Tingting, An Lu. A Comparative Study of Word Representation Models based on Deep Learning . Data Analysis and Knowledge Discovery, 0, (): 1-.
链接本文:  
http://manu44.magtech.com.cn/Jwk_infotech_wk3/CN/10.11925/infotech.2096-3467. 2019.1222      或      http://manu44.magtech.com.cn/Jwk_infotech_wk3/CN/Y0/V/I/1
[1] 黄露,周恩国,李岱峰. 融合特定任务信息注意力机制的文本表示学习模型*[J]. 数据分析与知识发现, 2020, 4(9): 111-122.
[2] 赵旸, 张智雄, 刘欢, 丁良萍. 基于BERT模型的中文医学文献分类研究*[J]. 数据分析与知识发现, 2020, 4(8): 41-49.
[3] 徐晨飞, 叶海影, 包平. 基于深度学习的方志物产资料实体自动识别模型构建研究*[J]. 数据分析与知识发现, 2020, 4(8): 86-97.
[4] 余传明, 王曼怡, 林虹君, 朱星宇, 黄婷婷, 安璐. 基于深度学习的词汇表示模型对比研究*[J]. 数据分析与知识发现, 2020, 4(8): 28-40.
[5] 王鑫芸,王昊,邓三鸿,张宝隆. 面向期刊选择的学术论文内容分类研究 *[J]. 数据分析与知识发现, 2020, 4(7): 96-109.
[6] 夏天. 面向中文学术文本的单文档关键短语抽取 *[J]. 数据分析与知识发现, 2020, 4(7): 76-86.
[7] 王末,崔运鹏,陈丽,李欢. 基于深度学习的学术论文语步结构分类方法研究*[J]. 数据分析与知识发现, 2020, 4(6): 60-68.
[8] 焦启航,乐小虬. 对比关系句子生成方法研究[J]. 数据分析与知识发现, 2020, 4(6): 43-50.
[9] 邓思艺,乐小虬. 基于动态语义注意力的指代消解方法[J]. 数据分析与知识发现, 2020, 4(5): 46-53.
[10] 余传明,原赛,朱星宇,林虹君,张普亮,安璐. 基于深度学习的热点事件主题表示研究*[J]. 数据分析与知识发现, 2020, 4(4): 1-14.
[11] 苏传东,黄孝喜,王荣波,谌志群,毛君钰,朱嘉莹,潘宇豪. 基于词嵌入融合和循环神经网络的中英文隐喻识别*[J]. 数据分析与知识发现, 2020, 4(4): 91-99.
[12] 刘彤,倪维健,孙宇健,曾庆田. 基于深度迁移学习的业务流程实例剩余执行时间预测方法*[J]. 数据分析与知识发现, 2020, 4(2/3): 134-142.
[13] 马建霞,袁慧,蒋翔. 基于Bi-LSTM+CRF的科学文献中生态治理技术相关命名实体抽取研究*[J]. 数据分析与知识发现, 2020, 4(2/3): 78-88.
[14] 达婧玮,颜嘉麒,邓三鸿,王忠民. 基于深度学习的重复住院预测模型研究——以心脏病为例*[J]. 数据分析与知识发现, 2020, 4(11): 63-73.
[15] 蔡婧璇,吴江,王诚坤. 基于深度学习的众测报告有用性预测研究*[J]. 数据分析与知识发现, 2020, 4(11): 102-111.
Viewed
Full text


Abstract

Cited

  Shared   
  Discussed   
版权所有 © 2015 《数据分析与知识发现》编辑部
地址:北京市海淀区中关村北四环西路33号 邮编:100190
电话/传真:(010)82626611-6626,82624938
E-mail:jishu@mail.las.ac.cn