Please wait a minute...
Advanced Search
数据分析与知识发现  2021, Vol. 5 Issue (11): 80-88     https://doi.org/10.11925/infotech.2096-3467.2021.0347
  研究论文 本期目录 | 过刊浏览 | 高级检索 |
一种单分类器联合多任务网络的隐式句间关系分析方法*
王鸿,舒展,高印权,田文洪()
电子科技大学信息与软件工程学院 成都 610054
电子科技大学长三角研究院 湖州 313001
Analyzing Implicit Discourse Relation with Single Classifier and Multi-Task Network
Wang Hong,Shu Zhan,Gao Yinquan,Tian Wenhong()
School of Information and Software Engineering, University of Electronic Science and Technology of China, Chengdu 610054, China
Yangtze Delta Region Institute of University of Electronic Science and Technology of China, Huzhou 313001, China
全文: PDF (1046 KB)   HTML ( 9
输出: BibTeX | EndNote (RIS)      
摘要 

【目的】 提出一种单分类器联合多任务网络的隐式句间关系分析方法,即基于单分类器的多任务学习模型进行中文隐式句间关系识别。【方法】 多任务学习方法通过对隐式句间关系和显式句间关系进行联合建模而获得更好的结果;而单分类器是通过将四分类问题转换为二分类问题进行训练而获取结果。【结果】 基于哈尔滨工业大学的中文篇章级语义关系语料库,在扩展关系和并列关系的语料中F1值分别达到0.94和0.81,在4种句间关系的F1值上均取得显著提升。【局限】 模型效果还可进一步提升,数据集分布不够均衡且有待扩充。【结论】 在哈尔滨工业大学的中文篇章级语义关系语料库上,所提方法取得了超过业界已知最佳结果的性能,同时也验证了删除连接词会给训练集增加噪声并影响性能。

服务
把本文推荐给朋友
加入引用管理器
E-mail Alert
RSS
作者相关文章
王鸿
舒展
高印权
田文洪
关键词 单分类器多任务网络隐式句间关系    
Abstract

[Objective] This paper proposes a new method to identify implicit discourse relations based on a single classifier and multi-task learning model. [Methods] First,we modeled the implicit and explicit discourse relationships with the multi-task learning method. Then, we converted the four classification problems to two and trained the single classifier. [Results] We examined our new method with the HIT-CDTB data set. For the corpus with extended and parallel relations, the F1 values reached 0.94 and 0.81 respectively, which were significantly improved with four inter-sentence relations. [Limitations] The performance of our model could be improved with more distributed and expanded datasets. [Conclusions] The proposed method yields the best results with the HIT-CDTB data set. Deleting connectives will add noise to the training set and negatively affect the model’s performance.

Key wordsSingle Classifier    Multi-Task Network    Implicit dDiscourse Relation
收稿日期: 2021-04-08      出版日期: 2021-08-26
ZTFLH:  TP391  
基金资助:*科技部重点研发计划(2018AAA0103203)
通讯作者: 田文洪,ORCID:0000-0002-5551-9796     E-mail: tian_wenhong@uestc.edu.cn
引用本文:   
王鸿, 舒展, 高印权, 田文洪. 一种单分类器联合多任务网络的隐式句间关系分析方法*[J]. 数据分析与知识发现, 2021, 5(11): 80-88.
Wang Hong, Shu Zhan, Gao Yinquan, Tian Wenhong. Analyzing Implicit Discourse Relation with Single Classifier and Multi-Task Network. Data Analysis and Knowledge Discovery, 2021, 5(11): 80-88.
链接本文:  
https://manu44.magtech.com.cn/Jwk_infotech_wk3/CN/10.11925/infotech.2096-3467.2021.0347      或      https://manu44.magtech.com.cn/Jwk_infotech_wk3/CN/Y2021/V5/I11/80
Fig.1   f x = w 1 x 2 + w 2 x + b模型损失
Fig.2   f x = w 1 x + b 模型损失
Fig.3  单分类器学习结构
Fig.4  多任务学习结构图
关系 隐式 显式
时序关系 178 672
因果关系 1 014 1 465
条件关系 39 632
对比关系 461 1 923
扩展关系 12 055 2 183
并列关系 1 288 993
Table 1  语料统计表
关系 多任务+单分类器 SVM[1] SVM[20]
P R F1 P R F1 P R F1
因果 0.50 0.51 0.50 0.46 0.22 0.30 0.59 0.06 0.11
对比 0.39 0.38 0.38 0.77 0.09 0.16 0.33 0.01 0.02
扩展 0.94 0.94 0.94 0.63 0.84 0.72 0.65 0.93 0.77
并列 0.82 0.81 0.81 0.33 0.53 0.41 0.65 0.54 0.59
Table 2  隐式句间关系识别结果
关系 多任务+单分类器 RNN-Att[8] 多任务[10] BiGRU
P R F1 P R F1 P R F1 P R F1
因果 0.50 0.51 0.50 0.27 0.12 0.17 0.43 0.34 0.38 0.31 0.26 0.28
对比 0.39 0.38 0.38 0.17 0.04 0.07 0.19 0.14 0.16 0.06 0.07 0.06
扩展 0.94 0.94 0.94 0.86 0.94 0.90 0.76 0.80 0.78 0.90 0.92 0.91
并列 0.82 0.81 0.81 0.67 0.58 0.62 0.83 0.77 0.80 0.73 0.59 0.65
Table 3  RNN-Att模型对比实验
Fig.5  多任务[10]网络结构
关系 多任务BiLSTM 多任务+单分类器
P R F1 P R F1
因果 0.24 0.17 0.20 0.50 0.51 0.50
对比 0.29 0.10 0.15 0.39 0.38 0.38
扩展 0.89 0.95 0.92 0.94 0.94 0.94
并列 0.87 0.68 0.76 0.82 0.81 0.81
Table 4  单分类器对比实验一
关系 多任务BiLSTM单分类器
P R F1
因果 0.35 0.15 0.21
对比 0.33 0.10 0.15
扩展 0.89 0.64 0.74
并列 0.88 0.49 0.63
Table 5  单分类器对比实验二
[1] 张牧宇, 宋原, 秦兵, 等. 中文篇章级句间语义关系识别[J]. 中文信息学报, 2013, 27(6):51-58.
[1] (Zhang Muyu, Song Yuan, Qin Bing, et al. Chinese Discourse Relation Recognition[J]. Journal of Chinese Information Processing, 2013, 27(6):51-58.)
[2] 张牧宇, 秦兵, 刘挺. 中文篇章级句间语义关系体系及标注[J]. 中文信息学报, 2014, 28(2):28-36.
[2] (Zhang Muyu, Qin Bing, Liu Ting. Chinese Discourse Relation Semantic Taxonomy and Annotation[J]. Journal of Chinese Information Processing, 2014, 28(2):28-36.)
[3] Miltsakaki E, Prasad R, Joshi A, et al. The Penn Discourse Treebank[C]// Proceedings of the International Conference on Language Resources & Evaluation. 2004: 342-351.
[4] Lei W Q, Xiang Y X, Wang Y W, et al. Linguistic Properties Matter for Implicit Discourse Relation Recognition: Combining Semantic Interaction, Topic Continuity and Attribution[C]//Proceedings of the 32nd AAAI Conference on Artificial Intelligence. AAAI Press, 2018: 4848-4855.
[5] Xue N W. Annotating Discourse Connectives in the Chinese Treebank[C]// Proceedings of the ACL Workshop in Frontiers in Annotation II: Pie in the Sky.ACL, 2005: 84-91.
[6] Graves A. Supervised Sequence Labelling with Recurrent Neural Networks[M]. Berlin, Heidelberg: Springer, 2012.
[7] Schuster M, Paliwal K K. Bidirectional Recurrent Neural Networks[J]. IEEE Transactions on Signal Processing, 1997, 45(11):2673-2681.
doi: 10.1109/78.650093
[8] Rönnqvist S, Schenk N, Chiarcos C. A Recurrent Neural Model with Attention for the Recognition of Chinese Implicit Discourse Relations[C]// Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers). 2017:256-262.
[9] Liu Y, Li S J, Zhang X D, et al. Implicit Discourse Relation Classification via Multi-task Neural Networks[C]//Proceedings of the 30th AAAI Conference on Artificial Intelligence. AAAI Press, 2016: 2750-2756.
[10] 田文洪, 高印权, 黄厚文, 等. 基于多任务双向长短时记忆网络的隐式句间关系分析[J]. 中文信息学报, 2019, 33(5):47-53.
[10] (Tian Wenhong, Gao Yinquan, Huang Houwen, et al. Implicit Discourse Relation Analysis Based on Multi-Task Bi-LSTM[J]. Journal of Chinese Information Processing, 2019, 33(5):47-53.)
[11] Liu P F, Qiu X P, Huang X J. Recurrent Neural Network for Text Classification with Multi-Task Learning[C]// Proceedings of the 25th International Joint Conference on Artificial Intelligence. 2016: 2873-2879.
[12] Liu P F, Qiu X P, Huang X J. Adversarial Multi-Task Learning for Text Classification[C]// Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers). 2017: 1-10.
[13] Sanh V, Wolf T, Ruder S. A Hierarchical Multi-Task Approach for Learning Embeddings from Semantic Tasks[J]. Proceedings of the AAAI Conference on Artificial Intelligence, 2019, 33:6949-6956.
doi: 10.1609/aaai.v33i01.33016949
[14] 张雅星. 汉语篇章句间关系分析[D]. 太原:山西大学, 2018.
[14] (Zhang Yaxing. Chinese Discourse Relation Analysis[D]. Taiyuan: Shanxi University, 2018.)
[15] 孙凯丽, 邓沌华, 李源, 等. 基于句内注意力机制多路CNN的汉语复句关系识别方法[J]. 中文信息学报, 2020, 34(6):9-17, 26.
[15] (Zhang Kaili, Deng Dunhua, Li Yuan, et al. Inner-Attention Based Multi-Way Convolutional Neural Network for Relation Recognition in Chinese Compound Sentence[J]. Journal of Chinese Information Processing, 2020, 34(6):9-17, 26.)
[16] 万常选, 甘丽新, 江腾蛟, 等. 基于协陪义动词的中文隐式实体关系抽取[J]. 计算机学报, 2019, 42(12):2795-2820.
[16] (Wan Changxuan, Gan Lixin, Jiang Tengjiao, et al. Chinese Named Entity Implicit Relation Extraction Based on Company Verbs[J]. Chinese Journal of Computers, 2019, 42(12):2795-2820.)
[17] Gilbert R A, Davis M H, Gaskell M G, et al. The Relationship Between Sentence Comprehension and Lexical-Semantic Retuning[J]. Journal of Memory and Language, 2021, 116:104188.
doi: 10.1016/j.jml.2020.104188
[18] Cho K, van Merrienboer B, Gulcehre C, et al. Learning Phrase Representations Using RNN Encoder-Decoder for Statistical Machine Translation[C]// Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing. 2014:1724-1734.
[19] Pennington J, Socher R, Manning C. GloVe: Global Vectors for Word Representation[C]// Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing. 2014: 1532-1543.
[20] 姬建辉, 张牧宇, 秦兵, 等. 中文篇章级句间关系自动分析[J]. 江西师范大学学报(自然科学版), 2015, 39(2):124-131.
[20] (Ji Jianhui, Zhang Muyu, Qin Bing, et al. The Chinese Discourse Parser[J]. Journal of Jiangxi Normal University(Natural Science Edition), 2015, 39(2):124-131.)
[21] Rutherford A, Xue N W. Improving the Inference of Implicit Discourse Relations via Classifying Explicit Discourse Connectives[C]// Proceedings of the 2015 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies. 2015: 799-808.
[1] 吴彦文, 蔡秋亭, 刘智, 邓云泽. 融合多源数据和场景相似度计算的数字资源推荐研究*[J]. 数据分析与知识发现, 2021, 5(11): 114-123.
[2] 李振宇, 李树青. 嵌入隐式相似群的深度协同过滤算法*[J]. 数据分析与知识发现, 2021, 5(11): 124-134.
[3] 董淼, 苏中琪, 周晓北, 兰雪, 崔志刚, 崔雷. 利用Text-CNN改进PubMedBERT在化学诱导性疾病实体关系分类效果的尝试[J]. 数据分析与知识发现, 2021, 5(11): 145-152.
[4] 余传明, 张贞港, 孔令格. 面向链接预测的知识图谱表示模型对比研究*[J]. 数据分析与知识发现, 2021, 5(11): 29-44.
[5] 丁浩, 艾文华, 胡广伟, 李树青, 索炜. 融合用户兴趣波动时序的个性化推荐模型*[J]. 数据分析与知识发现, 2021, 5(11): 45-58.
[6] 华斌, 吴诺, 贺欣. 基于知识融合的政务信息化项目多专家审批意见整合*[J]. 数据分析与知识发现, 2021, 5(10): 124-136.
[7] 王媛, 时恺泽, 牛振东. 一种用于实体关系三元组抽取的位置辅助分步标记方法*[J]. 数据分析与知识发现, 2021, 5(10): 71-80.
[8] 杨辰, 陈晓虹, 王楚涵, 刘婷婷. 基于用户细粒度属性偏好聚类的推荐策略*[J]. 数据分析与知识发现, 2021, 5(10): 94-102.
[9] 戴志宏, 郝晓玲. 上下位关系抽取方法及其在金融市场的应用*[J]. 数据分析与知识发现, 2021, 5(10): 60-70.
[10] 汪雪锋, 任惠超, 刘玉琴. 融合聚类信息的技术主题图可视化方法研究 [J]. 数据分析与知识发现, 0, (): 1-.
[11] 王一钒,李博,史话,苗威,姜斌. 古汉语实体关系联合抽取的标注方法*[J]. 数据分析与知识发现, 2021, 5(9): 63-74.
[12] 车宏鑫,王桐,王伟. 前列腺癌预测模型对比研究*[J]. 数据分析与知识发现, 2021, 5(9): 107-114.
[13] 周阳,李学俊,王冬磊,陈方,彭莉娟. 炸药配方设计知识图谱的构建与可视分析方法研究*[J]. 数据分析与知识发现, 2021, 5(9): 42-53.
[14] 马江微, 吕学强, 游新冬, 肖刚, 韩君妹. 融合BERT与关系位置特征的军事领域关系抽取方法*[J]. 数据分析与知识发现, 2021, 5(8): 1-12.
[15] 刘渊晨, 王昊, 高亚琪. 在线音乐歌单播放量预测及影响因素分析*[J]. 数据分析与知识发现, 2021, 5(8): 100-112.
Viewed
Full text


Abstract

Cited

  Shared   
  Discussed   
版权所有 © 2015 《数据分析与知识发现》编辑部
地址:北京市海淀区中关村北四环西路33号 邮编:100190
电话/传真:(010)82626611-6626,82624938
E-mail:jishu@mail.las.ac.cn