自然语言处理中的注意力机制研究综述*
石磊,王毅,成颖,魏瑞斌

Review of Attention Mechanism in Natural Language Processing
Shi Lei,Wang Yi,Cheng Ying,Wei Ruibin
表6 层级注意力在部分生成式摘要任务上的表现
Table 6 The Performance of Hierarchical Attention Mechanism on Some Abstractive Summarization Tasks
作者 语料集 注意力 ROUGE-1(%) ROUGE-2(%) ROUGE-L(%)
Nallapati等[15] CNN/Daily Mail 全局注意力 32.49 11.84 29.47
平均文档/摘要词数:766/53 层级注意力(词-句) 32.75 12.21 29.01
Cohan等[57] arXiv 全局注意力 32.06 9.04 25.16
平均文档/摘要词数:4 938/220 层级注意力(词-语篇) 35.80 11.05 31.80