自然语言处理中的注意力机制研究综述*

石磊,王毅,成颖,魏瑞斌

Review of Attention Mechanism in Natural Language Processing

Shi Lei,Wang Yi,Cheng Ying,Wei Ruibin

表3 部分机器阅读理解模型在SQuAD数据集上的表现

Table 3 The Performance of Machine Reading Comprehension Models on SQuAD

作者 模型 Exact Match（%） F1（%） 注意力 Wang等[43] Match-LSTM 64.7 73.7 无 Xiong等[44] DCN 66.2 75.9 协同注意力 Seo等[17] BiDAF 68.0 77.3 双向注意力 Gong等[45] Ruminating Reader 70.6 79.5 双向多跳注意力 Wang等[42] R-Net 72.3 80.7 Self-Matching注意力 Peters等[46] BiDAF+Self-Attention 72.1 81.1 双向注意力+自注意力 Liu等[47] PhaseCond 72.6 81.4 K2Q+自注意力 Yu等[48] QANet 76.2 84.6 协同注意力+自注意力 Wang等[49] SLQA+ 80.4 87.0 协同注意力+自注意力