自然语言处理中的注意力机制研究综述*

石磊,王毅,成颖,魏瑞斌

Review of Attention Mechanism in Natural Language Processing

Shi Lei,Wang Yi,Cheng Ying,Wei Ruibin

表1 注意力机制按照关注范围分类

Table 1 Classification of Attention Mechanism by Attention Range

注意力 关注范围 全局注意力 全部元素 局部注意力 以对齐位置为中心的窗口 硬注意力 一个元素 稀疏注意力 稀疏分布的部分元素 结构注意力 结构上相关的一系列元素