特征是指作为标志的显著特点^[12], 是针对某个具体问题的测量指标, 其在不同的环境中表现的显著度有所差异。根据这个特性, 可将术语特征分为5类^[13], 如表1所示:

表1

表1

表1 术语特征分类 类型 特征项 特性 适用环境 短语级特征 短语长度、词性、后缀 用于描述短语自身的属性, 通常关键术语都会满足一定的条件, 如词性多数为名词 术语外在形式比较规范的文档 标准特征 tf-idf、首次出现位置、段首、段尾、前N项、后N项 是有效的基准特征, 从术语的分布统计的角度测量其专指性 术语重复出现率高的长文档 文档级特征 缩写、PMI[13]、句法特征 在文档范围内对术语进行测度, 用于确定术语的主旨覆盖能力 上下文联系紧密的文档 语料库级特征 sf-isf、关键词 用于确定领域内关键术语 领域性强的文档集 外部知识库特征 维基词典、叙词表、本体 通过参考外部知识库进行术语识别 领域词汇变化不大的文档集

表1 术语特征分类

这5类特征的测度范围依次扩大, 从不同的视角考量术语的专指性和概括性。实际应用中, 应针对文档集的特点及抽取方法的特性, 组合多个不同类别的特征对术语进行全面评估。

候选术语识别是根据词或词组的外在形式判定, 获得初步术语集的过程。传统的候选术语识别方法可以归纳为利用语言学规则、基于术语词典和统计分析三种^[14,15]。

(1) 利用语言学规则。其核心是针对特定的语料环境, 通过分析术语构成的特征, 制定一系列共性规则及个性化规则来自动提取术语^[14]。这种方法最大的缺陷是人工编写的规则不能覆盖所有的语言学现象^[16]。

(2) 基于术语词典。该方法利用领域专业术语词典查找文本中的术语, 词典一般由领域专家编撰, 具有权威性。然而, 词典的更新速度慢, 不能识别学术论文中的衍生术语和新术语。

(3) 统计分析方法。核心思想是通过构建统计模型, 综合计算词频、互信息、信息熵等特征值, 抽取超过阈值的词串作为候选术语集。这种方法偏向于选择高频术语, 容易忽略低频术语。

实际应用中, 上述三种方法通常混合使用, 互补优缺, 改善识别效果, 如语言学规则与词典结合, 术语词典与统计分析结合。

候选术语选择是根据术语的内在含义从候选集中筛选出最能代表文档主旨的术语的过程, 选择方法分为监督和无监督两种^[17,18,19]。

(1) 监督方法是将关键术语抽取看作分类问题^[18,19], 通过分类器将文档中所有的候选术语分成关键术语与非关键术语两类。常用的分类法有朴素贝叶斯(如Turney^[20]、Nguyen等^[2,7]的研究)、条件随机场(如Yu等^[21]的研究)、决策树(如HaCohen-Kerner等^[4]的研究)等。监督方法的缺点在于需要大量的人工标注语料进行模型训练。

(2) 无监督方法则将关键术语抽取看作术语排名问题^[18,19], 通过测度一系列的术语特征, 按其综合得分进行排名, 选择若干靠前的术语作为关键术语。其中, 基于图的排名方法是最常用的方法, 首先利用文档中术语之间的某种关系(如共现关系)构建一个图, 然后利用随机漫步方法(Random Walk Techniques)计算每个术语的重要度, 最后根据重要度排名选取关键术语^[18]。Zhao等^[22]、Liu等^[18]在图排名基础上引入PageRank算法, 取得良好效果。另外, 还可直接组合多个术语特征值进行排名, 如Liao等^[19]的研究。无监督方法能灵活地组合各种术语特征来选择关键术语, 通过简单的参数调整即可以适应不同特性的文档集。缺点在于其效果主要依赖于特征项的选取。

关键术语抽取包括术语特征选取、候选术语识别和候选术语选择三个子问题。在目前已有的术语特征项(见表1)中, 除了短语级特征之外, 大多数针对长文本, 且没有考虑到同一句子中不同成分术语的重要度, 也没有考虑大纲层级给术语带来的影响。对于候选术语识别, 目前的研究大多将多种方法混合使用以达到更好的识别效果; 同时, 大纲中的标题简短, 语言学规则与词典结合的方法更适合。对于候选术语选择, 由于学术论文具有明显的领域特征, 使用监督方法需对各领域训练不同的分类器, 灵活性低, 语料标注难度大; 而无监督方法主要依赖于特征项的选取。本文利用改进的tf-idf和层级特征项进行无监督术语选择。

本文抽取关键术语的基本思路是: 首先, 针对术语的词性特征、关键词特征和缩写词特征, 使用语言学规则和术语词典结合的方法对大纲各级标题进行候选术语抽取, 得到多个候选术语集。各术语集之间保留原大纲中的层级关系, 本文称之为层级术语集。然后, 利用句法依存关系计算各候选术语的tf-idf (Term Frequency-Inverse Document Frequency), 并根据层级关系计算层级特征。最后, 结合tf-idf和层级特征对候选术语进行排名, 选择关键术语。

(1) 候选术语识别。术语基本上都是名词或名词性短语^[3,7,11], 利用词性特征能够识别大部分候选术语。考虑到术语是一种结合紧密的固定或半固定的词或短语^[14], 在仅有词性信息的条件下, 难以判断是两个独立术语还是一个固定术语。为降低复杂度并保证准确率, 将语料中的关键词和缩写词构建成术语词典, 使用语言学规则和术语词典结合的方法进行候选术语识别。

(2) 候选术语选择。论文大纲的内容简短, 传统特征如tf-idf、出现位置、PMI等表现不显著, 本文使用基于句法依存关系的tf-idf和层级特征作为关键术语的主要考量特征。基于句法依存关系的tf-idf是结合句法特征及基于图排名算法来量化标题中的术语重要度。术语的支配或受支配关系越多, 重要度越高。层级特征则用于量化不同大纲层级术语的主旨覆盖能力, 层级越深, 能力越弱。本文采用无监督方法进行候选术语选择, 通过组合基于句法依存关系的tf-idf和层级特征对大纲所有的候选术语进行排名, 选取TopN个作为关键术语。

处理流程分两部分: 候选术语识别, 通过对论文大纲标题进行词性标注, 并利用指定的词性规则识别出各标题中的候选术语, 按大纲的层级关系组织起来得到层级候选术语集; 候选术语选择, 利用句法依存关系计算术语tf-idf, 并根据层级关系计算层级特征, 最后结合tf-idf与层级特征进行术语排名, 从层级候选术语集中筛选出关键术语。整体处理流程如图1所示:

图1

	Figure Option ViewDownloadNew Window
	图1 处理流程

以下将对候选术语识别和候选术语选择两个步骤进行介绍。

使用语言学规则和术语词典结合的方法进行候选术语识别: 首先将出现在词典中的词串标注为名词(NN), 在此基础上对其他部分进行词性标注, 然后利用规则抽取符合指定词性特征的词串。在该过程中, 术语词典与词性识别规则是决定抽取效果的核心要素。

(1) 术语词典

本文采用的词典数据来源于两方面: 领域内论文的关键词, 相对于外部知识库, 关键词具有更新速度快、主题覆盖能力强等特点; 论文大纲中的术语缩写及其原型, 通过对大纲进行缩写检测得到, 其内部结合紧密。

(2) 词性识别规则

名词性术语的词性组合主要有“JJ NN”、“NN”、“NN NN”、“VBN NN”几种^[3], 本文设计如下正则表达式来匹配这些词性特征:

(JJ(\\w){0,1})*(NN(\\w){0,2})*NN(\\w)*(1)

对大纲进行候选术语抽取后得到的层级术语集既有术语内容, 又有层次关系信息, 这两方面的特征决定术语的重要度, 依此选择关键术语。

(1) 基于句法依存关系的tf-idf统计

在识别出候选术语的基础上, 对大纲各级标题进行句法关系分析, 将得到依存关系图。以文献[23]的标题“A Concept and Implementation of Higher-level XML Transformation Languages”为例, 如图2所示, 其中, 有向弧的起始端表示支配者, 箭头端表示从属者。

图2

	Figure Option ViewDownloadNew Window
	图2 句法依存关系

根据句法依存关系, 抽取形如的三元关系。S为支配者, O为从属者; P表示三元关系类型, 用术语间的介词、连词、动词表示。不同类型的三元关系被赋予不同的权重因子(可设为经验值或通过监督学习得到), 用于计算支配者和从属者的重要度。抽取结果示例如下(从图2抽取):

S : concept ; P : and ; O : implementation;factor=1

S : concept ; P : of ; O : higher-level XML transformation

languages;factor=1.25

S:implementation ; P : of ; O : higher-level XML transformation languages;factor=1.25

在三元组中, S的词频默认为1, O的词频为1×factor(factor为权重因子)。术语w的词频是通过对中词频累加并进行归一化得到。本文提出如下公式进行术语词频统计:

(2)

(3)

公式(3)中, U为候选术语集。利用公式(2)和公式(3)对上述关系集进行词频统计的结果为:

tf(concept)=0.208

tf(Implementation)=0.208

tf(higher-level XML transformation languages)=0.385

在idf计算过程中, 将标题看作一个文档, 为防止低频新术语导致idf过高, 本文通过引入平滑因子来改善idf计算, 如公式(4)所示:

(4)

(2) 层级特征计算

层级特征是反映主题覆盖能力的测度指标。大纲描述的内容逐层深入和细化, 下级标题往往是上级标题的分面具体化描述或其子主题, 因此, 出现位于不同大纲级别的术语具有不同的主旨覆盖能力。一般来说, 层次越深其主题描述能力越弱, 重要度越低。本文提出公式(5)计算层级特征:

(5)

其中, h是节点的层次深度, Count(i)是兄弟节点数量, e为平滑因子。

(3) 候选术语排名与选择

结合基于句法依存关系的tf-idf与层级特征计算候选术语的综合特征得分排名, 选择得分TopN个术语作为关键术语。本文提出公式(6)计算综合得分:

(6)

采用StanfordNLP工具^[24]对数据进行词性标注, 并通过正则表达式进行词性规则匹配, 匹配规则如3.3节所述。术语词典有两个: 关键词词典, 由检索结果的前1 000篇文章的关键词构成, 共2 447个词; 缩写词词典, 从这1 000篇文章的大纲中进行缩写检测得到, 共412个词(包括缩写及其原型)。缩写词词典、关键词词典和规则识别三种方法不同组合的实验评测结果如表2所示:

表2

表2

表2 候选术语识别评测结果 方法 准确率 召回率 F值 缩写词词典 85.11% 4.35% 8.28% 关键词词典 69.14% 12.19% 20.72% 关键词词典+缩写词词典 72.83% 13.71% 23.08% 规则识别 82.64% 88.03% 85.25% 规则识别+关键词词典+ 缩写词词典 88.11% 91.08% 89.57%

表2 术语特征分类

实验结果显示, 单独使用一种词典时, 缩写词词典的准确率最高; 而关键词词典因词数量较多, 召回率高于缩写词词典。综合使用两个词典可以提高对术语的识别率。另外, 使用规则识别的F值比使用词典的F值有较大提升, 说明名词规则能够覆盖大纲中大部分术语。综合两个词典和规则识别的方法获得最佳识别效果, F值接近90%。实验存在的不足有:

(1) 术语匹配规则不足以覆盖所有的术语构成特征, 如“shoulder and neck pain”词性为“NN CC NN NN”, 并不符合3.3节所述的名词规则;

(2) 部分关键术语本身存在多种切分, 如“restricted Coulomb energy (RCE) neural network”可切分为｛“restricted Coulomb energy”, “RCE”, “neural network”｝或｛“restricted Coulomb energy (RCE) neural network”｝, 本实验没有考虑不同切分之间的兼容处理。

在识别关键术语的基础上, 使用StanfordNLP工具^[24]进行句法依存关系分析, 根据术语间的支配关系提取三元组, 并计算tf-idf值。层级特征依据大纲的层级结构计算, 计算方法见公式(5)。实验选取排名Top1和Top3的关键术语进行统计分析, 评测结果如表3所示:

表3

表3

表3 关键术语选择评测结果 方法 Top1 Top3 准确率 召回率 F值 准确率 召回率 F值 tf-idf 19.61% 19.23% 19.42% 23.53% 23.84% 23.68% tf-idf+层级特征 37.25% 36.54% 36.89% 48.37% 49.01% 48.68%

表3关键术语选择评测结果

传统关键术语抽取方法取得的F值为30%左右(如Berend等^[13]、Nguyen等^[7]、Medelyan等^[25]的研究), 本实验结合基于句法依存关系的tf-idf和层级特征进行排名选择, 得到的识别率F值为36.89%, 若选取Top3的关键术语, F值达到48.68%。其中, 采用tf-idf与层级特征结合的方法的识别效果(准确率、召回率、F值)约为仅使用tf-idf的两倍。数据表明, 基于句法依存关系的tf-idf和层级特征结合的关键术语选择方法能有效提取学术论文大纲中的关键术语, 同时, 层级特征反映术语的主题覆盖能力, 对识别关键术语有重要作用。实验不足之处在于:

(1) 实验中三元关系权重因子的取值为经验值, 需改进调优;

(2) 未考虑论文大纲中各个层级自身的特殊性(如根节点和叶节点往往包含重要信息较多), 需进一步深入研究。

本实验使用语言学规则和术语词典结合的候选术语识别方法、基于句法依存关系的tf-idf和层级特征结合的关键术语选择方法从学术论文大纲中抽取关键术语, 并取得良好效果。对于候选术语识别, 使用词性特征和关键词、缩写词词典即可覆盖近90%的术语, 进一步改善可通过优化抽取规则以及扩大术语词典的方法来实现。对于候选术语选择, 基于句法依存关系的tf-idf能有效地从短文档中筛选关键术语, 结合论文大纲的层次结构特征的术语抽取结果的Top1 F值达36.89%(Top3 为48.68%)。优化三元关系权重因子以及层级特征计算方法均可提高关键术语选择的准确率。