20世纪80年代末以来,美国国防高级研究计划局(Defense Advanced Research Projects Agency, DARPA)主持召开了消息理解会议(Message Understanding Conference, MUC)^{[ 1]},通过测评驱动的会议模式推动了信息抽取研究的蓬勃发展。MUC会议一共举办了7届,定义了包括命名实体识别(Named Entity Recognition, NER)、模板关系(Template Relation, TR)、情节模板(Scenario Template, ST)等文本挖掘任务。其中关系抽取任务在1998年MUC-7^{[ 2]}会议上被引入,目的是通过填充关系模板槽的形式抽取出实体之间存在的Location_of、Employee_of和Product_of三大类关系。MUC系列测评会议对于关系抽取的研究起到了巨大的推动作用。

自从MUC会议于1998年停办后,美国国家标准与技术研究院(National Institute of Standards and Technology, NIST)组织开展了自动内容抽取(Automatic Content Extraction, ACE)测评会议^{[ 3]}。ACE会议旨在研究自动抽取出新闻语料中的实体、关系以及事件等内容。关系抽取属于ACE会议定义的关系检测与识别(Relation Detection and Recognition, RDR)任务^{[ 4]}。ACE会议提供了关系抽取的测评语料,也构建了详细的实体关系类型,将关系抽取任务进一步细化。

ACE会议于2009年并入美国国家标准与技术研究院组织的国际文本分析会议(Text Analysis Conference, TAC)后,关系抽取并入知识库构建(Knowledge Base Population, KBP)领域的槽填充(Slot-Filling)任务^{[ 5]}。TAC KBP会议推动了面向知识库构建过程的关系抽取研究,很多研究者开始利用大规模的开源知识库,采取基于Distant Supervision^{[ 6]}的方法研究关系抽取。

随着互联网的发展,出现了海量异构而且含有噪声的数据,传统测评会议定义的面向特定领域和特定关系的关系抽取任务已经不再适应新的需求。为了解决互联网海量数据的文本挖掘和分析任务,很多学者开始研究开放式信息抽取(Open Information Extraction,OpenIE)技术^{[ 7]}。开放式实体关系抽取作为其中的重要子任务和关键技术,受到了研究者的广泛关注。

关系抽取技术发展呈现出两个阶段:

(1)机器学习理论的引入,促使关系抽取由基于语法规则向有监督机器学习方法转变。ACE等会议提供了标准的关系体系、训练语料和测试样例,促进了有监督机器学习理论在关系抽取中的应用。研究者们普遍将关系抽取视为分类问题,研究重点是语形层面的特征工程。大量研究表明了支持向量机、条件随机场等模型在关系抽取研究中的有效性,同时也发掘了一批适合关系抽取任务的词汇和句法的语形特征。

(2)研究领域向互联网开放领域的拓展,促进了基于半监督和无监督关系抽取技术的发展。知识库构建是关系抽取的重要应用场景,维基百科、YAGO和Freebase等背景知识库所蕴含的广大事实型信息缓解了标注语料不足的问题,因此基于Distant Supervision的抽取方法取得了一定效果。但是互联网开放语料的规模更大、包含的关系类型更复杂,直接面向开放语料进行抽取具有更大的实际意义。由于开放语料中绝大部分未经人工标注,因此以半监督和无监督方法为主的开放式关系抽取逐渐成为研究重点。除了利用语形特征之外,开放式关系抽取研究还引入语义特征,从而提升了关系抽取在大规模语料上的适用性。

ACE会议的RDC任务将关系分为5到7个大类,10到20多个子类。以ACE 2008^{[ 8]}RDC任务为例:关系大类为ART(Artifact)、GEN-AFF(General Affiliation)、METONYMY、ORG-AFF(Org-Affiliation)、PART-WHOLE(Part-to-Whole)、PER-SOC(Person-Social)和PHY(Physical)7类,分别包含User-Owner-Inventor-Manufacturer、Org-Location、Employment、Subsidiary、Family、Located等18个子类。ACE测评根据对所有关系类别的平均识别效果判定系统性能。由于ACE会议提供了公开标准的测评平台,传统的关系抽取研究一般将关系类别限定在ACE RDC任务定义的关系类别上。

针对每个关系类别,一般用准确率(Precision)、召回率(Recall)和F₁值来衡量抽取结果:

其中,C为正确抽取的关系实例个数,M为抽取出的关系实例总数,N为标准结果集中的关系实例个数。

在开放式关系抽取兴起后,由于网络语料规模较大、噪声较多,难以简单地计算关系抽取结果的召回率,所以一般通过考察抽取准确率来评价系统性能。在考察抽取方法的实用性时,会加入运行时间和内存占用等指标。

在MUC-7会议引入模板关系抽取任务后,研究者首先利用知识工程的方式解决关系抽取问题。Aone等^{[ 9]}通过人工编写抽取规则,从文本中抽取与规则匹配的关系实例。Fukumoto等^{[ 10]}利用实体之间的谓语信息判定两个实体之间的语义关系。Humphreys等^{[ 11]}将句法分析的结果作为输入,并人工标注实体之间的指代信息,利用复杂的句法规则识别实体之间的语义关系。

总体来说,基于知识工程的关系抽取方法能够在特定领域取得一定效果,但是存在三个缺陷:

(1)研究者需要在领域专家的指导下手工编写抽取规则集合,花费的时间较长。

(2)抽取系统的可移植性较差。当系统移植到其他领域时,需要重新编制抽取规则。

(3)当抽取规则集合较小时,规则的覆盖范围不够,抽取系统的召回率不高;当抽取规则集合比较复杂时,不同的规则之间容易产生冲突,导致抽取系统的准确率下降。

虽然基于知识工程的关系抽取方法存在缺陷,研究中也得出一些有益的启示:语义关系一般由连接实体的谓语表征;语义关系具有局部性,一般体现在包含两实体的窗口长度文本内;句法信息可以有效帮助识别出实体间的语义关系。这些启示促进了基于机器学习的关系抽取研究。

2000年,Miller等^{[ 12]}提出一个词汇化概率句法模型,利用宾州树库(Penn TreeBank)进行训练,在模板关系抽取任务中取得了较好的效果。Miller等的研究表明利用机器学习方法解决关系抽取问题是可行的,利用词汇特征、句法特征训练模型,可以有效提升抽取系统的性能。基于机器学习的方法逐渐成为关系抽取研究的主流思路。根据人工参与和对标注语料的依赖程度不同,基于机器学习的关系抽取方法可以分为三大类:有监督的机器学习方法、半监督的机器学习方法、无监督的机器学习方法。

(1)有监督的机器学习方法

有监督的机器学习方法将二元关系抽取视为分类问题:

其中,S为包含实体对的文本片段,F为关系分类器,通常的模型有表决感知器(Voted Perception)和支持向量机(Support Vector Machines, SVMs)等。利用有监督机器学习方法解决关系抽取问题的一般流程是:人工标注训练样本得出正例和反例;通过选取特征集合,用已标注的正例和反例作为输入,训练出分类模型;用该分类模型对测试集合进行关系探测。根据关系实例的表示方式不同可以将有监督机器学习方法分为两类:基于特征向量的方法和基于核函数的方法。

Kambhatla^{[ 13]}选取包含实体上下文、实体引用方式、依存关系、句法树在内的多种特征,实现了一个最大熵模型(Maximum Entropy Model)的关系分类器,在ACE RDC2003语料的24个子类关系抽取中获得F值为52.8%的结果,表明多个层次的语言学特征能够提升关系抽取的效果。车万翔等^{[ 14]}在ACE RDC2004语料上比较了Winnow和SVM分类器的效果,发现关系分类的性能相当。Zhou等^{[ 15]}在Kambhatla的实验基础上,新增了基本词组块特征,使用WordNet等语义资源,采用SVM作为分类器,获得了F值为55.5%的关系抽取结果,其实验结果表明实体类别特征对于关系抽取性能的提升最大。Jiang等^{[ 16]}将特征空间按照序列、句法和依存关系划分为不同的子空间,其实验表明特征子空间中的基本特征能有效提升关系抽取性能,而复杂特征带来的性能提升有限。董静等^{[ 17]}将中文实体关系划分为包含与非包含关系,针对两类关系采用不用的句法特征,提高了汉语关系分类的性能。陈宇等^{[ 18]}利用DBN(Deep Belief Nets)模型进行关系抽取研究,证明字特征比词特征更适合中文关系抽取任务。

可以看出,特征工程(Feature Engineering)是基于特征向量的机器学习方法的核心。研究者通过启发式的方法选取特征集合,使用多层次的语言特征构造向量。目前很难找出适合关系抽取任务的新特征,因此一些研究者转向基于核函数的方法。

基于核函数的机器学习方法不需要人为构造显性的特征空间,而是直接以文本的字符串或者句法分析树结构作为输入,通过计算输入实例之间的相似度训练分类模型。在关系抽取任务中,树核函数的输入一般是句法分析结果及其各类变形。

Zelenko等^{[ 19]}利用浅层句法分析结果,用连接实体对的最小公共子树表征关系实例,通过计算两棵子树之间的核函数,训练SVM等分类器,在较小的新闻语料库中取得了较好的关系抽取效果。Culotta等^{[ 20]}改进Zelenko等的方法,利用依存关系句法树表示关系实例。通过添加词性、实体类型等特征,并在相似度计算时加入严格的匹配约束,从而使得关系抽取结果的准确率上升,但召回率下降。Bunescu等^{[ 21]}进一步改进,提出了实体对最短依存路径核函数,通过比较最短依存路径上相同节点的个数,计算核函数。其关系抽取结果同样遇到了召回率较低的问题。可以看出,基于句法树结构及其变形的树核函数方法,其最大的不足是相似度计算过程的匹配约束较为严格,导致最终抽取结果的召回率低。之后的研究一直围绕改善召回率来开展。为了解决这个问题,研究人员引入了卷积核函数。卷积核函数通过统计离散结构之间相同子结构的数目,计算两者的相似度。黄瑞红等^{[ 22]}研究了卷积核方法对中文关系抽取的有效性,发现仅仅依靠最短依存路径核难以提高中文的实体关系抽取结果。Zhang等^{[ 23]}和Zhou等^{[ 24]}利用实体对最短路径树,加入语义关系的不同层面特征,并综合考虑谓语上下文信息,利用卷积树核函数方法,有效地提升了关系抽取的性能。Qian等^{[ 25]}利用实体对的动态依存关系树,进一步改进了卷积树核函数方法的抽取性能。庄成龙等^{[ 26]}在加入语义信息之外,对最短路径树进行裁剪,去掉修饰语冗余和并列冗余信息,较大地提升了关系分类效果。虞欢欢等^{[ 27]}结合关系实例的结构化信息与实体语义信息,构造出合一句法和实体语义关系树,提高了中文语义关系抽取性能。刘克彬等^{[ 28]}将改进后的语义序列核函数与KNN算法相结合构建关系分类器,在训练集较小时仍保持了较高的抽取精度。

基于核函数的方法可以利用文本的长距离特征,从而在理论上具有高维度的特征空间,实验结果也超过了基于特征向量的方法。但是由于核函数方法利用隐性方式表示特征,从而可能引入噪声信息,不利于判断特征有效性。同时,由于核函数的计算复杂度较高,分类器的训练和测试过程较慢,不适于处理大规模语料上的关系抽取任务。对基于特征向量和基于核函数的方法进行比较如表1所示:

表1

表1

表1 基于特征向量和基于核函数方法的比较 方法 特征空间 特征表示 核心 处理速度 基于 特征向量 词、词性序列、上下文、依存句法、句法树等 显式直观 特征 特征工程 较快 基于 核函数 树核、卷积树核等 隐式高维 特征 核函数计 算方式 较慢

表1 基于特征向量和基于核函数方法的比较

(2)半监督的机器学习方法

在利用半监督的机器学习方法解决关系抽取问题时,主要采取基于自举(Bootstrapping)的思路:首先人工构造少量关系实例作为初始种子集合,然后利用模式学习或者模型训练的方法,通过迭代过程,不断扩展该关系实例集合,最终获取足够规模的关系实例,完成关系抽取的任务。研究中一般由命名实体对作为关系种子。

Brin^{[ 29]}基于自举方法,构建了DIPRE(Dual Iterative Pattern Relation Expansion)系统。该系统利用少量实体关系对作为种子,通过不断迭代,自动从万维网页面中获取抽取模板和新的关系实例。Agichtein等^{[ 30]}设计实现了Snowball抽取系统,在Brin的工作基础上完善了关系的描述模式以及新抽取实例的可信度评价方式。Etzioni等^{[ 31]}构建了KnowItAll抽取系统,旨在从网络文本中抽取非特定领域的事实信息,通过多次改进,该系统获得了准确率为90%的抽取结果。Rosenfeld等^{[ 32]}和Feldman等^{[ 33]}将迭代过程中获取的关系模式进行了泛化,弱化了匹配约束,同时加入命名实体识别信息,进一步提高了关系抽取效果。何婷婷等^{[ 34]}在《人民日报》语料上测试了自举方法在中文关系抽取任务中的性能。李维刚等^{[ 35]}利用网络挖掘方法获取了可信度较高的关系种子,增强了自举方法的性能。Xu等^{[ 36, 37, 38]}利用依存句法结构,实现了DARE(Domain Adaptive Relation Extraction)关系抽取系统。该系统通过自底向上的方式构建大量规则模板,并利用背景知识^{[ 39]}剔除错误和无效规则模板,提高了关系抽取的召回率。Zhu等^{[ 40]}利用马尔可夫逻辑网络(Markov Logic Networks, MLNs)改进了Snowball系统的模板评价方式,实现了StatSnowball抽取系统,在人际关系识别中取得不错的结果。Carlson等^{[ 41]}利用耦合半监督学习方法,在不同类别的抽取模板之间制定约束,有效减少了错误模板的产生,使得关系抽取准确率进一步提升。陈锦秀等^{[ 42]}利用图模型表示关系实例集合,利用标注传递算法进行迭代,将标注实例的分类信息传播到临近的未标注样本上,在初始种子较少的情况下也能获取较好的抽取结果。

半监督机器学习方法可以有效地减少人工参与和对标注语料的依赖,并且能扩展到大规模文本的关系抽取任务,目前已被广泛采用。但是,自举方法在迭代过程中存在语义漂移(Semantic Drift)^{[ 43]}的问题,影响抽取结果的准确率。因此,如何获取可信度较高的新关系实例和抽取模板,是目前研究的重点。

(3)无监督的机器学习方法

由于有监督和半监督机器学习方法需要事先确定关系类型,而实际上在大规模语料中,人们往往无法预知所有的实体关系类型。有些研究者基于聚类的思想,利用无监督机器学习的方法,尝试解决这个问题。

Hasegawa等^{[ 44]}通过将命名实体对之间的文本进行聚类,用聚类结果表示关系类别,使用聚类集合中词频最高的词作为关系描述词。在大规模新闻上的实验表明该方法是可行的。Stevenson^{[ 45]}引入WordNet语义词典,改善了关系抽取模板聚类时的相似度计算过程。Zhang等^{[ 46]}利用浅层句法树表示关系实例,通过计算句法树之间的相似度,利用层次聚类算法进行聚类,该方法兼顾了低频实体对之间可能存在的语义关系。Rosenfeld等^{[ 47]}发现关系特征和实体特征的有效结合能大幅提高关系抽取的准确率,同时,在多种聚类算法中,单连通层次聚类算法是最优的。Davidov等^{[ 48]}利用Google搜索引擎,自动挖掘与特定概念词有关的实体和语义关系集合。Yan等^{[ 49]}将维基百科词条中的实体集合作为考虑对象,结合使用依存特征和浅层语法模板,通过模式聚类的方式,在大规模语料中抽取出对应实体所有的语义关系实例。Bollegala等^{[ 50]}从搜索引擎摘要中获取和聚合抽取模板,将模板聚类后发现由实体对代表的隐含语义关系。Bollegala等^{[ 51]}使用联合聚类(Co-clustering)算法,利用关系实例和关系模板的对偶性,提高了关系模板聚类效果,同时使用L1正则化Logistics回归模型,在关系模板聚类结果中筛选出代表性的抽取模板,使得关系抽取在准确率和召回率上都有所提高。

无监督的机器学习方法的应用场景一般是关系类型未事先确定,需要通过自动的方式将关系实例对应到正确的关系类型。无监督方法一般需要大规模语料作为支持,通过利用语料的冗余性,挖掘出可能的关系模式集合,然后确定关系名称。该方法的不足之处在于关系名称难以准确描述,同时,低频关系实例的召回率较低。

开放式关系抽取是信息抽取领域一种新研究范式,旨在从开放的网络文本中自动发现非限定类型的语义关系实例集合。大规模网络数据具有充分的冗余性,同时对处理过程的轻量化具有较高要求,因此开放式关系抽取具有与传统关系抽取不同的研究思路。

面向特定领域的关系抽取任务需要事先人为定义关系类型,同时系统移植性较差。为了解决这些问题,Sekine^{[ 52]}尝试了按需抽取(On-Demand Information Extraction)的思路,通过自动构造简单模板,完成非限定关系的关系抽取任务。Sekine的工作表明了在开放文本环境下,利用浅层模式匹配的方法具有简便直观的优势。在Shinyama等^{[ 53]}研究的启发下,Banko等正式提出了开放式信息抽取的研究思路,对于关系抽取的研究路线产生重要影响。Yates等^{[ 54]}设计并实现了TextRunner系统,将动词作为关系名称,利用启发式规则和简单的句法特征训练分类器,在大规模网页上进行关系抽取,同时利用数据的冗余性判断抽取结果的可靠性。Wu等^{[ 55]}实现了WOE系统,利用维基百科的 Infobox中信息,提高了关系抽取效果。Etzioni等^{[ 56]}、Schmitz等^{[ 57]}考虑到关系抽取在大规模文本上的可扩展性,在句法规则和词性信息的基础上实现ReVerb系统和OLLIE系统,抽取了以动词表示的实体关系,并减少了无信息量抽取和错误抽取的比例。

关系抽取是知识库自动构建^{[ 58]}的重要环节。研究者一般采取Distant Supervision的思路,即利用已有知识库蕴含的事实信息作为支撑,训练出抽取模型,在未标注的大规模语料上获取关系实例,从而补充已有知识库。Mintz等^{[ 59]}利用Freebase丰富的实体关系信息训练分类器,从维基百科文章集合中抽取出新的关系实例。Krause等^{[ 60]}则利用Freebase学习关系抽取规则。除了Freebase外,YAGO也是Distant Supervision方法中常用的知识库^{[ 61, 62]}。

在实际应用中,关系抽取是文本处理流程的重要环节,为保证结果的准确性,人工参与不可避免。以IBM公司为代表的企业一般采用声明式信息抽取(Declarative Information Extraction)的思路,通过机器辅助的方式帮助人们快速简便地完成抽取规则构建,从而提高处理效率。SystemT系统^{[ 63]}利用声明语言AQL构建抽取规则,与基于JAPE规则^{[ 64]}进行抽取相比,取得了更好的效果。WizIE系统^{[ 65]}包含了一个正则表达式生成模块,从而大大减少了人工编写抽取表达式的难度。由于WizIE的规则^{[ 66]}具有领域自适应性,所以可以处理大规模开放性文本,同时处理过程可以实现并行化。

关系抽取研究内容和关系定义方式的转变如表2所示:

表2

表2

表2 关系抽取研究内容和关系定义方式的转变 关键会议和研究趋势 研究内容 关系定义方式 MUC会议 商业活动内容中的关系抽取 Location_of、Employee_of和Product_of三种 ACE会议 抽取机构关系、整体部分关系、人-社会关系等 事先定义的定义7大类 OpenIE研究 开放领域的实体关系抽取 不事先指定,关系由抽取出的动词或者名词短语表示 TAC会议 知识库构建中的槽填充任务 由背景知识库中已有的关系类型集合限定

表2 关系抽取研究内容和关系定义方式的转变

(1)关系抽取由限定领域转向开放领域。在MUC-7会议上,关系抽取首先面向的是商业活动领域。ACE会议的关系抽取语料范围有所扩展,而OpenIE的信息研究范式被提出后,关系抽取研究的领域扩展到了开放互联网领域。

(2)TAC KBP会议将关系抽取研究定义为知识库领域的槽填充任务,使得关系抽取的研究范围兼顾了领域的开放性和体系性。

在关系定义方式上,由人工事先定义的有限类关系逐渐转变为未事先确定的开放类型关系。MUC-7会议上定义的关系类型是Location_of、Employee_of和Product_of三种,ACE会议将关系类型扩展到7个大类20个左右的小类。OpenIE的关系抽取研究中,用动词或者名词短语表征关系,放宽了关系定义的约束,从而产生了更多精细的关系类型。TAC会议将关系抽取视为知识库构建的子任务,从而使得待抽取的关系可以直接由知识库中已有的本体关系进行映射。关系抽取研究内容的深刻变化促进了关系抽取方法路线的转变。

在关系抽取的研究方法上,经历了“人工知识工程——机器学习——机器学习和模板匹配结合”的转变,如表3所示:

表3

表3

表3 关系抽取方法路线的转变 关键会议和研究趋势 方法路线 代表性方法 MUC会议 人工知识工程 基于人工规则 ACE会议 有监督和半监督的 机器学习 Bootstrapping OpenIE研究 模式匹配 基于词性标注的浅模式匹配 TAC会议 机器学习+模式匹配 Distant Supervision

表3 关系抽取方法路线的转变

MUC和ACE测评会议提供了固定的测评语料,面向该测评语料的关系抽取系统能够获取F₁值为75%左右的结果。OpenIE的研究面向的是广阔的互联网开放语料,对关系抽取结果的评价更依赖准确度或者可信度指标。卡内基梅隆大学研发的NELL^{[ 67]}(Never-Ending Language Learning)系统已从互联网上抽取了5 000万的事实型信息,其中接近200万结果具有95%以上的可信度,占总体的4%左右。在实际的企业级应用中,关系抽取一般应用在具体的场景和领域中,仍需人工参与控制关系抽取精度,所以通过机器辅助的方式快速构建抽取规则,是性价比较高的方式。

综上所述,关系抽取是自然语言处理领域的重要研究方向,其研究内容已从限定领域、限定类型的关系分类转变为面向互联网开放领域的实体关系自动发现。随着关系抽取技术进一步实现自动化,将对海量信息处理、智能问答、知识库自动构建等领域产生积极推动,具有广阔的应用前景。