(1) 知识点界定。不同应用场景下, 人们对知识点的定义不同。本文所讨论的科技文献内容知识点是指: 包含在科技文献之中、面向特定领域问题的、经科学研究验证并经领域专家评审确认的知识单元。这种知识点蕴含在科技文献之中, 科技文献通常具有一定的篇章结构, 例如题名、作者、摘要、正文、参考文献等, 而正文又包括引言(Introduction)、相关研究(Related Work)、假设(Assumption)、方法(Method)、分析(Analysis)、结论(Conclusion)等不同部分, 科技论文的篇章结构可以作为科技论文知识点抽取方法设计的参照要素。科技论文中的知识点具有权威性, 其知识内容都是经过领域专家评审确认的, 具有较高可信度, 是支撑科技创新可信赖的知识对象。与科技文献知识点不同, 其他诸如来自网络信息、百科、新闻、社交数据等方面的知识点不在本文讨论范围之中。

(2) 知识点类别。根据粒度不同, 知识点可分为细粒度知识点和粗粒度知识点两种。其中, 细粒度知识点主要指实体、属性、关系等单元, 它们是构成知识的最基本要素。刘丽佳等^[2]建立了领域概念实体、属性、属性值三元组类型的知识点。粗粒度知识点是由多个实体、属性、关系按一定方式组合而成的复杂知识对象, 比如: 主题、事件、创新点等。主题可以是一篇科技文献的核心研究内容, 例如国际评测任务SemEval, 其比赛内容为抽取三元组主题性知识点(任务、过程、原料); 而事件可以是由人物、事件、地点、事项等组成的多元知识点, 例如王宁等^[3]提出基于知识元的突发事件案例信息表示方法; 创新点描述科技文献的学术价值, 如Demner-Fushman等^[4]依据分类模型抽取作者新贡献的相关句子, 从而得到创新句知识点。根据领域范围不同, 知识点又可以分为通用知识点和学科领域知识点。通用知识点指人类社会生产生活活动中积累的常识性知识, 例如CYC系统^[5]收集的知识“树是长在房子外面的”、“笔在笔袋中”等。学科领域知识点是面向特定学科领域的知识, 又分为领域基础知识和领域专深知识。前者指领域通用知识, 如生物领域中构成生物体的基因、蛋白质等知识; 后者是在基础知识点基础上经研究发现的知识, 比如LBD (Linked Brain Data)^①(①http://www.linked-brain-data.org/.)中揭示的脑组织与脑疾病和认知功能的关系; KnowLife^[6]揭示的抽烟与高血压、抽烟与雷诺氏病的因果关系。张力元等^[7]利用最小二乘支持向量机与条件随机场方法揭示GOES (Gene Ontology Evidence Sentences)知识。

(3) 知识点表示。知识点表示主要研究用什么样的方式描述和存储知识点, 以方便人和计算机对其进行理解、分析与组合操作。对于细粒度知识点, 主要采取RDF三元组表示方式^[8], 三元组基本结构是[主语-谓词-宾语], 其中, 属性三元组表示形式为: [实体-属性-属性值], 实体关系三元表示形式为: [实体-关系-实体]。三元组表示方式不仅可以表示细粒度知识点, 通过三元组嵌套也可以实现对事件等粗粒度复杂知识点的表示, 例如犯罪事件会引起调查事件, 调查事件会引起拘捕事件^[9]。目前, 基于三元组的知识点表示得到了广泛应用, 但三元组不是唯一的知识点表示方式。为解决三元组表示计算效率、数据稀疏性等方面面临的问题, 以深度学习为代表的表示学习技术取得了重要进展, 它将三元组的构成要素(实体、关系、属性)表示为低维稠密向量, 进而在低维空间中高效计算它们之间的语义关联, 对知识点的获取、融合、推理等有重要意义^[10]。在复杂知识点特别是知识网络表示方面, 本体是一种比较好的知识点组织方式, 与人类思维形式和人类语言形式较为一致, 是一种规范且便于理解的组织方式。其中, Rak等^[11]建立了基于OWL本体的生物医学知识点表示框架, 孙静等^[12]就中医领域构建了基于本体的症状知识点表示框架。

在图书情报领域, 知识点抽取广泛应用于科学计量、引文分析、知识创新预测等。根据应用的不同, 可分为引用内容分析、主题分析等。在引用内容分析中, 主要通过主题词和特征词的抽取及语义分析, 探索、识别和归类参考文献对于施引文献的引用功能和引用对象类型以及施引文献对参考文献的引用情感倾向和引用的主题知识^[13]。Jeong等^[14]提出基于被引内容的作者共引分析, 以信息科学领域的期刊论文为例, 抽取引用句并计算引用句之间的相似度, 得到相较传统共引分析更细节的作者共引分析。刘盛博等^[13]以J.O’Keefe的高被引论文为例, 从引用性质和功能角度, 抽取研究背景介绍、理论基础和实验基础知识点。在主题分析中, 冷伏海等^[15]提出综合使用语义标注、规则、正则抽取句子级主题。葛斌等^[16]通过计算无向图节点权重抽取句子级主题。温浩等^[17]从实践出发, 提出基于模式识别的三元组主题(问题、方法、结果)抽取。Yi等^[18]提出基于融合半监督方法的神经标注抽取关键短语主题知识点。

在计算机领域, 知识点抽取对象一般是实体(概念)及其复杂关系, 广泛应用于智能检索和知识推理。在关系抽取中, Girju等^[19]从大量语料库资源中得到词法、句法、语义等特征, 利用有监督机器学习方法抽取科技名词间的关系知识点。车海燕等^[20]提出一种自动知识抽取方法, 利用聚集体知识刻画N元关系知识, 自动识别显式及隐含的简单事实知识与N元关系复杂事实知识。在实体或概念抽取中, 丁君军等^[21]通过混合使用模式、语法和词频统计抽取学术概念、属性、属性值。翟劼等^[22]针对知识点特征, 以短语结构树为基础, 提出基于规则的属性、属性值抽取方法。

广义的知识点抽取还包括知识点构建过程, 指在统一框架的规范下, 对来自不同知识源的知识点进行集成、推理、协同后形成新的知识点^[23]。目前知识点构建研究处于起步阶段, 实体对齐是其中的关键步骤, 已经取得丰硕成果, 但仍有较大发展空间^[24]。

近10年来, 特别是在当前文献大数据环境下, 知识点抽取研究是图书情报和计算机领域的关注热点, 研究工作已取得一定的成果和进展, 但也存在些许不足。第一, 通用知识点抽取技术整体评测效果不断提升, 而针对学科领域特点的抽取研究仍然存在较大短板, 相关研究较少, 精准度有待进一步提升。第二, 不同领域的抽取技术存在较大差异, 未来研究可以以需求为驱动, 领域科学家协同参与, 从而逐步满足大规模不同领域数据计算的需求。

(1) 基于规则和词典的实体抽取方法。由于硬件、技术、环境等限制, 早期的实体抽取大多采用此类方法。Rau^[25]于1991年将启发式算法与规则相结合, 首次实现了从文本中抽取公司名称的实体抽取系统, 其中主要使用三种启发式规则: 平行句子结构(例如: IBM, GE and HP each ... or IBM, GE and HP all)、大量逗号(例如: Ace, Acme, Foo, Bar and Hurchinson, Ltd)、启发词(例如: “of ”, John Doe of General Electric, Can Company of America)。该方法简单、运行速度快, 但易受人为因素影响。

(2) 基于统计机器学习的实体抽取方法。Lin等^[26]首先实现基于最大熵模型的实体抽取, 而后规则纠正实体分界错误, 该方法将规则与机器学习方法相结合, 在GENIA数据集上实体抽取准确率和召回率均超过70%。为解决实体类型繁杂的问题, Liu等^[27]采用K近邻算法和条件随机场模型相结合的半监督方法, 在一定程度上解决了标注数据不足的问题。其中K近邻算法(K Nearest Neighbor, KNN)用于实体分类, 条件随机场算法(CRF)用于实体分界标注。

(3) 基于神经网络的实体抽取方法。相比统计机器学习, 神经网络方法能够自动学习词汇语义、上下文依赖等, 减少人工设定特征的代价。在实体抽取中, 长短时记忆LSTM网络是效果最好的网络模型之一。Lample等^[28]提出条件随机场和双向LSTM网络相结合的架构, 网络包含词嵌入层、LSTM编码器、CRF标注层三部分, 该方法F1值最高达到90.94%。

(4) 面向开放域的实体抽取。以上实体抽取方法大多是限定领域文本和类别实体的抽取。在现实应用中, 更多是开放域的实体抽取, 例如科技文献知识抽取系统、问答系统等。对于不同领域, 科技文献中所包含的实体类别存在较大差异。面向开放域的实体抽取类型复杂, 困难度高。如何自动生成标注数据是该任务面临的难点之一。Whitelaw等^[29]提出迭代扩展语料库的方法, 根据已有语料进行特征建模, 处理海量数据集得到实体, 迭代生成标注语料。Etzioni等^[30]提出KnowItAll系统, 采用BootStrapping无监督方法, 不需要任何标注语料, 准确率最高达80%, 最低为59%。该系统在搜索引擎中以规则词作为关键词查询, 并用规则抽取实体, 计算抽取准确性, 最后将准确性达到一定阈值的实体纳入知识库。该方法需要在搜索引擎中查询大量关键词, 执行效率低, 难以适应大数据环境。

以上实体抽取方法各有利弊, 应根据不同情况适当选用。规则方法难以实现在不同领域的迁移应用, 但胜在效率高。无监督算法一方面能够降低领域依赖性, 另一方面减少人工标注所花费的时间, 但当前阶段可行性不高, 在未来的研究中应持续关注。神经网络模型, 特别是LSTM-CRF模型能得到很不错的效果, 但在面向学科领域专深实体抽取中, 仍然存在准确率较低的问题, 在未来的研究中应加强与领域特征的结合。开放域实体抽取仍然是未来研究的难点之一, 应在通用抽取技术框架指导下, 针对领域实体特点采取不同的抽取策略, 通过半监督方法生成标注语料, 机器学习和神经网络的方法将会得到更多应用。

(1) 基于规则的方法。Brin^[31]构建了DIPRE系统, 该系统以少量实体关系为种子, 不断迭代, 自动获取规则和实例。Agichtein等^[32]在Brin的基础上完善关系的描述模式和实例的置信度评价方式, 提出Snowball系统。Zhu等^[33]在Agichtein等的基础上进一步完善置信度评价方式。Carlson等^[34]为减少错误实例, 以少量标注种子为例, 根据置信度评价, 迭代增加标注数据。Roth等^[35,36]将数据表示为矩阵, 根据相似度计算模板得分, 基于TAC数据调整最优化阈值, 最后进行高分模板匹配。基于规则的方法应用可行性较强, 但对语义类别的描述能力有限。

(2) 基于统计机器学习的方法。根据句子处理方式不同, 基于统计机器学习的方法分为基于特征的方法和基于核函数的方法。基于特征的方法指以上下文、词性、句法等为特征, 构建对象的N维特征向量表示, 训练得到关系分类器, 主要有机器学习方法的选择和特征的选择两个研究点。Kambhatla^[37]使用最大熵模型结合词汇、句法和语义特征抽取语义关系。Miao等^[38]和Sun等^[39]研究特征选取对效果的影响, 包括上下文特征、长术语相关性(Long Term Correlation)特征、实体序列特征、实体间的序列化特征、实体间标点符号特征、词特征、分词特征和语法特征。车万翔等^[40]提出在相同特征集的情况下, 不同机器学习方法性能差别不大。基于核函数的方法指用核函数计算两个对象的相似性, 得到关系分类模型。Culotta等^[41]提出依据依存树定义核函数, 该方法不需要生成明确的特征, 但训练和预测速度太慢, 无法处理大量数据。Zelenko等^[42]比较了核函数和特征的方法, 实验结果表明特征的方法优于核函数的方法。

(3) 基于深度学习的方法。Nguyen等^[43]采用CNN方法, 网络共包含4层: 第一层为句子词向量表示的查找表, 第二层为识别N-grams的卷积层, 第三层为确定最相关特征的池化层, 第四层是逻辑回归层。Nguyen等^[44]根据神经网络与其他方法相结合的思路, 比较研究了神经网络分别与CNN、RNN、对数线性模型相结合的方法, 实验结果表明, 二者结合能够达到更好的效果。相比统计机器学习方法, 深度学习方法不需要人工设计大量特征, 但存在三大难点, 首先深度学习是一个黑匣子, 其中的运行逻辑不够完美; 其次决定效果的因素众多, 例如神经网络类型、参数、网络结构、是否有预训练词嵌入、训练、测试与评估数据的比例分配等, 因此寻找好的因素组合需花费一定精力; 第三是深度学习效果依赖巨量数据集合。

(4) 面向开放域关系抽取。开放关系抽取分为二元和多元开放关系抽取。在二元开放关系抽取中, 杨博等^[45]采用马尔科夫推理、本体结构推理等联合推理方法, 综合多种特征, 从而有效推断关系, 但准确率和召回率表现一般。Wu等^[46]研究面向Wikipedia的开放关系抽取, 采用自监督学习训练模型, 准确率得到显著提升。Fader等^[47]利用通用规则实现动词抽取, 召回率和准确率相较Wu等的方法有实质性提升。在多元开放关系抽取中, Akbik等^[48]提出抽取n元实体关系的方法, 依次检测事实信息词、头部过渡词、所有过渡词, 但该方法抽取效率较低, 不适用于大规模数据。为提高效率, Zeng等^[49]提出基于CNN的关系抽取方法, 网络在时间维上应用卷积, 信息在时间维上池化, 实验效果得到有效提升。Sunil等^[50]提出CNN与特征相结合的方法, 特征包括单词本身、距离第一个实体的距离、距离第二个实体的距离、单词的语义标注、单词的块标注、实体类型特征, 该方法具有较好的领域通用性。

(5) 实体与关系的联合抽取。关系与实体之间蕴涵较强的联系, 这是实体与关系联合抽取的理论基础。Katiyar等^[51]提出基于LSTM网络的实体关系联合抽取, 效果优于单独抽取。针对开放域抽取问题, Miwa等^[52]基于词序列和解析树结构, 使用双向顺序LSTM-RNNs网络和双向树结构LSTM-RNNs网络进行抽取。为减少人工特征, Zheng等^[53]提出不需要手动设定特征的混合神经网络抽取模型。神经网络为双向编码-解码LSTM模型和CNN模型, LSTM用于实体抽取, CNN用于关系分类。实验结果证明由于LSTM和CNN神经网络的联合, LSTM中实体的上下文信息传递到CNN网络中, 效果得到显著提升。

(6) 属性抽取。属性能对实体进行全面的勾画, 实体的属性可看作实体与属性值之间的名称性关系, 因此属性抽取一般作为关系抽取处理。郭剑毅等^[54]使用CRF和SVM方法抽取实例、属性及属性值, CRF用于实体抽取, SVM用于关系识别。对于不同句子中的知识点, 采用上下文就近匹配规则。刘丽佳等^[2]对自由文本中的实例、属性和属性值进行识别, 用后向传播(Back Propagation, BP)神经网络的方法进行实例和属性、属性和属性值、实例和属性值关系的识别与抽取, 采用列文伯格(Levenberg-Marquardt, LM)优化算法识别和抽取关系。Zhang等^[55]通过主体、客体、关系相对位置得到词嵌入表示, 提出基于神经网络序列模型的属性抽取方法。属性抽取的实体对很可能分散在多句话中, 为捕获多句话中存在的实体对, Huang等^[56]基于依赖关系结构建立属性和候选值之间的关系, 以依存图为深度神经网络的输入, 将属性和候选值学习到的Attention与外部知识库学习到的Attention相结合, 指导模型更好地选择上下文, 得到更准确的属性类型。

在关系抽取中, 由于实体和关系之间存在较强的联系, 为进一步提升关系抽取的效果, 应当考虑加入实体特征。在未来研究中, 应充分考虑各类实体特征对关系抽取效果的影响程度, 为应用场景提供有效借鉴。为解决标注数据少的问题, 在未来研究中可重点关注深度学习与特征相结合的方法, 以及深度学习与迭代增加数据相结合的方法。开放域关系抽取仍然是关系抽取研究的难点之一, 在未来研究中可首先考虑建立多领域大规模语料库。

(1) 在主题句知识点抽取技术中, 冷伏海等^[15]提出综合使用语义标注、规则及正则表达技术抽取相关主题句。张帆等^[57]利用词表、本体抽取主题句。Leskovec等^[58]通过建立原始文档与人工标注主题句之间的语义网络, 训练主题句分类器。Muratore等^[59]提出一种基于图神经网络的方法, 节点为文档中的句子, 边表征句子之间是否有相同的词, 根据该语义图计算句子权重, 训练主题句分类模型。葛斌等^[16]抽取句子主题词构建空间向量并生成无向图, 基于向量空间模型计算边权重, 最后利用文档句相似度矩阵权重模型进行建模与计算, 权重高于一定阈值的文档句被分类为主题句。

(2) 事件抽取任务可分解为4部分: 触发词识别、事件类型分类、论元识别和角色分类。其中, 触发词识别和事件类型分类可合并为事件识别任务, 论元识别和角色分类可合并为论元角色分类任务^[60]。事件抽取技术方法主要包括机器学习方法和神经网络方法两类。机器学习方法利用人工构建特征的方法表示每个候选触发词或每个触发词-实体对, 然后借助基于统计的分类模型进行分类^[60]。Chen等^[61]提出基于富语言学特征的事件抽取模型, 共包括6种特征: 字级别、语义角色标注、触发词概率、零指代、触发词类型一致性、参数一致性。针对事件和论元角色联合抽取问题, Li等^[62]提出将触发词和论元角色识别相结合, 加入全局特征, 采用结构感知机算法实现联合抽取。在神经网络方法中, Nguyen等^[63]率先提出基于词嵌入、实体位置与实体类型特征的卷积神经网络用于事件检测, 取得较好的效果。针对事件和论元角色联合抽取问题, Nguyen等^[64]提出基于递归神经网络模型进行事件和论元角色的联合抽取, 实验证明该模型同时提高了两个任务的性能, 并获得论元角色分类任务的最好效果。针对生物领域事件的抽取问题, 魏小梅^[65]提出基于序列标记的联合模型, 从概念上将事件分解为更简单的实体链, 基于依存分析的结果抽取包含实体链的序列, 然后用条件随机场模型标记实体链, 采用人工规则和词典对标记结果进行修正。

(3) 还有一些其他形式的粗粒度知识点抽取技术, 例如定义抽取技术、三元组类型主题抽取技术等。Yi等^[18]提出基于半监督方法的神经标注模型, 解决主题知识点(任务、过程、原料)抽取问题。温浩等^[17]利用模式识别等对学术论文文摘进行统计分析、特征提取、机器学习、模式判定分析, 对三元组主题知识点(问题、方法、结果)进行了深度挖掘。丁君军等^[21]通过混合使用模式规则、语法规则和词频统计实现定义知识点的抽取。在未来研究中, 由于领域知识点抽取需求的不断增加, 粗粒度知识点的形式将越来越多, 对应的技术将更多样化。

Semantic Scholar^[66]于2015年年末发布, 是一个建立在知识库基础上的学术搜索工具。知识库构建基本原理是以Semantic Scholar语料和Freebase为输入, 得到实体和关系知识点。实体抽取共分为两部分, 首先从文章中抽取名词短语, 其次是实体链接, 将实体链接到在Google中FACC1标注的最频繁实体。关系抽取中的关系包含4种: Author、Context、Desc、Venue, Author表示作者发表文章的题名带有该实体; Context表示两个实体在20个单位的词窗口中共现次数超过5; Desc表示实体与Freebase描述之间的关系; Venue表示作者发表了标题带有该实体的会议论文。利用该知识库, 实现了更细粒度、更精准的智能学术搜索。

中国科学院自动化研究所开发的脑科学知识图谱^①(①http://www.linked-brain-data.org/.)的内容是包含在科技文献中的科研人员发现并证实的知识点。利用该知识图谱, 支持脑科学知识检索, 支持基于已发现知识的推理计算, 从而为提出科学假设、发现新知识提供支撑。KnowLife^[6]是健康和生命科学领域的知识图谱。构建过程分为三部分: 获取生物医学领域的科技文献文本内容和相关的网络论坛文本内容; 抽取三元组知识点(头实体, 关系, 尾实体); 进行知识点整合。OC-2-KB (Obesity and Cancer to Knowledge Base)^[67]是肥胖与癌症主题的知识图谱。其内容是包含在PubMed中摘要文本的三元组知识点。领域知识图谱能够为问答系统、搜索系统、推理系统提供支持, 还可以使领域研究人员快速建立起知识点之间的联系, 加速研究人员脑中研究主题的知识点网络构建。

针对实际研究需要, 中国科学院青岛生物能源与过程研究所研发了蓝细菌知识服务平台。该平台以研究主题为出发点, 按知识类别分类, 对该主题下科技文献内容中的蓝细菌形态描述、生理参数、遗传背景、生物化学特性、代谢网络、代谢工程及应用前景、研究人员机构等, 进行系统归类整理, 并将基于此探索对部分内容、知识的预测功能, 实现一站式蓝细菌知识平台。该知识服务平台既包含细粒度知识点, 例如生理参数、生化特性等, 也包含粗粒度知识点, 例如形态描述等。利用该学科知识服务平台, 科研人员, 特别是复杂领域(例如生物医学领域)的科研人员, 能及时发现研究方向, 把握前人研究动态, 加速科研创新。