主流的文摘结构表示模型主要有基于分段名称(Section Names)的S1模型^{[ 3]}、基于论证分区(Argumen-tative Zoning)的S2模型^{[ 4, 5]}以及基于核心科学概念(Core Scientific Concepts)的S3模型^{[ 6]}, 各个模型所包含的内容表示元素如表1所示。

表1

表1

表1 S1、S2、S3模型内容表示元素对照 表示元素 简写 元素含义 模型所含元素 S1 S2 S3 Hypothesis HYP 研究假说 √ Motivation MOT 研究动因 √ Background BKG 研究背景 √ √ Goal GOAL 研究目的 √ Objective OBJ 研究目标 √ √ √ Experiment EXP 实验细节 √ Model MOD 理论模型、框架 √ Method METH 研究方法、手段 √ √ √ Observation OBS 实验中的数据、现象记录 √ Result RES 主要研究结果 √ √ √ Conclusion CON 分析、讨论以及主要结论 √ √ √ Related word REL 与相关研究工作的对比 √ Future word FUT 下一步开展的工作 √

表1 S1、S2、S3模型内容表示元素对照

其中, S1模型是专为表示文摘结构而设计, S2、S3模型由文献正文结构表示模型演化而来, 由于S2、S3模型表示元素过于庞杂而无法从文摘内容中建立一一对应关系, 因此在本研究中采用S1模型来表示文摘结构。

在国外研究中, 用于文摘结构自动识别的机器学习算法有朴素贝叶斯模型(Naive Bayesian Model, NBM)、支持向量机模型(Support Vector Machines, SVM)等, 主要方法及其性能表现(训练数据来源均为Medline数据库)如表2所示:

表2

表2

表2 已有的结构识别方法及其性能表现 方法 出处 训练文摘量 (单位: 篇) 学习 模型 文摘结构 表示模型 识别效果(F-scores) Ruch等[ 7] (2007) 10 800 NBM OBJ - METH - RES - CON 85% McKnight等[ 8] (2003) 7 253 SVM BKG - OBJ - METH - RES - CON 85.7% Guo等[ 9] (2010) 1 000 SVM OBJ - METH - RES - CON 89% Guo等[ 9] (2010) 1 000 NBM OBJ - METH - RES - CON 82% Yamamoto等[ 10] (2005) 8 383 SVM BKG - OBJ - METH - RES - CON 87.98%

表2 已有的结构识别方法及其性能表现

其中比较有代表性的是Guo等^{[ 9]}与Yamamoto等^{[ 10]}的研究。Guo等^{[ 9]}基于上述三种文摘表示模型, 将文摘语句用词、二元词串以及句子上下文信息等特征来表示, 分别利用支持向量机、朴素贝叶斯算法实现了文摘语句的自动分类并对比了算法对各文摘表示模型的分类精度, 其中支持向量机对S1模型准确率达到89%, 朴素贝叶斯算法对S1模型准确率达到82%。Yamamoto等^{[ 10]}也是利用支持向量机算法来表示文摘语句用词、核心动词、动词时态、语句位置信息、语句评分等特征。实验证明, 该方法准确率为87.98%, 特别是对于由背景(Background)与目的(Purpose)组成的引言(Introduction)语句的识别率高达91.3%。但对于文摘结构的自动识别工作来说, 某些领域结构化文摘数量偏小或难以获取, 而上述方法所需训练样本数量较大, 限制了其在这些领域的有效应用。

在国内相关研究中, 比较典型的有霍东云等^{[ 11]}基于支持向量机算法, 通过医学主题词表——MeSH (Medical Subject Headings)分类体系标记Medline数据库文摘, 构建了较好的文摘文本分类模型。潘华山等^{[ 12]}基于支持向量机算法, 选用句法和语义层面特征, 实现了对越语新闻文本的有效分类。

本研究在上述研究方法的基础上, 重新设计了文摘语句文本特征提取方法, 并以决策树算法为基准方法对朴素贝叶斯算法、支持向量机算法进行了实验测试与效果对比, 结果证明该方法在较小训练样本数量下对S1模型文摘结构识别效果较好, 因而具有较强的实践应用价值。

学术文摘是非结构化的自由文本, 结构识别是为文本中每一个语句分配元素标签(如S1模型的OBJ/ METH/RES/CON), 并将相同标签的语句组合成为一个语块, 用于表征某个文摘结构内容的过程。由此可将文摘结构自动识别问题转化为基于文摘语句的文本自动分类问题。

本研究分别采用朴素贝叶斯算法^{[ 13]}与支持向量机算法^{[ 13]}来实现语句自动分类, 并以决策树算法^{[ 13]}为基准方法(BaseLine Method)进行对比评测。

决策树算法是一种逼近离散函数值的方法。首先对训练数据进行处理, 利用归纳算法生成可读的规则和决策树, 然后使用决策树对新数据进行分析。本质上决策树是通过一系列规则对数据进行分类的过程。

朴素贝叶斯分类器基于独立假设、应用贝叶斯定理与最大似然估计来为待分类特征数据集F选择具有最大后验概率^{[ 13]}的类别C:

支持向量机算法能够在有限样本信息、模型的复杂性及学习能力之间寻求最优, 从而达到最好的推广能力。支持向量机的原理是通过事先选择的非线性映射将输入向量x映射到一个高维特征空间中, 在这个空间构造一个最优分类超平面, 将两类样本无错误地分开, 且要使两个类别(标记为y∈{-1,1})的分类空隙最大, 如此便可以使在原始空间中非线性可分的问题变为高维空间中线性可分的问题, 从而达到分类的目的^{[ 14]}。

本研究将以非结构化文本形式存在的文摘转化为由一系列文本特征表示的数据集合, 用以描述和替代自由文本并指导机器学习算法进行模型训练和识别判断。研究选取的文本特征如下所示:

(1) 位 置

位置是指一个语句在文摘中所处的位置信息。通常情况下OBJECTIVE语句会出现在摘要的靠前部分, 而CONCLUSION语句会出现在摘要的靠后位置, 中间部分一般为METHOD语句和RESULT语句, 而METHOD语句通常又在RESULT语句之前。根据此类规律赋予每个语句一个位置属性值, 并将其作为一项分类特征。

(2) 类别词相似度

类别词是指对某一类别(OBJ/METH/RES/CON)表征显示度最高的一个特征词集。本研究采用χ²统计度量特征项和类别之间的独立性(即相关度), 特征词对某类χ²统计值越高, 它与该类之间的相关性越大, 表征的类别信息就越多, 提取特定类别中χ²值最高的前若干个词组成类别词集合。

在此基础上, 将文摘语句进行预处理后形成语句词集合, 与每个类别的类别词集合在向量空间模型中做余弦相似度计算, 并将其得分分别作为一项分类特征。

(3) 核心动词

句子中核心的词性是动词, 动词是支配其他词性成分的中心成分, 而它本身却不受其他任何词性成分的支配, 并且与上下文环境无关, 所有受支配成分都以某种依存关系从属于动词词性成分^{[ 15]}。本研究将文摘训练语料中的核心动词抽取出来并进行词频统计及排序处理后构成类别动词词表。将语句中的核心动词、词性、时态以及其是否在特定类别的动词词表中出现分别作为独立的特征项。同时, 本研究也将受支配成分与中心成分(即语句的主谓宾成分)抽取出来作为特征项之一。

(4) 上下文信息

文摘语句所处语境及其上下文线索信息对类别判定具有提示意义, 因此本研究将前一句类别信息、前一句核心动词、词性及其时态均作为分类特征项。

处理完的两条文本特征语料实例如表3所示。

表3

表3

表3 语料实例 特征名称 含义 语料实例1 语料实例2 Location 该语句在文摘中位置 0.5 0.23 Double PreClass 前两个语句的类别 START OBJECTIVE PreClass 前一个语句的类别 OBJECTIVE OBJECTIVE SimilarityToO 与OBJECTIVE类别词相似度 0 0.02 SimilarityToM 与METHOD类别词相似度 0.01 0 SimilarityToR 与RESULT类别词相似度 0 0 SimilarityToC 与CONCLUSION类别词相似度 0 0.01 DoublePreVbWord 前两个语句的核心动词 null do PreVbWord 前一个语句的核心动词 do be VbWord 该语句的核心动词 receive be VbBelongO 核心动词是否属于OBJECTIVE类别动词表 no no VbBelongM 核心动词是否属于METHOD类别动词表 yes no VbBelongR 核心动词是否属于RESULT类别动词表 yes no VbBelongC 核心动词是否属于CONCLUSION类别动词表 no no PreVbPos 前一语句核心动词的词性 VBZ(现在时) VBD(过去式) VbPos 该语句核心动词的词性 VBZ(现在时) VBZ(现在时) PreVbVoice 前一语句核心动词的时态 present past VbVoice 该语句核心动词的时态 present present S 该语句的主语成分 patient OCA P 该语句的谓语成分 receive be O 该语句的宾语成分 test group Class 该语句的类别 METHOD OBJECTIVE

表3 语料实例

1987年起, 部分生物学和医学期刊开始采用结构化文摘(Structured Abstracts)^{[ 16]}, 即作者需在其文摘中标示出能够表征文本结构的分段内容, 如Background、Objective、Method、Result、Conclusion等。本研究选取Medline数据库中经过标注的结构化文摘用作模型训练及结果测试语料。

在语句特征提取时需要对语句进行分词、词干还原、词性标注等处理, 该步骤主要基于斯坦福大学的Stanford-CoreNLP^{[ 17]}工具包来扩展编程实现。文本语句中核心动词及其词性的识别利用词法关系模式匹配工具Tregex^{[ 18]}配合StanfordParser^{[ 19]}来完成。语句中主谓宾成分的抽取利用依赖关系模式匹配工具Semgrex^{[ 18]}来完成。

为与已有研究方法识别效果进行对比, 本研究采用两组语料分别进行训练测试。A组随机选取500篇文摘语料(含5 375个句子)作为训练语料, 500篇文摘语料(含5 289个句子)作为测试语料。B组随机选取1 390篇文摘语料(含15 110个句子)作为训练语料, 512篇文摘语料(含5 860个句子)作为测试语料。借助Waikato大学的开源机器学习软件Weka(Waikato Environment for Knowledge Analysis)^{[ 20]}来完成模型训练过程, 分别利用决策树算法(J48)、朴素贝叶斯算法、支持向量机算法来对语料进行模型构建和识别测试。

本研究采用开放测试方法, 以决策树算法为基准方法, 对朴素贝叶斯、支持向量机算法识别结果进行评价, 用正确率(Precision)、召回率(Recall)以及F-测度值(F-measure)指标进行结果衡量^{[ 21]}。以OBJ类为例:

(1) 算法对比

如表4所示, 从A组实验测试结果可以看出, 支持向量机算法准确率(90.7%)略高于朴素贝叶斯算法(88.9%), 它们均优于基准方法——决策树算法的分类准确率(86.3%)。算法正确率、召回率由高到低排列为支持向量机(90.7%, 90.7%)、朴素贝叶斯算法(89.2%, 88.9%)、决策树算法(87.0%, 86.2%)。

表4

表4

表4 A组实验测试结果 分类算法 类别标签(Class) 正确率(Precision) 召回率(Recall) F-measure 决策树算法 BaseLine OBJ 0.948 0.793 0.864 METH 0.77 0.901 0.831 RES 0.88 0.858 0.869 CON 0.94 0.869 0.903 均值 0.87 0.862 0.863 朴素贝叶 斯算法 OBJ 0.966 0.878 0.92 METH 0.844 0.903 0.872 RES 0.872 0.903 0.887 CON 0.946 0.846 0.893 均值 0.892 0.889 0.889 支持向量 机算法 OBJ 0.937 0.928 0.932 METH 0.868 0.916 0.892 RES 0.916 0.89 0.903 CON 0.925 0.904 0.914 均值 0.907 0.907 0.907

表4 A组实验测试结果

从识别效率来看, 支持向量机算法建模用时301.22秒, 测试数据用时4.62秒。朴素贝叶斯算法建模用时0.1秒, 测试数据用时0.65秒。决策树算法建模用时1.2秒, 测试数据用时0.27秒。其中, 支持向量机算法建模耗时最多, 决策树算法次之, 朴素贝叶斯算法最少。

如表5所示, 从B组实验测试结果可以看出, 支持向量机算法准确率(90.0%)略高于朴素贝叶斯算法(89.7%), 它们均优于基准方法——决策树算法的分类准确率(86.7%)。算法正确率、召回率由高到低排列为支持向量机(90.0%, 90.0%)、朴素贝叶斯算法(89.9%, 89.7%)、决策树算法(86.9%, 86.6%)。

表5

表5

表5 B组实验测试结果 分类算法 类别标签(Class) 正确率(Precision) 召回率(Recall) F-measure 决策树算法 BaseLine OBJ 0.840 0.919 0.878 METH 0.782 0.817 0.799 RES 0.907 0.873 0.890 CON 0.950 0.861 0.903 均值 0.869 0.866 0.867 朴素贝叶 斯算法 OBJ 0.930 0.912 0.921 METH 0.826 0.899 0.861 RES 0.918 0.891 0.904 CON 0.926 0.887 0.906 均值 0.899 0.897 0.897 支持向量 机算法 OBJ 0.917 0.921 0.919 METH 0.849 0.87 0.86 RES 0.918 0.903 0.91 CON 0.913 0.91 0.911 均值 0.90 0.90 0.90

表5 B组实验测试结果

从识别效率来看, 支持向量机算法建模用时1 410秒, 测试数据用时4.62秒。朴素贝叶斯算法建模用时0.05秒, 测试数据用时0.19秒。决策树算法建模用时2.12秒, 测试数据用时0.07秒。其中, 支持向量机算法建模耗时最多, 决策树算法次之, 朴素贝叶斯算法最少。

对比A、B组实验结果, 从识别准确率来看, 在相同数量的训练、测试语料下, 支持向量机算法识别准确率略高于朴素贝叶斯算法; 但从识别效率来看, 支持向量机算法建模时间开销要远大于朴素贝叶斯算法, 因此在实际工作中应根据具体需求考虑选用合适的识别算法。

支持向量机算法与朴素贝叶斯算法对结构元素的识别准确率由高到低排序均为OBJ>CON>RES> METH。其中, 对于OBJECTIVE类别语句识别准确率均达到91%以上, 主要是由于OBJECTIVE类别特征词与核心动词较多, 特征较为显著。而METHOD类别语句含有大量工具、指标、单位、试剂等类型专用名词, 缺乏较为固定的类别特征词与核心动词, 因此算法较难识别。典型示例如表6所示, 该条语句的正确类别应为METHOD, 但由于其与METHOD类别特征词集相似度(SimilarityToM)为零且语句核心动词不属于METHOD类别核心动词集(VbBelongM值为no), 模型将该语句类别误判为RESULT。

表6

表6

表6 识别错误的语料示例 Location Double PreClass PreClass SimilarityToO SimilarityToM SimilarityToR SimilarityToC 0.31 METHOD METHOD 0.0 0.0 0.0 0.0 DoublePreVbWord PreVbWord VbWord VbBelongO VbBelongM VbBelongR VbBelongC be be be no no no no PreVbPos VbPos PreVbVoice VbVoice S P O VBD VBD PAST PAST reason be withdrawal

表6 识别错误的语料示例

(2) 效果对比

虽然均采用Medline文摘作为样本数据, 但由于测试集合和测试条件的差异, 表7中指标数值只能作为方法效果的参考。较之于文献中识别效果最优的方法^{[ 7, 9]}, 本研究提出的方法在较少训练样本量下即可实现较高准确率, 表明本方法是一种小样本量情况下行之有效的学术文摘结构自动识别方法。

表7

表7

表7 与同类方法识别准确率对比 算法 名称 文献中识别效果最优的方法 本文提出的方法 方法 出处 训练样本数量(篇) 测试 方法 平均 准确率 训练样本数量(篇) 测试 方法 平均 准确率 支持 向量机 Guo等[ 9] (2010) 1 000 十折 验证 89.0% 500 开放 测试 90.7% 朴素 贝叶斯 Ruch等[7] (2007) 10 800 开放 测试 85.0% 1 390 开放 测试 89.7%

表7 与同类方法识别准确率对比