自动文本文摘技术主要分为两类:需要领域知识库作为支撑的基于理解的方法(Abstracting)和不依赖于具体领域的基于统计的方法(Extracting)^{[ 1]}。由于环境和资源的限制,基于统计的方法有其便利之处。而文本理解在很大程度上是个未解决的问题,所以抽取的方式对于自动文本摘要的生成仍然很重要。在基于句子抽取的方法中,经常采用聚类的方法去除冗余信息。而在句子或者段落等级别上的聚类,一般来说都选择词作为最小元素来进行^{[ 2]},即将句子或者段落拆分成词的集合。但是词往往有多个含义,不利于精度的提高,所以其运用有一定的局限性。

基于对上述问题的考虑,DUC2005提出了基本要素方法(Basic Elements, BE)^{[ 3, 4]}。BE描述的是基本要素中心词(Head)及其修饰(Modifier)之间的关系(Relation),表示为一个三元组“中心-修饰-关系”(Head| Modifier| Relation),其中中心词是主要的语法元素,通常为名词、动词、形容词或副词短语。

BE的优越性在于:

(1)BE是直接通过语法分析得到的,不需要语料库的支持,所以比词作为聚类最小单位更为准确;

(2)BE作为自动文摘评测的手段可以很好地克服人工评测方式带来的不足,由于BE是依据句子的结构信息得到的,所以这个三元组中不仅有语义(词)的信息,还含有句子的结构信息,一个更重要的方面是,这些单元可以自动构造而不需要人工进行。

目前,将基本要素方法运用于英文自动文本摘要的技术已经很纯熟,但是将该方法运用于中文自动文本摘要的研究并不多,就笔者所掌握的资料来看,只有刘德喜等的《基于基本要素的文摘内容连贯性评测模型》^{[ 5]}中将基本要素方法运用于中文自动文摘的评价。所以笔者在本文主要探索研究了运用基本要素方法获取中文自动文本摘要,其中借鉴并改进了一些基本要素方法运用于英文文档的处理方式^{[ 6]}。

MSBEC是文献[6]提出的基于基本要素向量空间的英文多文档自动摘要,本文提出的BESM模型主要借鉴该模型的方式来处理中文文档,因为英文和中文有很多不同之处,所以本文主要做了如下改进工作:

(1)国外学者一般运用BE Package^{[ 3]}对英文文档进行处理,它是一个工具包,可以通过注册获得,整合了BE Breakers、BE Scorers、BE Matcher、BE Score Integrators等主要功能^{[ 3]}。但是由于它对中文文档进行处理的技术很难得到,所以本文借鉴了基本要素的思想,设计了一种简单的剪枝方法对基本要素进行自动抽取,即直接选取4类基本要素的中心词-名词词组中的名词、动词词组中的动词、形容词词组中的形容词和副词词组中的副词。

(2)对MSBEC中计算句子分值的公式进行了改进,量化了句子在文档中的位置重要性。

(3)提出了一种客观的抽取句子方法,使文摘长度更为合理。

BESM模型结构如图1所示:

图1

	Figure Option ViewDownloadNew Window
	图1 BESM模型结构图

按照中文自动文本摘要的一般步骤^{[ 7]}来实现BESM模型,其具体步骤如下:

(1)中文文档分词。首先将中文文档中的句子分成一个个词的形式,便于后续处理。

(2) 句法分析。将分词后的文档以句子的形式输入句法分析器,此处采用Stanford Parser软件,得到句法分析后的文档。

(3)抽取基本要素(BEs)。将句法分析后的结果剪枝处理,抽取出基本要素。抽取原则按照基本要素的定义来进行,这里直接选取4类基本要素的中心词,即需要抽取出的是名词词组中的名词、动词词组中的动词、形容词词组中的形容词和副词词组中的副词。

抽取的具体过程用伪代码表示如下:

File BEGIN

Sentence BEGIN //句子循环开始

Find “NN”, “NR” in “NP”, Extract them;

//抽取出名词词组“NP”中的名词,“NN”为名词,“NR”为人名处所等名词

Find “VV”, “VA”, “VC” in “VP”, Extract them;

//抽取出动词词组“VP”中的动词,“VV”为动词,“VA”为程度动词,“VC”为施动词

Find “JJ” in “ADJP”, Extract them;

//抽取出形容词词组“ADJP”中的形容词“JJ”

Find “AD” in “ADVP”, Extract them.

//抽取出副词词组“ADVP”中的副词“AD”

Sentence END //句子循环结束

File END

(4)过滤掉停用词。根据停用词表进行过滤,得到过滤后的基本要素。

(5)计算BEs分值。用经典的TF×IDF公式^{[ 8]}进行BEs分值计算,设D为中文文档,s_i表示文档D中的第i个句子,BE_ij表示句子s_i中第j个基本要素,则其TF×IDF公式如下:

(BE_ij)=TF(BE_ij)×IDF(BE_ij)(1)

其中,文档频率TF(BE_ij)是绝对频率,即BE_ij在文档D中出现的次数;IDF(BE_ij)为反文档频率,计算方法如下:

IDF(BE_ij)=log (2)

其中,SF(BE_ij)为D中所有包含BE_ij的句子数,|S|为D中所有的句子数。

最后需要对公式(1)进行归一化处理,得到基本要素的最后权重分值:

S_BE(BE_ij)= (BE_ij)/max( (BE_ij))(3)

(6)计算句子分值。用一种考虑句子在文档中位置信息的方法来进行句子分值计算。具体过程如下:

S_s(s_i)=S_BE(BE_ij)+βS_s(location)+ε (4)

其中,α+β+ε=1,l_i为句子中含有BEs的个数,S_BE(BE_ij)为公式(3)中的基本要素权重分值, 为句子s_i的长度, 为整个文档中所有句子的长度平均值。

笔者添加了S_s(location)部分,它量化了句子在文档中的位置信息,具体表示如下:

S_s(location)=θ× (5)

公式(5)中的θ为表示句子所在段落在文档中的重要程度,根据中文一般文档的习惯,文档的首段和末段是最重要的^{[ 9]},可以分配θ一个大的权重,而中间的段落相对来说比较不重要,可以分配θ一个相对较小的权重。n代表一个段落中所有句子总数,j代表这个段落中的第j个句子。除了末句外,越靠近段首的句子越重要。

(7)句子聚类。建立句子列表SL,其中的句子按照各个句子在中文文档中的位置来排序。本文将整个文档D中的BEs作为句子向量的特征空间来建立向量空间模型(Vector Space Model,VSM)^{[ 10, 11]}。为了减少一些信息量少、不重要的基本要素的影响,只选取权重分值高于平均分值的基本要素,共N个。

句子列表SL中的M个句子,每个句子s_i表示成一个向量VS_i,这样整个文档就成了一个有M个向量的N维向量空间。VS_i=(WBE_i1,WBE_i2,……,WBE_iN),i=1,2,……,M。其中,WBE_ij为SL中第i个句子s_i中第j个基本要素的特征值,j=1,2,……,N。该特征值的计算公式也采用TF×IDF^{[ 8]}的形式,如下所示:

WB=-log(1+TF(BE_ij))×log (6)

其中,前一部分为绝对频率,TF(BE_ij)代表s_i中第j个基本要素在该句子中出现的次数;后一部分为反句子频率,M_j表示该基本要素BE_ij在文档D中出现的句子数。同样对公式(6)进行归一化处理,得到:

WBE_ij=WB /max(WB )(7)

选取最经典的K-Means^{[ 11]}方法进行句子聚类,K的选择用一种枚举适应法。通常句子的相似性用两个句子对应的向量间余弦表示^{[ 12]},如下所示:

SIM(VS_i,VS_j)=cos(VS_i,VS_j)= (8)

而句子间的距离^{[ 12]}可以定义为:

DIS(VS_i,VS_j)=1-SIM(VS_i,VS_j)(9)

类内聚合度和类间离散度^{[ 6]}如下:

SI(c_i)= (10)

SO(c_i,c_j)= (11)

其中,c_i为K-Means Cluster产生的第i个类;|c_i|为c_i类中的样本个数。

本文的聚类效果评价函数定义^{[ 6]}如下:

F(C)= (12)

在评价函数中,当聚类个数为K'时的聚类结果为C。而实际上类的个数则是使评价函数值最大的聚类个数^{[ 6]},即:

K= (F(C))(13)

(8)句子抽取。自动文本摘要对于句子抽取的一个常用方式就是根据用户的需要长度来抽取,但是由于用户并不知道什么长度是合适的^{[ 12]},因此这种方式有很大的主观性。

本文考虑了一种方法,即综合分析文档中句子的平均长度 和前面聚类个数K,制定以下抽取规则:

①得到用户想要的长度指标;

②根据句子的平均长度 和聚类个数K得出最小的文摘长度为K× ;

③确保K类中值最大的句子都已经抽取一遍后,如果K× 大于现在的抽取结果,则从每类中抽取次大值的句子,如果此时抽取结果大于K× 则停止,否则继续循环抽取直到抽取结果大于K× ;

④根据用户提出的长度要求调整抽取长度。