文本预处理主要包括文本的噪声处理和自动分词两个过程。噪声处理过程主要是去除停用词和消除歧义,停用词包括助词、叹词、语气词、拟声词;歧义消除是指对文本中具有指代意义或者同一语义的词语进行统一,如文本中同时出现“中国人民大学”和“人大”,两者表示的意义完全相同,需要进行唯一化处理。

选用中国科学院计算技术研究所研制的汉语词法分析系统ICTCLAS（Institute of Computing Technology, Chinese Lexical Analysis System）^{[ 11]} 作为文本自动分词的工具,该系统不仅支持中文分词和词性标注,还具有关键词识别和支持用户自定义词典等功能。ICTCLAS3．0分词速度单机996KB／s,分词精度达到98．45％,可信度较高,是现有的比较好的汉语词法分析器。

复杂网络是由点和边构成的,文本中能够表示完整语义信息的最小单位是句子,因此本文中用节点表示句子,以句子为单位进行文本的结构特征分析具有可靠性。边的界定原则是如果两个句子间有一个共同的名词则产生一个边相联,否则不产生边。如果在网络中的两个句子存在边,即有一个公共名词,则可能阐述同一主题或者传达同一主题的补充资料,虽然两句话可能包含重复冗余的信息,但两个句子涉及的内容最为密切。通过两个句子之间共同名词的关系来构建复杂网络,最终得出文本复杂网络。

经过预处理后,将文本中各个句子产生的名词映射到网络中。根据邻接矩阵和N阶矩阵权重（N是节点或句子的数量）的概念,定义两个矩阵A和W,A矩阵表示句子间边的关系,W矩阵表示句子的权重。在A矩阵中,如果节点i和节点j之间有边的话,则a_ija_ji等于1,其他情况都等于0。W矩阵中,边的权重w_ijw_ji是节点i和节点j中出现共同词的次数。

本文将句号作为界定句子的唯一标识,根据A矩阵和W矩阵的定义,应用计算机匹配算法,自动抽取句子关系构成矩阵A和W,将名词关系映射到矩阵中,最终借助社会网络分析软件UCINET,构建出文本的复杂网络^{[ 12]}。

目前,专家主要从连贯性和凝聚力、主题突出、段落分明三个方面评价文本信息内容结构。本文选取三个拓扑性质对生成的文本复杂网络进行分析,并通过计算这三类拓扑性质指标,分析文本信息的结构特征。

（1）度和强度

网络度（Complex Network Degree）和网络节点强度（Complex Network Strength）是描述网络中某一节点与其他节点连接程度的概念。文本复杂网络中的度是与某个节点有联系的节点总数,网络强度是与某个节点有联系的共同名词的数量（即是与某个节点有边联系的节点的边权重之和）。度和强度反映了某个句子与其邻接句子的紧密关系,能够反映文本的主题是否突出。

（2）最短路径

最短路径是测量网络结构中距离最常用的方法,路径是由从一个节点到另一个节点的不重复边构成,和网络度、网络节点强度不同的是,它不仅考虑了节点的近邻节点,还考虑了间接节点,节点之间最短路径大于1。无权网络和有权网络计算最短路径的方法有所不同,有权网络需要对权重进行转变后再进行计算。该拓扑指标衡量的是某个句子与其他句子的衔接性,是能够反映文本连贯性和凝聚力的结构特征。

（3）聚类系数

节点的聚类系数反映了该节点的近邻之间的集团性质,近邻之间关联越紧密,该节点的聚类系数就越高,即近邻句子之间的联系越紧密,所有节点的聚类系数的平均值便是整个网络的聚类系数。聚类系数是某个句子邻接节点之间的连接关系,能够反映文本的凝聚力和段落分明的结构特征。

网络度可以通过矩阵A计算,k_i=∑j＝１Na_ij,网络强度可以通过矩阵W计算,s_i=∑j＝１Nwij^{[ 9]}。度分布描述一个句子与其他句子是否存在联系,而强度分布更侧重描述一个句子与其他句子的联系强度。对于k_i和s_i数值比较大的节点,可视为网络的枢纽。利用复杂网络来提取文章摘要,一般选择k_i和s_i都比较大的节点来构成摘要。

图2

	Figure Option ViewDownloadNew Window
	图2 文本复杂网络节点度与强度分布图

图2是句子节点度和节点强度的部分排名,前10个节点分别是S1、S5、S19、S28、S30、S11……,度值和强度值比较大,累积度分布达到60．2％,累计强度分布达到65．4％,单个节点度分布都在6％以上,说明这10个节点句子能够覆盖全文将近60％的信息量。通过与段落中句子的分布对比,这些节点度和强度排名靠前的句子,大多分布在段落的首句和末句,与实际的经验分析相符,可以根据排名提取文本的中心思想和自动摘要,同时从文本节点的度和强度的分布可知,各节点的大小虽然有差距,但是不明显,因此案例文本的主题较为突出,但还有待提高。

最短路径是衡量连贯性和凝聚力的重要指标,两个句子节点距离越短,句子之间的联系越密切,文章连贯性和凝聚力也越强。连接节点i和j的最短路径长度d_ij可以通过矩阵A计算,最短路径长度是节点i到网络中的其他节点的路径的平均值,计算公式如下：

sp_i=１N-１∑i≠jd_ij （1）

如果节点i和j之间不存在路径,则d_ij=N,一对节点之间不存在路径,则说明网络是不连通的^{[ 8]}。

对于文本复杂网络,边是有权重的,可以利用权重来计算最短路径。节点之间权重较大表示联系密切,这与最短路径的计算是相反的。所以在计算之前,先要把矩阵W中的边的权重进行改变,构造权重与原来权重成反比例的矩阵,下文介绍两种方法,首先定义两个矩阵W^wc和W^{wl[ 10]}。

（1）W^wc是把W经过以下变形得到的：

若w_ij=0则wijwc=0;

若w_ij>0则wijwc=w_max-w_ij+1 （w_max是矩阵W中的最大值）。

将公式（1）带入,计算W^wc的最短路径。如果节点i和j之间没有路径则d_ij=N,因为sp_i越小的节点与其他节点的联系越密切。

（2）W^wl是把W经过以下变形得到的：

若w_ij=0则wijwl=0;

若w_ij>0则wijwl=1／w_ij。

利用公式（1）进行计算即可,同理如果节点i和j之间没有路径则d_ij=N。

通过以上三种不同的方法,对本文案例的文本复杂网络进行计算,得出的结果基本一致。本文将通过无权重和有权重两种方法分别绘制W和W^wl的数据散点图,如图3所示：

图3

	Figure Option ViewDownloadNew Window
	图3 文本复杂网络最短路径分布图

此文本复杂网络是非连通图,得出的最短路径数值较大,可以看出,不管是有权重还是无权重,基本路径基本满足线性关系,但是最短路径的变化不明显。无权重网络的平均最短路径为50．4,数值比较大,因此文章的连贯性和凝聚力较差。

本文的聚类系数则反映文章内容的紧密程度。在考虑文本复杂网络权重的情况下,对于网络中某一节点的聚类系数可以定义如下^{[ 14]}：

Ciw=１siw（ki-１）∑j,kwij+wik２a_ija_jka_ik （2）

由前文的网络度和强度的计算可知,k_i为节点i的度,s_i=∑j＝１Nw_ij为节点强度,表示节点i与近邻节点的权重之和,∑k>ia_ija_jka_ik表示网络中包含节点i的三角形的总数,当C=0时所有的节点均为孤立节点,没有任何连接边。根据公式计算得出各节点的聚类系数,如图4所示。

图4

	Figure Option ViewDownloadNew Window
	图4 文本复杂网络节点聚类系数分布图

节点聚类系数的分布区间是0-1．65,文章中存在两个孤立点,整体聚类系数波动程度不大,句子的聚类系数成线性排列。

整个网络的聚类系数C越大,则文本的凝聚性较好,文本表达较好,内容衔接较好,相反,则文本内容孤立,不利于文本内容的表达,本文得出的聚类系数为0．941,文章的整体凝聚性较差。但是通过对节点聚类系数进行分析可知,排名靠前的节点,如S1、S5、S19等大多分布在文中的不同段落,这表明文章的段落较分明,每段围绕聚类系数大的节点句子展开。

通过节点度和强度的分析可知,节点度和强度大的,所占据的文本的信息量较大,在文章中占有重要地位,是文章的中心句,这些句子大多分布在段落的首句和末句,与实际的经验分析相符,同时可以根据排名提取文本的中心思想和自动摘要。从文本节点的度和强度的分布可知,各节点的大小虽然有差距,但是不明显,因此案例文本的主题较为突出,但还有待提高。

通过文本复杂网络最短路径的分析可知,无论用哪种方法计算最短路径,得出的节点序列基本相同。最短路径越短则句子与其他句子的连通性越好,是全文的中心句,对理解文章的中心思想和自动文本摘要起重要作用。此文本无权重网络的平均最短路径为50．4,数值比较大,因此文章的连贯性和凝聚力较差。

聚类系数反映文章内容的凝聚力,体现文章的整体状况,聚类系数越大,证明文章的凝聚力越好,而对节点聚类系数进行分析可知,排名靠前的节点,如S1、S5、S19等大多分布在文中的不同段落中,这表明文章的段落较分明,每段围绕聚类系数大的节点句子展开,文章在文本段落结构方面比较好。

通过对文本复杂网络的拓扑性质度、强度、最短路径、节点聚类系数的分析, 能够很好地分析文本的连贯性和凝聚力、主题突出、段落分明等方面的结构特征,从而对文本结构进行评价。