句子相似度是两个句子在语义上的匹配程度,取值为[0,1]之间的实数,数值越大,表明两个句子在语义层面上越相似。本文采用的句子相似度计算方法是一种基于语义的计算方法。王森等^{[ 12]}根据中文语句的特点,提出句子相似度由主题相似度和词形相似度决定,主题相似度由名词的语义相似度定义,词形相似度由除名词外的词的词形相似度定义,从而给出了一种基于句子语义的相似度计算方法,公式如下^{[ 12]}：

SentenceSim（A,B）=θ₁WordSim（A,B）+θ₂SenmanticSim（A,B）（1）

其中,θ₁、θ₂∈[0,1]且θ₁+θ₂=1。SentenceSim（A,B）表示句子A和B的相似度, WordSim（A,B）表示句子A和B的词形相似度,SenmanticSim（A,B）表示句子A和B的主题相似度。

主题句不仅应该是被作者重复描述最多的句子,同时也应该能够尽可能广泛地分布在新闻的各个段落中。为了提高主题句抽取的准确性,将所有与主题相关的句子作为候选主题句,通过计算比较各个候选句子的重要程度,最终建立一个尽可能广泛包含主题意义的主题句集合。

首先定义两个语句参数评估概念,然后根据两个评估参数的结果,综合计算句子的重要程度,并最终确定出文本主题句集合。

定义1：正文句子S或S的相关同义句在正文文本中出现的次数定义为句子S的重复频率,用符号F_S表示。经分析发现,一个句子重要与否,很大程度上取决于该句子在文中出现的次数。因为如果一个句子被重复的次数越多,也就表明该句包含作者反复强调的对象,因而很可能与正文的主题相关,作为主题句的概率也就越大。

定义2：正文句子S或S的相关同义句在正文文本段落中分布的稀疏程度定义为句子S的分布广度,用符号D_S表示。一个句子在正文中跨越的段落数越多、分布越广,说明该句子的贯穿性越强,越有可能与主题相关,作为主题句的概率越大。

明确了以上定义后,给出主题句权值计算公式：

TopicSentenc=α× +β×

（2）

其中,α+β=1, s_（i,j）表示新闻正文中第i段,第j个句子。TopicSentenc 表示句子s_（i,j）的主题句权值, 表示句子s_（i,j）在文本中的重复频率, 表示句子s_（i,j）在文本中的分布广度。

α和β的取值范围易知,0≤α、β≤1且α+β=1,其大小分别表示句子重复频度 和句子分布广度 两个因素对主题句的权值贡献率,根据实验结果,本文令α=0．5,β=0．5。

网页新闻正文主题句抽取算法如下：

（1）将提取出来的新闻正文以段落为单位进行划分,设共可分成m段。

（2）以段落为单位将正文按{“,”,“。”,“?”,“！”}等句子结束符切分成N个句子。例如：设一篇文章共分成m个段落,每个段落包含n₁、n₂…n_m个句子,则第i段第j句可表示为s_i,j,其中i, j均为整数,且0i。此时,如果N<10,说明这篇新闻具有较少的句子,将不对其进行主题句抽取,可以直接将新闻内容与新闻标题进行相似度计算。

（3）假设正文共可分为{s_1,1,…, ,s_2,1,…, ,…,s_m,1,…,s_m,m}个句子,计算每两个句子之间的相似度Sim（s_i,j,s_p,q）（其中, i≠p且j≠q）,可得到一个关于正文所有句子之间的相似度矩阵S_N＊N。由于S_N＊N,是对称矩阵,所以只需计算出对应的上三角阵或下三角阵即可,然后再在相对应的位置赋值。当i=p,j=q时,令Sim（s_i,j,s_p,q）=1。

（4）确定一个阈值Q₁,以相似度矩阵S_N＊N为初始矩阵进行变换,将相似度矩阵S_N＊N按照规则变换成矩阵S_k＊k,令k=N,变换规则如下：

Si（si,j,sp,q）=

（3）

在这里,显然Q₁∈ [0,1]。Q₁所表征的是两个句子可以认为相关或相似程度的大小。Q₁的取值越大,要求两个句子越相似,提取出的候选句子会越少,同时会降低主题句集合对文本主题的覆盖广度;Q₁的取值越小,要求句子间相关度低,则提取出的主题句不能很好地反映主题内容。所以为了尽可能让候选句子覆盖主题内容,同时又保证一定的实验精度,根据实验结果令Q₁=0．3。

（5）这时经式（3）变换得到矩阵S_k＊k的每一行向量中不为0的元素的个数即可代表该句子的重复频度,即行向量s_i,j中不为0的元素个数就代表第i段第j个句子在全部文本中出现的重复频度 。 的具体参数值计算方法如下 ：

=

（4）

其中, SimilarCounts_i,j为矩阵S_m＊m中行向量s_i,j中元素不为0的个数, N为正文中包含总句子数。

（6）记录下行向量s_i,j中每个不全为0的元素所对应的列向量,统计出该列向量所在的段落位置,最后算出列向量所在不同段落位置的总数,记为DifferentParagraphCounts_i,j,该参数在一定程度上反映了句子s_i,j在文中的分布情况,根据其可以得到句子s_i,j的分布广度 计算公式如下：

=

（5）

其中, m为正文总段落数。

（7）根据以上步骤计算出的句子重复频度 和句子分布广度 ,利用式（2）进一步计算可得到每个句子的主题句权值。

（8）根据主题句计算公式,在矩阵S_k＊k筛选出元素不全为0的行向量,分别计算每个句子的主题句权值,然后根据主题句权值大小将句子从大到小进行排列,最后抽取出前R个不同的句子构成主题句集合。其中, R=[0．1×N]（中括号表示取整）,即抽取正文全部句子数的10％作为候选主题句,这样保证了抽取的主题句能够尽可能广泛地反映正文主题内容。

关于主题句抽取算法的几点说明：

在本算法的步骤（2）中,需要对分句得到的N个句子进行短句过滤处理,目的是过滤掉一些经常出现在新闻中但却与新闻主题无关的短语或句子,例如：“目前”、“近日”、“有报道称”等。短句过滤处理规则本文用下面的文本作为示例：

“目前,大楼内大火已被扑灭,现场救助、案件调查及追捕犯罪嫌疑人等项工作正在紧张有序进行中。”

这段文本在语法上是一个句子,但利用步骤（2）中的句子分割方法将本句进行拆分,可以得到三个句子。“目前”,“大楼内大火已被扑灭”,“现场救助、案件调查及追捕犯罪嫌疑人等项工作正在紧张有序进行中”。

在本文中,把短句定义为句子中汉语字符数少于5的句子。因此,在上面的例句中,第一个句子“目前”（汉语字符数为2,小于5）将会被过滤掉,而第二和第三个句子汉语字符数均大于5,予以保留。

此外,如果最后得到的正文总句子数小于10,由于正文的句子数较少,不适合利用本方法进行主题句抽取,则可以直接将正文内容进行分句处理,然后再与新闻标题进行相似度计算,从而判断新闻是否为标题党新闻。

在得到每个句子的主题句权值后,可以继续对主题句进行抽取。由于抽取的主题句不能重复,所以每抽取一个句子都需要与已抽取的主题句进行相似度计算,如果结果大于0．6,则认为两个句子表达基本相同的含义,不予以重复抽取。

本文对一篇网页新闻是否为标题党新闻判别的主要指标是主题句相似度计算所得到的结果。在本算法中,相似度值P的计算方法分为两种,主要以新闻正文句子数为依据。当正文句子数大于10时,首先对正文进行主题句抽取,得到候选主题句集合。在该主题句集合中,主题句按照权值大小依次排列。在得到新闻标题与主题句之后,相似度值P计算方法如下：

P=Max{SentenceSim（TopicSentence_i,j,title）}（6）

其中, TopicSentence_i,j为候选主题句集合中第i个段第j个句子, title表示新闻标题内容, SentenceSim（TopicSentence_i,j,title）为主题句TopicSentence_i,j与新闻标题title的语义相似度。

当正文句子数小于10时,无需再进行主题句抽取,而是直接将正文句子作为主题句。此时,相似度值P计算方法如下：

P=Max{SentenceSim（NewsSentence_i,title）}（7）

其中, NewsSentence_i代表新闻正文中第i个句子,在这里,相似度值P取新闻正文句子与新闻标题相似度的最大值。

在得到主题句相似度值P之后,可以进一步进行标题党新闻的判定。设定参数T为判别一篇网页新闻是否为标题党新闻的阈值。在本算法中,很容易得到T的取值范围应该在[0,1]之间。当T的取值较小时,表明标题党新闻的判别标准比较宽泛,只要新闻主题与新闻标题有一定的联系即可,同时会增大算法将标题党新闻误判为正常新闻的概率。当T的取值较大时,则表示要求新闻主题能够较为具体准确地解释新闻标题内容,此时也会增大算法将正常新闻误判为标题党新闻的概率。为了达到理想的实验效果,同时又兼顾两方面的影响因素,令T=0．2。此时,当一篇新闻的相似度值P大于0．2时,认为此新闻为非标题党新闻;反之,则为标题党新闻。