现有文本特征降维方法主要包括特征选择与特征抽取^[5]。

(1) 文本特征选择方面: 裴英博等^[6]消除卡方统计(Chi-Square Statistic, CHI)中的特征与类别间负相关, 并引入浓度信息、分布信息和频率信息。Patil等^[7]使用词频-逆文档频率(Term Frequency-Inverse Document Frequency, TF-IDF)基于最小阈值从文档中选择特征。辛竹等^[8]综合考虑频度、集中度、分散度等因素, 在互信息(Mutual Information, MI)中引入三个调整参数。刘海峰等^[9]从基于文本的类内分布、基于词频的类内分布及词频的类间分布等角度逐步改进信息增益(Information Gain, IG)。

(2) 文本特征抽取方面: 刘美茹^[10]利用潜在语义索引(Latent Semantic Indexing, LSI)进行文本特征抽取降维。常娥^[11]利用N-gram统计法抽取文档关键词, 并应用LSI对VSM进行降维。Zahedi等^[12]利用主成分分析(Principal Component Analysis, PCA)、词频及类别相关因子对波斯语文本进行降维。Abdulhussain等^[13]提出基于相似性/相关准则的PCA以获得低维特征。

由于文本特征抽取忽略了特征语义信息, 文本特征选择易于理解、使用简单且保留语义信息, 笔者使用文本特征选择方法进行特征空间降维。其中IG、MI、CHI等考虑类间相关性, 即在文本类别已知情况下, 综合考虑特征在已定义的所有类别中的出现情况。对于网络新闻文本聚类而言, 文本类别事先未知, TF-IDF无需确定文本类别, 计算简单且计算量小, 然而其仅使用词频及文档频率共同表示特征对文本的贡献程度, 忽略了影响特征区分能力的相关因素。为此, 笔者考虑改进TF-IDF特征权重计算公式, 以选择代表性、区分能力较强的特征, 实现特征空间大幅降维, 提高话题间的区分能力。

在文本聚类算法研究领域, 学者通常应用或改进基于划分、基于密度的聚类算法。蔡岳等^[14]创建一种应用于DBSCAN算法的簇关系树结构, 能够实现自适应文本聚类。柯钢^[15]提出基于增强蜂群优化搜索与K-means的高效文本聚类算法。Zade等^[16]讨论K-means算法在非结构化文本聚类中的实现。张琳等^[17]将Canopy算法与K-means算法结合, 显著提高K-means的聚类效果。

由于K-means处理大数据集时可保持良好的伸缩性及高效性, 局部搜索能力强, 收敛速度快, 笔者考虑应用K-means聚类算法作为新闻热点发现方法。然而K-means随机选择初始聚类中心, 容易使用同一类别的文本作为不同类别的聚类中心, 会对聚类效果产生干扰, 因此应考虑优选K-means的初始聚类中心。上述优化K-means方法在有效提高聚类效果的同时存在些许不足, 如改进蜂群算法一定概率易陷入局部最优, Canopy算法未能较优确定参数T₁、T₂取值。笔者查找国内外关于优化K-means文本聚类的研究, 发现果蝇优化算法(Fruit fly Optimization Algorithm, FOA)在此领域存在应用空白, FOA全局搜索能力强、实现简单, 同时易“早熟”收敛。为此, 笔者考虑改进FOA, 使其兼顾全局与局部搜索能力, 优化K-means初始聚类中心, 以提升K-means聚类效果。

鉴于此, 笔者提出一种基于多因素特征选择与AFOA/K-means的新闻热点发现方法。文本特征降维采用多因素特征选择方法, 为此引入符号、词性、位置及长度4个特征影响因素改进传统TF-IDF特征权重计算公式, 多因素选择代表性强、区分能力高的网络新闻特征, 以实现文本特征空间大幅降维及聚类效果的提升。文本聚类采用AFOA/K-means算法, 为此从编码方式、适应度函数、自适应步长调整策略及群体适应度方差策略4方面构造改进果蝇优化算法(AFOA), 利用AFOA优化选取K-means初始聚类中心, 实现K-means聚类效果提升。针对多数研究在发现热点话题以后未对其进一步分析, 笔者采用多因素特征选择识别各热点话题, 在网络新闻文本数据采集阶段, 分析网络新闻特征, 挖掘“报道数量”、“评论数量”、“评论最长时间间隔”、“来源数量” 4方面热度影响因素, 利用TOPSIS进行热度排序, 更好地分析网络新闻热点话题。

笔者总结影响特征区分能力的相关因素, 包括特征词符号、特征词词性、特征词位置及特征词长度。

(1) 特征词符号: 在描述相关热点事件时, 对于热点事件中出现的新词汇通常进行中文引号、中文书名号的符号标注。这一类词汇很大程度上能区分文本, 对文本内容贡献程度较高。

(2) 特征词词性: 通常作为区分文本的特征词大部分为名词或动词。

(3) 特征词位置: 文本开头通常是总起句, 文本结尾是总结句, 处于此两个位置上的特征词能够很大程度上区分文本。

(4) 特征词长度: 中文分词后通常会出现单字, 这一类单字包含信息量少, 区分文本能力差, 因此应该被有效过滤。

基于原始特征权重计算公式综合考虑了上述4个特征影响因素, 如公式(1)所示。

$TF\mathrm{-}IDF=\frac{t{{f}_{ij}}\times \log (N/d{{f}_{j}})}{\sqrt{\mathop{\sum }_{j}^{M}{{[t{{f}_{ij}}\times \log (N/d{{f}_{j}})]}^{2}}}}$ (1)

构造改进的多因素特征权重计算公式如公式(2)-公式(4)所示。

${{W}_{ij}}=\lambda {{W}_{ij符号}}+(1-\lambda ){{W}_{ij无符号}}\ \lambda \in \{0,1\}$. (2)

$\begin{align} & {{W}_{ij符号}}=1\times \frac{t{{f}_{ij}}\times \log (N/d{{f}_{j}})\times {{w}_{词性}}}{\sqrt{\mathop{\sum }_{j}^{M}{{[t{{f}_{ij}}\times \log (N/d{{f}_{j}})]}^{2}}}} \\ & \ \ \ \ \ \ \ \ \ \ \ \ \ \times \frac{t{{f}_{ij}}\times \log (N/d{{f}_{j}})\times w位置}{\sqrt{\mathop{\sum }_{j}^{M}{{[t{{f}_{ij}}\times \log (N/d{{f}_{j}})]}^{2}}}} \\ & \ \ \ \ \ \ \ \ \ \ \ \ \times \frac{t{{f}_{ij}}\times \log (N/d{{f}_{j}})\times {{w}_{长度}}}{\sqrt{\mathop{\sum }_{j}^{M}{{[t{{f}_{ij}}\times \log (N/d{{f}_{j}})]}^{2}}}} \\ \end{align}$ (3)

$\begin{align} & {{W}_{ij无符号}}=0.5\times \frac{t{{f}_{ij}}\times \log (N/d{{f}_{j}})\times {{w}_{词性}}}{\sqrt{\mathop{\sum }_{j}^{M}{{[t{{f}_{ij}}\times \log (N/d{{f}_{j}})]}^{2}}}} \\ & \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \times \frac{t{{f}_{ij}}\times \log (N/d{{f}_{j}})\times {{w}_{位置}}}{\sqrt{\mathop{\sum }_{j}^{M}{{[t{{f}_{ij}}\times \log (N/d{{f}_{j}})]}^{2}}}} \\ & \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \times \frac{t{{f}_{ij}}\times \log (N/d{{f}_{j}})\times {{w}_{长度}}}{\sqrt{\mathop{\sum }_{j}^{M}{{[t{{f}_{ij}}\times \log (N/d{{f}_{j}})]}^{2}}}} \\ \end{align}$ (4)

${{w}_{词性}}=\left\{ \begin{matrix} 1,名词或动词 \\ 0.5,其他词性 \\\end{matrix}\ \ \right.{{w}_{位置}}=\left\{ \begin{align} & 1,头或结尾位置 \\ & 0.5,其他位置 \\ \end{align} \right.$

${{w}_{长度}}=\left\{ \begin{matrix} 1,长度超过1 \\ 0.5,长度为1 \\\end{matrix} \right.$

其中, ${{W}_{ij}}$为特征词j在文本i中的权重, ${{W}_{ij符号}}{{W}_{ij无符号}}$.分别为含符号特征词j、无符号特征词j在文本i中的权重, $t{{f}_{ij}}$为特征词j在文本i中出现的频次, $d{{f}_{j}}$为文本集合中包含特征词j的文本数, N为文本集合中的文本总数, M为文本集合中的特征词总数, ${{w}_{词性}}$、${{w}_{位置}}$、${{w}_{长度}}$分、别为特征词词性、位置、长度的加权因子。

将特征选择问题转换为文本特征重要性排序问题, 通过上述多因素特征权重计算公式, 多角度计算文本特征权重, 根据权重实现特征在文本中的排序。多因素特征选择流程详细描述如下:

输入: 新闻文本集合$D=\left\{ {{d}_{1}}\mathrm{,}{{d}_{2}}\mathrm{,}\cdot \cdot \cdot \mathrm{,}{{d}_{N}} \right\}$

输出: 低维、代表性特征集合$W=\left\{ {{w}_{1}}\mathrm{,}{{w}_{2}}\mathrm{,}\cdot \cdot \cdot \mathrm{,}{{w}_{k}} \right\}$

(1) 文本内特征选择

①循环计算各文本的各特征权重;

②特征权重排序靠前的k个特征构成各文本内代表性特征集合。

(2) 文本间特征选择

①循环计算各特征在文本集合中的波动程度(方差);

②波动程度排序靠前的l个特征构成文本间区分能力较强的特征集合。

(3) 寻找文本集合的低维、代表性特征集合

①循环计算各文本的各代表性特征新权重, 新权重为旧权重与波动程度之积, 若该特征波动程度没有被选入, 则将其波动程度记为0;

②合并各文本代表性特征集合, 去除重复特征, 重复特征权重由该特征平均权重决定;

③重复特征权重排序靠前的k个特征构成文本集合的低维、代表性特征集合。

按照果蝇觅食行为的特点, FOA归纳为以下步骤^[18]。

①随机初始化果蝇群体二维位置$Init{{X}_{axis}}Init{{Y}_{axis}}$;

②赋予果蝇个体利用嗅觉搜寻食物的随机方向与距离:

${{X}_{i}}={{X}_{axis}}+Randomvalue$, ${{Y}_{i}}={{Y}_{axis}}+Randomvalue$;

③由于食物位置未知, 因此先估计与原点的距离, 再计算味道浓度判定值(S), 此值为距离的倒数(距离越近, 味道浓度越大; 反之, 浓度越小): $Disti=\sqrt{X_{i}^{2}+Y_{i}^{2}}{{S}_{i}}=\frac{1}{Disti}$;

④将味道浓度判定值(S)代入味道浓度判定函数, 求出该果蝇个体位置的味道浓度:

$Smel{{l}_{i}}=Function({{S}_{i}})$;

⑤找出该果蝇群体中味道浓度最高的果蝇个体(求极大值):

$[bestSmell\ bestIndex]=\max Smell$;

⑥保留最佳味道浓度值和X, Y的坐标, 果蝇利用视觉往该最佳位置飞去:

$\begin{align} & \ \ \ \ \ \ \ Smellbest=bestSmell,\ {{X}_{axis}}=X(bestIndex), \\ & \ \ \ \ \ \ \ {{Y}_{axis}}=Y(bestIndex); \\ \end{align}$

⑦进入迭代寻优, 重复步骤②-步骤⑤, 并判断味道浓度是否优于前一代的味道浓度, 若是, 实行步骤⑥。

(1) 编码方式

将每个果蝇个体作为AFOA寻优问题的一个解, 每个果蝇个体由K个初始聚类中心组成, 每个聚类中心由N个文本特征组成, 因此每个果蝇个体为$K\times N$维向量。对文本集合中的N个文本进行1~N实数编号, 每个初始聚类中心、文本特征使用文本编号表示, 设$F\in {{\left\{ 0,1 \right\}}^{K\times N}}$表示一个果蝇个体, 其中$[{{f}_{ij}}](1\le i\le K,1\le j\le N)$表示文本j是否划分至聚簇 i (必须将各文本划分到唯一的聚簇, 且当i=j时. ${{f}_{ij}}=0$)。

${{f}_{ij}}=\left\{ \begin{matrix} 1\ \ \ \ 划分 \\ 0\ \ \ \ 排除 \\\end{matrix} \right.$.

该编码方式不仅便于理解, 还能够大幅度降低向量空间维度、严格控制聚类中心选取范围, 非常适用于AFOA。

(2) 适应度函数

根据初始聚类中心“聚簇内紧密, 聚簇间分散” 的选择目标, 给出AFOA适应度函数如公式(5)所示, 以比较初始聚类中心优劣。类间距离越大、类内距离越小, fitness适应值越大, 说明该初始聚类中心越优。

$fitness=\frac{类间距离}{类内距离}=\frac{\mathop{\sum }_{i,j=1}^{K}\left| {{D}_{i}}-{{D}_{j}} \right|}{\mathop{\sum }_{i=1}^{K}\mathop{\sum }_{d\in {{D}_{i}}}^{{}}\left| d-{{D}_{i}} \right|}$ (5)

(3) 自适应步长调整策略

FOA果蝇个体位置为二维位置, 由于上述编码方式作用, 果蝇个体位置中的文本与初始聚类中心仅有0、1操作, 使用二维位置初始化果蝇个体无意义且计算复杂度增大, 为此设置AFOA果蝇个体位置为一维位置。FOA果蝇个体搜索步长是一个固定范围[0,1]的随机数, 固定步长一定程度上可能导致算法迭代前期陷入局部最优、迭代后期无法收敛而错过最优解, 为此在AFOA中引入自适应步长调整策略(初始化无步长调整, 直接计算适应度函数)。自适应步长调整策略流程详细描述如下。

输入: 本次迭代所有果蝇个体位置集合$FS=\left\{ {{F}_{1}}\mathrm{,}\cdots \mathrm{,}{{F}_{S}} \right\}$

输出: 下次迭代所有果蝇个体新位置集合$F{{S}_{new}}=\left\{ {{F}_{1new}}\mathrm{,}\cdots \mathrm{,}{{F}_{Snew}} \right\}$

根据各果蝇个体位置计算适应度函数, 寻找最优果蝇个体位置。

根据最优果蝇个体位置循环更新剩余普通果蝇个体位置。

①针对最优果蝇个体位置的各个聚类中心, 寻找普通果蝇个体位置的相同聚类中心作为更新对象。

②循环更新各聚类中心对象。分别根据最优果蝇个体位置、普通果蝇个体位置聚类中心特征向量得到对应聚类文本集合, 将各自聚类文本集合转换为特征词权重向量(权重计算使用归一化TF-IDF), 计算两者相似性, 大于一定阈值则保留该聚类中心, 反之更新该聚类中心。

③更新聚类中心特征权重向量如公式(6)-公式(9)所示。

${{X}_{i,new\_ordinary}}={{X}_{i,best}}+step$ (6)

$step=\frac{1}{Iter}\times [(1-\lambda )\left| {{D}_{ordinary}}-{{D}_{best}} \right|+\lambda \left| {{d}_{ordinary}}-{{d}_{best}} \right|]$ (7)

$D=\frac{\frac{1}{K-1}\mathop{\sum }_{j=1且j\ne i}^{K}\left| {{D}_{i}}-{{D}_{j}} \right|-\underset{j=1,\cdots ,K且j\ne i}{\mathop{\min }}\,\left| {{D}_{i}}-{{D}_{j}} \right|}{\underset{j=1,\cdots ,K且j\ne i}{\mathop{\max }}\,\left| {{D}_{i}}-{{D}_{j}} \right|-\underset{j=1,\cdots ,K且j\ne i}{\mathop{\min }}\,\left| {{D}_{i}}-{{D}_{j}} \right|}$(8)

$d=\frac{\frac{1}{(d\in {{D}_{i}})总数}\mathop{\sum }_{d\in {{D}_{i}}}\left| d-{{D}_{i}} \right|-\underset{d\in {{D}_{i}}}{\mathop{\min }}\,\left| d-{{D}_{i}} \right|}{\underset{d\in {{D}_{i}}}{\mathop{\max }}\,\left| d-{{D}_{i}} \right|-\underset{d\in {{D}_{i}}}{\mathop{\min }}\,\left| d-{{D}_{i}} \right|}$ (9)

其中, ${{X}_{i,new\_ordinary}}{{X}_{i,best}}$分别为更新后的普通果蝇个体位置、最优果蝇个体位置的聚类中心i的特征权重向量, step为自适应调整步长, Iter为当前迭代次数, D为归一化类间距离, d为归一化类内距离, $\lambda $为[0,1]范围加权系数。

④循环对更新后的各聚类中心在剩余文本中寻找相似性最大的文本, 将该文本更新为新聚类中心。

(4) 群体适应度方差策略

FOA全局搜索能力较强, 但存在易陷入局部最优的弊端, 为此在AFOA中引入群体适应度方差策略, 以群体适应度方差${{\sigma }^{2}}$判断AFOA搜索状态, 继而执行相应的搜索操作。${{\sigma }^{2}}$计算如公式(10)所示。

${{\sigma }^{2}}=\frac{1}{S}\sum\nolimits_{i=1}^{S}{{{[fitnes{{s}_{i}}-favg]}^{2}}}$ (10)

其中, $fitnes{{s}_{i}}$为第i个果蝇个体位置的适应值, $favg$为果蝇群体位置的平均适应值, S为果蝇群体规模大小。

群体适应度方差${{\sigma }^{2}}$描述S个果蝇个体位置的波动程度, 波动程度大, 算法AFOA处于全局搜索状态, 反之算法AFOA处于局部收敛或全局收敛状态。由此根据${{\sigma }^{2}}$值与一定阈值θ的比较, 选择执行相应搜索操作。若${{\sigma }^{2}}>\theta $, 算法AFOA继续进行全局搜索; 若${{\sigma }^{2}}\le \theta $且未达到最大迭代次数, 判断算法AFOA局部收敛, 引入遗传算法的交叉操作对各果蝇个体位置的各聚类中心进行局部更新。群体适应度方差策略流程详细描述如下:

输入: 本次迭代所有果蝇个体位置集合$FS=\left\{ {{F}_{1}}\mathrm{,}\cdots \mathrm{,}{{F}_{S}} \right\}$

输出: 下次迭代所有果蝇个体新位置集合$F{{S}_{new}}=\left\{ {{F}_{1new}}\mathrm{,}\cdots \mathrm{,}{{F}_{Snew}} \right\}$

计算本次迭代果蝇群体适应度方差${{\sigma }^{2}}$, 并将${{\sigma }^{2}}$与阈值θ比较。${{\sigma }^{2}}>\theta $则继续进行全局搜索, 按照自适应步长调整策略更新位置。${{\sigma }^{2}}\le \theta $则使用交叉操作进行局部更新, 循环更新各果蝇个体位置。

①对果蝇个体位置的各聚类中心特征权重向量, 使用两点交叉更新操作。

②重新计算各聚类中心的特征权重向量。

③循环对更新后的各聚类中心在文本中寻找相似性最大的文本, 将该文本更新为新聚类中心。

输入: 新闻文本集合$D=\left\{ {{d}_{1}}\mathrm{,}{{d}_{2}}\mathrm{,}\cdots \mathrm{,}{{d}_{N}} \right\}$

输出: 全局最优果蝇个体位置${{F}_{best}}$(K个初始聚类中心)

①初始化果蝇群体。使用上述编码方式对果蝇个体进行编码, 初始化果蝇个体位置, 循环S次, 生成群体规模大小为S的果蝇群体。

②计算初始果蝇个体适应度函数。使用上述适应度函数分别计算S个果蝇个体位置的适应值, 找出最优果蝇个体位置作为全局最优果蝇个体位置。

③更新果蝇个体位置。使用上述自适应步长调整策略进行果蝇个体位置更新操作。

④计算迭代果蝇个体适应度函数。使用上述适应度函数分别计算更新后的S个果蝇个体位置的适应值, 找出最优果蝇个体位置, 更新全局最优果蝇个体位置。

⑤判断AFOA搜索状态。使用上述群体适应度方差策略进行相应位置更新操作。

⑥判断迭代次数。若达到最大迭代次数, 输出全局最优果蝇个体位置。反之继续执行步骤③-步骤⑥。

K-means是一种典型的基于距离的迭代式算法, 以距离相近性作为评价标准, 距离贴近的对象能够组成一个聚簇, 多个聚簇实现簇间分散、簇内紧凑的目标。K-means算法文本聚类流程详细描述如下。

输入: 全局最优果蝇个体位置${{F}_{best}}$

输出: K个聚簇$D=\left\{ {{D}_{1}}\mathrm{,}{{D}_{2}}\mathrm{,}\cdots \mathrm{,}{{D}_{K}} \right\}$

①将AFOA优化K-means得到的K个聚类中心作为初始聚类中心;

②对剩余的各文本计算其到各聚类中心的距离, 并将其划分给最近的聚类中心;

③重新计算各聚类中心;

④迭代步骤②-步骤③, 直到各聚类中心稳定不变。

聚类划分后的各文本集合, 由于无标签标注而无法识别各文本集合的热点话题特征, 为此笔者调用上述多因素特征选择方法进行各文本集合热点话题识别。热点话题识别流程详细描述如下:

输入: 聚类划分的各文本集合$D=\left\{ {{D}_{1}}\mathrm{,}{{D}_{2}}\mathrm{,}\cdots \mathrm{,}{{D}_{K}} \right\}$

输出: 聚类划分的各文本集合热点话题特征集合$W=\left\{ {{W}_{1}}\mathrm{,}{{W}_{2}}\mathrm{,}\cdots \mathrm{,}{{W}_{K}} \right\}$

循环对各文本集合进行热点话题特征选择。

①对文本集合进行多因素特征权重计算;

②选择排序前k个特征, 构成代表性特征集合。

TOPSIS是一种针对多目标、多属性问题的决策评估方法, 该方法将待测对象的评估转化为计算理想最优解、最劣解间的欧氏距离, 并计算各个评估对象的相对贴近度, 根据相对贴近度对评估对象进行优劣排序。

为从获取的K个热点话题中发现热点话题排名, 笔者提出使用TOPSIS模型对K个热点话题进行有效排序。浏览相关新闻网站, 总结热点话题影响因素, 包括“话题文本报道数量”、“话题文本评论数量”、“话题文本评论最长时间间隔”、“话题文本来源数量”, 将其作为排序指标, 构造热度排序向量。热点话题排序流程详细描述如下:

$H=\left[ \begin{matrix} \begin{matrix} {{B}_{1}} \\ {{B}_{2}} \\\end{matrix}\ \ \begin{matrix} {{P}_{1}} \\ {{P}_{2}} \\\end{matrix}\ \ \begin{matrix} {{T}_{1}} \\ {{T}_{2}} \\\end{matrix}\ \ \begin{matrix} {{Y}_{1}} \\ {{Y}_{2}} \\\end{matrix} \\ \begin{matrix} \cdots \\ {{B}_{K}}\ \\\end{matrix}\begin{matrix} \cdots \\ {{P}_{K}}\ \\\end{matrix}\begin{matrix} \cdots \\ {{T}_{K}} \\\end{matrix}\ \begin{matrix} \cdots \\ {{Y}_{K}} \\\end{matrix} \\\end{matrix} \right]$

其中, K为话题数量, B_i为话题i包含文本总数, P_i为话题i所有文本评论总数, T_i为话题i所有文本评论最长时间间隔, Y_i为话题i所有文本互异来源总数。

输入: 热度排序向量H

输出: 各热点话题排序结果$R=\left\{ {{R}_{1}}\mathrm{,}{{R}_{2}}\mathrm{,}\cdots \mathrm{,}{{R}_{K}} \right\}$

①对向量H每一列进行归一化处理;

②寻找向量H每一个指标的最优解构造最优方案${{A}^{+}}$, 寻找向量H每一个指标的最劣解构造最劣方案${{A}^{-}}$;

③分别计算各评价对象各指标值与最优方案${{A}^{+}}$的欧氏距离$D_{i}^{+}$、最劣方案${{A}^{-}}$的欧氏距离$D_{i}^{-}$;

④计算各评价对象与最优方案的接近程度${{C}_{i}}=\frac{D_{i}^{-}}{D_{i}^{+}+D_{i}^{-}}$;

⑤根据C_i大小对各评价对象进行排序, C_i值越大, 排序越靠前。

(1) 实验数据

数据1: 为验证多因素特征选择方法及AFOA/K-means文本聚类方法的有效性, 选择复旦大学李荣陆提供的中文文本分类语料库下文本数量较多的6个类别: 艺术、计算机、经济、环境、政治、体育, 每个类别下200篇新闻文本。

数据2: 为将笔者所提热点话题发现方法应用于实际, 以腾讯新闻网为平台, 采集2018年5月共964篇新闻文本相关数据。

(2) 评价指标

为比较不同特征选择方法、不同文本聚类方法的聚类效果, 以F₁作为评价指标, 计算方法如公式(11)-公式(13)所示。

$P=\frac{A}{A+C}$ (11)

$R=\frac{A}{A+B}$ (12)

${{F}_{1}}=2\times \frac{P\times R}{P+R}$ (13)

其中, P为精度, R为召回率, $A+B+C+D=N$为文本总数, A为检测正确的相关文本数量, B为检测错误的相关文本数量, C为错误被检测到的无关文本数量, D为正确被检测到的无关文本数量。

(1) 多因素特征选择

为验证多因素特征选择方法的有效性, 以数据1中的1 200篇新闻文本(特征词总数为57 878个)作为实验数据集, 采用传统特征选择方法(TF-IDF特征选择)与多因素特征选择方法, 分别选择1 200维、2 400维、3 600维、4 800维及6 000维的不同维度特征, 使用K-means算法(聚簇数量K=6, 且选取相同的初始聚类中心)分别进行5次文本聚类操作。两种特征选择方法不同维度的整体聚类效果如表1所示。

由表1可知, 多因素特征选择在各维度上的F₁均值都高于传统特征选择, 在各维度上的F₁方差近似传统特征选择。多因素特征选择在3 600维度达到最优, F₁均值为76.512%, 相较于传统特征选择最优F₁均值73.102%, 聚类效果提升3.41%。由此, 认为多因素特征选择方法能够大幅度降低特征空间维度, 提升文本聚类效果, 同时保持较好的稳定性。

(2) AFOA/K-means算法

为验证AFOA/K-means文本聚类方法的有效性, 以数据1中的1 200篇新闻文本作为实验数据集, 采用多因素特征选择方法实现3 600维度特征选择, 使用K-means、GA/K-means、PSO/K-means、FOA/K-means及AFOA/K-means, 分别进行5次文本聚类操作。各文本聚类方法整体聚类效果如表2所示。

为保证验证结果可靠性, 对相关优化算法共同参数进行统一设置, 包括群体规模大小S=20, 最大迭代次数G=100。AFOA算法其他参数设置为群体适应度方差阈值$\theta ={{10}^{-4}}$, 交叉率P_c=0.6。GA算法及PSO算法其他参数设置分别参考文献[19,20]。此外, 设置K-means算法聚簇数量K=6, 且初始聚类中心随机生成。

由表2可知, 与K-means相比, AFOA/K-means的F₁均值达到最大7.981%的提升。与其他三种方法相比, AFOA/K-means在F₁均值上有较大提升且F₁方差相近。由此, 在采用多因素特征选择方法基础上, 笔者认为AFOA/K-means文本聚类方法能够提升文本聚类效果, 同时保持较好的稳定性。

(1) 数据采集、清洗及预处理

①数据采集: 根据话题排序相关指标, 以2018年5月的腾讯新闻作为采集对象, 采集每一篇新闻的相关数据, 包括标题、来源、发表时间、评论数、正文、最近评论时间, 各数据单独成行, 每一组数据集合以一篇txt文本形式保存。

②数据清洗: 对采集结果中的相同文本进行去重操作, 仅保留一篇有效文本。清除文本中各项数据存在空值的整篇文本, 及各文本中的未处理HTML标签、噪音符号等。

③数据预处理: 对清洗后的文本集合使用Python的jieba包进行中文分词处理, 并且在已有的停用词表基础上, 进一步加入文本中频繁出现的无意义词汇及符号, 构建适合该实验的停用词表, 对中文分词后的文本集合过滤停用词。此外, 根据笔者所提多因素特征选择方法的相关因素, 对各个特征词进行中文引号、书名号标注, 名词、动词标注, 首尾位置标注和长度标注。

(2) 热点话题发现

选择各文本的标题及正文组合作为文本聚类对象, 采用多因素特征选择方法选择文本特征集合, 使用AFOA/K-means文本聚类方法聚类各话题。由于聚簇数量K值不确定, 并且考虑到一个月范围的新闻文本话题繁杂, 难以聚集到少数几个话题, 因此以评论数量为主要依据, 从964篇新闻文本中挑选出排序前25%的新闻文本, 缩小范围进行文本聚类操作。采用试错法在[1, 289]范围内分别进行5次K-means聚类试验, 通过平均类内平方和距离寻找较优的K值, 得到K=30。各热点话题聚类结果如表3所示。

(3) 热点话题识别及排序

由于篇幅原因, 笔者采用多因素特征选择方法仅选择各热点话题排名前三的代表性特征词汇, 各热点话题特征词汇选择结果如表4所示。可知, 30个热点话题各自选择的代表性特征词汇语义清晰、易于理解, 表明多因素特征选择方法识别话题具有相对完整的语义信息, 符合用户对热点新闻的理解。此外, 将所提新闻热点发现方法应用于新浪新闻网2018年5月的新闻, 计算得到二者热点话题发现结果的相似性约为86.67%, 验证了基于多因素特征选择与AFOA/K-means的新闻热点发现方法的整体有效性。

为进一步分析网络新闻热点话题, 笔者充分考虑新闻话题热度影响因素, 对于每一个热点话题, 通过文本总数确定文本报道数量B, 文本评论总数确定文本评论数量P, 文本发表最远时间与文本评论最近时间的间隔确定评论最长时间间隔T, 文本互异来源总数确定文本来源数量Y, 使用TOPSIS对各热点话题进行排序, 构造、计算排序矩阵进而发现热点话题排名。各热点话题TOPSIS相关数据如表5所示, 各热点话题排序结果如表6所示。

由表5和表6可知, 以从腾讯新闻网2018年5月的新闻文本中发现的30个热点话题为基础, 在B、P、T、Y的综合影响下, 发现中美贸易、习近平视察、民警工作、习近平与马克思、习近平会晤金正恩、致敬英雄、地震灾区、航母海试、空姐滴滴遇害、科技强国这10个热点话题热度最高, 实现了对新闻热点话题更准确有效的分析。