根据微博发布的时间按照指定时间粒度将其划分到不同的时间片中, 分别在每个时间片上运用BTM模型获取主题。总体研究框架包括: 划分时间片、每一时间片的主题提取、主题分析。对不同时间片的微博语料进行主题建模, 挖掘候选话题; 构建候选话题的主题词向量, 对主题词向量进行聚类, 完成主题融合, 从而得到准确的微博话题, 同时计算每个微博对话题的贡献度, 根据贡献度较高的微博进行主题描述; 最后计算主题相似度, 完成话题演化分析。具体研究框架如图1所示。

(1) BTM主题建模

BTM主题模型^[15]主要是针对短文本建模的主题模式。其关键思想是在整个语料库中使用丰富的全局词共现模式来增强主题学习, 以解决单一文档中的稀疏性问题。具体地说, 是将整个语料库看成一个混合的主题, 其中每个词对都是独立于特定主题的。词对属于某一主题的概率由词对中每个词属于该主题的概率相乘得到。假设$\alpha$和β是狄利克雷先验参数, BTM模型的具体生成过程描述如下:

①对语料采样一个主题分布$\theta \tilde{\ }Dir(\alpha )$;

②对每个主题z∈[1, k], 采样一个词汇分布${{\varphi }_{k}}\tilde{\ }Dir(\beta )$;

③对每个双词b_i∈B, 采样一个主题${{z}_{i}}\tilde{\ }Mult(\theta )$, 根据主题z_i, 独立采样两个词${{w}_{i}},{{w}_{j}}\tilde{\ }Mult({{\varphi }_{zi}})$。

BTM模型如图2所示, 模型中的参数选择根据经验进行设置, 取$\alpha ={}^{50}/{}_{k}$, $\beta =0.01$, 迭代次数为1 000, BTM模型主题数k设为100。根据文档的主题概率分布得到每篇文档的“文本-主题”概率分布和每个主题的“主题-词”概率分布, 抽取每个潜在主题下概率最大的前n个词。

(2) 主题词向量的构建

使用Skip-gram模型训练整个语料库, 得到相应词汇的词向量; 将BTM得到的每一时间片的候选主题词表示为主题词向量, 主题词向量利用语料库中丰富的语义信息评估词语的相似性。

Skip-gram模型依靠给定输入词w(t)预测上下文, 包括输入层、隐藏层、输出层, 结构如图3所示^[16]。采用Python版的Word2Vec工具包Gensim^[17]进行词向量的训练, 训练数据来源于“搜狗实验室”的全网新闻数据^[18]与实验抓取的微博数据, 包含2.63亿个词。

(3) 主题融合

利用词向量和K-means聚类对候选主题进行融合, 保存训练好的词向量, 然后统计BTM得到的候选主题, 得到词表T_i; 将词表T_i在保存好的词向量中计算, 得到词向量表T_w2v; 最后利用K-means对词向量表T_w2v进行聚类, 得到话题集。

算法1 基于词向量的话题融合算法

输入: 词向量, 候选主题

输出: 融合后的主题集Z_k

①初始化Word2Vec的参数, 将数据集输入到模型中, 训练得到词向量的模型;

②利用BTM模型对不同时间片的文本建模, 得到候选主题; 根据每个主题的“主题-词”概率分布, 抽取每个潜在主题下概率最大的前n个词, 得到词表T_i;

③将词表T_i中的词汇输入到词向量模型中, 获得词表T_i中每一个词的词向量表$T\_w2v=\left\{ {{w}_{m}},v({{w}_{m}}),{{w}_{m}}\in {{T}_{i}} \right\}$;

④将T_w2v输入K-means进行聚类;

⑤根据聚类结果获得每个类簇的关键词, 得到融合后的主题集Z_k。

(4) 主题描述

关键词对话题描述的程度不够, 因此选择具有代表性的微博对每一话题进行扩充, 即选择对话题内容覆盖度较高的微博作为该话题的主题微博, 从而更好地描述主题。主题微博利用文献[19]的计算方法, 依据微博中包含主题关键字的比例来选择, 微博对于主题贡献度的计算方法如公式(1)所示。

$Coverage(M)={{\max }_{0\le k\le topic}}\frac{n}{N}$ (1)

其中, topic是话题总数, n代表微博M中包含主题t_k的关键词个数, N代表微博M的总词汇数, 这里选择N>5的微博作为候选主题微博。通过计算, 根据内容覆盖度进行排序, 选择每一话题的主题微博。

采用集搜客爬虫工具^[20], 在新浪微博平台上抓取数据, 采集包括“勒索病毒”、“科技”、“旅游”、“人工智能”、“财经”等10类话题, 去掉文本中的链接、@其他用户的信息, 初步清洗去重后得到17 071条数据。

采用Python中的Jieba分词^[21]对去重后的文本进行分词。对数据进行清洗、分词、去除停用词等预处理后共得到16 089条有效数据。将预处理过的微博文本按照其发布时间划分到6个时间片中; 将所有微博语料输入到主题模型中提取微博话题; 最后通过计算相邻时间片的主题相似度分析微博的话题演化。

对第一时间片的语料进行词频统计分析, 根据词表人工标注不同话题下的话题词, 形成标准的话题集。评估聚类结果时, 主要对话题词抽取结果的召回率R、准确率P和F值进行评估。

(1) 主题融合

在候选主题融合时, 首先在每个时间片内运用BTM模型获取候选话题, 其参数设置如下: K设置为100, $\alpha$, $\beta$分别设置为0.5和0.01。根据BTM建模结果构建主题词向量, 对候选主题利用K-means聚类抽取话题词, 得到每个话题的话题词。在利用BTM和OLDA模型进行话题抽取时, 模型参数的选择分别参照文献[4]和文献[9]设置, 计算得到话题词, 部分话题内容如表1所示。

对第一时间片的话题提取对比实验结果如表2所示。

可以看出基于词向量的话题抽取方法的准确率、召回率与F值均高于两种对比方法, 其准确率稍高于BTM, 但是召回率明显优于BTM方法, 因为词向量是基于大量语料库训练得到的, 能更好地适应语料的变化。而基于OLDA模型的准确率与召回率均低于其他两种方法, 分析原因在于OLDA模型是在LDA模型的基础上改进得到的, 而微博短文本由于数据稀疏, 话题相关词汇出现的频率很低, 导致OLDA模型不如BTM模型的效果理想。

(2) 主题描述

通过本文模型得到不同话题的话题词, 例如, 第一个时间片中Topic 1.1的主题特征词分别为“病毒”、

“中”、“勒索病毒”、“文件”、“比特币”、“电脑”、“高校”、“同学”、“毕业设计”、“老师”, 根据公式(1)选择每一话题的主题微博, 结合主题微博对应的文本内容与主题特征词结合进行主题描述, 将Topic 1.1描述为“国内高校电脑中比特币勒索病毒”。部分时间片的主题关键词和主题微博总结如表3所示, 根据关键词和主题微博完成主题描述。

以新浪微博“勒索病毒”话题为例, 选取主题之间相似度阈值为0.5, 确定相邻时间片主题之间的演化关系, 从主题内容方面进行演化分析, 包括 主题的新生、合并、孤立和消亡等情况, 结果如图4所示。

通过计算主题词向量间的相似度得到不同主题间的相似度, 在余弦相似度的基础上引入词语对应的词向量, 将文本向量的每一项从词语转变成该词语的词向量, 计算方法如公式(2)所示。

$\begin{align} & sim({{D}_{1}},{{D}_{2}})= \\ & \frac{\sum\nolimits_{k=1}^{n}{(wk({{D}_{1}})\times {{v}_{1k}})\times (wk({{D}_{2}})\times {{v}_{2k}})}}{\sqrt{{{\sum\nolimits_{k=1}^{n}{(wk({{D}_{1}})\times {{v}_{1k}}\times {{v}_{2k}})}}^{2}}\times \sum\nolimits_{k=1}^{n}{{{(wk({{D}_{2}})\times {{v}_{1k}}\times {{v}_{2k}})}^{2}}}}} \\ \end{align}$ (2)

其中, wk表示词语k的权值, 根据BTM模型的主题-词文档得出; v_1k和v_2k表示文本中词语对应的词向量。

由图4可知, 在话题刚出现时, 人们的关注点主要是“勒索病毒”的入侵和支付高额赎金; 当话题发展到第3个时间片时, 有新话题的出现, 即儿子恶作剧称家中电表中病毒, 由于该事件在下一时间段中并未出现相关子话题, 可以判断该话题为孤立的子话题; 而当话题发展到第5个时间片时, 主要关注点在网络安全的讨论上, 其次出现关于勒索病毒来源的讨论; 在第6个时间片, 手机版勒索病毒的来袭则是第4个时间片黑客称病毒将瞄准手机这一子话题的延续。