假设短信文本信息流采用文献[13]的方法进行分词、词义消歧、去除停用词及连词、代词等并经过降维预处理后, 转化的特征向量形式SM_F={(W_i1,t_i1; W_i2,t_i2;…, W_im,t_im)| i=1,2,…,n}。其中W_ij是短信文本的特征词, t_ij是W_ij的权值。

定义1: 将短信文本信息流SM_F分割成若干子向量集:

SM_F={SM_F₁,SM_F₂,…,SM_F_t}

对于话题HT={SM₁,SM₂,…,SM_r} SM_F_i, 给定阈值θ(本文取值0.9), 如果 且对所有j≠i都有 , 其中|W(HT)|为话题HT所含特征词的个数, 则称HT是关于SM_F_i的临时话题, 记作L_HT, 否则称HT为长期话题, 记作G_HT。

根据话题发生的规律, 描述话题的特征词可能在某时间段内叙事基本相同的大量短信文本中出现, 而在其他时间段出现的类似短信文本较少。同时也说明当一个特征词在某个SM_F_i中出现的多而在其他SM_F_j(j≠i)很少出现时, 说明这个特征词属于临时话题的概率高, 与TF-IDF的思想相吻合。给出如下定义:

定义2: 设短信文本信息流SM_F和临时话题L_HT, 特征词W∈SM_F, n_W,SM表示特征词W在短信文本SM中出现的次数, m_SM,W表示包含特征词W的短信文本总数, t_SM表示SM_F中所包含的全部短信文本总数, 则特征词W属于L_HT的概率p_W定义为:

(1)

其中, 是Beta分布参数, H(W)表示特征词W在所有特征词上的全概率测度。

定义2的意义在于 与n_W,SM成正比, 即当W出现在短文本SM中的次数越多, 而在其他短信文本中出现的次数就少, 属于临时话题的可能性就越大。

定义2只考虑短信文本的特征词属于临时话题的概率, 但没有考虑特征词对短信文本的影响, 也就是说, 当某短信文本中有多个特征词属于临时话题, 则其他词属于该临时话题的概率就比较大。

定义3: 设SM∈SM_F, n_W,SM表示特征词W在短信文本SM中出现的次数, SM_TOP表示文本集中 最大的若干个(比如前10个)特征词构成的集合。则特征词W属于临时话题的概率定义为:

(2)

其中, , λ₁, λ₂是加权系数。

定义3中的u_d表示当短信文本中属于SM_TOP的词 值越大, 则不属于SM_TOP的词 值也比较大, 也就是属于临时话题的概率也比较大, 此处用m_W,SM表示 较大(比如前10个)的短信文本集中特征词的个数。

本文短信文本信息流多话题抽取算法的主要思想分为两部分, 先是利用层次的狄利克雷过程和TF-IDF相结合, 生成较为准确的短信文本信息流相关的多项式概率分布模型, 对于短信文本中的一个特征词, 利用吉布斯采样^{[ 14]}和定义3, 抽取出临时话题和长期话题。为了便于叙述, 该算法简记为SM_F_HT, 步骤如下:

(1) 对于短信文本信息流SM_F, 利用前文子集边界确定方法将SM_F分割成若干子向量集:

SM_F={SM_F_i| i=1,2,…,t}

因此有, 存在i, 使得L_HT SM_F_i;

(2) 根据文献[6]和[7], 对每一个话题HT和子向量集SM_F_i, 可以获得HT与SM_F有关的Beta分布 ; 对任意短信文本SM_ij∈SM_F_i, 根据基于“文档语言模型服从于一个多项式分布”^{[ 15]}, 利用狄利克雷过程并结合公式(2)可获得如下各层次分布:

①短信息文本SM_ij属于长期话题分布向量 和临时话题分布 ;

②对于每个长期话题G_HT, 可以得到一个与子向量集无关的多项式分布 ;

③对于每个长期话题G_HT, 可以得到一个与子向量集相关的多项式分布 ;

④对于每个临时话题L_HT, 可以得到其多项式分布 ;

(3) 在特征词的狄利克雷分布中任取W_ij∈SM_i SM_F, 利用吉布斯采样可以得到W_ij所涉及话题个数和推导模型的参数, 对于每一个话题, 利用定义3确定其属于临时话题还是长期话题:

①如果HT是长期话题, 并且可以根据 获得一个话题G_HT, 对于G_HT中特征词W的抽取有如下操作: 根据分布 得到抽样值V_x, 如果V_x=0, 根据 抽取W, 否则根据 来抽取W;

②如果HT是临时话题, 根据 分布获得一个话题L_HT, 对于L_HT中特征词W的抽取有如下操作: 根据分布 来抽取W;

(4) 利用文献[15], 将抽取出的各个临时和长期话题特征词集构造成话题输出。

该算法先是在步骤(2)中把按夜间边界区分的各短信文本向量子集合并为一个大文本向量集, 对于临时话题、长期话题、短信文本集利用狄利克雷分布进行各随机测度的分层建模, 再利用大文本向量集的所有词的测度、短信文本向量子集的所有词的离散概率测度和每个短信文本向量的所有词的离散概率测度并结合公式(2)对SM_F建立一个非参数化的信息检索模型, 最后通过吉布斯采样得到特征词所涉及的话题个数, 根据采样的结果, 利用定义3, 就可以确定特征词属于临时话题的概率。

困惑度(Perplexity)是当前最常用的度量文本模型性能好坏的评测标准, 它是利用当前训练结果来预测未来文本的能力。困惑度越低, 语言模型对上下文的约束能力就越强, 所表示模型对未知的短信息文本预测能力越强。困惑度的计算公式为^{[ 16]}:

(3)

其中, L为测试语料总特征词序列的长度, n是模型的阶数(如n=2时称为Bi-gram)。 表示在特征词串 出现的情况下w_i出现的概率。

对SM_F_HT模型与CCLDA模型进行了话题抽取的困惑度比较, 实验选取30%的短信文本作为测试文本, 两个模型都进行了2 000次迭代。用X轴表示热点话题的数目, 用Y轴表示困惑度, 则实验结果如图1所示:

图1

	Figure Option ViewDownloadNew Window
	图1 话题抽取的困惑度比较

从实验结果可以看出, SM_F_HT模型比CCLDA模型进行话题抽取时困惑度小得多, 这是因为SM_F_HT算法更适用于短信文本信息流的话题抽取, 对上下文的约束能力更强。实验中还可以看出困惑度随着话题数量增加而下降, 这是因为话题越多, 降维损失的信息就越少, 而且降维的结果也符合短信文本集的特征。但是如果话题很多, 短信文本信息流的特征词空间维数就越高, 则降维的意义不大, 因此话题的数量不是越多越好, 笔者经过多次实验, 一般在50-80个话题较为合适。

对数似然比(Log-Likelihood Ratio, LLR)是通过独立性假设来检验两个元素出现的相关程度, 它引入Log 似然比统计量, 能够较准确地反映两个元素的相关性, 将其应用到机器学习中, 克服了典型的学习方法对低频词估计不准确的缺点, 保证了计算结果的稳定性。本文利用文献[17]中给出的对数似然比来比较模型SM_F_HT、CCLDA和CCMix的话题抽取性能, 根据短信文本信息流中话题检测的特点, 特征词抽取测试指标包括频度、集中度和分散度等多项统计测试指标。

假设对于话题HT_j, 特征词W_i的多项统计测试指标向量为α_ij, 有:

(4)

其中, LLR是特征词W_i对于话题HT_j的对数似然比, 和 分别是α_ij在话题HT_j和补集 的联合密度函数:

(5)

M是符合次数, u_m是第m次符合的均值向量, 是第m次符合的协方差矩阵, D是统计指标数目。 公式类似。

为了实验简单, 本文α_ij只取频度、集中度和分散度, 而且相应阈值分别取0.9, 0.6和0.6, 取D=3。X轴表示热点事件数目, Y轴表示似然相似度除以100 000, 则实验结果如图2所示:

图2

	Figure Option ViewDownloadNew Window
	图2 三种模型的对数似然值比较

从图2可以看出, 与CCMix和CCLDA模型相比, SM_F_HT对数似然比值要大得多, 说明它的区分能力较强, 更容易判断特征词的话题特性。这是因为SM_F_HT比其他两个模型更能全面地利用短信文本信息流的特点, 由于考虑到临时话题, 因此SM_F_HT模型更具有灵活性。