训练集 共有M₁条微博, 使用Gibbs采样算法进行I次迭代得到的K₁-Topic LDA模型, 表示为MT, 模型的主题集合T¹= 。测试集 由M₂条多媒体微博构成, 其中第i条微博表示为 , 这条微博共有n_i个词, 其词项集合W²_i={w_{i, 1}, w_{i, 2}, …, w_{i, ni}}, d²_i热度最高的H条评论构成的文档表示为dH_i, 热点评论文档构成的集合表示为DH。使用K₁-Topic LDA模型的主题集合T¹对其推断出概率最高的A个主题, 构成的集合表示为TA= 。微博d²_i的所有可获取的M₃条评论构成的文档空间表示为 , 设定K₂个主题, 进行I次迭代训练出K₂-Topic LDA模型, 并表示为KT_i, 模型的主题集合T²={T²₁, T²₂, …, T²_K1}。T²中与TA中的第j个主题 相似度最高的主题表示为 , 最终得到A个主题构成的集合 , 最终从集合中抽取概率最高的X个词作为特征词。

本文提出的算法由三个子算法构成, 分别为带标签的多主题分类目录构建算法、基于热点评论的多媒体微博分类算法与评论空间的主题特征挖掘算法, 这三个子算法按顺序执行。

本文的整体研究思路如图1所示:

图1

	Figure Option ViewDownloadNew Window
	图1 整体研究思路

(1) 使用带标签的多主题分类目录构建算法训练一个带标签的K₁-Topic LDA模型, 称作“ 多主题分类目录” , 用作指导微博的分类;

(2) 使用基于热点评论的多媒体微博分类算法, 引入“ 多主题分类目录” , 推断测试集里每条多媒体微博所属的主题编号与分类标签, 初步得到微博的宏观语义;

(3) 使用评论空间的主题特征挖掘算法, 对测试集中的每条微博计算出其评论空间中与步骤(2)中推断主题相近的评论主题, 并从中提取特征词, 进一步从细节上描述微博的主题特征。

本文的算法需要构建一个多主题的分类目录。一个多主题的分类目录可以对微博的主题进行规范的划分, 从宏观角度标记多媒体微博所属的语义类别。微博服务商大都预先提供了完整的热门微博分类目录, 新浪微博基于用户的兴趣喜好, 提供多种分类维度的阅读形式, 将热门微博划分在多个标签下, 如“ 健康” 、“ 美食” 、“ 数码” 等标签。

基础LDA建模结果中主题并无标题或分类信息。近年来, 学者们通过改进LDA模型实现了给主题添加分类标签, 如Ramage等^[17]提出的Labeled-LDA模型。本文借鉴应用预定义标签的思想, 基于新浪微博预先定义的分类属性, 提出一种自动标记主题标签算法可以近似计算出主题的分类, 实现LDA建模结果中自动标记主题标签, 算法如下:

MT(T¹)= K₁-TopicLDA=LDA.LEAM(d¹, K₁, I);

For each t¹_i in T¹;

End For;

公式(1) 中 是多维向量, 其中仅有一个非零的元素C_a, 其值为1, 代表微博属于分类C_a。通过计算文档-主题矩阵θ 中, 每条文档对应第i个主题T¹_i的概率与向量 的乘积, 并取结果向量中的最大元素的编号, 即可近似表示LDA生成的主题模型对应的分类标签。而部分主题可能体现了多个分类标签内的语义, 因此实际上应提取A个标签。使用上述算法, 可以将训练集训练成带A个主题标签主题的LDA模型, 即“ 多主题分类目录” 。图2中上部三个主题是本文算法生成的带标签多主题模型, 下部三个则是基础LDA建模的结果。(数据见3.1节。)

图2

	Figure Option ViewDownloadNew Window
	图2 应用标签标记算法的LDA模型与基础LDA模型建模结果对比

在多主题分类目录的指导下, 一条多媒体微博可以被推断出一个或多个标签, 初步确定多媒体微博的宏观语义倾向。

在基于本体的话题跟踪与基于种子文档的LDA模型研究^{[18, 19]}中, 往往需要事先选取初始语料并构建初始模型。初始语料通常是具有代表性的语料, 因此构建出的初始模型可以牢牢把握中心思想, 在初始模型的基础上使用相关算法, 可以实现模型的完善。“ 热点评论” 是指一条微博的评论中, 点赞数多的评论, 新浪微博服务中包括显示热点评论的排序功能。本文借鉴上述思想, 因为热点评论是受到大量微博用户认可的评论, 热点评论比普通评论往往有着更丰富的语义信息, 且能更生动地表现微博的主题, 所以热点评论可以作为类似上述方法中的初始语料, 起到标杆的作用。

本文对测试集D₂中的一条多媒体微博d²_i, 抽取其热点评论拼接成为一条文档dH_i, 用以代表微博的中心语义思想, 并使用多主题分类目录推断热点评论的主题分类。LDA的Inference算法如下:

2load MT; Initialize new documents;

②For each word w_i.j in documentd²_i;

allocate a random topic to every word; End For

3For each d²_i in D²;

For each w_{i, j} in W²_i; Gibbs sample a topic; End For;

End For

4Iterate step ②, ③ for I times, compute matrix θ for new model;

对dH推断结束后, 得到文档集合的“ 文档-主题” 矩阵θ , 从矩阵θ 表示的概率分布中, 提取指定文档d²_i的A个可能的主题构成的集合TA。基于热点评论的多媒体微博分类算法如下:

①∀ d²_i∈ D², i=1, 2, …, M₂, For eachd²_i;

extract top H comments order by heat;

combine into a document named dH_i;

DH. add(dH_i); End For;

②TA=LDA.inference(DH, MT, A, I);

③For each dH_i in DH; For j← 1 to A;

多媒体微博的分类初步定义了该微博语义中潜在的几个主题, 接下来的工作是从多媒体微博全部评论构成的文本空间中挖掘代表其主题特征的特征词项。

微博作为一种风格自由的交互平台, 用户可以自由发表对微博内容的感想, 评论空间中必定隐含了多种类型的主题。例如: 一条带有残疾人励志视频的短文本微博, 微博正文为“ 看到35秒时, 我震惊了” , 其评论中有描述视频内容的, 有发表观后情感的, 也有与视频主旨不相关的“ 垃圾评论” 。

将一条多媒体微博d²_i的所有评论D³_i训练成K₂个主题的LDA模型, 这个模型中可能包含上述分析中存在的多种主题, 也可能包含与主题无关的“ 垃圾主题” 。这时可以用热点评论推断出的主题集合TA作为标杆, 计算K₂-Topic模型的主题集合T₂中每个主题与TA中每个主题的相似度。可以认为K₂-Topic模型中与TA相似度高的主题是反映微博潜在语义的主题, 而相似度低的主题则是与分类无关的“ 垃圾主题” 。

LDA模型中两个主题间的相似度通常使用KL (Kullback Liebler)距离^[6]的对称公式(2)进行计算。KL距离的计算要在相同的事件空间中进行, 因此不适用于两个不同LDA模型间主题相似度计算。

本文提出一种使用修正余弦公式计算两个不同LDA模型间主题之间的相似度的方法, 如下所示:

由于LDA模型的训练是一种近似计算的过程, 主题中所有单词的概率之和约等于1, 且不同主题的概率分布之和不一定相等。因此, 本文借鉴协同过滤中处理不同级数分值的方法^[21], 对一个主题的概率分布计算平均数。词项集合W是两个概率分布中共有的词项集合, 相似度的计算只考虑共有词项的相似度, 应该忽略非共有词项, 因此, 计算时只取概率分布中共有词项的概率进行计算。

使用公式(3)分别计算出K₂-Topic模型的主题集合T²中, 与集合TA中的一个主题T¹_ai相似度最高的主题T²_bi, 最终从T²中提取A个主题并构成主题集合TB。并从TB的每个主题T²_bi中抽取概率最高的X个词作为特征词表达该主题的特征。算法使用“ 主题标签-特征词” 的方法标记并描述一条微博中多媒体内容表达的主题特征, 如下:

For each d²_i in D²

get D³_i with all comments of d²_i;

Kt_i(T²)=K₂-TopicLDAleam(D³, K₂, I); End For;

For each T¹_ai in T¹;

Initialize a list;

For each T²_j;

S=S(i, j)=similarity(T¹_ai, T_j);

List.add(s); End For;

Sort list; T²_b=list.fistElement; TB.add(T²_b);

End For;

For each T²_b in TB, extract Top X words From T²_b;

And show final result like“ tag-words” ;

使用爬虫工具集中的“ 微博发现爬虫” 连续10天定时爬取新浪微博中的热门微博, 最终采集99 823条热门微博。并从中提取2015年6月1日至6月8日间的82 140条热门微博作为训练集, 在剩下的6月9日与6月10日的热门微博中挑选了符合条件的多媒体微博。挑选的条件是热点评论数大于20条, 且总评论数大于200条, 最终得到151条热门微博。同样使用“ 微博评论爬虫” 采集这151条微博的评论, 构建实验的测试集。

中文文本处理研究大多需对文本内容进行预处理, 从新浪微博采集的微博文本大都是中文文本, 因此需对训练集与测试集的微博文本进行预处理。预处理阶段分为以下几步:

(1) 考虑使用正则表达式去除微博文本中的特有文本, 包括@某位微博用户, “ 秒拍视频” 标志或“ 网页链接” 标志等大量出现且无法反映语义信息的文本。

(2) 使用中国科学院计算技术研究所汉语分词系统NLPIR2015^①(http://ictclas.nlpir.org/downloads.)对微博正文文本进行分词。系统导入了30万用户词典, 并开启新词发现功能。

(3) 分词结束后, 对分词结果进行去除停用词处理, 停用词表选用哈工大停用词表、百度停用词表与川大停用词库等^②(http://www.datatang.com/data/19300.)。

经过预处理后, 语料库中共有96 238个不同的词汇。

(1) 带标签的多主题分类目录构建

实验选用参数α =50/K₁, β =0.01, 其中K₁为预设的主题数量, Gibbs采样的迭代次数I为1 000次。可以通过计算主题建模的评估指标, 以分析预设主题K₁的数量对LDA建模的影响。传统的LDA主题建模评估方法是使用Perplexity(困惑度), 在测试集中能体现出单调下降的特性。通常, Perplexity值越低, 主题建模的效果越显著, 公式如下:

其中D是测试集, w_d是测试集中可观测的词语在文档中出现数量, Nd是每篇文档的词汇数。

图3是主题数从20开始, 以10为步长递增至100个主题时的Perplexity曲线图。可以发现Perplexity的值随主题数增加而递减。

图3

	Figure Option ViewDownloadNew Window
	图3 Perplexity分布图

新浪微博的分类目录共有38个, 且其中有部分分类较为相似, 因此选取K₁时还应考虑主题建模对原有38个目录的覆盖率。本文将一种自动分类标签生成算法应用于LDA模型的训练过程中, 由于部分主题间的界限模糊, 因此实验为每个主题指派了两个概率最高的分类标签。实验从20个主题开始, 以10个主题为步长递增至100个主题, 统计主题覆盖分类标签的情况。结果如表1所示:

表1

表1

表1 主题覆盖分类标签情况表 主题数 覆盖数 覆盖率 20 26 68.4% 30 31 81.6% 40 35 92.1% 50 36 94.7% 60 36 94.7% 70 36 94.7% 80 37 97.4% 90 37 97.4% 100 37 97.4%

表1 主题覆盖分类标签情况表

当LDA模型的主题数从50个主题开始, 每个主题模型没有覆盖的分类标签中都有“ 神最右” 这个界限模糊的分类标签, 因此在主题数K为80时, 模型已经基本完全覆盖了新浪微博分类标签。综合考虑Perplexity值与主题覆盖率, 选取主题数K为80。

实验将应用本文的自动分类标签生成算法后的主题建模结果。由于篇幅限制, 仅展示其中部分主题, 每个主题取概率前10的词汇进行对比, 如表2所示:

表2

表2

表2 部分主题标签与主题词表 主题编号 主题标签 主题下概率最高的10个词 1 体育, 游戏 欧冠、比赛、决赛、巴萨、冠军、赛季、总决赛、詹姆斯、NBA、骑士 2 美食, 健康 美食、好吃、味道、做法、美味、蛋糕、水果、早餐、西瓜、营养 3 数码, IT互联网 手机、小米、新款、系统、苹果、iPhone、4G、智能、魅族、微软 4 星座, 情感 星座、水瓶、摩羯、巨蟹、处女、双鱼、双鱼、白羊、射手、天秤 5 音乐, 综艺 歌、音乐、听、MV、演唱会、专辑、 声音、歌曲、乐队、单曲

表2 部分主题标签与主题词表

(2) 基于热点评论的多媒体微博分类

从数据库中筛选了热点评论数大于20条、总评论数大于200条、带有多媒体内容的热门微博共计151条。取出前20条热点评论拼接成文档, 使用分词系统NLPIR2015预处理文档。

对于LDA的推断算法, 设置Gibbs采样的迭代次数I为1 000次, 进行多次推断实验。当推断概率最高的主题等于原微博的分类时, 称为“ 完全正确分类” , 当推断概率最高的两个主题中包含原微博的分类标签时, 称为“ 模糊正确分类” , 实验结果如表3所示:

表3

表3

表3 分类推断实验结果表 实验编号 完全正确分类数 准确率 模糊正确分类数 准确率 1 119 78.8% 133 88.1% 2 119 78.8% 134 88.7% 3 115 76.2% 135 89.4% 4 117 77.5% 135 89.4% 5 119 78.8% 132 87.4% 6 118 78.1% 135 89.4% 7 118 78.1% 135 89.4% 8 117 77.5% 133 88.1% 9 117 77.5% 132 87.4% 10 119 78.8% 134 88.7% 平均 117.8 78.0% 133.8 88.6%

表3 分类推断实验结果表

(3) 评论空间的主题特征挖掘

从上一个测试集中随机选取50条推断正确的微博, 对每条微博分别训练一个10-Topic的LDA模型, 并使用2.5节算法进行实验。设定推断主题数A=2, 即上一步实验中“ 模糊正确分类” 。特征词数X=5, 即挖掘主题下概率最高的5个词。

人工观察10-Topic模型中选出的两个主题中概率最高的10个词是否能表现微博多媒体内容的主题, 对每个特征词表达正确的主题打0.5分。正确表达主题特征的主题数为0, 1, 2的微博数量分别为5条, 14条, 31条, 总分为38分, 可以认为特征词挖掘准确率为76.0%。

表4

表4

表4 主题特征挖掘测评表 正确数 微博数量 分值 0 5 0 1 14 7 2 31 31

表4 主题特征挖掘测评表

本文选取Mid为“ Clf8RAx7l” 的美食类微博, 观测实验结果, 微博URL为http://weibo.com/1757142323/ Clf8RAx7l。忽略微博正文文本, 仅观察微博多媒体块中的9张图片, 如图4所示:

图4

	Figure Option ViewDownloadNew Window
	图4 微博多媒体内容截图

在上一步“ 基于热点评论的多媒体微博分类” 实验中, 使用训练好的分类目录LDA模型推断该条微博的主题, 推断结果中概率最高的两个主题为“ 美食” 与“ 情感” 。根据人工观测, 可以认为推断的分类结果准确。根据该微博的10-Topic模型与分类目录相似度计算的结果, 与分类目录中“ 美食” 主题相似度最高的主题是Topic8, 而与分类目录中“ 情感” 主题相似度最高的主题是Topic1。分别提取两个主题中概率最高的5个词, 并用“ 美食— — 蛋糕, 西瓜, 水果, 草莓, 奶油” 与“ 情感— — 好想, 试试, 好吃, 喜欢, 好感” , 这种形式表示这条短文本多媒体微博的特征。通过查看放大后的图片, 可以发现“ 美食” 标签下的5个词很好地描述了这条微博展示的西瓜蛋糕的细节, 而“ 情感” 标签下的5个词则反映了阅读者观看这条诱人的图片微博后迫切想吃或想尝试制作图中蛋糕的情感。

带标签的多主题分类目录构建实验中, 当设定主题数为80时, LDA主题建模结果中包含了新浪微博除“ 神最右” 这个模糊标签外的其他全部37个分类目录, 可以基本上完全覆盖新浪微博原有的分类目录。人为观测主题建模的结果, 可以发现主题下概率最高的20个词语与主题在语义上关联性较好。基于热点评论的多媒体微博分类实验中, 使用热点评论, 扩充多媒体微博的文本空间, 并使用LDA推断算法进行分类, 考虑当推断概率最高的两个主题中包含原微博的分类标签时, 结果正确, 则分类的准确率达到88.6%。分类精度较为理想, 可以从宏观上给多媒体微博划分语义范围。评论空间中的主题特征挖掘实验中通过挖掘主题中概率最高的5个词, 可以从语义上较好地反映微博的主题内涵, 通过“ 主题标签-特征词” 的形式表现微博多媒体内容的主题特征拥有较强的表现力。

结合上述三个子算法, 本文提出的算法有效性较高, 有较好的实用价值。