基于LDA模型的文本分类方法利用LDA模型挖掘文本中的隐含主题信息, 通过对文本集建模, 将每个训练集和测试集文本表示为隐含主题空间中的向量, 在训练集文本-主题矩阵中训练SVM, 构造文本分类系统。整个分类框架如图2所示, 主要包括预处理、LDA建模、分类器构造、分类过程和性能评估5个部分。

图2

	Figure Option ViewDownloadNew Window
	图2 基于LDA模型的文本分类框架

具体分类步骤如下:

(1) 预处理: 分词、去停用词。

(2) 对不同主题数, 采用LDA对训练集数据进行分析建模, 参数推理采用Gibbs抽样, 迭代足够多次数, 获得训练文本的文本-主题矩阵和主题-特征词矩阵。

(3) 在步骤(2)获得的文本-主题矩阵上训练支持向量机, 构造文本分类器。

(4) 用LDA建模后的训练集数据对测试集数据进行模型推断, 得到测试集数据的文本-主题矩阵, 获取测试集数据的文档特征。

(5) 用SVM分类模型预测待分类文本的类别。

对于一个新的待分类文本d, 同样采用Gibbs抽样的方法来获得其在主题上的分布, 此时因为训练集中的特征词主题分布已经稳定, 因此只需迭代较少次数(如100次), 但是在Gibbs抽样中计算条件概率以更新特征词所属主题状态时, 要同时考虑训练集和待分类文本, 其公式为^{[ 9]}:

(3)

其中,w'和z'分别表示训练集中的特征词及其主题, 表示训练集中特征词w_i分配给主题k的次数, 表示待分类文本中特征词w_i分配给主题k的次数, 表示训练集中分配给主题k的特征词数, 表示待分类文本中分配给主题k的特征词数, 表示待分类文本分配给主题k的特征词数, 表示待分类文本d包含的特征词数,α,β为超参数,T,V分别为主题数和训练集中特征词种类数。所有特征词个数都不包含此次z_i=k的分配。

最后, 利用如下公式^{[ 9]}计算待分类文本d在主题空间上的表示:

(4)

构建LDA模型的关键是隐含变量分布的推断, 即获得目标文本的隐含主题分布θ和主题–特征词分布Φ, 若给定模型参数α,β文本d的随机变量θ、z和w的联合分布为^{[ 3]}:

(5)

由于公式(5)中同时存在多个隐含变量, 直接计算θ和Φ是不可能的, 因此需要对参数进行估计推断, 常见的参数估计算法有变分贝叶斯推理^{[ 3]}、期望最大化(Expectation Maximization, EM)^{[ 10]}和Gibbs抽样^{[ 11]}。本文采用Gibbs抽样进行参数推断, Griffiths^{[ 12]}指出Gibbs抽样在困惑度(Perplexity)与运行速度等方面均优于变分贝叶斯推理和EM算法。变分贝叶斯推理算法得到的模型与真实情况有所偏差, 而EM算法往往由于似然函数的局部最大化问题导致无法找到最优解, Gibbs抽样能快速有效地从大规模数据集中提取主题信息, 成为当前最流行的LDA模型提取算法。

MCMC是一套从复杂的概率分布中抽取样本值的近似迭代方法, Gibbs抽样作为MCMC的一种简单实现形式, 目的是构造收敛于目标概率分布的Markov链, 并从链中抽取被认为接近该目标概率分布值的样本。在LDA模型中, 只需要对主题变量z_i进行抽样, 其后验概率为 , 计算公式为^{[ 3]}:

(6)

其中,w_i是特征词记号,不仅与特征词本身有关,还与该特征词所在的位置有关,z_i=j表示将特征词记号w_i分配给主题j,z_-i是所有 的分配, 是分配给主题j的与w_i相同的特征词个数, 是分配给主题j的所有特征词个数, 是文本d_i中分配给主题j的特征词个数, 是d_i中所有被分配了主题的特征词个数,V是特征词种类数,T是主题数。所有的特征词个数均不包括这次z_i=j的分配。

Gibbs抽样算法具体为:

①为每个特征词记号w_i随机分配主题。z_i是特征词记号的主题, 将z_i初始化为1到T之间的一个随机整数,i从1到N,N是文本集中的特征词记号, 此为Markov链的初始状态;

②i从1循环到N, 根据公式(3)为特征词记号w_i新分配主题, 获得Markov链的下一状态;

③迭代步骤②足够次数后, 认为Markov链接近目标概率分布, 取z_i(i从1循环到N)的当前值作为样本记录下来。

对于每一个样本, 按下列公式估算Φ和θ的值^{[ 3]}:

(7)

其中, 表示特征词w分配给主题j的次数, 表示分配给主题j的特征词数, 表示文本d中分配给主题j的特征词数, 表示文本d中所有分配了主题的特征词数。

采用LDA模型对文本集进行主题建模时, 主题数T对LDA模型拟合文本集的性能影响很大, 因此需预先设定主题数。确定主题数的方法有多种, 姚全珠等^{[ 13]}采用贝叶斯统计中的标准方法确定主题数, 曹娟等^{[ 14]}通过计算主题之间的平均相似度来确定最优模型, 孙世杰等^{[ 15]}使用困惑度获得最优主题数。其中, 困惑度是衡量一个模型好与坏的评价指标, 困惑度越小, 代表该模型的泛化能力越强, 该方法是语言模型中标准的评判准则, 在LDA模型中被广泛使用。本文通过不同主题数下的分类效果来确定最优主题数, 并与使用困惑度确定模型最佳拟合时的分类效果进行比较, 本方法一方面能获得更直观准确的最优主题数, 另一方面可以找出困惑度确定的最优主题数对应的分类效果与实际结果的差距。困惑度公式为^{[ 15]}:

(8)

其中,M为文本集中的文本数,N_m为第m篇文本的长度, 为LDA模型产生第m篇文本的概率, 公式为^{[ 15]}:

(9)

为验证本文方法应用于图书和期刊论文等书目信息时的可靠性和有效性, 首先对复旦和Sogou公开语料库进行实验。其中, 复旦大学语料库共有军事、体育、旅游、计算机和经济5个类别; Sogou语料库共有计算机、教育、军事、体育和经济5个类别。

在探讨基于LDA模型的文本自动分类对图书和期刊论文等书目信息的适用性时, 以图书的书目信息和电子期刊数据库的期刊论文书目信息等信息管理领域的真实数据为对象自建语料库。图书语料取自某大学图书馆馆藏目录, 包括计算机技术、军事和体育三个大类下部分图书的书目信息; 期刊语料库包括计算机技术、体育和军事三个类别, 分别选自《计算机学报》、《体育科学》和《军事历史研究》三个期刊上2007-2009年的部分数据。两种自建语料库中, 测试集包括题名和摘要, 测试集只包含题名。

本文两种自建语料与复旦、Sogou公开语料有很大差别。首先, 复旦、Sogou语料属于长文本, 其中复旦语料测试集文本平均长度为2 772个字, Sogou语料测试集文本平均长度为685个字; 图书和期刊语料属于短文本, 其中图书语料测试集文本平均长度为7个字左右, 期刊语料测试集文本平均长度约为20个字。其次, 图书和期刊语料因为其本身学术性, 特征词有较强主题指示性, 因此, 即使文本长度较短, 如果能够正确识别出各个主题词的隐含语义, 也能获得较好的分类效果。

为消除不平衡数据对分类结果的影响, 本文所有实验均使用平衡数据, 每个类随机抽取200篇作为训练集, 100篇作为测试集, 训练集和测试集之间无重复。所有语料库分别进行5组实验, 最后取平均值作为实验结果。

性能评估是在整个文本分类完成后, 用各种指标来评价分类器的性能, 本文在常用的查准率P、查全率R和F1值三种指标基础上使用Macro_P、Macro_R和Macro_F1对分类结果进行评估。计算公式如下^{[ 12]}:

(10)

(11)

(12)

(13)

(14)

其中,T_i,C_i,N_i分别表示第i类中分类正确的文本个数、分到第i类中的文本个数和第i类中实际包含的文本个数,k是类别数。

为了评估LDA模型的有效性和优越性, 本文进行了如下两个实验:

(1) 通过不同主题数下的分类效果, 确定最优主题数及相应的最佳分类效果, 并与用困惑度确定最优主题数时的分类效果进行比较;

(2) 对本文使用的4种语料, 分别使用LDA模型和向量空间模型作为文本表示, 分类算法采用SVM, 比较分类效果。

语料库使用中国科学院计算技术研究所的分词系统ICTCLAS进行分词, 并去除停用词。

(1) 实验一

使用Gibbs抽样获取LDA模型参数时, 令α=50/T(T为主题数),β=0.01, Gibbs抽样算法训练集迭代1 000次, 测试集迭代100次, 公开语料库将LDA模型主题数设置为10-100(间隔10), 自建语料库主题数设置为5-50(间隔5), 在不同主题数下分别运行Gibbs算法, 采用SVM对待分类文本, 4种语料库在不同主题数下的分类效果与困惑度如图3和图4所示:

图3

	Figure Option ViewDownloadNew Window
	图3 不同主题数下4种语料的分类效果比较

图4

	Figure Option ViewDownloadNew Window
	图4 4种语料随不同主题数的变化趋势

实验表明, 基于LDA模型的文本自动分类系统, 在Sogou、复旦公开语料库中的分类效果最佳分别达到95.5%和93.5%, 达到了同类系统的相同水平甚至略有提高^{[ 11]}; 在图书、学术期刊论文等主要真实数据语料上也有较好的分类效果。

通过比较可以发现, 公开语料库中, 复旦和Sogou语料库分类效果最好时的主题数均为50, 而使用困惑度获得的最优主题数均为100; 自建语料库中, 图书和期刊语料库分类效果最好时的主题数分别为10和15, 而使用困惑度获得的最优主题数则分别为35和30。从分类效果来看, 通过困惑度确定的最优主题数对应的分类效果与真实结果相差甚远, 对复旦语料来说, T=100时的Macro_F1为93%, T=50时的Macro_F1为96%, 相差3%; 对Sogou语料来说, T=100时的Macro_F1为86.4%, T=50时的Macro_F1为92.2%, 相差5.8%; 对图书语料来说, T=10时的Macro_F1为79.6%, T=35时的Macro_F1为76.1%, 相差3.5%; 对期刊语料来说, T=15时的Macro_F1为85.8%, T=30时的Macro_F1为82.1%, 相差3.7%。

综上可知, 通过困惑度确定的最优主题数, 其分类效果并不是最好的, 与困惑度相比, 本文确定最优主题数的方法分类效果更好, 且更直观准确。

(2) 实验二

为了消除实验结果的偶然性, 对每种语料库进行了5组实验, 每组实验中每个类别从语料库中随机无重复抽取200篇用作训练集, 100篇用作测试集, 确保训练集和测试集无相同文本。文本表示选择向量空间模型(VSM), 结合SVM分类方法的分类系统作对比实验, 实验结果如图5所示:

图5

	Figure Option ViewDownloadNew Window
	图5 4种语料在两种文本表示方法下的实验结果对比

实验结果表明, 在复旦和Sogou公开语料库上的分类性能比传统向量空间模型分别提高4%和3.5%左右, 分别达到95.5%和93.5%, 验证了本系统达到的水平及可靠性。在此基础上, 进一步通过实证, 研究了本系统在图书、学术期刊论文等信息管理领域的主要真实数据语料上进行自动分类的可行性, 分类性能比传统向量空间模型分别提高10%和3%左右, 分别是77.4%和87.6%, 达到可以实用的水平。