1 引 言

LDA(Latent Dirichlet Allocation)^[1]主题模型是统计语言模型中的典型代表, 近几年在情报分析、知识服务、知识发现等领域得到了广泛的应用, 主要集中在科学文献知识挖掘^[2-4]、科学研究热点发现与新兴主题探测^[5-7]、科学研究主题演化^[8-10]、学术评价^[11]等研究方向。LDA之所以在情报学领域获得了广泛的应用, 主要原因在于LDA适合海量异构文本数据的建模, 其优势是可以将文本表示的维度大大降低, 从而避免维数灾难^[12]。科技情报分析中大量实证研究证明了LDA的可靠性和有效性, 但仍存在一些问题没有解决。与一般的文本挖掘任务相比, 科技情报分析对LDA提出了更高的要求, 主要表现在以下两点:

(1) 在一般的文本挖掘任务中(如文本聚类、文本分类、文本自动摘要^[13-16]等), LDA往往在中间的降维环节发挥重要作用, 不需要展示主题的具体形式, 只需要实现文本降维即可。但在科技情报分析任务中(如科学研究主题发现与主题演化), LDA必须将主题抽取的结果展示并分析, 主题抽取的质量直接影响主题抽取和主题演化的效果。

(2) LDA在情报分析中的应用更注重主题数目的确定。目前普遍认为应用LDA的最大问题是无法确定最优主题数目^[17]。而主题数目的确定对于科技文献主题抽取至关重要。从目前国内外情报学领域应用LDA进行科技情报分析的情况看, 以上的两个问题还没有引起足够的重视。

2 相关工作

大量实证研究证实LDA主题抽取效果与潜在主题数目K值有直接关系, 主题抽取的结果对K值非常敏感。基于此, 国内外不少学者展开了相关研究, 通过各种方法确定最优主题数目, 比较常用方法有以下三种:

(1) Blei等采用困惑度(Perplexity)作为评价模型好坏的标准, 通过选取困惑度最小的模型确定主题的最优数目^[1]。困惑度指标可以确定最优的模型预测能力, 但是根据困惑度选取的主题数目往往偏大, 从而导致抽取的主题之间相似度较大, 主题辨识度不高的问题, 影响科技情报分析工作的效率。

(2) 将主题数目进行非参数化处理, 典型代表是层次狄利克雷过程(Hierarchical Dirichlet Processes, HDP)^[18]。HDP与LDA主题模型不同的是: HDP是一种非参数贝叶斯模型, 能够从文档集中自动训练最合适的主题数目K。HDP通过狄利克雷过程的非参数特性解决了LDA中主题数目选择问题, 实验证实HDP所选的最优主题数目与基于困惑度选取的最优主题数目一致。但这种方法需要为同一个集合分别建立一个HDP模型和一个LDA模型, 且算法时间复杂性较高, 应用在科技情报分析中存在效率不高的问题。

(3) Griffiths等提出应用贝叶斯模型确定最优主题数目的方法^[19]。该方法依赖于Gibbs抽样的过程, 计算复杂度较高, 且只能用来确定主题数目, 无法刻画模型的泛化能力。

另外, 一些学者探讨了主题相似度和最优主题数目之间的关联。Arun等将LDA看作矩阵分解过程, 主题抽取的效果取决于K值的选取, 并通过实验发现利用KL散度度量主题之间的相似度, 当主题数接近最优值时, KL散度较小, 而主题数远离最优值时, KL散度较大^[20]。曹娟等通过理论证明和实验分析, 得到最优主题数与主题相似度之间的关系。以此为约束条件, 将最优K值选择与LDA模型参数估计统一在一个框架里, 通过实验证明最优K值不仅与文档集中文本的数量有关, 也与文本之间的相关程度有关^[21]。综合分析发现, 以上确定LDA最优主题数的方法, 主要存在模型复杂度较高或者分析所得主题的辨识度不高等问题, 基于此, 本文从主题相似度入手构建新的确定LDA主题数的方法。

3 基于主题相似度和困惑度的最优LDA
主题数确定方法

如前所述, 当使用LDA对科技文献集进行主题抽取时, 困惑度选取的主题数目往往较大、从而导致抽取的主题之间相似度较大、主题辨识度不高的问题。而主题辨识度与主题之间的相似度密切关联, 当主题相似度越小时, 主题之间的辨识度越大。基于此, 本文权衡模型的泛化能力以及主题抽取的效果, 提出基于困惑度和主题相似度相结合的指标Perplexity-Var来确定主题的最优数目。

3.1 困惑度

在概率语言模型中, 困惑度是用来评估语言模型优劣的指标, 其基本思想是给测试集赋予较高概率值的语言模型较好^[22], 且较小的困惑度意味着模型对新文本有较好的预测作用, 所以困惑度一般随着潜在主题数量的增加呈现递减的规律。

在LDA主题模型中, 困惑度计算公式^[1]如下:

(1)

其中, D表示语料库中的测试集, 共M篇文档, N_d表示每篇文档d中的单词数, w_d表示文档d中的词, p(w_d)即文档中词w_d产生的概率。

3.2 Perplexity-Var

计算主题相似度常用的方法是Kullback-Leibler散度(KL散度)^[23]或Jensen-Shannon散度(JS散度)^[24], 由于KL散度不满足对称性和三角不等式, 所以本文选取JS散度作为度量主题之间相似度的计算方法。

在JS散度的基础上, 将随机变量方差的概念引入到潜在主题空间中, 即可衡量主题空间的整体差异性。主题方差是各个主题分别与其均值之间的距离平方和的平均数, 用Var(T)表示。主题方差用来度量主题和其均值之间的偏离程度, 可以衡量潜在主题空间的整体差异性和稳定性。主题方差的计算方法如下:

①计算主题-词概率分布φ均值 ;

②利用JS散度计算主题方差, 公式如下:

(2)

其中, T表示LDA抽取的主题, K表示主题数目, D_JS表示JS散度。Var(T)衡量了主题之间的稳定性和差异性, 当Var(T)越大时, 主题之间的差异性越大, 主题之间的区分性就越好, 这样的主题结构就越稳定。困惑度反映了模型的预测能力, 但一味追求模型的预测能力则必然导致抽取的主题数过大的问题, 所以二者相结合可以有效解决主题辨识度不高的问题。

Perplexity-Var指标计算公式如下:

(3)

其中, D_test为实验文本集中的测试数据集, Perplexity(D_test)为测试数据集的困惑度, Var(T_test)是测试数据集的主题方差。

Perplexity-Var指标含义: 首先, 考虑到模型的泛化能力, 当Perplexity越小时, LDA的泛化能力越好。其次, 考虑到LDA的主题抽取效果, 当主题结构的平均相似度最小时, 对应的LDA主题模型最优^[21], 而主题结构的平均相似度越小, 则主题之间的差异就越大, 此时主题结构的方差越大。所以当主题方差越大时, LDA主题抽取的效果越佳, 同时Perplexity-Var指标就越小。综合以上分析, 当Perplexity-Var指标最小时, 对应的LDA主题模型最优。

4 实验过程

4.1 实验数据与数据预处理

(1) 数据检索

实验数据检索自CNKI, 通过去重、删除不完整数据, 共获得国内新能源领域1994年-2000年1 018篇文献, 字段包括标题、作者、机构、摘要和关键词, 不包括全文。将语料库中10%的文献用作测试集评估模型, 剩下的文献用来训练LDA模型。

通过对1 018篇科技文献的标题、关键词、摘要等元数据的分析, 笔者统计了文本集的主题及相关统计数据, 经过课题组成员打标签和专家鉴定, 共获得有效主题27个, 包含文献955篇, 另外还有主题不明确的文献63篇, 具体数据如表1所示。

(2) 数据预处理

①抽取领域词典、分词

通过Python编程获取1 018篇原始文献的关键词, 计算词频并获取领域词典。利用Python的jieba^[25]分词软件包对原始文献的摘要进行分词, 并将上一步获取的领域词典作为分词组件的用户词典, 以提高分词的效果。

②LDA主题模型及工具包选择

LDA主题抽取由基于Python语言的机器学习包gensim^[26]实现, Perplexity-Var指标的计算以及文档相似度的计算也通过Python编程实现。

实验环境是一台Windows 7旗舰版操作系统、Intel(R) Core(TM) i5-4570 CPU、3.2GHz、4GB内存的计算机。

4.2 评价指标和实验结果对比分析

确定LDA最优主题数目的三种方法中, 基于HDP确定LDA最优主题数目的方法算法复杂度较高, 而基于Gibbs抽样过程中的贝叶斯模型方法无法刻画模型的新文档预测能力。所以, 本文选取最流行的基于困惑度计算的方法作为本文方法的比较对象。实验设计从科技文献主题抽取效果和科技文献相似度推荐效果两个评价指标进行模型评价。

(1) 科技文献主题抽取效果

采用查准率P (Precision)、查全率R (Recall)和F值(F-Score)进行定量评价。查准率用以评估LDA主题抽取的有效主题中正确主题所占的比例, 查全率用以评估LDA抽取的正确主题占专家评判的领域研究主题的比例, 而F值为二者的调和平均值, 公式如下:

(4)

其中, T_extract为LDA抽取的有效主题的数目; T_correct为有效主题中正确抽取的主题数目, 所谓正确抽取的主题指LDA所抽取的主题包含在专家评判的领域研究主题之中; T_standard为通过文献调研和专家评判的领域主题数目。

(2) 科技文献相似度推荐

高质量的科技情报服务应立足于用户需求, 当用户在海量科技文献中寻找与自己阅读文献相似度较高的文献时, 科技文献相似度推荐就显得尤为迫切, 而文献推荐的质量与所抽取主题的质量是直接相关联的。所以, 特别选取科技文献相似度推荐效果作为评价最优主题数目选择方法的依据之一。

对训练集语料库实行LDA主题抽取之后, 文档可以表示为主题向量空间, 其维度比词向量空间的维度小很多。对于测试集的新文档, 可以使用训练好的LDA模型进行主题抽取, 并将文档映射到主题空间, 在此基础上使用JS散度度量新文档与训练集中文档的相似度, 完成新文档的相似度推荐工作。

基于文档相似度的文档推荐方法如下:

①在主题数目为K时用训练语料库对LDA模型进行参数学习;

②对测试集中的文档用训练好的LDA进行主题抽取;

③对测试集中的文档根据JS散度与训练集中的所有文档进行相似度计算, JS散度越小则文档越相似, 对所有文档进行相似度排名, 排名靠前的文档为相似度高的文档。

实验通过打标签的形式, 对测试集中的102篇文献进行人工标注, 标注出训练数据集中与之最相关的前10个文献。对每篇测试集文献取其相似度推荐结果中的前10篇文献, 通过推荐准确率(Recommend Precision)对相似度推荐效果进行对比分析。

假设对于M篇测试集中的文献d_i, 在训练数据集中, 人工标注的最相关的前10篇文献集为T_i, 通过相似度推荐算法得到的推荐结果前10篇文献集为R_i。则该测试集的推荐精度如公式(5)所示, 其中#(T_i)表示文献集T_i所含文献数量。

(5)

4.3 实验结果及对比分析

(1) 最优主题数目的确定

实验设定主题数目K的取值范围为[10, 200], 取步长为10进行LDA主题抽取, 分别在测试集上计算Perplexity指标和Perplexity-Var指标, 从而确定最优主题数目。

①Perplexity指标的计算

从图1中困惑度的取值来看, 当主题数目K=70时, LDA的困惑度指标达到最小, 此时最优主题数目为70。

②Perplexity-Var指标的计算

利用JS散度在测试集中计算不同主题数目K情况下, LDA抽取的潜在主题的方差如图2所示。

图2中显示方差随着主题数目的增加而减小, 即当主题数量越多时, 主题之间的方差越小。这是因为当抽取的主题越多时, 出现了一些干扰主题和语义重复的主题, 导致主题之间的相似度增大, 主题结构的方差变小, 造成主题结构不稳定。

使用Perplexity-Var指标计算最优主题数目, 如图3所示。可以得出当主题数目选择为30个时, Perplexity-Var指标达到最小值, 此时选择的LDA最优主题数目为30。

综上, 从两种指标所确定的LDA主题数目来看, 单纯使用困惑度确定的主题数目70与人工判定的主题数目27相差太大, 而本文所提出的Perplexity-Var指标得到的最优主题数目30与人工判定的结果比较吻合。

(2) 实验结果对比分析

①科技文献主题抽取效果评价

根据实验结果可知, 通过Perplexity指标计算的最优主题数目70, 通过Perplexity-Var指标计算的最优主题数目为30, 利用LDA对新能源领域科技文献数据集进行主题抽取, 并分析结果, 部分主题抽取结果如表2和表3所示(只展示了前10个主题并省略了主题词的概率值):

主题的含义是通过其主题词项的综合语义反映出来的, 通过与人工判定的主题进行比较(见表1), 得出Perplexity-Var指标确定的LDA主题模型可以准确抽取22个主题, 所抽取的30个主题中含有6个干扰主题; Perplexity指标确定的LDA主题模型可以准确抽取23个主题, 所抽取的70个主题中含有29个干扰主题。两种指标下的主题抽取效果对比如表4所示:

表4展示了两种最优主题数选择方法下, LDA主题抽取的查准率、查全率和F值。可以看出, 基于困惑度(Perplexity)的方法, 抽取的有效主题数较多, 但是这些主题大多是重复的且干扰主题也很多, 所以查准率和F值较低。而基于主题相似度和困惑度(Perplexity-Var)的选择方法, 抽取的主题中干扰主题较少, 各项指标较高, 效果较好。科技文献主题挖掘的目标, 既要保证主题抽取的准确性也要保证主题抽取有较高的效率。否则, 抽取的干扰主题过多, 会严重影响主题挖掘效率。

②科技文献相似度推荐

先将训练文本集通过LDA进行主题抽取, 获取主题空间。然后将测试文本集中的每篇文献表示为主题空间中的向量, 利用本文提出的相似度推荐方法推荐相似文献, 并取前10篇推荐文献。表5展示了两种指标下, 测试文本集的相似度推荐精度。

从表5看出, Perplexity-Var指标确定的LDA主题模型其文献相似度推荐精度比单纯使用困惑度指标要高, 主要原因是Perplexity-Var指标不仅依赖于模型的预测能力, 还兼顾了主题之间的相似度, 使主题之间的差异性更加明显, 增加了主题的辨识度。当文档映射到主题空间上时, 主题可以很好地表达文档的语义信息。为了更加清晰地展示文献相似度推荐效果, 笔者从测试集中随机选取了两篇测试文档进行相似度推荐结果的展示, 分别属于潮汐发电主题和风力发电主题, 如表6和表7所示:

从表6可知, 第一篇属于潮汐发电主题的被推荐文档在主题数目K=30时与训练集中文档215之间具有最小的JS散度, 因而最相似; 而当K=70时, 与文档346最相似。从文档的关键词可以看出, 文档215在关键词上与被推荐文档极为相似, 都包含“潮汐电站; 潮汐能源; 潮汐能资源; 灯泡贯流式机组; 开发; 利用”等词, 特别是核心词汇“灯泡贯流式机组”, 而文档346没有。另外, 文档671是“地热”主题, 与“潮汐发电”无关, 可见K=30时文档推荐效果要优于K=70。同样的对比方法, 从表7中也可以得出类似的结论。可见, 基于Perplexity-Var指标选择的LDA模型, 由于保证了所抽取的主题结构的稳定性, 当文档表示为主题的混合分布时, 能够较准确地刻画文档的语义信息, 从而在文档相似度推荐方面有更好的表现。

5 结 语

在大数据背景下, 对于智能情报分析需求的日益增强, 对于能够处理海量文本数据的智能算法的需求日益增强。本文从LDA的特点入手, 分析了情报分析与一般的文本挖掘中应用LDA的主要区别。提出了在情报分析工作中应用LDA必须要重视主题抽取的效果和主题数目这两个问题。结合主题相似度以及困惑度, 本文提出确定最优主题数目的方法, 实证证实了在科技文献的知识挖掘中, 利用此方法可以有效确定主题数目获得较好的主题抽取结果, 帮助情报分析工作者从海量科技文献中抽取显著主题, 并能够提高基于相似度的科技文献推荐效果。

本文在实证分析时针对科技文献数据进行了方法有效性验证, 没有针对其他类型的数据集进行方法的验证, 如微博短文本、XML文档等。另外, 只针对科技情报分析任务, 从主题抽取效果和科技文献相似度推荐效果这两个方面进行新方法的验证, 其他方面的验证还需要进一步的拓展, 以证明方法的有效性。所以, 扩展验证范围和评价指标是下一步的工作重点。

作者贡献声明:

关鹏: 提出研究方案和思路, 进行实验, 起草并修改论文;

王曰芬: 扩展研究思路, 审阅论文, 提出论文修改建议。

利益冲突声明

所有作者声明不存在利益冲突关系。

支撑数据

支撑数据见期刊网络版http://www.infotech.ac.cn。

[1] 关鹏. new_energy_corpus (training set).xlsx. 分词、去重、去停用词后的LDA训练语料库.

[2] 关鹏. new_energy_corpus (test set).xlsx. 分词、去重、去停用词后的LDA测试语料库.

---

参考文献

文献选项

• 原文顺序
• 文献年度倒序
• 文中引用次数倒序
• 被引期刊影响因子