科技文献的很多方法都借鉴了前人的方法形成,某一篇科技文献被引用的次数越多,说明它对未来的研究方向具有更大的影响力。基于种子文档话题的演化就是源于参考文献对于论文写作的作用。Rameshe等^{[ 10]}将文献间的引用关系引入LDA模型来研究话题演化,但是,很多文本集合并没有显式地给出文本间的引用关系,引用模型不能应用在任何文本集合中。

基于种子文档的话题演化方法如下:

(1)在t-1时间窗口上对文本集合运用LDA模型,抽取话题。

(2)利用LDA模型的参数后验来判断并提取种子文档。

(3)将这些种子文档加入t时间窗口上的文本集合,利用LDA模型抽取t时间窗口上的话题。其中t-1时间窗口上的种子文档会影响t时间窗口内话题的生成,利用种子文档上话题的分布关联话题,最终形成t-1和t时间窗口上的话题演化。重复这个步骤,直到得到所有时刻的演化。

因此,本文提出的方法有两个重要步骤:通过规则选取种子文档和运用LDA模型生成话题,利用种子文档关联话题演化。其流程图如图2所示:

图2

	Figure Option ViewDownloadNew Window
	图2 基于种子文档的话题演化模型流程图

种子文档的选取需要满足一定的条件,来体现有意义的话题。首先定义一个平凡文档d_r和垃圾话题z_r,然后分别计算每一篇文档和平凡文档的距离以及每一个话题与垃圾话题的距离,距离越远,说明文档或话题越有意义,这样就可以得到种子文档和有意义的话题。

通过考察LDA模型参数θ_d和φ_z,分别定义平凡文档d_r和垃圾话题z_r为:

d_r={d|p(z_i∈Z|d)= =1/K} (1)

z_r={z|p(w_i∈W|z)= =1/W} (2)

其中,K表示文本集合中的话题个数,W表示文本集合的词语个数。式(1)表示每个话题在平凡文档上的分布概率都是1/K,即无法判断平凡文档到底表达什么主题。同样,从式(2)可以看到每个词语在垃圾话题上的分布概率都是1/W,也就是说没有任何一个词语可以有效地突现话题的内容,因此这个话题是无意义的。定义任意一篇文档与平凡文档之间的距离 为:

(3)

定义任意一个话题与垃圾话题之间的距离 由它们之间的向量空间距离度量,即:

(4)

根据话题模型,任意一篇文档可以表示为话题空间上的一个向量,假设有K个话题,文档d可以表示为θ_d={ , ,…, },话题概率按降序排序,得到文档d上概率最大的话题z₁及其概率值 。定义一篇文档d可以清晰表达和反映一个话题z_i,当且仅当满足:

z₁=z_i且 >λ₁ (5)

其中,λ₁是阈值。式(5)表示文档d对于话题z_i的表示程度, 越大,则该文档越能代表该话题z_i。

综上所述,一篇种子文档d需要满足:

(1)清晰表达一个话题,并且与平凡文档有较大的距离;

(2)清晰代表某一个话题,而且该话题与垃圾话题的距离足够大。

所以,除了要满足式(5),还要满足式(6)和式(7):

>λ₂ (6)

>λ₃ (7)

根据上述条件,种子文档d与演化话题z_i由此产生。

种子文档确定后,每个时间窗口的文档集合由属于该时间窗口的文档和上一时段抽取出的种子文档组成。在每个时间窗口上运用LDA模型抽取出话题后,利用种子文档关联话题,使之形成有意义的演化。

以NIPS会议2003年到2008年录用的论文作为英文实验语料,如表 1所示:

表1

表1

表1 2003年-2008年的NIPS语料 年份 2003 2004 2005 2006 2007 2008 文档个数 194 206 205 202 217 244 词语个数 18 127 18 497 19 295 20 342 21 360 23 988

表1 2003年-2008年的NIPS语料

以全国2007年到2009年两会新闻报道作为中文实验语料,如表2所示:

表2

表2

表2 2007年-2009年全国“两会”报道语料 年份 2007 2008 2009 文档个数 6 127 12 755 4 377 词语个数 30 401 45 265 26 877

表2 2007年-2009年全国“两会”报道语料

在实验中,对于英文语料首先过滤掉英文停用词,以及低频词;对于中文语料首先利用分词进行词性标注,再过滤掉停用词。利用模型选择的方法选取话题个数。利用Gibbs Sampling方法^{[ 12]}推导LDA模型的参数θ和φ的后验估计。

(8)

其中,D表示文档个数,K表示话题个数,V表示词语集合的大小。

选取阈值λ₁=0.40,λ₂=0.05,λ₃=0.55在NIPS语料上抽取种子文档。为了检验种子文档的抽取方法,作者对比了这些文档在谷歌学术搜索上被引用的次数。35篇不同的论文作为种子文档,一共被引用了1 465次,平均每篇文档被引用41.83次。表3列出了引用次数超过30次的种子文档。实验证明所选取的种子文档确实是具有影响力的文章。

实验发现,有一些种子文档出现在很多时间窗口上,跨越了多个时间段,比其他文档具有更长久的影响力,在科技文献领域,符合实际的应用。实验证明,种子文档选取方法在会议论文集合上得到了有效的验证。

表3

表3

表3 种子文档和引用次数 年份 被引用 次数 文档标题 2003 80 Approximate Policy Iteration with a policy language bias 2003 191 Hierarchical topic models and the nested Chinese restaurant process 2003 58 An MDP-based approach to online mechanism design 2003 219 Using the Forest to See the Trees: A Graphical Model Relating Features, Objects, and Scenes 2003 120 Semi-supervised protein classification using cluster kernels 2003 37 Sparseness of Support Vector Machines Some Asymptotically Sharp Bounds 2004 108 Parallel support vector machines: The cascade svm 2004 36 Dependent Gaussian Processes 2004 140 Maximum-margin matrix factorization 2004 37 Maximal margin labeling for multi-topic text categorization 2005 44 The Forgetron: A kernel-based perceptron on a fixed 2005 32 Walk-sum interpretation and analysis of Gaussian belief propagation 2005 58 Laplacian Score for Feature Selection 2006 37 Modeling General and Specific Aspects of Documents with a Probabilistic Topic Model 2006 47 Balanced Graph Matching 2007 37 Evaluating Search Engines by Modeling the Relationship Between Relevance and Clicks

表3 种子文档和引用次数

(1)基于种子文档的演化结果

图3是根据种子文档“Using the Forest to See the Trees: A Graphical Model Relating Features, Objects, and Scenes”在2003年-2008年NIPS会议论文上所发现的话题演化。

图3

	Figure Option ViewDownloadNew Window
	图3 文档“Using the Forest to See the Trees: A Graphical Model Relating Features, Objects, and Scenes”的演化结果

图3显示基于这篇种子文档得到的话题演化主要是关于“物体识别(Object Detection)”方面的。可以看到该领域研究技术有以下的变化:

从图像特征识别(Image Feature)、对象图像识别(Object Feature)、人脸识别(Face Detection)、特征标识向可视化发展。

两会报道的语料选取了2007年第111篇文档作为种子文档,其标题为《人大代表王填:食品制假可处投毒罪》,形成的话题演化,如表4所示:

表4

表4

表4 2007年-2009年全国两会语料基于文档《人大代表王填:食品制假可处投毒罪》的话题演化结果 年份 2007 2008 2009 P(z|d) 0.637 0.546 0.458 话题编号 z=17 z=85 z=119 话题词(Top 10) 食品/n 监管/v 生产/v 事件/n 质量/n 问题/n 体系/n 部门/n 检测/v 环节/n 食品/n 监管/v 生产/v 质量/n 标准/n 企业/n 产品/n 出口/v 产品质量/n 问题/n 食品/n 监管/v 药品/n 生产/v 部门/n 事件/n 国家/n 奶粉/nz 安全法/n 质量/n

表4 2007年-2009年全国两会语料基于文档《人大代表王填:食品制假可处投毒罪》的话题演化结果

从表4中可以看出,食品安全话题的演化发展,2007年主要针对食品检测环节和体系指标,2008年关注食品的标准和质量问题,2009年针对药品、奶粉等特殊的食品事件,并提出了安全法。确保了同一话题的演化结果是正确的。

(2)演化对比实验

选取文献[9]中的通过计算话题间距离来形成演化的方法作为基线(Baseline)进行对比实验。选取距离阈值0.4,即相邻时间上的话题如果它们的距离小于0.4,则认为存在演化关系。

在NIPS语料上的实验表明,两种方法都能得到2003年-2008年关于以下领域的一些演化:决策规则学习(Decision Rule Learning),话题模型(Topic Model),信号处理(Signal Processing),贝叶斯方法(Bayes Theory),神经网络(Neural Network),聚类分类(Clustering and Classification),马尔可夫决策过程(Markov Decision Process),支持向量机(SVM)和博弈理论(Game Theory)等,两种方法得出的结果差别并不大。以“马尔可夫决策过程”的话题演化为例,对比结果如表5所示。

表5显示两种方法都能得到类似的话题演化结果,对应话题的话题词也没有很大区别,只是在次序上的变化,原因是在下一时刻加入了种子文档,对话题的产生有一定的指导作用,但是并没有影响话题的内容。另外本文提出的方法也得到了基线方法没有得到的话题演化,如表6所示。

表6中的演化是基于种子文档2003年的论文《Hierarchical Topic Models and the Nested Chinese Restaurant Process》得到的。该论文被引用次数超过190次。

表5

表5

表5 NIPS语料中有关“马尔可夫决策过程”的话题演化对比 年份 2003 2004 2005 2006 2007 种子文 档方法 z=16 state policy value states belief action planning function policies actions z=10 state policy value agent states time mechanis mdp action agents z=7 state policy action goal states actions policies reward agent gradient z=38 policy state policies action optimal states reward transition mdp sprime z=44 belief state pomdp planning space policy states action search approxim 基线 方法 z=16 state policy value states belief action planning function policies actions z=30 state policy states action actions value mdp optimal reward time z=7 state policy action agent actions states goal reward agents learning z=14 policy state optimal reward transition mdp sprime gradient states action z=45 state policy value function reward action states optimal belief time

表5 NIPS语料中有关“马尔可夫决策过程”的话题演化对比

表6

表6

表6 NIPS上基于种子文档方法得到的关于“话题模型”的话题演化 年份 2003 2004 2005 2006 2007 2008 种子文 档方法 z=12 tree node distance points trees metric nodes topic g-means cost z=37 model words document models word document language distributio topics mixture z=47 model distribution topic words process dirichlet mixture models word prior z=28 document document topic words lda topics query nodes corpus hierarchy z=39 topic words topics document lda document variationa dirichlet gibbs word z=32 topic topics document words lda document model word perplexity latent

表6 NIPS上基于种子文档方法得到的关于“话题模型”的话题演化

基线方法没有得到结果,是由于话题词变化大,话题之间的相似度不高,小于事先设定的阈值。阈值的调整也会带来其他更多噪音数据。

全国两会新闻报道集合上的话题演化实验与基线方法对比,都能得到一些基本的话题演化,如“农民工”、“教育”、“医保”、“食品安全”等。表7展示了两种方法在“市场投资”话题上的演化。

本文提出的方法,也发现了话题的合并和分解,如图4所示:

图4

	Figure Option ViewDownloadNew Window
	图4 两会语料中存在话题合并的话题演化实例

图4显示,2007年“医疗改革”主要关注医疗体制改革和居民医疗制度,而从2008年开始,话题关注点转向社区医疗上。

本文提出的方法也得到了图1中关于“社会保障”话题的演化,但没有引入错误,如图5所示。

表7

表7

表7 全国两会语料上关于“市场投资”话题演化的对比 年份 2007 2008 2009 种子文档方法 (该演化的种子文档是《代表委员认为应严格股市信息披露制度》) z=119 市场/n 股市/n 投资/v 投资者/n 影响/v 风险/n 发展/v 外汇储备/nz 变化/v 公司/n z=10 市场/n 投资者/n 股市/n 融资/v 创业板/n 上市公司/n 资本市场/n 证监会/n 证券/n 推出/v z=109 市场/n 股市/n 交易/v 证券/n 投资者/n 股票/n 上市公司/n 推出/v 创业板/n 基金/n 基线方法 z=119 市场/n 股市/n 投资/v 投资者/n 影响/v 风险/n 发展/v 外汇储备/nz 变化/v 公司/n z=77 市场/n 创业板/n 投资者/n 上市/v 期货/n 推出/v 公司/n 发行/v 证监会/n 资本市场/n z=97 市场/n 股市/n 交易/v 证券/n 股票/n 投资者/n 创业板/n 推出/v 印花税/n 发行/v

表7 全国两会语料上关于“市场投资”话题演化的对比

图5

	Figure Option ViewDownloadNew Window
	图5 利用本文的方法得到的2007年-2009年全国两会报道关于“社会保障”的话题演化路径

实验结果证明,本文提出的基于种子文档的方法能得到形式多样的有意义的演化,符合话题的生命周期。与基线方法的对比实验表明,两者都能有效地得到类似的演化,但是本方法克服了基线方法中根据距离公式计算引入的关联话题演化,提高了话题演化的精度。