(1) 将时间序列划分为若干个长度固定的不重叠时间窗口, 根据文献的出版时间把文献划入到相应的时间窗口, 利用LDA主题模型识别不同时间窗口出现的主题;

(2) 计算相邻时间窗口中主题的相似度, 建立主题关联;

(3) 经主题关联过滤, 筛选出有效的主题关联;

(4) 针对相关联的主题, 经过沿时间序列向前或向后的推理, 判别主题的演化关系类型。

(1) 领域主题识别。针对不同时间窗口的文献集, 经LDA模型得到该时间窗口中的主题, 此处的主题表示为一个分布在一组主题词上向量;

(2) 主题关联建立。对步骤(1)中得出的主题向量, 计算相邻时间窗口间主题的相似度, 然后根据相似度建立主题关联;

(3) 主题关联过滤。制定三条主题关联过滤规则, 对步骤(2)中形成的主题关联进行过滤, 若经过滤后的主题关联仍有效, 则认为主题之间存在演化关系;

(4) 主题演化关系判别。分析已建立的主题演化关系, 依据时间先后顺序向前或向后推理, 确定主题的演化关系类型。

整体分析框架如图1所示:

图1

	Figure Option ViewDownloadNew Window
	图1 领域主题演化分析框架

将时间序列划分为若干个长度为L的时间窗口, 依据文献的出版时间划入到相应的时间窗口。假设时间窗口t的文献集为C_t, 每个时间窗口内的文献数不同, 相应的主题数也应随着时间动态变化。因此作为LDA模型的输入参数之一, 主题数目K必须事先确定, 本文借鉴文献[20]的方法确定各时间窗口的主题数。

本文定义主题是分布在一组主题词上的向量, 即:

其中, v_i是与主题T相关的词, p_i是主题T在该词上的分布概率。在LDA中, 时间窗口t中的第i个主题可以表示为:

其中, v_j∈ V, V为C_t的词表, p(v_j|T_i^t)为主题T_i^t中词v_j的概率。文献则定义为在这些主题上的多项分布, 因此文献d可表示为:

其中, p(T_i^t| d)为主题T_i^t在文献d中的概率。

经LDA识别出的不同时间窗口间的主题是相互独立的, 为分析主题的演化需对相邻时间窗口的主题建立关联。本文认为主题的演化过程中必然存在内容的延续与改变, 即相邻时间窗口间存在关联的两个主题具有内容相似性。通过计算相邻时间窗口间主题的相似度来衡量主题间内容的延续性, 并建立主题关联。

(1) 主题相似度

LDA中每个主题在词汇上的概率分布可看作一个1× |V|的向量, 可采用余弦相似度^[21]计算主题间的相似程度。主题T_i^t与主题T_j^t+1的相似度为:

(1)

考虑到在计算过程中, 文献集合不断引入新词汇, 两个时间窗口中的词表不完全相同, 根据LDA思想与Gibbs^[20]抽样的估计方式, 对于时间窗口t内未出现的词汇w, 主题T_i^t在w上的概率不为0, 而是符合一个统一的概率分布, 笔者定义该分布公式为:

(2)

其中, V是V^t与V^t+1的并集, β 是LDA模型参数, 是主题T_i^t包含的总词数。

(2) 建立主题关联

针对时间窗口t中的主题T_i^t, 设时间窗口t+1内的主题按照与T_i^t的相似度从大到小排序, 其中, 与T_i^t相似度最大的是T_j^t+1, 记T_j^t+1为T_i^t的后向主题:

针对时间窗口t+1中的主题T_j^t+1, 时间窗口t内的主题按照与T_j^t+1的相似度从大到小排序, 其中, 与T_j^t+1相似度最大的是T_i^t, 记T_i^t为T_j^t+1的前向主题:

以上两种情况均认为T_i^t与T_j^t+1之间存在主题关联。

主题关联建立后, 能够找出可能存在演化关系的主题对, 文献^[8-9^]直接将上述主题关联认定为演化关系, 但其结果会导致存在演化关系的两个主题相似度较低, 主题延续性不明显。为提高主题演化关系的准确度, 本文采用主题关联过滤规则去除无效的主题关联。

笔者定义以下三条过滤规则:

(1) 设定相似度阈值ε , 时间窗口t+1内的主题与T_i^t相似度的最大值为 , 若 , 则T_i^t与T_j^t+1之间主题关联无效;

(2) 如果T_j^t+1是T_i^t的后向主题, 即时间窗口t+1内的主题按照与T_i^t的相似度从大到小排序, T_j^t+1的排序位置为第1; 设时间窗口t内的主题按照与T_j^t+1的相似度从大到小排序, T_i^t所在的排序位置为第s (s> 2), 若存在主题T_k^t所处的排序位置是ρ ∈ (1, s), 且post(T_k^t)≠ T_j^t+1, 即T_k^t与T_j^t+1不能建立关联, 则认为T_j^t+1与T_i^t的关联无效;

(3) 时间窗口t内的主题与T_j^t+1的相似度最大值为 , 按照与T_j^t+1相似度从大到小排序, T_i^t所处的排序位置为第s (s> 2)。设定阈值μ ∈ (0, 1), 当 时, T_i^t与T_j^t+1的主题关联无效。

对于建立的主题关联, 采用以上三条规则过滤, 将过滤后仍存在关联的主题判定为具有较强的关联性, 即主题具有演化关系。

为解决主题演化中演化关系的判别问题, 本文对经关联过滤后的关联主题进行前向、后向的推理分析, 并把它们的关系分为新生、消亡、继承、分裂和合并5类, 如图2所示:

图2

	Figure Option ViewDownloadNew Window
	图2 领域主题演化形式

其中: a为主题新生; b为主题消亡; c为主题继承; d为主题合并; e为主题分裂。其中, 虚线箭头表示主题间演化关系不存在。

(1) 新生: 若主题T_i^t没有前向主题, 时间窗口t-1中也不存在后向主题是T_i^t的主题, 则认为T_i^t是t内新生的主题;

(2) 消亡: 若主题T_i^t没有后向主题, 时间窗口t+1中也不存在前向主题是T_i^t的主题, 则认为T_i^t是t内消亡的主题;

(3) 继承: 设主题T_i^t的后向主题是T_j^t+1, 且T_j^t+1的前向主题是T_i^t, 则认为T_j^t+1、T_i^t是同一主题在不同时间段的表示, 即T_j^t+1继承于T_i^t;

(4) 合并: 主题T_i^t的后向主题是T_j^t+1, 而T_j^t+1的前向主题是T_r^t, 且r≠ i, 则认为T_j^t+1由T_r^t与T_i^t合并而得。若时间窗口t内有两个或两个以上主题的后向主题都是T_j^t+1, 同样认为这些主题在时间窗口t+1中合并为T_j^t+1;

(5) 分裂: 主题T_j^t+1的前向主题是T_i^t, 而T_i^t的后向主题是T_r^t+1, 且r≠ j, 则认为T_j^t+1、T_r^t+1由T_i^t分裂而得。若时间窗口t+1内有两个或两个以上主题的前向主题都是T_i^t, 则认为这些主题由T_i^t分裂而成。

为验证基于LDA主题关联过滤的领域主题演化方法的有效性, 本文从SCI下载2001年-2012年肿瘤领域20种期刊, 类型是Article与Proceeding Paper的文献共66 164篇。

利用NCI叙词表(National Cancer Institute thesaurus, NCIt)^[22], 分别从标题、关键词、摘要中抽取肿瘤领域的词汇, 并把同义词归并为同一形式。此外还利用文献自身的关键词对词表进行扩充。

将时间序列划分为12个长度L为1年的时间窗口, 根据文献的出版时间把文献划入到相应的时间窗口。借鉴文献[20]的方法确定各个时间窗口的最优主题数。各时间窗口文献数、主题词数以及对应的最优主题数如表2所示:

表2

表2

表2 数据集各时间窗口所含文献数、主题词数 及最优主题数 文献集 文献数 主题词数 最优主题数 2001年文献 5 157 10 339 103 2002年文献 4 979 10 303 86 2003年文献 5 698 11 090 110 2004年文献 5 825 11 166 93 2005年文献 6 396 11 255 105 2006年文献 6 020 11 347 95 2007年文献 5 870 11 151 100 2008年文献 5 570 10 798 105 2009年文献 5 566 12 106 121 2010年文献 5 366 12 161 118 2011年文献 4 882 11 638 102 2012年文献 4 835 12 580 96

表2 数据集各时间窗口所含文献数、主题词数 及最优主题数

利用LDA模型获取每个时间窗口的主题, 选取各个主题中分布概率Top8的词汇作为特征词表示主题内容。表3是2012年的部分主题:

表3

表3

表3 2012年部分主题 主题 主题内容 T612012 Breast Carcinoma, Estrogen, Estrogen Receptor, Progesterone Receptor, Progesterone, MCF7, Negative Lymph Node, Triple-Negative Breast Cancer Finding T832012 Immunity, CD8B1, Peptide, Antigen, Immunotherapy, CD4 Gene, Vaccine, T-Lymphocyte T552012 Radiation Therapy, Electromagnetic Radiation, Oncology, Rash and Dermatitis Adverse Event Associated with Radiation Excluding Chemo- radiation, Thoracic, Stereotaxic Radiosurgery, Ionizing Radiation, Radiation Therapy Oncology Group

表3 2012年部分主题

(1) 模型识别的主题具有明确的研究方向。观察T₆₁²⁰¹² “ 乳腺癌(Breast Carcinoma)” 、T₈₃²⁰¹² “ 免疫(Immunity)” 、T₅₅²⁰¹² “ 放射疗法(Radiation Therapy)” 三个主题, 发现主题间内容差别较大, 区分明显。

(2) 各主题中分布概率较高的主题词能够涵盖该主题的内容。以主题T₆₁²⁰¹²“ 乳腺癌(Breast Carcinoma)” 为例, 美国国家癌症研究所发布^[22]: 乳腺癌(Breast Carcinoma)是近些年常见癌症之一。另外根据实际文献观察, 近年来新辅助化疗越来越多地应用于可切除的乳腺癌治疗中, 但化疗对乳腺癌雌激素受体、孕激素受体的影响有很大争议, 不少学者为此展开研究。模型将雌激素(Estrogen)、雌激素受体蛋白(Estrogen Receptor)、助孕素(Progesterone)这些词汇归入同一主题中, 说明了该主题的涵盖内容。

按照3.4节中叙述的方法, 计算相邻时间窗口主题间的相似度, 并建立主题关联。根据3.5节的方法进行主题关联过滤, 其中过滤参数设置为: ε =0.20, μ =0.5。并与文献[9]中未经主题关联过滤的演化结果进行比较。

图3

	Figure Option ViewDownloadNew Window
	图3 2001年-2003年部分主题的演化关系

图3是从结果中选取的2001年-2003年若干个主题的演化图。箭头方向表示主题的演化方向, 其中实线箭头表示经本文方法过滤后的主题关联。箭头上数字表示箭头两端的主题之间的相似度大小及排序, 如T₁₀₀²⁰⁰¹与T₃₆²⁰⁰²之间的数字显示: 两主题的相似度为0.25, 2002年的主题按照与T₁₀₀²⁰⁰¹的相似度从大到小排序, T₃₆²⁰⁰²所处排序位置为第1; 2001年的主题按照与T₃₆²⁰⁰²的相似度从大到小排序, T₁₀₀²⁰⁰¹所处排序位置为第2。图3中各个主题内容如表4所示:

表4

表4

表4 图3中各主题内容 主题 主题内容 T102001 Immunity, Peptide, Antigen, Epitopes, Vaccine, Cytotoxic T-Lymphocyte, CD8B1, Immunotherapy T1002001 PTGS2 Enzyme, Ultraviolet B Radiation, Sulindac, Carcinogenesis, Nonsteroidal Antiinflammatory Drug, Chemical, Epidermis T362002 Peptide, Enzyme, Synthesis, Molecule, Dose-dependent, Affinity, Modulation Action, Carcinogen T452002 Antigen, Epitopes, Immunotherapy, Vaccine, Immunity, Cytotoxic T-Lymphocyte, CD8B1, Interleukin-12 T682002 Antibody, EGFR, Receptor, Growth Factor, Epidermal Growth Factor, Gefitinib, Monoclonal Antibody, Kinase T392003 Monoclonal Antibody, Molecule, Therapeutic, IgG, Affinity, Radiolabeled, Synthesis, Radioimmuno-therapy T712003 Immunotherapy, Vaccination, CD8B1, Vaccine, CD4 Gene, Immunity, Epitopes, Antigen T762003 EGFR, Receptor, Growth Factor, Epidermal Growth Factor, Gefitinib, Kinase, PTK2, Tyrosine Kinase Inhibitor

表4 图3中各主题内容

由图3可见, 未经主题关联过滤时: 2001年-2002年的主题演化中, 主题T₄₅²⁰⁰²继承于T₁₀²⁰⁰¹, 同时T₁₀²⁰⁰¹又与T₁₀₀²⁰⁰¹合并成T₃₆²⁰⁰²; 2002年-2003年的主题演化中, T₇₁²⁰⁰³继承于T₄₅²⁰⁰², T₇₆²⁰⁰³继承于T₆₈²⁰⁰², 同时T₆₈²⁰⁰²又与T₃₆²⁰⁰²合并生成T₃₉²⁰⁰³。而经本文方法的处理, T₃₆²⁰⁰²与T₁₀²⁰⁰¹、T₃₆²⁰⁰²与T₁₀₀²⁰⁰¹、T₃₉²⁰⁰³与T₆₈²⁰⁰²、T₃₉²⁰⁰³与T₃₆²⁰⁰²的关联都被过滤。

在时间窗口2003内, T₆₈²⁰⁰²的相似主题中, T₃₉²⁰⁰³排序在第2位, 两者的相似度是0.33, 不足第一位T₇₆²⁰⁰³(0.67)的1/2。根据3.5节中过滤规则(3), T₃₉²⁰⁰³与T₆₈²⁰⁰²的关联无效。另外, T₃₉²⁰⁰³与T₆₈²⁰⁰²、T₇₁²⁰⁰³与T₄₅²⁰⁰²的相似度同为0.33, 但两个演化关系的判定结果不同, 观察两对主题的主题词, 可发现T₇₁²⁰⁰³与T₄₅²⁰⁰²中概率较高的相同词更多, 延续性更强。反映出本文的过滤方法可以针对不同数据、不同主题特征灵活取值, 无需通过较强的专业知识设定固定阈值。

主题过滤方法还能够自动识别相似度较低的关联, 并将其过滤。如2002年中的主题按照与T₁₀²⁰⁰¹的相似度的大小排序, T₃₆²⁰⁰²仅占第4位, 而第2位和第3位的主题未与T₁₀²⁰⁰¹建立关联, 根据3.5节中过滤规则(2), T₃₆²⁰⁰²与T₁₀²⁰⁰¹的关联无效。另外在表4中可以看到, T₁₀²⁰⁰¹与T₄₅²⁰⁰²都是关于免疫与抗体的内容, 关系更为密切, 而T₃₆²⁰⁰²主要内容为缩氨酸, 与免疫的相关性不强。

以主题“ 免疫(Immunity)” 为例分析其自2001年-2012年的演化情况, 如图4所示。可以看出T₆₁²⁰⁰⁵是2005年的新生主题, T₄₄²⁰⁰⁸在2008年后消亡; 主题在整个时间段上的演化过程中, 2001年-2006年逐年继承, 在2007年、2011年分别发生一次合并, 在2008年、2010年分别发生一次分裂。图4中各主题的内容如表5所示。

图4

	Figure Option ViewDownloadNew Window
	图4 主题“ 免疫(Immunity)” 2001年-2012年演化图

表5

表5

表5 主题“ 免疫(Immunity)” 的主题内容 主题 主题内容 T102001 Immunity, Peptide, Antigen, Epitopes, Vaccine, Cytotoxic T-Lymphocyte, CD8B1, Immunotherapy T452002 Antigen, Epitopes, Immunotherapy, Vaccine, Immunity, Cytotoxic T-Lymphocyte, CD8B1, Interleukin-12 T712003 Immunotherapy, Vaccination, CD8B1, Vaccine, CD4 Gene, Immunity, Epitopes, Antigen T412004 Vaccine, Vaccination, CD8B1, Immunotherapy, Immunity, Antitumor, Immune Response, Cytokine T32005 CD4 Gene, Cytokine, CD8B1, Therapeutic Interleukin-2, Interleukin, T-Lymphocyte, Macrophage, Immunity T612005 Antibody, Peptide, Monoclonal Antibody, Molecule, Therapeutic, IgG, Affinity, Radiolabeled T192006 CD8B1, CD4 Gene, Cytokine, Antigen, Cytotoxic T-Lymphocyte, Epitopes, Immunity, T-Lymphocyte T162006 Peptide, Endometrial, Immunotherapy, Vaccination, Vaccine, MHC Class-II Protein, Endometrial Carcinoma, STS Gene T22007 Peptide, CD4 Gene, CD8B1, Antigen, Immunotherapy, Immunity, Epitopes, Vaccine T732008 CD8B1, CD4 Gene, Cytokine, Immune Response, Macrophage, Lymphocyte, T-Lymphocyte, Immunity T442008 Antigen, Peptide, Immunotherapy, Vaccine, Vaccination, Epitopes, Cytotoxic T-Lymphocyte, Immunity T52009 Peptide, CD8B1, Vaccine, CD4 Gene, Immunity, Antigen, Vaccination, T-Lymphocyte T152010 Antitumor, CD8B1, T-Lymphocyte, CD4 Gene, Antigen, Immunotherapy, Macrophage, Therapeutic Interleukin-2 T282010 Vaccination, Disease Response, Vaccine, Peptide, Immune Response, Efficacy, Therapeutic Interferon, Immunity T62011 CD8B1, Antitumor, Antigen, Immunotherapy, Vaccine, Immunity, T-Lymphocyte, Vaccination T832012 CD8B1, Peptide, Antigen, Immunotherapy, CD4 Gene, Vaccine, T-Lymphocyte, Immunity

表5 主题“ 免疫(Immunity)” 的主题内容

(1) 根据图4与表5所示, 主题演化过程中主要内容明显, 而每年内容有细微变化。

由表5可以看出, 主题在整个时间段上的演化中免疫(Immunity)、抗体(Antigen)、CD8B1等位基因(CD8B1)、免疫疗法(Immunotherapy)等主题词出现概率较大, 说明该主题主要内容是免疫的物质、方法等。同时, 随着时间变化, 主题中词汇概率每年都有上下波动, 如CD8B1等位基因(CD8B1)、CD4基因(CD4 Gene)在2001年-2006年的概率排序逐年升高, 反映该主题的研究中有很多微观基因的讨论。

(2) 主题在整个时间段的演化过程中, 存在主题的新生、消亡、继承、分裂和合并5种类型的演化关系。

主题T₆₁²⁰⁰⁵的主要内容为抗体(Antibody)、缩氨酸(Peptide)等, 由于在2004年没有与其关联的主题, 被判定为新生主题; 同样, 由于在2009年没有与T₄₄²⁰⁰⁸相关联的主题, 判定T₄₄²⁰⁰⁸为消亡主题。

主题T₁₉²⁰⁰⁶概率较高的主题词为: CD8B1等位基因(CD8B1)、CD4基因(CD4 Gene)、细胞活素(Cytokine), T₁₆²⁰⁰⁶概率较高的主题词为: 缩氨酸(Peptide)、子宫内膜(Endometrial)、免疫疗法(Immunotherapy), 可了解到前者更侧重于基因等微观物质的研究, 后者则更侧重于免疫方法的讨论。这两个主题的主题词与T₂²⁰⁰⁷都有较大的重合度, 相似度分别为0.38和0.44, 可以推测T₂²⁰⁰⁷是由T₁₉²⁰⁰⁶与T₁₆²⁰⁰⁶合并而成的。

2010年, 主题T₅²⁰⁰⁹分裂成两个主题T₁₅²⁰¹⁰和T₂₈²⁰¹⁰。根据其主题词可看出T₁₅²⁰¹⁰主要内容为抗癌抗菌素(Antitumor)、CD8B1等位基因(CD8B1)等免疫物质, 而T₂₈²⁰¹⁰主要内容是针对种痘(Vaccination)、疾病反应(Disease Response)等现象的讨论。但两个主题均未脱离关于主题“ 免疫(Immunity)” 的分析, 可看作“ 免疫(Immunity)” 的两个子主题, 这些结果与对该领域的理解是一致的。