GHOST算法主要分为4步,包括合作者图的构建、有效路径选择、相似度计算以及聚类。

在构建合作者关系图中,GHOST算法对于被查询的待消歧作者建立合作者关系图。对于待消歧的作者,采用不同的节点来表示,称为待消歧作者节点,对于其他每一个名字,GHOST也只用一个节点表示。对于任意作者节点之间的无向边,用两者的合作文献集来关联。

之后,GHOST从合作者关系图中检索出待消歧作者节点之间的路径,为了消除冗余路径以及提高时间效率,GHOST用基于三条准则^{[ 4]}且长度不超过阈值L的有效路径代替所有的路径,并根据公式(1)计算节点之间的相似度,该公式综合考虑了两待消歧作者节点之间的路径长度和条数^{[ 4]}:

其中,sum(i,j)表示节点r_i到r_j的有效路径的条数,l_h表示第h条路径中中间节点的个数。公式(1)表明两待消歧节点之间有效路径越短则越相似,可连通的有效路径条数越多则越相似。

GHOST算法采用仿射传播(Affinity Propagation)算法对待消歧节点进行聚类,该算法不需要预先设定最终簇的个数,而是通过调节“偏向参数”来决定最终簇的个数^{[ 7]}。

虽然GHOST在利用合作者关系处理作者名消歧上取得了较好的效果,但如果将GHOST算法应用到实际的文献数据库系统中进行消歧工作,其自身存在的局限性有可能会影响消歧效果。

(1)由于GHOST算法是建立在合作者关系图上,关系的缺乏会降低节点之间的相似度,从而降低消歧结果的召回率。如果文献中的待消歧作者合作不那么频繁,在实际运用过程中GHOST算法的效能就不能充分发挥。

(2)GHOST方法会忽略单一作者文献的情况。

针对3.2节提到的局限性,在实际的文献数据库系统中应用GHOST算法时,单一作者文献、合作较少的作者文献都可能是导致其消歧结果不理想的原因,因此,除了利用GHOST算法来计算文献间的结构相似度,还需要融入文本相似度来提高其在实际应用中的消歧效果。

文献信息除了包含作者与合作者名称,还有文献标题、出版物名称、主题词等文本属性特征。由于作者在一段时期内会有着比较稳定的研究方向和研究主题,因此在选题以及主题词选择方面可能会频繁使用同一类学科或者同一研究主题的某些特定的描述词,所刊用的出版物可能也会在一定的学科范围内频繁出现。也就是说同一作者文献的主题是否接近,取决于其文本特征在选词上的相似性,而文本特征在选词上的相似性可以采用余弦相似度进行度量。如果两篇文献同属于同一作者,其文本特征会频繁使用某些特定主题词,反映在每篇文献的特征上,它们的文本特征向量在这些主题词所在维度上的值都会比较大,而在其他维度的值比较小。反过来看,如果两篇文献不属于同一作者,那么它们的特征向量中,值较大的维度之间没有什么交集。总之文献主题越接近,文本特征向量越相似,余弦相似度也就越大,因而余弦相似度能在一定程度上反映文献主题的相关性。

若在运用GHOST算法的基础上,充分利用主题相关性来进行辅助消歧,一方面当合作者关系缺乏时,对于那些因合作不频繁导致关联程度低的两个待消歧作者,利用其文献文本特性选词的相似性可将其关联起来;另一方面也能利用文本相似性将单一作者文献的情况考虑在内。从理论上来说,结合文献信息的文本挖掘可以进一步提高GHOST算法消歧的效果。

针对3.3节中的理论分析,笔者所设计的改进后的作者名消歧算法框架如图1所示:

图1

	Figure Option ViewDownloadNew Window
	图1 改进的作者名消歧算法框架

图1中算法输入为待消歧作者文献集,记为D_diam,算法主要分为三个子函数层次,分别为文献信息预处理层、合作者关系挖掘层和文献信息文本挖掘层。考虑到GHOST算法消歧正确率高的特点,因此合作关系挖掘与文本特征挖掘之间采用顺序组合的方式,即先基于GHOST算法利用合作者关系进行初次聚类,从而获得一个正确率较高的聚类结果,然后在此基础上,期望通过文本挖掘方法来解决可能出现的单一作者文献,缺乏合作者关系的作者文献所导致的召回率降低的问题。本文工作的重点即对文献信息文本挖掘层进行扩展。

选取文献信息的文本属性中标题、出版物名称这两个特征,从实证角度出发验证该算法的有效性。

(1)文献信息预处理层

此次实验数据来源于Han等^{[ 1]} 从计算机领域科学文献数据库DBLP^{[ 8]}中抽取的数据集,他们已对数据进行了标注,即明确哪些文献属于同一个作者。该数据集目前是开源的,数据集D_diam如图2所示:

图2

	Figure Option ViewDownloadNew Window
	图2 待消歧作者的文献数据集Ddiam

本实验所使用的部分作者文献数据情况如表1所示,其中“#paper”为文献数,“#author”为实际作者数。

表1

表1

表1 DBLP中待消歧的部分文献数据

表1 DBLP中待消歧的部分文献数据

①输入待消歧的作者的文献信息数据集D_diam;

②遍历D_diam中每一条记录,利用开源的全文检索引擎工具包Lucene^{[ 9]}对数据集D_diam中文献标题及出版物名称进行分词、去停用词以及词干化等预处理。

(2)合作者关系挖掘层

对数据集D_diam应用GHOST算法挖掘合作者关系,算法流程如下:

算法1:合作者关系挖掘算法

①遍历数据集D_diam的每一条文献,输入待消歧作者文献D_diam中的作者集合Author(作者与合作者);

②对Author建立合作者网络图G,取G中任意待消歧作者节点a_i与a_j,重复执行步骤③,直至所有待消歧作者节点处理完毕;

③根据GHOST算法定义的有效路径准则,搜索a_i与a_j之间的有效路径集合,根据有效路径条数与长度利用公式(1)计算a_i与a_j之间的相似度,形成相似度矩阵S;

④对矩阵S应用基于优先队列的层次聚类算法^{[ 10]};/*层次聚类算法不需要事先指定最终簇的个数,通过枚举的方式进行实验来决定最佳的聚类阈值,而且效果等同原GHOST算法中的仿射传播算法*/

⑤返回第一次聚类后的文献簇集Cluster_GHOST,算法结束。

算法1先遍历文献集每一条文献,并应用GHOST算法利用待消歧作者之间的合作者关系度来关联属于同一作者的文献,得到一个初始聚类的结果Cluster_GHOST,对于 Cluster_GHOST中任意一个簇,簇中的文献均属于同一作者。本文需要在初次聚类结果Cluster_GHOST的基础上做进一步处理即进行文献信息的文本挖掘。

(3)文献信息文本挖掘层.

算法2:文献信息文本挖掘算法

①调用算法1进行初始化聚类;

②将单一作者文献(如果存在)集Single中每一篇文献单独作为一个簇并入算法1的结果文献簇集Cluster_GHOST中,得到新的文献簇集Cluster_GHOST+Single=Cluster_GHOST∪Single;

③取Cluster_GHOST+Single中每一个簇,重复步骤④,直至Cluster_GHOST+Single=Φ;创建词项合并后的文献簇集Cluster_fused=Φ;

④取Cluster_GHOST+Single中某一个文献簇cluster,将cluster内所有文献标题及出版物名称的词项进行合并^{[ 11]}(簇中只有一条文献的情况可省略此步),即

Foreach paper_i in cluster do

(其中item_i∈paper_i中标题及出版物名称词项)

End

且令Cluster_GHOST+Single=Cluster_GHOST+Single-cluster,
Cluster_fused=Cluster_fused∪cluster_new;

⑤取Cluster_fused中任意两个簇,重复步骤⑥,计算两者之间文本相似度,直至cluster_new中所有簇对处理完毕;

⑥为簇建立文档向量V,以词频-逆文档频率(TF-IDF)^{[ 12]}作为向量的特征值,并用余弦相似度计算两者之间的文本相似度值,从而构成簇的相似度矩阵S_cluster,即:

⑦对单一作者文献集Single中的文献进行优先分配处理,执行以下步骤:

Foreach single_i in Single do

Cluster_fused=Cluster_fused-single_i;

End

Cluster_fused进行分配操作后记为Cluster_allocated;

⑧依据相似度矩阵S_cluster,对Cluster_allocated再次进行层次聚类算法;

⑨返回最终结果Cluster。

算法1中GHOST并没有考虑单一作者的情况,基于此,笔者在算法2的步骤②中完成单一作者的文献合并处理,并对合并后的所有文献信息的文本特征进行文本挖掘。步骤③至步骤⑦为文献文本特征相似度计算操作,由于文献标题和出版物名称中包含的词项非常少,导致词项-文档矩阵高维稀疏,所以需要在步骤③和步骤④中进行词项合并操作,那么在步骤⑧聚类计算过程中,只需比较簇之间的相似度而不是比较簇中两两文献信息之间的相似度,从而显著减少了比较的次数,步骤⑤和步骤⑥即为计算簇之间相似度的步骤。另外,笔者考虑到大的簇中词项较多,而层次聚类算法会偏向于先对大的簇进行聚类,因此在聚类之前即步骤⑤和步骤⑥中对单一作者的文献进行优先分配处理,算法2输出的是最终的聚类结果。

下面以一个简单的例子来说明实验的过程以及原理。对于表1中的待消歧作者“M Brown”有如下部分文献集,如表2所示:

表2

表2

表2 待消歧作者M Brown的部分文献集 No. Coauthor Title Publication 1 Building Large Format Displays for Digital Libraries Communications of the ACM Special Issue Digital Libraries 2 W Brent Seales Beyond D Images: Effective D Imaging for Library Materials ACM DL Digital Libraries 3 W Brent Seales The Digital Atheneum: New Approaches for Preserving, Restoring and Analyzing Damaged Manuscripts JCDL ACM IEEE Joint Conference Digital Libraries 4 D Tsoi Correcting Common Distortions in Camera-Imaged Library Materials IEEE and ACM JCDL ACM IEEE Joint Conference Digital Libraries 5 D Tsoi Removal of Dynamic Blemishes from Video Asian Conference Computer Vision 6 Robert A Shillner A New Paradigm for Browsing the Web CHI Conference Human Factors Computing Systems Conference Companion 7 Robert A Shillner DeckScape: An Experimental Web Browser Computer Networks and ISDN Systems

表2 待消歧作者M Brown的部分文献集

Cluster₁:文献2,文献3;

Cluster₂:文献4,文献5;

Cluster₃:文献6,文献7。

由于文献1没有合作者,因此单独作为一个“Cluster₄:文献1”并入Cluster_GHOST中得到Cluster_GHOST+Single={Cluster₁,Cluster₂,Cluster₃,Cluster₄}。对Cluster_GHOST+Single继续应用算法2,由于簇Cluster₁、Cluster₂以及单一作者簇Cluster₄的文献标题与出版物名称主要与“Digital Libraries”、“ACM”、“JCDL”相关,通过文本挖掘后将被合并为一个簇Cluster’₁,而对于簇Cluster₃,其文献标题与出版物名称主要涉及“Web”、“Computer”等词,选词上几乎没有什么交集,因而与簇Cluster’₁主题无关,从而不进行合并。最终得到的聚类结果为:

Cluster’₁:Cluster₁,Cluster₂,Cluster₄;

Cluster’₂:Cluster₃。

为了进一步看到改进后的作者名消歧算法的消歧效果,将对表1中的所有文献数据进行实验,实验中采用信息检索中常用的评价指标正确率(P)、召回率(R)、F1值^{[ 10]}来对聚类结果进行评价,各个指标定义如下:

其中,真阳性(True-Positive, TP)决策将两个同一作者的文献归入一个簇,在此过程中会犯两类错误:FP决策会将两个不是同一作者的文献归入一个簇,而FN决策将两个同一作者的文献归入不同簇。

对表1中的文献数据除去单一作者的文献数据后应用GHOST算法得到的结果如表3所示:

表3

表3

表3 单纯应用GHOST算法得到的结果 Name 阈值 P R F1 C Chen -10 100.0% 24.27% 39.06% J Martin -10 100.0% 45.64% 62.67% M Brown -10 100.0% 22.18% 36.3% A Kumar -10 100.0% 73.02% 84.4% K Tanaka -10 95.08% 77.77% 85.56% 平均值 99.02% 48.58% 61.6%

表3 单纯应用GHOST算法得到的结果

表4

表4

表4 结合文本挖掘得到的结果 Name 阈值 P R F1 C Chen 0.17 68.62% 58.51% 63.17% J Martin 0.3 98.21% 73.17% 83.86% M Brown 0.24 96.49% 82.73% 89.08% A Kumar 0.2 100.0% 92.19% 95.93% K Tanaka 0.2 94.42% 83.28% 88.5% 平均值 91.55% 77.98% 84.11%

表4 结合文本挖掘得到的结果