相对影响指标是目前最常用的被引频次标准化方法,以论文被引频次与其期望被引频次的比值作为衡量论文价值的标准,其中期望被引频次指参照标准中所有论文的平均被引频次。一般来说,如果相对影响指标的值大于1则说明研究实体的研究水平高于该学科领域或世界的平均研究水平;反之则低于该学科领域或世界的平均研究水平。相对影响指标的实现方式主要有RS(Ratio of Sums)和MR(Mean of Ratios)两种^{[ 6]}。RS方式先求出研究实体论文集的平均被引频次,然后再除以对应参照标准的期望被引频次以获得相对影响指标。这类方式典型的指标有RCR(Relative Citation Rate)^{[ 4]}、NMCR(Normalised Mean Citation Rate)^{[ 2]}、RW(Relative Subfield Citedness)^{[ 7]}、CPP/JCSm^{[ 3]}和CPP/FCSm^{[ 3]}等。MR方式则是先通过论文的被引频次除以对应参照标准的期望被引频次获得每篇论文的相对被引频次,而后再求其平均相对被引频次获得相对影响指标。这类方式典型的指标有RPCR(Relative Paper Citation Rate)^{[ 6]}和MNCS(Mean Normalized Citation Score,即CWTS提出的用于替代CPP/FCSm的新“Crown Indicator”)指标^{[ 8]}。表1列出各种典型相对影响指标的计算方法,可以看出,参照标准主要以论文所属期刊集和JCR主题类为主,其中JCR主题类的应用相当广泛。

相对影响指标两种实现方式孰优孰劣仍处于争论之中,特别以CPP/FCSm指标为代表的RS类型指标最近受到了质疑^{[ 7, 9, 10, 11, 12, 13, 14, 15, 16, 17]}。 Opthof等^{[ 12]}、Lundberg^{[ 18]} 以CWTS Crown Indicator为例指出RS方式是在评测论文集的平均被引频次水平上进行的,这种计算方法的缺点是不能平等地对待每篇论文,而会偏袒那些被引频次高或发表时间较早的论文。Waltman等^{[ 8]}进一步提出CPP/FCSm指标可以看成一种带权重的MNCS指标,并且CPP/FCSm也可以改写为MR形式,但与MNCS不同的是不同论文获取相对被引频次时有不同的权重,如下所示:

CPP/FCSm=w_i (1)

w_i= (2)

Vinkler^{[ 6]}则认为MR方式在数学意义上是合理的,但在绩效评价实践中RS方式更合理一些,因为MR容易造成发表在期刊水平较低的论文获得相对较高的相对影响指标。对同一学科而言,MNCS和CPP/FCSm并没有区别,但研究实体的论文一般来说分布在

表1

表1

表1 典型相对影响指标计算方法对比 实现方式 指标名称 计算方法 参照标准 备注 RS RCR[ 4] 评测论文所属期刊集合,期望被引频次用期刊影响因子代替 MOCR指评测论文的平均被引频次,MECR为参照标准中所有论文的平均被引频次 CPP/JCSm[ 3] 评测论文所属期刊集合,期望被引频次为期刊集合论文的平均被引频次 n表示评测论文的数量,N表示评测论文相关的期刊集中所有论文的数量,ci表示第i篇论文的被引频次,cj表示期刊集中第j篇论文的被引频次 CPP/FCSm[ 3] 一般为JCR主题类,期望被引频次为对应JCR中论文的平均被引频次 ci表示第i篇论文的被引频次,ei表示第i篇论文所在学科领域的期望被引频次,n表示评测论文数量 RW[ 8] 一般为JCR主题类,期望被引频次为对应JCR中期刊的影响因子 hm表示评测论文所涉及领域的期刊影响因子的权重平均影响因子,n表示评测论文数量 NMCR[ 2] 由JCR主题类重新组合形成60个学科领域,期望被引频次为对应学科领域中论文的平均被引频次 ci表示第i篇论文的被引频次,fi表示第i篇论文所在学科领域的期望被引频次,n表示评测论文数量 MR MNCS[ 9] 一般为JCR主题类,期望被引频次为对应JCR中论文的平均被引频次 ci表示第i篇论文的被引频次,ei表示第i篇论文所在学科领域的期望被引频次,n表示评测论文数量 RPCR[ 8] 一般为JCR主题类,期望被引频次为对应JCR中期刊的影响因子 hi表示第i篇论文所在学科的平均影响因子,n表示评测论文数量 (注:表中仅列出了典型的相对影响指标,对于应用较少的指标并未列出。)

表1 典型相对影响指标计算方法对比

多个学科领域。假如研究实体的论文分布在p个学科,每个学科分布的论文数记为c_p,学科的期望被引频次为FCSm(f_p),那么MNCS也可以改写成RS形式,如下所示^{[ 6]}:

MNCS= (3)

如果有两个待测的研究机构,其中一个机构的论文集中发表在期望被引频次较低的学科领域,而另一个机构的论文较多发表在期望被引频次较高的领域,那么前一个机构完全有可能获得比后一机构更高的相对影响指标值,尽管实际上后一机构的研究绩效有可能更高一些。从公式(3)很容易可以推断出这种可能性,而基于RS方式的CPP/FCSm指标并不存在这种问题。

Seglen^{[ 19]}的研究表明无论是学科领域、期刊还是科学家的论文,其被引频次并不呈正态分布,而是呈偏态分布,用平均被引频次来衡量研究绩效并不能代表被引频次的分布特征。Lundberg^{[ 18]}提出对论文被引频次取自然对数,再用Z-Score进行标准化处理后的分布更接近正态分布。Bornmann^{[ 20]}则认为应该用分布来描述被引频次而不是用算术平均值,他提出结合Whisker Diagram箱图(Box Plot)和带Gini系数的Lorenz曲线(Lorenz curves with Gini Coefficients)来描述研究实体的研究绩效。Radicchi等^{[ 21]}等研究发现不同学科的论文被引频次除以其学科期望被引频次后获得的分布曲线是一致的,他把这种现象称为Universality of Citation Distribution。Waltman等^{[ 22]}、Bornmann等^{[ 23]}进一步验证了这种现象。Radicchi等^{[ 21]}的研究说明基于算术平均的相对影响指标用于评测研究绩效也有一定的合理性。被引频次的偏态分布表明,研究实体所获得的被引频次主要是由少部分论文贡献的,而平均被引频次同样受高被引论文的影响较大。就绩效评价而言,研究绩效本来应该集中体现在高被引论文上,而且绩效评价也并不一定非要反映出被引频次分布内涵。因此,从这个角度来看,基于算术平均值的绩效评价方法还是有一定道理,至少在很长一段时间内仍然会被广泛采用。

相对影响指标在实际应用中存在一定困难。首先,如何选择合适的学科分类体系是个问题。Zitt等^{[ 24]}探索了在不同层次水平的学科(或领域)对相对引用指标的影响。结果表明,相对引用指标对不同层次的学科领域是敏感的。 Adams等^{[ 25]}进一步以英国各研究机构为基础验证了Zitt的结论。Glanzel等^{[ 2]}认为机构的研究绩效评测比国家或地区的评测要精细得多,需要考虑引文指标的学科或领域层次问题;他将学科分为三个层次,第一个层次是JCR主题类,第二层次和第三层次分别为JCR主题类组合生成的60个学科和12大学科。Glanzel以NMCR指标为基础,通过对欧州100所大学的数据进行验证分析得出,60个领域的学科分类比较适用于机构的研究绩效评估。Opthof等^{[ 12]}对JCR主题类作为参照标准有所质疑,认为JCR主题类存在大量的交叉重叠,主要是为方便检索而设置,用于研究绩效评测是不合适的。Rons^{[ 26]}指出JCR主题类处理机构层次的绩效不会有太明显的问题,但如果涉及个人或研究小组的绩效评价,JCR主题类之间的交叉部分可能会对绩效指标值造成比较明显的影响,他进一步提出PBFN(Partition-Based Field Normalization)方法来避免这种情况。PBFN把评测论文中所涉及到的主题类重叠区域单独划分出来作为一个独立主题类来实现被引频次标准化,因而可以减少由于学科交叉带来的不确定性。总的来说,在相对影响指标的应用过程中,可根据研究实体的规模和层次来选择不同的学科分类体系。对国家或地区的绩效评价而言,选用由JCR主题类组合形成的大学科领域比较合适,如ESI(Essential Science Indicator)学科分类和RAE的UoAs;对于机构绩效评价而言,JCR主题类是一个不错的选择;而对于个人或研究小组而言,结合PBFN和JCR主题类的措施值得考虑。

学科或领域的引文数据一般来说难以获取。如CPP/JCS_m指标计算涉及到期刊集的期望被引频次,这种数据并不能直接通过Web of Science获取,而需要根据期刊名从Web of Science检索在某个时间段的所有论文,下载后导入数据库并计算其引文数据而获得。研究实体涉及的期刊可能成百上千,因此,人工操作存在困难,需要设计相应的程序来完成此项工作。相对来说,获取以期刊为参照标准的期望被引频次比较简单,而获取JCR主题类的引文数据难度更大,因为每个JCR主题类及其引文数据量更大,处理起来更为复杂。因此,一般的机构很难计算各种相对影响指标。Cristian等^{[ 27]}研究了期刊、JCR主题类和ESI分类下C_f(与MNCS指标类似的指标)和Top-5%指标的稳定性,结果发现JCR主题类和ESI分类两种学科分类计算的C_f指标呈显著相关性,因此可以用ESI学科分类代替JCR主题类,从而可以近似地计算相对影响指标。由于ESI学科分类的引文数据可以通过ESI数据库的Baseline直接获取,因而这种方法具有一定的实用性。利用ESI计算MNCS的具体过程如表2所示:

表2

表2

表2 利用ESI计算MNCS指标的示例 论文 发表年 某机构的论文篇数(被引频次) ESI学科期望被引频次 Agricultural Sciences Plant & Animal Science Agricultural Sciences Plant & Animal Science 2006 5(60) 10(88) 9.34 8.8 2007 6(57) 12(78) 7.32 7.07 2008 8(50) 15(70) 4.83 5.04 2009 10(52) 20(50) 3.11 3.26 2010 15(30) 24(40) 1.38 1.53 机构发表论文总数: N=5+6+8+10+15+10+15+20+24=135 机构MNCS指标计算:

表2 利用ESI计算MNCS指标的示例

其中,ESI学科期望被引频次来源于ESI数据库3月份数据,表2中机构近5年的论文分别发表在Agricultural Sciences和Plant & Animal Science两个学科,利用公式(3)可以很容易计算机构的MNCS指标。此外,Vinkler提出的RW指标采用以期刊影响因子代替平均被引频次的做法。影响因子实际上也是一种平均被引频次,但它是通过期刊前两年发表的论文在统计当年的总被引频次除以该期刊在前两年内发表的论文总数获得的平均被引频次,与评测论文的平均被引频次严格意义上并不一致。因此,RW是一种近似的相对影响指标,只是JCR主题类中各期刊的影响因子很容易通过JCR直接获取。RW指标相对来说比较容易计算,在其他相对引用指标计算存在困难的情况下,也可以选择用RW指标来衡量研究实体的绩效。

在科学计量学专家讨论CWTS的Crown Indicator的合理性时,Bornmann^{[ 11, 16]}提出百分位数用于绩效评估可能性,并指出百分位数可以不用考虑被引频次的分布情况。实际上,美国国家自然科学基金委员会(NSF)已开始采用百分位数来衡量各国科学研究实力^{[ 28]}。具体的做法是把被引频次分为99^th、95^th-99^th、90^th-95^th、 75^th-90^th、 50^th-75^th、Bottom-50^th共6个百分位区段,其中99^th指被引频次排在前1%的论文,Bottom-50^th指被引频次排在50%以后的论文,95^th-99^th, 90^th-95^th, 75^th-90^th, 50^th-75^th分别指被引频次排在1%-5%、5%-10%、10%-25%和25%-50%之间的论文。根据各国论文在各百分位区间的分布情况,可以判断各国的研究绩效和实力。此外,Top-10%已经成为SCImago^{[ 29]}和莱顿大学排行榜^{[ 30]}的指标之一。

为了通过一个单一指标值来衡量研究实体的绩效情况,Bornmann等^{[ 11]}进一步提出EV指标值,即对研究实体在各个百分位分布概率进行加权平均。EV指标值充分考虑了各种被引频次对研究绩效的贡献,并且不用考虑被引频次的算术平均。EV指标值计算公式如下^{[ 11]}:

EV= x·p(x)(4)

其中,x为从1到k的离散随机变量(在这里用于表示被引频次的百分位分区,比如美国NSF的百分位各区段的x变量为1到6,如果论文被引频次处于Top-1%,那么x就为6,论文被引频次处于Top1%-Top5%之间,那么x为5,其他以此类推),p(x)为x出现的概率。每个研究实体的EV值可以和期望EV值(即随机分布时EV值)相比较来判断其研究绩效。期望EV值即各区段的百分位离散随机量加权平均值,比如美国NSF划分的6个百分位区段的期望EV值为:1×0.5+2×0.25+3×0.2+4×0.1+5×0.2+6×0.1=1.9。如果机构的EV值大于1.9,则表明研究实体的绩效高于平均水平。

Leydesdorff等^{[ 31]}认为一般的研究机构很难获取JCR主题类的引文数据,利用JCR主题类作为学科背景的引文指标计算起来比较困难。因此,他们以研究机构发表论文集所属的期刊文献集为参照标准来试验百分位数的指标计算方法,把NSF的6个百分位区段扩展到100个百分位区段,并以阿姆斯特丹大学医学院的7位科学家为例,分别对6个百分位区段和100个百分位区段计算EV值,同时考虑论文数量进行了实证分析^{[ 31]}。这种方法的优点是指标计算容易实现,并且可以计算误差范围以及不用考虑被引频次分布形态等。

目前,百分位数已逐渐成为绩效评估的一个重要指标。基于百分位的指标在具体应用过程中也存在相应的问题:

(1)百分位区段如何划分才合适。SCIMago^{[ 29]}和CWTS Ranking^{[ 30]}直接把Top-10%的论文比率作为一个计量指标。NSF则划分了1%、5%、10%、50%、75%和小于50%6个百分位等级,ESI划分了0.01%、0.1%、1%、10%、20%、50%和小于50%7个百分位等级^{[ 28]}。当然,还可能有其他的百分位区段划分方法。

(2)如何获得研究实体在各个百分位区段的论文数及比例即百分位数。与相对影响指标的计算一样,百分位数计算也需要获取Web of Science中JCR主题类或其他学科分类的引文数据,有同样的难度。由于ESI数据库的Baseline部分提供了各ESI学科论文进入各百分位的最低阈值,因此也可以利用ESI数据库实现研究实体的百分位数计算。ESI数据库中的Baseline部分包括0.01%、0.1%、1%、10%、20%和50%共6个百分位等级的被引频次标准。由于0.01%和0.1%两个百分位等级对一般的科研机构而言过于苛刻,因此在实际应用中可以选用1%、10%、20%、50%和小于50%共5个百分位等级,分别表示为99^th、99^th-90^th、90^th-80^th、80^th-50^th和Bottom-50^th。根据百分位划分可以计算出随机分布情况下的期望EV值: EV=1×0.5+2×0.3+3×0.1+4×0.09+5×0.01=1.81,即如果某机构的EV超过1.81则表明该机构的研究超过平均水平。表3列出虚拟的两个研究小组在Agricultural Sciences的论文发表情况。

表3

表3

表3 基于ESI的百分位数计算(以研究小组在Agricultural Sciences发表的论文为例) 百分位 百分 位权 重 研究小组1 研究小组2 被引频次 百分位数 阈值 各百分位 的期望 概率 n p n p 99th 5 2 0.014 1 0.007 62 0.01 99th-90th 4 10 0.070 11 0.079 19 0.09 90th-80th 3 45 0.315 23 0.164 11 0.10 80th-50th 2 36 0.252 40 0.286 3 0.30 Bottom-50th 1 50 0.350 65 0.464 <3 0.50 Total 143 1 140 1 EV1=5×0.014+4×0.07+3×0.315+2×0.252+1×0.35=2.419 EV2=5×0.007+4×0.079+3×0.164+2×0.286+1×0.464=1.879

表3 基于ESI的百分位数计算(以研究小组在Agricultural Sciences发表的论文为例)

其中,n表示根据ESI Baseline标准进入Agricultural Sciences对应百分位的论文数,p为论文进入对应百分位的概率。表3后面写出研究小组的EV计算过程,其中研究小组1的EV值为2.419,研究小组2的EV值为1.879,这表明研究小组1的研究绩效超过了平均水平,而研究小组2和平均水平相当。

除相对影响指标和百分位数外,引文分数统计也是被引频次标准化的方法之一。引文分数统计可以通过引证文献的参考文献数量为基数来标准化引证文献对被引证文献(即参考文献)的贡献,从而可以一定程度上消除学科因素对被引频次的影响。引文分数统计由Small等^{[ 32]}首次应用于共被引分析,用于平衡不同学科或领域论文共被引值的差异,Zitt等^{[ 33]}进一步将其应用于期刊规范化。Leydesdorff等^{[ 17]}认为引文分数统计也可以用来规范和标准化不同学科的论文引用频次,从而可以跨学科地比较论文的学术影响力。Zhou等^{[ 34]}、Leydesdorff等^{[ 35]}分别利用引文分数统计方法评测了清华大学27个院系的研究绩效和韩国7所大学的相对学术影响力。目前的绩效评价中引文分数统计应用较少。