在统计学中,分位数被认为是比例位数(Fractiles)或数量位数(Quantiles)的量数之下包含某种特定比例或百分比的比值,它可以用来测量整组资料中非中心部分位置的量数,除了百分位数,还包括中位数、二分位数和四分位数等。百分位数定义如下:“百分位数是将一组观察值分割成100等分的一群数值。这些数值记作P₁,P₂,P₃,…,P₉₉,分别表示1%的资料落在P₁之下,2%落在P₂之下,…,99%落在P₉₉之下”^{[ 14]},而中位数是将一组数据从小到大排序后,处于中间位置上的变量值,即上述定义中的P₅₀,它也是反映频数分布集中位置的统计指标。对第p百分位数的严格定义如下:百分位数是指对于第p百分位数来说是这样一个值,它使得至少有p%的数据项小于或等于这个值,且至少有(100-p)%的数据项大于或等于这个值^{[ 15]}。

2011年,Bornmann等^{[ 2]}提出使用6个百分位等级(PR6)来评估引文的分布,即确定待评估的研究实体的文章所在的文章集合,通过相同出版年、相同文章类型和相同学科领域等标准化,得到标准的参考文献集。然后根据美国国家自然科学基金会(NSF)^{[ 16]}的划分标准,按照被引频次将其分为99^th-top1%,95^th-99^th,90^th-95^th,75^th-90^th,50^th-75^th, 和最后的50%这6个百分位区段。其中,99^th-top1%指被引频次排在前1%的论文,最后的50%指被引频次排在50%以后的论文。95^th-99^th,90^th-95^th,75^th-90^th,50^th-75^th分别指被引频次排在1%-5%,5%-10%,10%-25%,25%-50%之间的论文。每篇论文根据其所在的百分位区段,分别赋予不同的权重。在上例中,1%-5%区段的论文的权重为6,并以此类推,最后50%的论文权重为1^{[ 2]}。

百分位数针对的是单个对象或单篇论文的评价,而在研究绩效评价中更多会涉及到论文集合的整体评价。因此,根据不同的论文集合和评价目的,基于百分位数的文献计量指标可以分为三种类型:百分位等级分数(Percentiles Rank Scores, PRS)、综合影响指标(Integrated Impact Indicator, I3)和top10%。它们在实际应用中各有侧重,具有很强的实用性。

(1)百分位等级分数(PRS)

根据上述定义,将论文根据被引频次大小降序排列,就可以确定每篇论文所处的百分位区段,并获得该区段的权重值。对各个百分位分布概率进行加权平均,得到PRS,计算公式如下^{[ 2]}:

其中,x为从1到n的离散随机变量,即被引频次的百分位分区,f(x)为x出现的概率。如美国NSF的划分标准中n=6,如果被引频次处于top1%,那么x就为6;如果论文被引频次处于top1%-top5%之间,那么x为5,以此类推。将论文被引频次划分为100个百分位区段时,则x取值为1到100。PRS的期望值即为当f(x)随机分布时的值,在美国NSF划分的6个百分位区段中为:1×0.50+2×0.25+3×0.15+4×0.05+5×0.04+6×0.01=1.91,它反映了平均绩效水平。如果某机构的PRS大于1.91,则表明其绩效高于平均水平,反之,则低于平均水平^{[ 13]}。

根据不同的评估目的和侧重点,百分位等级的划分也有多种形式,汤森路透的基本科学指标(ESI)按照被引频次将文章分为0.01%(百分位数等于或大于99.99^th的文章)、0.1%、1%、10%、20%、50%和小于50%共7个百分比等级。该指标很好地显示了高被引论文的偏态分布和等级划分,但不能根据文献类型进行标准化处理,且前0.01%的区段划分对一般机构而言过于苛刻。Leydesdorff等^{[ 8]}将百分位等级划分拓展到100个百分位等级(PR100),既赋予高被引论文高权重值,强调了学术影响力,又把论文产量纳入评价体系,对绩效的评价更为全面。

(2)综合影响指标(I3)

Leydesdorff等在PR100的基础上提出了I3的概念。综合影响指标I3的计算方法和PRS的计算类似,不同的是,公式中的f(x)不再是该等级中x出现的概率,而是该等级中文章的数量。即百分位等级分数是一种相对绩效,而I3值由文章数量(绩效)和被引频次(影响力)共同确定,是一种绝对绩效的评估方法^{[ 17]}。Leydesdorff等^{[ 18]}将I3与影响因子相比较,用于比较两组不同学科领域的一系列期刊。

(3)Top10%

百分位数指标可以根据不同评价目的将论文划分到不同的有意义的等级^{[ 19]},如文献集中top1%或top10%高被引文章的比例。Bornmann^{[ 20]}提出top10%中的论文数量(Publications of top10%,P_top10%)可以代替h指数用于绩效评价。PP_top10%(Proportion of Publications of top10%) 是基于百分位数的计量指标中最为直接的评价指标,它也被称为优秀指数(Excellence Indicator)^{[ 21]}。但top10%高被引文章的比例不能用于评估在top10%没有或很少文章的期刊或研究实体,因此,在比较专利期刊和不够优秀的研究实体时,Leydesdorff等^{[ 22, 23]}建议使用top25%指标。

相比于传统文献计量指标和相对引用指标,百分位数指标具有许多优点:百分位数指标不考虑引文的偏态分布情况,避免使用平均值算法,不会受到引文分布中极端值的影响^{[ 24]};在计算过程中引入期望值的概念,即各百分位等级中论文随机分布时所得值,通过Z检验检测其差异显著性^{[ 25]};百分位数指标的计算以论文集合为参照标准,不仅可以实现不同数据库、学科领域以及不同规模的论文集合之间的比较,还可以加入“灰色文献”或无来源期刊的文献进行比较^{[ 23]}。可以将某种期刊、机构或国家等看作是文章的集合,并参照其所属的学科领域进行比较。Leydesdorff等^{[ 18]}以研究机构发表论文集所属的期刊文献集为参照标准对百分位数指标的计算进行了实证研究。

在统计学中,百分位数是一种位置指标,常用于描述一组观察值在某百分位置上的水平,多个百分位结合使用,可更全面地描述资料的分布特征。百分位的计算方法为:将数据资料从小到大排列,计算百分位数p=i/n×100。这里的p是所求的百分位数的位置,n为项数。如果i不是整数,将i向上取整,大于i的毗邻整数指示第p百分位数的位置;如果i为整数,则第p百分位是第i项与第(i+1)项数据的平均值^{[ 15]}。

Bornmann等^{[ 19]}在此基础上提出了百分位的计算方法,并分为三个步骤:

(1)确定论文集合中的论文数量后,将所有论文按照被引频次降序排列,确定每篇论文的等级值。当文章被引频次相同时,StataCorp默认为取等级平均值^{[ 26]},而Schreiber认为应当取百分位数的平均值而不是等级平均值^{[ 27]}。

(2)分别确定百分位等级的最大值和最小值,将被引频次为零的文章的百分位等级设置为零。InCites^{[ 28]}所使用的反向百分位(Inverted Percentiles)将被引频次为零的文章的等级值设定为100。即被引频次越高的文章,其等级值越低,被引频次越低,其等级值越高。

(3)根据引文分布情况,论文集合中每篇论文都获得一个百分位数值,但目前该百分位数值的获取在应用中仍有不同的方式。InCites中,p值的确定为上述百分位定义中的计算方法,即p=i/n×100,通过取整得到连续变量值。但该方法不能得到准确的50%,从而导致低于50%的论文和高于50%的论文在数量上不对等。而在p=(i-1)/n×100中也存在上述同样的问题。Leydesdorff^{[ 29]}在说明百分位等级的不确定性时提出这种不确定性和文章数量成反比,即随着文章数量的增加,该指标的不确定性逐渐减小,并可以通过0.5/n进行修正。即百分位的计算可以修正为(i/n)-(0.5/n)=(i-0.5)/n^{[ 17]}或 (i-1)/n+(0.5/n)= (i-0.5)/n^{[ 8]},修正后的公式可以得到准确的50%,这与Hazen^{[ 30]}提出的百分位计算方法是相同的,目前仍为StataCorp所采用。Hazen的算法被推导为公式:(i-a)/(n-2a+1)^{[ 31]},在Hazen算法中,a取0.5。另外,Gringorten^{[ 32]}还建议使用公式(i-0.44)/(n+0.12)×100,同样可以得到准确的50%,因此该公式也适用于绩效评价中百分位的计算。

以上公式都是在百分位计算方法的基础上演变而来,在具体计算过程中,论文的百分位数的确定和等级的划分不能采用“一刀切”的处理方法,需要根据评价目的,结合被评价目标的实际情况,灵活运用以上计算方法,使评价结果更加有效、客观。

在百分位数的计算过程中,被引频次的非连续分布和被引频次相同的论文簇(Tied Papers)也会影响百分位区段的精确划分^{[ 33]}。Waltman等^{[ 33]}以应用最为广泛的top10%为例,对以上情况进行了详细说明:如在105篇论文集合中,90篇被引频次为0,10篇论文的被引频次为10,5篇论文的被引频次为20。那么,除5篇高被引论文外,是否考虑被引频次为10的10篇论文,top10%会出现15/105=14.29%和5/105=4.76%两种结果。如SIR(SCImago Institutions Rankings)^{[ 34]}所采用的方法是确保top10%至少为10%,因此将这10篇相同被引频次的论文归入top10%,其值为14.29%;而National Science Board(2012)^{[ 35]}所采用的方法则相反,该方法确保top10%最大值为10%,因此这10篇相同被引频次的论文不能归入top10%,其值为4.76%。以上两种结果都出现了明显的偏离,这对于跨学科领域或不同研究实体之间的绩效评价影响严重^{[ 33]}。

莱顿大学CWTS在很长时间内所使用的top10%计算方法更为复杂,即首先选定一个阈值,论文的被引频次必须至少等于该阈值才能划分至top10%,阈值选定原则为尽可能地避免使进入top10%中的论文被低估或高估。在上述例子中,以10为阈值,则有15篇论文满足条件,top10%为15/105=14.29%,这说明该值是top10%期望值的1.429倍,因此需要以1/1.429=0.700作为标准化系数来调整这种偏离。在评价过程中,如果某机构发表了10篇论文,其中9篇被引频次为0和1篇被引频次为20,则其top10%为0.700×10%=7.00%,说明该机构低于平均绩效,避免了未使用标准化系数时的高估情况。但Waltman等^{[ 33]}发现该方法在实际使用中容易出现矛盾之处,即被引频次与阈值相同的论文数量的变化,会影响在阈值处没有论文的研究实体的排名。而某篇论文被引频次的增加,又会提高与该论文无关的其他研究实体的top10%值。

因此,CWTS目前使用了另外一种全新的方法^{[ 24]},该方法在计算top10%时能够产生准确的10%,而且不会受到上述方法中影响因素的干扰。即在上述105篇论文集合中,每篇论文在引文分布中的比例为1/105=0.952%,被引频次为10的10篇论文的比例为10×0.952%=9.52%,被引频次为20的5篇论文比例为5×0.952%=4.76%。可知在top10%中仍有10%-4.76%=5.24%的比例属于被引频次为10的这10篇论文。这10篇论文可分为属于top10%中的5.24%和属于后90%中的4.29%两部分。因此赋予这10篇论文一个系数:5.24%/9.52%=0.550。top10%计算如下:(0.550×10+5)/105=10%。这就得到了精确的10%^{[ 33]}。当然,其他百分位指标如PR6和PR100中论文百分数的归类,也同样适用以上计算方法。

百分位数指标作为一种非参数统计方法,广泛应用于心理学和教育学中的测试情况统计。在Bornmann提出百分位数指标评价科研绩效之前,美国国家自然科学基金委员会已经使用6个百分位区段的百分位数指标来衡量各国家的科学研究实力。

2011/2012版的莱顿大学排行榜(Leiden Ranking)除了沿用之前使用的MCS和MNCS这两个指标,还引入了PP_top10%,并将其作为最重要的指标^{[ 36]}。因为PP_top10%只考虑了文章是否属于某领域的前10%,不会受到个别极端被引频次的影响,这是和MNCS的重要区别^{[ 24]}。对于为何选择top10%,而不是5%或20%,Waltman等^{[ 24]}也做出了说明和例证,数据显示,这种精确阈值的选择并不重要,PP_top5%和PP_top20%所得的结果和 PP_top10%是类似的。SIR在2011年的第三版中也引入了“优秀指数”PP_top10%,它定义为凡是与前10%被引频次相同的文章都属于该范围,因此其数值往往大于10%,需要根据十分位取整^{[ 34]}。

I3是一种影响力的综合评价指标,有研究将I3代替文章被引率(c/p)和影响因子(IF)等参数统计方法用于高被引论文的评价^{[ 37]}。Wagner等^{[ 38]}通过实证分析证明I3和PR6用于个人绩效评价比IF更合理,Leydesdorff^{[ 23]}指出鉴于IF无法跨学科进行绩效比较,I3和top10%在跨学科领域和期刊的比较方面更加准确,而与优秀指数相比,I3和PR6将文章数量即绩效纳入指标体系,可以用于比较不够优秀的研究实体。Bornmann等^{[ 25, 39]}提出一种新的图谱方法,它能够将I3结合Google地图来显示优秀文章出现的区域,以及文章发表比较频繁的区域,有助于短距离的科学家发现合作的机会。

(1)学科背景的选择

文献计量指标的应用一般以固定的学科分类体系作为参考集,如基于Web of Science的JCR主题类和基于Scopus数据库的学科分类体系等。被引频次的标准化中的学科背景因素一般称为参照标准(Reference Standard)或参考集(Reference Set),百分位数指标虽然可以以论文集合为参考标准,但其计算和数据比较仍与论文的学科领域有关,需要获取论文所属学科领域的引文数据。虽然JCR学科分类体系存在大量的交叉重叠而备受质疑^{[ 1, 40]},但目前仍以JCR主题类的应用最为广泛。陈仕吉等^{[ 41]}以ESI数据库为基础,结合Web of Science近似地计算了相对引用指标MNCS和百分位数指标,为机构学术影响力的评价提供了参考。

(2)百分位数指标的不一致性

研究实体学术影响力的评价指标应具有一致性、独立性和整体性三个原则^{[ 42]}。在百分位数指标中,当参照标准中加入一篇新的文章时,文章的百分位数和所有等级都会被打乱,使评价结果缺乏一致性而失去参考意义^{[ 17]}。Schreiber^{[ 27]}的研究也证明,I3(6PR)和PR6的评价结果波动十分明显,如果参照标准中的文献数量较少,这种波动性则更加明显。而在PR100中这种波动会弱很多。Leydesdorff^{[ 29]}认为评价结果的不确定性是与参照标准中的文献数量成反比的,因而当文献集的规模足够大时,这种不确定性就可以忽略不计。在意识到百分位数指标在数量较少的文献集中存在不可避免的误差后,Bornmann^{[ 43]}提出,在进行评估时应尽量选择数量足够多的文献作为参照标准,进而避免使用数学方法来解决小规模的文献集所遇到的问题。

(3)跨学科论文处理

Web of Science学科分类体系作为参照标准之所以受到许多计量学家的质疑,除了学科的交叉重叠导致分类不明确外,期刊本身也被认为不应只划分到某种学科领域内^{[ 44]},如Nature、Science等综合性期刊。许多跨学科论文同时属于多个学科领域。因此,在百分位数指标的计算过程中,InCites^{[ 28]}选用其中最低的百分位数,这在反向百分位数中意味着其学术影响力最高。Bornmann^{[ 45]}在运用百分位数指标比较4所大学的学术影响力时,对多学科论文选用中位数、最大百分位数和最小百分位数分别进行比较。