在学术期刊评价中,多指标综合评价是一种被广泛采用的方法,它能克服单指标评价提供信息相对不足的缺点,采用各种不同的指标更加全面地对期刊进行评价。尽管单指标评价技术发展很快,涌现出如H指数^{[ 1]}、特征因子(Eigenfactor)^{[ 2]}等信息含量较大的指标,但总体上,多指标综合评价的优势还是显而易见的,因而得到了较为广泛的应用。

多指标综合评价方法大致上可以分为两类:线性评价方法,其原理是采用一定的方法(如层次分析法、熵权法、离散系数法等)对各指标进行赋权,然后将标准化的指标值进行加权汇总;非线性评价方法,其原理各不相同,一般是采取运筹学、模糊数学、系统工程等方法进行评价,如主成分分析、TOPSIS、粗糙集、数据包络分析等。在线性评价中,权重设定的方法既有主观的,也有客观的,权重越大的指标越重要。在非线性评价中,由于几乎没有权重的概念,那么什么指标更为重要呢?俞立平^{[ 3]}在期刊评价中,将以往的某一可信评价结果值作为因变量,评价指标作为自变量进行回归,然后将回归系数归一化后得到非线性评价各指标的模拟权重,同样可以作为衡量指标重要性的一种方法。也就是说,无论对于什么评价方法,权重都是有形无形存在的。

关键指标是影响评价结果得分的重要指标,它的单独得分在评价结果得分中所占的比重较大。确定评价的关键指标无论对评价者还是被评价者都具有十分重要的意义。对评价者而言,确定的关键指标,不仅可以反思权重设置的科学性与合理性,对评价方法重新进行审视,努力做到评价公平,而且有利于控制关键指标的数据采集质量。对被评价者而言,弄清关键指标,有利于采取有效措施弥补差距,促进自身水平的提高。进一步地,只有公众、评价者与被评价者对关键指标的共同关注,才能提高期刊评价指标选取的合理性和权重设定的科学性,使评价方法经受住考验,最终推动整个期刊学术水平的提高。

在科技评价中,现有的研究往往集中于权重设定方法讨论以及评价方法的选取领域。徐耀玲^{[ 4]}讨论了指标设计的原则和方法,认为应该系统考虑关联指标的权重设定,对于区分度较低和信息可靠性较低的指标应该赋予较低权重。李华等^{[ 5]}使用因子分析法,分析提高学报学术影响力的主要因子,发现载文量、基金论文比这两个指标是影响学报学术影响力的主要因子。李卓青等^{[ 6]}采用类似离散系数法的方法,分析得出可以舍弃其他指标,单独采用即年指标、影响因子、基金论文比这三项指标为关键指标来进行评价。刘自远等^{[ 7]}采用6种权数法计算指标权重,经对比、稳定性检验和合理性分析,发现因子分析权数法和层次分析权数法求得的权数评价结果具有稳定性、合理性,符合客观实际。

从目前的研究看,关于指标权重问题的研究,主要集中在权重设定的合理性研究、权重的比较研究等方面,在“可以根据权重来判断关键指标”这一点上已经取得了共识。但至少还有以下问题没有得到重视:

(1)影响关键指标的因素是否只有权重?还有没有其他因素?比如评价指标数据的分布特点对指标重要性有没有影响?

(2)在设定权重时,是否应该要考虑到其他因素对指标重要性的影响,从而避免某些指标的实际重要性被多次“放大”或“缩小”?

(3)评价对象和评价方法一旦确定,关键指标实际上就已经确定。那么,如何确定?即通过什么方法能够找到影响评价结果的最重要的指标?

(4)在选取评价方法时,是否需要考虑不同评价方法关键指标的差异?即对某些关键指标的强调,可以反过来影响方法的选择。

对于以上问题,尚缺乏深入的研究。本文讨论影响关键指标的因素,提出关键指标的确定方法,然后以中国科学技术信息研究所的期刊引证数据为例,说明在科技评价中关键指标确定的方法,并就相关问题进行讨论。

根据关键指标的定义,权重在关键指标确定中占有十分重要的地位;均值是整个指标水平的高低,对总评价值影响较大;极值由于对标准化结果影响较大,继而会影响均值;离散系数会通过区分度影响到评价结果。因此,这4个指标是影响关键指标的重要因素,下面分别进行说明。

(1)权重W

权重的表现形式并不一样,在线性评价中,无论采用什么方法,权重是直接确定的。在非线性评价中,很多情况下其实用不到权重,比如采用因子分析或灰色关联评价,是没有权重的。如果想知道相关指标的权重,此时不妨将以往的可信评价结果作为因变量,评价指标作为自变量进行回归:

Y=a₁X₁+a₂X₂+…+a_nX_n (1)

其中,Y为非线性评价结果,X₁,X₂…X_n为评价指标,a₁,a₂…a_n为回归系数,n为评价指标的个数。将回归系数进行归一化处理,得到权重W:

W_i=

(2)

其中,之所以要给a_i取绝对值,是因为a_i回归后可能有负值,这种情况最容易出现在指标相关度较高的情况下,因为存在多重共线性。

需要说明的是,对于评价结果只有排序而没有得分的评价方法,以上方法并不适用,可以将评价结果分类后采用多元选择模型进行处理,同样可以得到模拟权重。

(2)离散系数DC

离散系数是标准差除以均值的结果,离散系数越大,表示指标的数据波动越大,指标的区分度越好。如果某个指标的离散系数很小,说明不同评价对象水平相差不大,该指标对评价结果的影响就不大,重要性就相对降低。

(3)均值M

指标均值大小对指标在评价结果得分的比重也非常重要。均值一般是指标标准化后的结果,如果原始数据还没有标准化,均值比较是没有意义的,因而不具有可比性。

(4)极值系数 MR

极值系数包括极大值系数和极小值系数两种情况。对正向指标而言,要考虑极大值系数;对反向指标而言,要考虑极小值系数。

以极大值系数为例,极大值系数是极大值除以均值的结果。在进行标准化时,一般是用各评价对象的指标值除以极大值,如果极大值很大,会降低其他所有评价对象标准化后的结果,直接导致标准化后的均值降低,从而间接降低了该指标在评价中的重要性。

极值系数是反向指标,其值越大说明指标的重要性越低。为了修正这个问题,可以采用线性变换方法将其转为正向指标,俞立平等^{[ 8]}认为,反向指标的标准化,只有采用线性变换才不会使数据失真,才是一种值得推广的反向指标数据标准化方法。

原极值系数的计算公式如下:

MR'=

(3)

经线性正向转化后极值系数为:

MR=1-

(4)

(5)关键指标确定的方法

由此可见,权重、均值、离散系数、极值系数都会影响评价指标的重要性,其中,权重是显性的,而均值、离散系数、极值系数都是隐性的。本质上,均值和极值系数的原理相近,属于同一类参数。将这4个参数标准化后,得到指标的关键系数确定公式:

K= ×100 (5)

由于4个参数的极大值经标准化后均为1,这样经过公式(5)处理后,指标的关键系数极大值为100,极小值依赖于数据。一旦评价方法确定,可以很容易地计算出不同指标的关键系数。

(1)关键系数一般只具有统计学性质

权重体现了评价者的主观意志,模拟权重体现了评价方法的特点,离散系数、均值、极值系数则体现了评价指标本身的统计学特征,由这4个指标确定的关键系数总体上从统计学的角度反映了关键指标的特点,一般难以从学术评价理论上加以解释。

在这4个确定关键系数的指标中,如果权重是通过专家赋权法确定,那么权重是唯一可以合理进行机动变化的指标,其他指标值一般都是确定的。如果发现关键指标不合理,应该通过权重对关键指标进行适当的调整,而不能仅仅考虑权重本来的重要性。

(2)数据标准化方法与极值数据的质量对关键系数会产生影响

在期刊评价中,正向指标的标准化方法是固定和公认的,一般用指标值除以极大值,但反向指标数据标准化方法则存在一些争议,因为反向指标标准化方法不同会影响到均值、离散系数。进一步地,正向指标标准化方法也可以进行不同的变换,从而影响均值和离散系数。

极值系数的计算方法是用极大值除以均值(正向指标),因此指标极大值的数据质量会影响到极值系数。在期刊评价中,一定要注意基础数据尤其是极值数据的质量。

(3)关键指标有可能会影响权重的确定

任何事物都是相对的,如果关键指标对评价结果影响很大,而自身所代表的评价意义也许并不那么大,此时可能要适当考虑降低该指标的权重,通过降低权重进一步降低其关键系数,使评价更加科学和公平。比如根据本文的研究,基金论文比的关键系数要远远超过H指数。在评价期刊的学术质量时,H指数应该比基金论文比指标重要,在这种情况下,可以适当提高H指数的权重,降低基金论文比的权重,从而提高H指数的关键系数,降低基金论文比的关键系数。

对于一些通过主观方法确定指标值的指标,如果该指标是关键指标,也要慎重进行处理。比如在评价时要用到期刊声誉指标,该指标假如是通过专家评分赋值的,如果采用本文的方法发现该指标是关键指标,最好要适当降低该指标的权重,因为专家评分误差对评价结果的影响很大。

(4)关键指标确定方法的应用具有普适性

目前在期刊评价中,线性评价仍然占据十分重要的地位,主要原因是线性评价总体上比较符合人们的思维习惯,权重确定往往采用专家会议法,能体现出评价者的偏好。通过关键指标的合理性分析,如果发现存在问题,可以通过调整专家赋权的方法得到一定的改进。但在非线性评价中,由于权重本身也是客观的,如果发现关键指标不合理,只能通过调整指标数据标准化方法或更换评价方法解决,相对会复杂一些。因此,本文的方法在线性评价中可以进行推广,不仅可以用在期刊评价中,也可以广泛用在多属性评价中。