学术期刊客观赋权评价新方法——指标难度赋权法
俞立平1, 武夷山2
1宁波大学商学院 宁波 315211
2中国科学技术信息研究所 北京 100038
摘要

在总结现有客观赋权法根据数据波动和数据独立程度赋权原理的基础上,对复相关系数法进行修正,提出一种根据指标值提高难度进行赋权的新方法——指标难度赋权法,并用标准分对学术期刊评价指标进行标准化,然后进行加权汇总。研究表明,指标难度赋权法能够克服评价中的“投机取巧”心理,区分度好,从而使评价更加公平,非常适合于学术期刊评价,但在评价对象较少的情况下采用该方法要慎重,概率权赋权法值得商榷。

关键词: 期刊评价; 数据波动; 数据独立; 指标难度赋权法
中图分类号:G304
A New Method to Evaluate Academic Journals ——Indicator Difficulty Ratio Weighting
Yu Liping1, Wu Yishan2
1School of Business,Ningbo University,Ningbo 315211,China
2Institute of Scientific & Technical Information of China, Beijing 100038,China
Abstract

After summarizing two objective evaluation methods of data waving method and data independent method, this paper gives a new method of indicator difficulty ratio weighting and evaluates the academic journals with standardization score. The results show indicator weighted ratio method has a good differential capacity and is very suitable for academic journal evaluation. The method can’t be used with a few journals and probability weighting method has some shortcomings.

Keyword: Academic journal evaluation; Datawaving; Dataindependence; Indicator difficulty ratio weighting
1 引 言

传统的期刊评价指标有影响因子、权威因子、基金论文比、学科扩散因子等,由于每一种指标涵盖的信息量有限,后来发展出了一些复合指标,典型的有RCR(相对引用率)[ 1]、RI(相对引用指标)、PW(相对学科影响因子)[ 2]、NMCR(标准平均引用率)[ 3]、FCSm(学科论文平均被引用次数)[ 4]、H指数[ 5]、ACIF(论文计数影响因子)[ 6]等。对于学术期刊的评价,仅用少数指标不够全面,目前的趋势是采取多属性评价方法,也称为指标体系综合评价。

多属性评价方法主要有三大类,如图1所示。

(1)主观赋权,一般采取主观的综合咨询评分确定权重,然后对无量纲的数据进行加权汇总,如专家会议法、层次分析法等;

图1 多属性评价方法体系

(2)客观赋权,根据客观因素确定权重,再加权汇总得到评价结果,如熵权法、离散系数法、CRITIC[ 7]、复相关系数法等。主观赋权和客观赋权也称为线性评价方法。

(3)系统评价方法,就是采取一些系统工程、运筹学、模糊数学等方法进行评价,其原理各不相同,也称为非线性评价方法,如主成分分析法、数据包络分析方法(DEA)、TOPSIS、粗糙集等。

也可以将这些方法中的几种集合起来,进行复合评价或组合评价。复合评价的特点是将几种方法结合使用,得到唯一的评价结果,如采用层次分析法确定权重,再用加权TOPSIS进行评价;而组合评价是用各种方法单独进行评价,最后将几种方法的评价结果进行某种处理,得到唯一结果。由于各种多属性评价方法的原理各不相同,评价结果也不尽相同,一般应该根据评价目的、特点、数据等具体情况综合选择学术期刊的评价方法。

在期刊多属性评价领域,国内外学者已有很多成果。Yue等[ 8]利用结构方程的原理建立了一个期刊影响力的分析框架。邱均平等[ 9]提出了期刊评价指标体系的三维层次结构图,并利用灰色关联法进行评价。苏新宁[ 10]采用指标体系赋权进行中国人文社会科学期刊的评价。王小唯等[ 11]将期刊以往状态的评价结果作为各期刊基础条件的一种度量,再运用数据包络分析方法测算出它们的二次相对评价值。庞景安等[ 12]及李凯扬等[ 13]利用层次分析法对期刊进行评价。陈汉忠[ 14]应用主成分分析对学术期刊进行评价。李修杰等[ 15]运用判别分析法建立的期刊评估指标体系。凌春艳等[ 16]提出自然科学学术期刊质量指标体系的属性数学综合评价模型并进行了评价。王玖等[ 17]运用秩和比法进行医学学术期刊学术质量综合评价。这些研究基本上都是成熟方法在期刊评价中的应用,没有基本评价方法的创新。

客观赋权法由于对数据的依赖性很强,主观性小,作为一类重要的评价方法一直在科技评价中得到广泛的应用。本文在总结现有客观赋权法根据数据波动和数据独立性赋权原理基础上,提出了一种根据指标值提高难度进行赋权的新方法——指标难度赋权法,并以中国科学技术信息研究所公布的《中国科技期刊引证报告》(2009)中的农业学术期刊为例,说明指标难度赋权法的适用范围。

2 客观赋权法及指标难度赋权法的原理
2.1 客观赋权法原理分析

将现有的几种客观赋权法的原理进行分类,并列举一些典型的评价方法,然后分析其特点,并提出新的客观赋权评价方法。

(1)指标数据波动程度决定权重

该类方法的基本理论依据是,指标数据波动越大,权重越高,指标数据波动越小,权重越小。极端情况下,指标数据没有波动,即所有评价对象的指标值相等,那么该指标在评价中没有作用,因为没有了区分度,此时可以舍弃该指标或将指标的权重赋值为零,该类方法主要有熵权法、离散系数法等。

熵概念源于热力学,后由Shannon[ 18]引入信息论。信息熵可用于反映指标的变异程度,从而可用于综合评价。设有m个待评对象,n项评价指标,形成原始指标数据矩阵X=(Xijm×n,对于某项指标Xj,指标值Xij的差距越大,该指标提供的信息量越大,其在综合评价中所起的作用越大,相应的信息熵越小,权重越大;反之,该指标的权重也越小;如果该项指标值全部相等,则该指标在综合评价中不起作用。

离散系数法的原理是用各指标的标准差除以均值,得到各指标的离散系数,最后将离散系数归一化后得到各指标的权重。离散系数越大,说明该指标数据越活跃,权重越大。

(2)指标间的相关关系决定权重

在学术期刊评价中,很多指标间是相关的,如总被引频次、影响因子、权威因子、即年指标等之间就是高度相关的,俞立平等[ 19]提出了一种评价指标相关性的消除方法,一定程度上解决了这个问题。由于指标数据之间的相关性,导致存在数据重复计算问题,因此出现了一些修正数据重复进行评价的客观赋权方法,如复相关系数法就是将复相关系数的倒数进行归一化处理得到权重。

复相关系数法虽然某种程度上也能消除统计指标之间的相关性,但存在的最大问题是,一个统计指标与其他所有指标之间虽然可以计算出复相关系数,但不能确保其他所有统计指标都与该指标相关。也就是说,复相关系数的计算存在误差。为了解决这个问题,在计算复相关系数时,采用逐步回归法,将不相关的指标逐步删除,最后得到拟合优度 ,表明该指标由其他指标的解释程度。极限情况下,如果拟合优度 为0,说明该指标能够提供完全信息,如果 为1,说明该指标不能提供任何信息,可以将该指标删除。

对于指标Xj而言,其提供的独立信息是:

Bj=1-Rj (j=1,2,……n) (1)

将其进行归一化处理,得到数据独立权ω,这是一种改进的复相关系数法。

(3)指标数据的分布特点决定权重

该类方法主要是丁兴烁等[ 20]提出的概率权法,利用概率上的期望值原理,首先将数据标准化,然后应用正态分布以概率测定各指标超过其极大值的概率,归一化后得到权重,最后进行加权汇总。

由于不同评价正向指标应该与所有评价对象该指标的最优指标比较,即作为比较评价标准的参考指标序列应该由最优指标构成,概率权法就是要测定不同的评价正向指标不小于该指标最优值的可能性,即采用Xij比其最优值大的概率P 为权重。

根据中心极限定理,大部分概率分布的极限分布是正态分布,也即依据正态分布的普遍性,对于第i个评价对象的第j个指标值标Xij,应该或者近似有Xij~N ,其中:

样本均值 = Xij

样本方差 =

则第i评价对象的第j个指标概率测定权数为:

Fj=P

(2)
=1-Φ

其中,j=1,2,…,m,Φ = dt是标准的正态分布。

(4)将以上几种方法结合决定权重

CRITIC (CRiteria Importance Through Intercriteria Correlation)是由Diakoulaki等[ 7]提出的一种新的评价方法,它集中了指标数据波动与指标相关程度两大类客观赋权法的优点。以两个基本概念确定权重:

①对比强度,它表示了同一个指标各个评价对象之间取值差距的大小,以标准差的形式来表现,即标准化差的大小表明了在同一个指标内各评价对象取值差距的大小,标准差越大,各评价对象之间取值差距越大。

②评价指标之间的冲突性,指标之间的冲突性是以指标之间的相关性为基础,如两个指标之间具有较强的正相关性,说明两个指标冲突性较低。第j个指标与其他指标的冲突性的量化指标为 (1-Rkj),其中,Rkj为评价指标k和j之间的相关系数。

各个指标的客观权重以对比强度和冲突性来综合衡量。设Cj表示第j个评价指标所包含的信息量,则Cj可表示为:

Cjj (1-Rkj) (j=1,2,……n) (3)

其中,Cj越 大,第 j个评价指标所包含的信息量越大,该指标的相对重要性也就越大,所以第j个指标的客观权重ωj应为:

ωj= (j=1,2,……n) (4)

CRITIC评价法中,即使在数据已经进行标准化的情况下,式(3)中方差δj的大小仍是不确定的,这样必然导致权重的量纲不一致,这是该方法的缺陷。

2.2 指标难度赋权法

概率权本质上是根据指标值超过极大值的概率来确定权重的一种方法,如果一个正向指标的提高难度相当大,只有极少数能够获取高分,那么超过该极值的可能性就极小,权重就很低;相反,如果一个正向指标提高的难度相对容易,极高分的获得相对简单,那么超过极大值的可能性就很大,权重相对就较大。这是有悖于客观常理的,如果这样,则没有评价对象愿意提高较难提高水平的指标值,因为其权重低;反而会去提高相对容易提高的指标值。从这个角度说,概率权在理论上尚值得商榷。

通常情况下,如果期刊评价指标服从标准正态分布,那么极大值与均值的差除以标准差等于Z=1.96时,超过极大值的概率为2.5%;如果极大值与均值的差除以标准差等于Z=3.09时,超过极大值的概率为0.01%,这也是正态分布表能够查到的极限。也可以说,当Z>3.09时,如果采用概率权进行评价,该指标的权重极有可能极低,甚至为零,这是概率权的另一个缺陷。

比较合理的做法是,如果一个评价指标,其值提高的难度比较大,应该赋予较大的权重。如何确定指标值的难度,这还得借助于正态分布。既然极大值的Z值越大,说明提高该指标值的难度越大,可以以Z值为权重,这就是指标难度权重。

Zj=(5)

其中,δj为标准差,将Zj标准化后得到指标难度权重

概率权重法的理论依据是:不同评价值提高的难度是不一样的,关键指标提高一般较难,非关键指标提高一般相对容易。评价对象往往倾向于提高那些难度不大的指标,而对提高难度大的指标积极性不高。只有给提高难度大的关键指标赋予较高权重时,才能充分调动评价对象的积极性,更有利于公平竞争。

3 期刊评价数据

数据来自于中国科学技术信息研究所CSTPCD数据库,以农业科学类期刊为例进行评价。中国科学技术信息研究所从1987年开始对中国科技人员在国内外发表论文数量和被引情况进行统计分析,并利用统计数据建立了中国科技论文与引文数据库,同时每年出版《中国科技期刊引证报告》。本文选取《中国科技期刊引证报告》(2009)中的农业科学类数据,以156种农业期刊为例进行分析,这些期刊绝大多数是中文期刊。选取的指标共10个:总被引频次、影响因子、权威因子、扩散因子、他引率、基金论文比、平均引文数、即年指标、被引半衰期、引用半衰期。海外论文比指标由于许多期刊的值为0,所以没有选取。平均作者数和地区分布数指标由于和期刊的学术质量关系不是严格正相关,所以也没有选取。被引半衰期和引用半衰期是两个反向指标,在具体计算Z值时用极小值计算即可。

采用各种多属性评价方法对期刊进行评价,其前提条件必须保证不同评价指标量纲的一致,这样才能进行比较与评价。在对原始数据处理方面,通行的做法有两大类:

(1)传统意义上的指标标准化方法,根据原理不同又可以细分为10多种;

(2)根据正态分布的原理,采用标准分进行原始数据的标准化。

本文采取标准分进行标准化。标准分制度是根据教育测量学理论建立的一套有关分数报告、分数解释和分数使用的制度。标准分是指通过原始分转化而得到的一种地位量数,它反映被考核对象成绩在全体成绩中的位置。无论试题难易,无论整体原始分高低,整体标准分都没有太大变化。不同学科的原始分不可比,而不同学科的标准分是可比的。不同学科的原始分不可加,而不同学科的标准分之间具有可加性。

传统的学术期刊综合评价方法,在对指标进行标准化时,默认的假定就是指标的“含金量”是严格相等的,但这种情况永远是不存在的。假设只采用影响因子和基金论文比两个指标对期刊进行等权重评价,数据标准化后A期刊的影响因子得分是88,基金论文比得分是82;B期刊的影响因子得分是80,基金论文比得分是96,那么A期刊的总分是170,小于B期刊总分的176。如果采用标准分进行评价,A期刊的影响因子排在前2.3%,其标准分就是2.00分,基金论文比在前11.4%,其标准分就是1.21,总分就是3.21;B期刊影响因子排在前13.1%,其标准分就是1.22,基金论文在前5.5%,标准分就是1.60,总分就是2.82,最终结果A期刊优于B期刊。这种完全相反的结论就是考虑指标难度引起的。

标准分的最大贡献是将各指标得分的相对难易程度进行了均衡。在传统期刊评价中,仅仅考虑了不同评价指标的重要性,没有考虑同一评价指标不同评价对象得分的难易问题,这是极其片面的,必然导致评价结果的偏差。

标准分计算公式为:

T=50+10Z (6)

4 评价结果

以三大类客观赋权法的代表性方法——离散系数法、改进的复相关系数法、指标难度赋权法为例,比较不同客观赋权法的特点。

4.1 离散系数法

指标离散系数法的计算如表1 所示。

表1 离散系数法

用标准差除以极值得到离散系数,然后将离散系数归一化处理即可。表1还给出了10个指标的Jarque-Bera正态性检验值,从相伴概率看,除被引半衰期没有通过正态分布检验、平均引文数在5%的水平上通过正态分布检验外,其他所有指标在1%的水平上都通过了正态分布统计检验,也就是说,只有被引半衰期不服从正态分布。

总被引频次(X1)的离散系数最大,为0.89,数据波动权为0.210;其次是即年指标(X8),离散系数为0.67,权重为0.157;引用半衰期的离散系数最小,为0.120,其数据波动权为0.028,总体上是可以接受的。

4.2 改进的复相关系数

分别以Xi为因变量,其他所有指标为自变量进行回归,采取逐步回归法,先删除统计检验不显著的指标,直到所有自变量都通过统计检验,考虑到指标间相关导致的多重共线性问题,暂不考虑指标值为负数的情况,结果如表2所示:

表2 改进的复相关系数法

引用半衰期(X10)的拟合优度最低,为0.220,说明该指标能够提供更多其他指标所不能提供的信息,它的数据独立权最高,为0.780。权威因子(X3)的拟合优度最高,为0.972,说明该指标的信息基本都可以由其他指标解释,所以它的数据独立权重最低,仅为0.008。这和期刊评价中被引指标权重一般较高的情况并不一致。

4.3 指标难度权重

通过表1中的极大值、均值和标准差数据,根据式(5)计算得到Z值,然后将其标准化后得到难度权重。为了进行对比,根据Z值查正态分布表,得到超过极大值的概率1-Φ,然后将其标准化得到概率权。同时还给出了极小值的Z值,结果如表3所示:

表3 指标难度赋权法

影响因子(X2)的Z值(极大值)最大,为5.71,说明该因子提高的难度极大,其指标数据难度权重为0.156。Z值(极大值)最小的是他引率(X5),为1.33,说明提高该指标的难度较小,其难度权为0.036,这和实际评价中期刊影响指标的权重较大是相符的。

根据概率权的原理,总被引频次(X1)、影响因子(X2)、权威因子(X2)、扩散因子(X4)、平均引文数(X7)、即年指标(X8)这6个指标超过极大值的概率很低,低于正态分布表中的极小值0.000,如果这样,这6个指标的权重必须赋值为0,结论是十分荒谬的,因此概率权是一种存在不少问题的评价方法,理论依据不足,其实际应用也非常容易使重要指标权重为零。

4.4 指标难度赋权法评价结果

根据指标难度权重对标准分进行加权汇总,结果如表4所示:

表4 指标难度赋权法评价结果(前30种期刊)

需要说明的是,根据标准分计算的原理,评价结果总得分已经没有难度因素,也就是说排名第一位的《中国农业科学》比排名第4位《土壤学报》高约5分,排在第8位的《中国水稻科学》比排在20位的《中国农学通报》也高约5分,这种差距并没有什么不同。这和人们通常意义上认为的从90分提高到100分比从60分提高到70分困难完全不同,因为在标准分计算过程中已经考虑到了这种因素。

5 结 语

(1)指标难度赋权法比较符合客观实际

指标难度赋权法克服了评价中的“投机取巧”心理,即评价对象往往比较重视提高那些投入不大、收效较快的指标值,从而使竞争更加公平合理。此外,难度较高指标的区分度比难度较低指标的区分度好,因此加权汇总以后总评价结果的区分度较好,再结合评价指标标准化采用标准分法,从而在评价对象较多的情况下确保区分度和评价公平。

(2)指标难度赋权法比较适合期刊评价

采用多属性评价方法对学术期刊进行评价在学术界已经持续了很长时间,由于期刊评价指标体系相对完备,数据比较完全,评价对象较多,加上主观评价存在的一些不足,因此采用指标难度赋权法进行评价是比较合适的。

(3)慎重采用指标难度赋权法

在评价对象较少的情况下,许多指标的分布可能没有一定的规律,不一定服从正态分布,由此计算的指标难度权可能存在偏差,建议评价前先做一下Jarque-Bera检验,只有在大多数指标都呈正态分布时才能尝试计算指标难度权重。

(4)客观赋权法需要改进

概率权是一种值得商榷的客观评价方法。指标数据提高难度越大,概率权赋权法的权重越低,极端情况下,这些指标的权重为零。这样一方面会鼓励评价对象竞相提高容易提高的指标值,另一方面也容易删除重要指标,因此该方法是值得商榷的。

复相关系数法不考虑相关系数有没有通过统计检验,因此需要采用本文的方法进行修正。CRITIC评价法的标准差没有做标准化,量纲不一致,因此也需要进行改进。

The authors have declared that no competing interests exist.

作者已声明无竞争性利益关系。

参考文献
[1] Schubert A, Glanzel W, Braun T. Relative Citation Rate: A New Indicator for Measuring the Impact of Publications[C]. In: Proceeding of the 1st National Conference with International Participation on Scientometrics and Linguistics of Scientific Text. 1983: 80-81. [本文引用:1]
[2] Vinkler P. Evaluation of Some Methods for the Relative Assessment of Scientific Publications[J]. Scientometrics, 1986, 10(3-4): 157-177. [本文引用:1] [JCR: 2.133]
[3] Braun T, Glanzel W. A Topographical Approach to World Publication Output and Performance in Science, 1981-1985[J]. Scientometrics, 1990, 19(3-4): 159-165. [本文引用:1] [JCR: 2.133]
[4] Moed H F, De Bruin R E, Van Leeuwen T N. New Bibliometric Tools for the Assessment of National Research Performance[J]. Scientometrics, 1995, 33(3): 381-422. [本文引用:1] [JCR: 2.133]
[5] Hirsch J E. An Index to Qualify an Individual’s Scientific Research Output[J]. Proceedings of the National Academy of Sciences, 2005, 102(46): 16569-16572. [本文引用:1]
[6] Markpin T, Boonradsamee B, Ruksinsut K, et al. Article-count Impact Factor of Materials Science Journals in SCI Database[J]. Scientometrics, 2008, 75(2): 251-261. [本文引用:1] [JCR: 2.133]
[7] Diakoulaki D, Mavrotas G, Papayannakis L. Determining Objective Weights in Multiple Criteria Problems: The CRlTIC Method[J]. Computers & Operations Research, 1995, 22(7): 763-770. [本文引用:2]
[8] Yue W, Wilson C S. Measuring the Citation Impact of Research Journals in Clinical Neurology: A Structural Equation Modeling Analysis[J]. Scientometrics, 2004, 60(3): 317-332. [本文引用:1] [JCR: 2.133]
[9] 邱均平, 张荣, 赵蓉英. 期刊评价指标体系及定量方法研究[J]. 现代图书情报技术, 2004(7): 23-26. [本文引用:1]
[10] 苏新宁. 构建人文社会科学学术期刊评价体系[J]. 东岳论丛, 2008(1): 35-42. [本文引用:1]
[11] 王小唯, 杨波, 潘启树. 学术期刊质量评估的二次相对评价方法[J]. 编辑学报, 2003, 15(3): 231-232. [本文引用:1]
[12] 庞景安, 张玉华, 马峥. 中国学术期刊综合评价指标体系的研究[J]. 中国科技期刊研究, 2000, 11(4): 217-219. [本文引用:1]
[13] 李凯扬, 贾玉萍. 基于AHP的期刊全文数据库的模糊综合评价[J]. 情报科学, 2005, 23(11): 1688-1703. [本文引用:1]
[14] 陈汉忠. 主成分分析在学术期刊评价中的应用[J]. 中国科技期刊研究, 2004, 15(6): 658-660. [本文引用:1]
[15] 李修杰, 陈景武. 运用判别分析法建立的期刊评估指标体系[J]. 江西图书馆学刊, 2006, 36(3): 48-50. [本文引用:1]
[16] 凌春艳, 莫琳. 自然科学学术期刊质量指标体系的属性数学综合评价模型[J]. 数学的实践与认识, 2004, 34(5): 1-7. [本文引用:1]
[17] 王玖, 徐天和. 秩和比法在医学学术期刊学术质量综合评价中的应用[J]. 数理医药学杂志, 2003, 16(3): 266-267. [本文引用:1]
[18] Shannon C E. A Mathematical Theory of Communication[J]. Bell System Technical Journal, 1948, 27: 379-423, 623-656. [本文引用:1]
[19] 俞立平, 潘云涛, 武夷山. 学术期刊多属性评价中指标相关关系修正研究[J]. 科学学研究, 2009, 27(7): 989-993, 1010. [本文引用:1]
[20] 丁兴烁, 谢忠秋. 权数确定的新方法——概率法[J]. 统计与决策, 2003(7): 13-14. [本文引用:1]