论文级别计量研究:应用案例分析
顾立平
中国科学院国家科学图书馆 北京 100190
摘要

简要介绍论文级别计量(ALMs)与传统文献计量的不同,并且梳理目前应用ALMs的案例。以案例分析的方法,描绘PLoS-ALMs的数据来源、元数据与裸数据、开放数据等运行机制。讨论ALMs如何支持未来开放创新的发展。

关键词: 替代计量; 学术可见度; 社会可见度; 科研影响指标; 信息过滤; 知识发现; 科学公共图书馆
Research on Article-Level Metrics (ALMs): A Case Analysis
Ku Liping
National Science Library, Chinese Academy of Sciences, Beijing 100190, China
Abstract

This paper introduces the difference between the Article-Level Metrics (ALMs) and the traditional bibliometrics, and summarizes the current cases of ALMs applications. By using the case study method, the author draws-up the operational mechanism of PLoS-ALMs in which includes its data sources, its metadata and raw data, and its open data. The discussion concerns about how ALMs supports open innovation development in future.

Keyword: Alternative metrics; Scholarly visibility; Social visibility; Research impact indicates; Information filter; Knowledge discovery; Public Library of Science(PLoS)
1 前言:论文级别计量的特殊性和重要性

利用论文级别计量(Article-Level Metrics, ALMs)追溯学者工作上的即时性影响和社会化影响,这是引文计量所不能做到的事情[ 1]。传统文献计量多年来已经成为评估新近论文发表重要性的依据。然而,在数字化、网络化、开放化时代的学术交流模式中,个人论文发表在出版物上的影响力,可以更容易地被解析出来,而单独进行计算。

(1)传统的文献计量,着重在文章末尾参考文献的利用,特别是引文矩阵的应用;在期刊评价以及根据期刊评价结果判断单篇学术论文或者论文作者的影响力上,尤为显著。

(2)替代计量(Altmetrics)特别着重Web2.0数据的分析和应用,用以分析期刊的社会化即时性影响,也可以用于单篇论文的社群影响。

(3)论文级别计量,综合两者,既重视传统的引文数据及其分析指标,也重视在数字化、网络化、开放化环境中的Web2.0用户的社群影响力。

笔者综合前人研究[ 1, 2, 3]比较三者异同绘制表1表示理论上的差异。

表1 传统的文献计量、替代计量与论文级别计量的异同
从Bibliometrics到Altmetrics的发展过程[ 4],产生了各种各样的服务机制[ 5],笔者在林和弘(Kazuhiro Hayashi)[ 4]的工作基础上,绘制图1表明不同计量方法所反映的人们关注程度的高低,以及人们社群范围的大小。传统文献计量反映文献利用的冰山一角。

承上,与传统文献计量方式相比较,论文级别计量的主要差异有三个[ 6]:

(1)受众:公众关心实践应用而学者关心理论突破;

(2)维度:传统文献计量关心论文影响力,而ALMs关心社会关注度和学者自我进步;

(3)时间:期刊评价体系以年度为单位,而ALMs以月份和天数为计算单位。 简言之,ALMs要求更为细致和更为精密的计算能力,论文级别计量在细粒度上和即时性上,更为先进。影响力测量的全景[ 1]图2所示:

图2 影响力测量[ 1]

由于ALMs分析单位为一篇论文而非一份期刊,分析的时效性是一篇论文发布后的每日使用量与引用量,而非一年或者多年所累积的各个论文而形成的期刊引用量;作为一种新兴的期刊服务能力,也是一种新型的机构评价指标,它适合在开放资源环境中,评量一篇论文或者其作者群的学术即时影响程度与社会贡献程度。

2 应用案例的梳理

目前业界已有诸多的论文级别计量(ALMs)实现方案,对其进行的案例分析方式包括:根据前期开放数据应用[ 7]、开放平台与开放应用程序界面[ 8]等的基础上,经过文献调研,然后根据线索[ 9],探索PLoS-ALMs的功能和结构,梳理它的数据模型。

根据前人研究的案例[ 1, 5, 10],在国内可以访问的情况下,笔者梳理其中的PLoS.com、Altmetric.com、Plum Analytics.com、CiteULike.org、F1000.com、Mendeley.com和Zotero.org等服务机制,如表2所示:

表2 ALMs案例分析

这些案例的共同特征,是各有一套数据流程,将原本封闭在信息服务系统中的用户统计数据,特别是系统记录文档中的裸数据等,予以整理后,提供开放共享。以下重点分析其中一个实现ALMs的开放数据机制。

3 以PLoS为例看ALMs的运行机制
3.1 PLoS-ALMs的数据流程

作为一种开放获取期刊论文的开放数据发布平台,PLoS-ALMs的数据流程可以分为三个阶段:从各个不同的开放平台上,取得对于PLoS的单篇论文的Web2.0用户行为数据,将它们存储到PLoS平台之中;在PLoS平台之内,将这些来自不同平台的数据,予以对应、整理与合并为一份大的数据表;从这张大的数据表之中,抽取若干具有重要意义的元数据内容,汇集成为新表,予以开放共享。

3.2 PLoS-ALMs的数据源与数据类型

数据类型决定了数据来源的选择,在PLoS-ALMs的数据类型中,一般提到4种:使用统计、引用、社会网络、博客;但是还有原先设计的第5种:即时互动。第5种数据来源现在是定期导入,而非即时。整理如表3所示:

表3 PLoS-ALMs的数据来源[ 22]

3.3 PLoS-ALMs的数据模型

确定数据类型与数据来源后,分析PLoS-ALMs的重点是数据模型,可以粗分为裸数据(来自各个数据来源)与元数据。在PLoS提供的数据上[ 23, 24],参考PLoS提出的ALMs说明[ 25, 26],笔者整理如表4所示:

表4 PLoS-ALMs数据模型

其中,以“︱”分隔的裸数据中,字串相连的部分,可方便对应每条元数据;另以“…”省略过长字串。

除了ALMs数据,PLoS还提供适用期刊级别计量(JLMs)的数据,两者略有不同,在此不作赘述。

3.4 PLoS-ALMs的开放数据模型

在数据类型、数据来源和数据模型之后,作为一种开放平台(Open Platform)的PLoS提供ALMs开放数据(Open Data),以作为机关团体或者个人进行开放应用程序界面(APIs)的应用开发。然而,根据PLoS-ALMs数据模型所提炼出来的开放数据,被存储在另一知识元库(Knowledge Base, KB)中,通过这个KB对外开放共享。整理如表5所示:

表5 PLoS-ALMs的开放数据模型

3.5 PLoS-ALMs的作用

对PLoS-ALMs的开放数据模型进行分析,可以发现PLoS-ALMs最大程度地提供有利开放获取期刊(或者开放获取论文)的相关统计数据,以促进更多开放应用程序的出现。例如,同样作为开源平台的Impactstory不仅集成PLoS的数据而且也提供了论文级别计量(ALMs)的应用程序接口。随着越来越多与Web内容进行信息交互的用户,他们留下更多的数据记录,从而培育了诸如Altmetrics等的服务机制,未来随着深入社会结构的开放数据、开放应用程序、开放源代码,收割有用的数据可以解析为有用情报[ 27, 28]。如何建立Article-Level Metrics等的新兴情报服务,值得共同探索。

适用于ALMs的Impactstory.org提供这类工具的一幅全景[ 29],如表6所示:

表6 Impactstory.org的ALMs的应用平台与观测变量

相比Impactstory.org的数据模型,商业公司Plum Metrics提出了在Web2.0服务机制下,较为多样的测量变量[ 30, 31],整理如表7所示:

表7 Plum Metrics的ALMs概念与操作变量

表6表7揭示利用ALMs测量单篇论文的种种可能。有别传统的文献计量依靠文后的参考文献作为引文数据,而进行影响力测量的方式,论文级别计量提供一些更为多样的选择,并且如前所述(表1图1),它也把传统的文献计量考虑在内。

4 讨论:论文级别计量支持开放创新的方式

科技信息学术交流体系,已经朝向开放获取、开放知识和开放创新的方向前进,新的开放知识服务模式(Open Knowledge Services)包括[ 32]:将图书馆作为支持用户创新的平台,以及将图书馆发展为开放的公共知识服务创新平台。图书馆需要积极掌握各种分析和遴选工具,实施各种参与开放科学的实践工作。

过去人们进行判断,是以基于科研的引用性(Citeable)和基于评审的前沿性(Frontmatter)作为黄金标准,然而诸如引用,在没有任何背景脉络(Context)下容易误导人们的判断,并且存在时间延迟(Time-delay)等问题,所以传统的计量方法,难以回答何为具有未来发展潜力的论文[ 33]。而藉由论文级别计量,则可能可以发现人群广为有兴趣的科研成果,以及藉由其他技术工具,形成快速进行社群讨论的服务机制。

新型的学术交流服务工具(如Altmetrics等)[ 34],既可组织开放数据,也可呈现可视化内容,这些工具能够:分享数据集、代码和实验设计;发布参数或者语义内容;使用户以Web2.0形式(如博客、微博和书签等)评审和建议那些正在进行的科研工作。这些为学术交流提供更为有利的信息筛选方式以及社群评议方法。例如英国皇家化学学会,就正式采用了这种机制[ 35, 36]要求旗下5种学术期刊实施具有ALMs的Altmetrics功能,促进传统学术期刊以及学术评量体系的转型。英国皇家学会在2013年10月23日签署了DORA宣言[ 37],该项发布于2013年6月24日的宣言,其第一条便是舍弃基于期刊的计量,如期刊影响因子等,而以个人研究论文的质量作为评估科学家贡献的标准[ 38]

不仅期刊可以运用ALMs而且机构知识库也可有所应用[ 39]。本文在实际分析ALMs的原理、案例、实现机制、数据内容框架等基础上,认为它的服务方式已经成熟,无论是期刊出版平台或者机构知识库,均可借鉴已有案例并且开展初步实验。抛砖引玉,是以为文。

参考文献
[1] Tananbaum G. Article-Level Metrics: A SPARC Primer[EB/OL]. (2013-04-17). [2013-05-01]. http://www.sparc.arl.org/bm~doc/sparc-alm-primer.pdf. [本文引用:4]
[2] Taylor M. The Challenges of Measuring Social Impact Using Altmetrics[EB/OL]. (2013-06-06). [2013-06-26]. http://www.researchtrends.com/category/issue-33-june-2013/. [本文引用:1]
[3] Torres-Salinas D, Cabezas-Clavijo, Jiménez-Contreras E. Altmetrics: New Indicators for Scientific Communication in Web 2. 0[J]. Comunicar, 2013, 2141): 53-60. doi: 10.3916C41-2013-05. [本文引用:1]
[4] 林和弘. 研究論文の影響度を測定する新しい動き―論文単位で即時かつ多面的な測定を可能とするAltmetrics[J]. 科学技术动向研究, 2013, 34: 3, 20-28. (Hayashi K. New Movement on the Research Article Impact Measure[J]. Science and Technology Trends, 2013, 34: 3, 20-28. ) [本文引用:2] [JCR: 4.135]
[5] Roemer R C, Borchardt R. From Bibliometrics to Altmetrics: A Changing Scholarly Land scape[J]. College & Research Libraries News, 2012, 7310): 596-600. [本文引用:2]
[6] Lin J, Fenner M. The Many Faces of Article-Level Metrics[J]. Bulletin of the American Society for Information Science and Technology, 2013, 394): 27-30. [本文引用:1]
[7] 顾立平. 开放数据的集成应用研究综述[J]. 现代图书情报技术, 2012(S): 1-5. (Ku Liping. Research on the Applications and Integration of Open Data[J]. New Technology of Library and Information Service, 2012(S): 1-5. ) [本文引用:1] [CJCR: 1.073]
[8] 顾立平. 开放平台与开放应用程序界面的研究[J]. 现代图书情报技术, 2012(S): 6-12. (Ku Liping. Research on the Open Platform and the Open APIs[J]. New Technology of Library and Information Service, 2012(S): 6-12. ) [本文引用:1] [CJCR: 1.073]
[9] Binfield P. Article-Level Metrics at PLoS & Beyond[EB/OL]. [2013-03-08]. http://www.arl.org/sparc/bm~doc/binfield-alm.pdf. [本文引用:1]
[10] Galloway L M, Pease J. Altmetrics for the Information Professional: A Primer[C]. In: Proceedings of the Current SLA Conference, San Diego, CA, USA. Special Libraries Association, 2013: 1-5. [本文引用:1]
[11] Ex Libris Initiatives. Altmetrics on Primo[EB/OL]. (2012-12-12). [2013-03-08]. http://initiatives.exlibrisgroup.com/2012/12/altmetrics-on-primo.html. [本文引用:1]
[12] Nature Publishing Group. Article Level Metrics on Nature. com[EB/OL]. (2012-10-25). [2013-03-08]. http://www.nature.com/press_releases/article-metrics.html. [本文引用:1]
[13] Plum Analytics. New Product PlumX Gives Researchers an Edge[EB/OL]. (2013-01-23). [2013-03-08]. http://www.plumanalytics.com/pr/plum-analytics-new-product-plumx-gives-researchers-an-edge.html. [本文引用:1]
[14] Plum Analytics. PlumTM Analytics and Figshare Collaborate to Ensure Researchers Get Credit for Their Research[EB/OL]. (2012-12-03). [2013-03-08]. http://www.plumanalytics.com/pr/plum-analytics-and-figshare-collaborate.html. [本文引用:1]
[15] Plum Analytics. University of Pittsburgh Becomes First Institution to Adopt Plum Analytics to Provide Metrics for Research Output[EB/OL]. (2012-06-19). [2013-03-08]. http://www.plumanalytics.com/university-of-pittsburgh-becomes-first-institution-to-adopt-plum-analytics-to-provide-metrics-for-research-output.html. [本文引用:1]
[16] CiteULike. Frequently Asked Questions[EB/OL]. [2013-03-08]. http://www.citeulike.org/faq/faq.adp. [本文引用:1] [JCR: 9.772]
[17] Faculty of 1000. F1000 Research―Join Us and Shape the Future of Scholarly Communication [EB/OL]. (2012-01-30). [2013-03-08]. http://f1000research.com/2012/01/30/f1000-research-join-us-and-shape-the-future-of-scholarly-communication-2/. [本文引用:1]
[18] Github. User Guide for the CSL Editor[EB/OL]. [2013-05-01]. https://github.com/citation-style-editor/csl-editor/wiki/User-guide-for-the-CSL-Editor. [本文引用:1]
[19] Mendeley. Make Your Citations Look Exactly How They Should with Mendeley’s Visual Citation Style Editor[EB/OL]. [2013-05-01]. http://blog.mendeley.com/academic-features/make-your-citations-look-exactly-how-they-should-with-mendeleys-visual-citation-style-editor/. [本文引用:1]
[20] Elsevier. Elsevier Welcomes Mendeley[EB/OL]. (2013-04-08). [2013-04-09]. http://elsevierconnect.com/elsevier-welcomes-mendeley/. [本文引用:1]
[21] Zotero. Zotero 4. 0 Launches [EB/OL]. (2013-04-11). [2013-05-01]. http://www.zotero.org/blog/zotero-4-0-launches/. [本文引用:1]
[22] PLoS API. Article-Level Metrics Source[EB/OL]. [2012-11-04]. http://api.PLoS.org/alm/sources/. [本文引用:1]
[23] PLoS ONE. Summary Excel File [EB/OL]. [2013-06-06]. http://www.PLoSone.org/static/PLoS-alm.zip. [本文引用:1]
[24] PLoS. Alm_report_2013-05-20 [EB/OL]. (2013-05-20). [2013-06-06]. http://article-level-metrics.PLoS.org/files/2012/10/alm_report_2013-05-20.csv.zip. [本文引用:1]
[25] PLoS ONE. Article-Level Metrics Information[EB/OL]. [2013-06-06]. http://www.PLoSone.org/static/almInfo. [本文引用:1]
[26] Usage Data Help[EB/OL]. [2013-06-06]. http://www.PLoSone.org/static/usageData. [本文引用:1]
[27] Galligan F, Dyas-Correia S. Altmetrics: Rethinking the Way We Measure[J]. Serials Review, 2013, 391): 56-61. [本文引用:1]
[28] Priem J, Piwowar H A, Hemminger B M. Altmetrics in the Wild: Using Social Media to Explore Scholarly Impact[EB/OL]. [2013-04-07]. http://arxiv.org/html/1203.4745v1. [本文引用:1]
[29] Impactstory. Classes of Platform and Tool That Provide Data for Altmetrics Applications[EB/OL]. [2013-05-01]. http://www.impactstory.org/faq#toc_3_7. [本文引用:1]
[30] Plum Analytics. Plum Metrics[EB/OL]. [2013-04-07]. http://www.plumanalytics.com/. [本文引用:1]
[31] Plum Analytics. Current List of Metrics[EB/OL]. (2013-05-17). [2013-06-17]. http://www.plumanalytics.com/metrics.html. [本文引用:1]
[32] 张晓林. 开放获取、开放知识、开放创新推动开放知识服务——3O会聚与研究图书馆范式再转变[J]. 现代图书情报技术, 20132): 1-10. (Zhang Xiaolin. Open Access, Open Knowledge, and Open Innovation Pushes for Open Knowledge Services——3O Convergence and a New Paradigmatic Shift for Research Libraries[J]. New Technology of Library and Information Service, 20132): 1-10. ) [本文引用:1] [CJCR: 1.073]
[33] Neylon C, Wu S. Article-Level Metrics and the Evolution of Scientific Impact[J]. PLoS Biology, 2009, 711): e1000242. doi: 10.1371journal.pbio.1000242. [本文引用:1] [JCR: 12.69]
[34] Priem J, Taraborelli D, Groth P, et al. Altmetrics: A Manifesto[EB/OL]. [2013-04-07]. http://altmetrics.org/manifesto/. [本文引用:1]
[35] RSC. Royal Society of Chemistry Integrates New Online Metrics Monitoring into Its Scientific Journals[OL]. [2013-09-11]. http://www.rsc.org/AboutUs/News/PressReleases/2013/Altmetric-partnership-article-level-metrics.asp. [本文引用:1]
[36] Liu J. The Royal Society of Chemistry Integrates Altmetric Badges[OL]. [2013-09-11]. http://www.altmetric.com/blog/. [本文引用:1]
[37] Royal Society. Royal Society Signs up to DORA[OL]. [2013-10-23]. http://royalsociety.org/news/2013/Royal-Society-signs-DORA/. [本文引用:1]
[38] San Francisco Declaration on Research Assessment[OL]. [2013-06-24]. http://am.ascb.org/dora/. [本文引用:1]
[39] Palmer L A. Altmetrics and Institutional Repositories: A Health Sciences Library Experiment[EB/OL]. (2013-05-05). [2013-06-06]. http://escholarship.umassmed.edu/lib_articles/142. [本文引用:1]