引用本文
金玮, 赵蓉英, 殷鸽. .用户在社会化引文软件中的阅读数据积累程度与有效性分析——以Altmetrics指标为例[J]. 现代图书情报技术, 2015,31(11): 75-81
Jin Wei, Zhao Rongying, Yin Ge. .An Analysis of the Accumulation State and the Validity of User Readership Data in Online Reference Managers ——Take the Indicators of Altmetrics as an Example. New Technology of Library and Information Service,2015,31(11): 75-81  
Permissions
Copyright©2015, 《现代图书情报技术》编辑部
《现代图书情报技术》编辑部
用户在社会化引文软件中的阅读数据积累程度与有效性分析——以Altmetrics指标为例
金玮, 赵蓉英, 殷鸽
武汉大学信息管理学院 武汉 430072
金玮, ORCID: 0000-0003-4338-9100, E-mail: butterfly_701c@163.com。
摘要

目的 研究目前Mendeley中文献用户阅读数据是否得到充分积累, 及其能否揭示优质文献, 对Altmetrics中用户阅读数据指标在科学评估中的价值进行评价。方法 选定文献集合, 对Web of Science、Google Scholar上被引数目与Mendeley上用户阅读数目进行统计和相关性分析。结果 在研究集合中, 用户阅读数据相比原先得到良好的积累, 且和文献被引数据保持良好的相关度, 但高被引文献的被引数据与用户阅读数据的相关度相比总体相关度较低。【局限】文献样本集合仅针对所选定的特定学科和期刊, 在数据的代表性和全面性上存在不足, 是否能推广至其他领域有待进一步研究。结论 在Altmetrics各类指标中, 以Mendeley的用户阅读数据代表的用户阅读数据是评价文献质量的良好指标, 可对引文分析进行补充。

关键词: Altmetrics; 社会化引文软件; 用户阅读数据; 科学评估
中图分类号:G250
An Analysis of the Accumulation State and the Validity of User Readership Data in Online Reference Managers ——Take the Indicators of Altmetrics as an Example
Jin Wei, Zhao Rongying, Yin Ge
School of Information Management, Wuhan University, Wuhan 430072, China
Abstract

[Objective] The research investigates whether user readership data in Mendeley is reliable and useful in evaluating scientific literatures and whether user readership data can reveal high quality articles, to validate the indicators of Altmetrics in scientific evaluation. [Methods] The paper selects a number of articles, collects these articles’ citations in Web of Science (WoS) and Google Scholar (GS) and user readership data in Mendeley, and then makes statistical and correlational analyses. [Results] Mendeley has accumulated much more user data than before. Articles’ user readership data have strong relationship with the citations in WoS and GS. However, the relationship between user counts and citations in the articles that have highest citations in WoS is relatively weaker. [Limitations] In this research, articles come from less journals in a specific field, that may make it be lack of representativeness and comprehensiveness. [Conclusions] User readership data could be useful to act as a supplement of present scientific evaluation indicators.

Keyword: Altmetrics; Online; social; reference; manager; User; readership; data; Scientific; evaluation
1 引 言

研究成果的评价作为科学研究中的重要一环, 能够帮助科研人员发掘研究的实际价值, 为科学研究的发展提供积极的引导作用。自引文分析以及影响因子的提出以来[1, 2], 基于引文分析的科学评价方法沿用至今。然而, 这种方式存在一定的缺陷并引起了学者的关注[2, 3, 4, 5]。许多学者进行了多方面的尝试以补充引文分析的不足, 包括将文献的在线阅读量、下载量、社会网络中的引用等方式[6, 7, 8]作为评价文献和期刊的补充, 同时提出了数种新的评价指标[9, 10, 11], 其中, Altmetrics在上述评价指标中得到了最广泛的关注。Altmetrics是一种基于社会网络媒体、数字图书馆以及引文管理软件等平台上的数据对科学产品进行综合评价的方法[12]。因其数据来源广泛、开放、产生评价结果快、可评价对象多样等良好的特性[13]而得到越来越多学者的重视, 并且产生了成熟的关于Altmetrics的数据分析平台和研究会议[14]。

当前有关Altmetrics的一个重要领域是对Altmetrics指标的有效性进行验证, 其中最普遍的方式是将Altmetrics指标和原有的引文数据进行相关性分析, 多项实证研究表明, 一些Altmetrics数据与引文数据确实存在相关性[15, 16]。其中, 以Mendeley为代表的社会化引文管理软件上的用户阅读数据是数据积累量和文献覆盖比例最为突出的指标[17, 18]。在此前的研究中, 用户阅读数据的累积量较低, 难以利用该指标评估文献的价值[18, 19]。但随着近年来社会化引文管理软件迅速地推广使用, 用户的阅读行为数据得到了大量的积累, 有必要重新评估此类数据揭示文献价值的能力。

基于此, 本研究在原有研究基础上, 基于社会化引文阅读软件Mendeley进行分析, 进一步考察Altmetrics指标中的用户阅读数据指标与期刊文献被引数目的联系。研究旨在验证用户在社会化引文管理软件上的阅读数据是否得到一定的积累, 同时仍将传统的文献被引数目作为优质文献的代表性特征, 进一步探究用户阅读数据能否用于评价期刊文献的质量, 同时发掘优质文献。

2 研究背景

对Altmetrics各种指标进行的实验评价中, 逐渐形成了对于社会化引文阅读软件的讨论与关注, 并以此展开了进一步研究。

(1) 有关Altmetrics指标和数据源的有效性验证目前已广泛展开。Sud等阐述了对于Altmetrics有效性的各种评价方式, 包括计算与原有引文指标的相关性等4类, 并对各种评价方式提出了使用建议[20]。王睿等选取高Altmetrics指标文献为样本, 研究发现Altmetrics和引文数据两种指标反映出读者对文献的不同关注方向, 且高Altmetrics指标文献具有较高的学术影响力[21]。De Winter通过所选文献集合分析发现, 文献被引数目和Twitter相关度低, 而与Mendeley和Facebook显著相关[15]。基于对Altmetrics各项指标的实证研究可发现, 在Altmetrics各类指标中, 社会化阅读软件的数据质量较好, 有着更为良好的研究评价意义。

(2) 在社会化软件的研究过程中, Mendeley较其他平台体现出更多的优势。Mendeley较其他社会媒体提供了更多的计量数据[18]; Li等通过考察选定期刊上的文献引文数据与社会化软件阅读数据的相关性, 发现Mendeley相比CiteULike具有更为良好的相关性[19]; 由庆斌等收集Mendeley平台中的指标数据, 利用相关性分析法筛选指标, 并构建Altmetrics评价模型证实其与引用评价模型的评价结果具有一定的一致性[22]。刘春丽等发现F1000中的Ffa因子, Googel Scholar中被引数和Mendeley中读者数之间存在一致性[23]; Mohammadi等对Web of Scince上的引文数据及Mendeley的阅读数据进行相关性分析, 拥有非零阅读数据的文献其阅读数据与被引数据的相关度在0.366至0.514之间, 论证了Mendeley的读者数据可以作为一个有效的补充[24]。

尽管许多研究证实Altmetrics中社会化阅读软件部分指标与传统引文数据存在显著相关, 当下的实验也反映出一些难以回避的问题。用户层面的调查反映出, 多数用户在社会网络中存在度不高[25], 平台上积累的数据量太小且局限于科学文献[12]。

Altmetrics中社会化阅读软件的部分指标与引文分析的一致性得到了验证。然而, 用户数据前期累积程度不高的问题, 成为Altmetrics发展的障碍。同时, 作为一项数据累积迅速的指标, 多数研究却仅考查了数据集中的Altermetric指标整体与引文分析的相关度, 尚未有研究验证其揭示优质文献的能力。本文在上述背景下, 选取具有良好研究价值的Mendeley为对象对Altmetrics做出进一步研究。

3 研究框架与方法
3.1 研究问题阐述

传统的引文分析方法虽然存在种种缺陷, 但目前仍是科学研究文献评价的主要依据。Sud等在评述验证Altmetrics指标有效性的各种方法中, 同样认可了计算现有指标与原有的引文分析指标相关性的方法[20]。

因此, 本研究基于以下假设展开, 即任何有意义的文献评估指标都应与传统的引证指标具有良好的相关性。

研究选取Web of Science(WoS)和Google Scholar (GS)上的文献引证数目表征传统的引证指标, 选取用户在Mendeley上的文献阅读数据作为待验证指标, 分析两者之间的相关性。基于以上假设, 研究问题如下:

(1) 问题一: 验证用户阅读数据是否得到充分积累, 并验证用户阅读数据与传统引文分析之间是否存在相关性。即探索文献在WoS及GS上的被引数目和Mendeley上的阅读量是否存在显著线性相关性。

(2) 问题二: 验证用户阅读数据能否良好地揭示优质文献。即探索在WoS上被引次数较多的文献与该文献的用户阅读数据之间的相关性, 以及探索在Mendeley上被阅读次数较多的文献与该文献在WoS上被引次数之间的相关性。

3.2 研究设计与方法阐述

(1) 数据收集方法

为兼顾学科代表性及被选期刊和文献的质量, 本文选定WoS数据库中图书馆及信息科学领域的文献(Library and Information Science)作为研究对象。并以SSCI中该领域2014年影响因子前10的期刊在2011年全年发表的正刊文献为研究对象, 使得被引数目可以更好地用于表征优质文献。选择上述期刊和文献集合的原因是, 此前的研究指出文献的引证一般需要三年达到顶峰[26], 同时在此前基于相关性的Altermetric指标评价中, 同样选取了三年前发表文献的引文和用户阅读数据进行研究[19, 24]。

在WoS和GS中查找所有选定期刊在2011年发表的文献, 获取其引证数据作为研究集合。其中WoS中引证数据作为主要研究对象, GS中的引证数据作为对比参考, 同时在Mendeley中对于研究文献集合获取其用户阅读数据。

(2) 数据分析方法

利用SPSS 17.0对所有文献的被引数据和用户阅读数据进行统计以及相关性检验, 根据相关性检验结果验证研究问题一。利用SPSS 17.0计算WoS上被引次数较多的文献与该文献的用户阅读数据之间的Pearson相关系数, 计算Mendeley上被阅读次数较多的文献与该文献在WoS上被引次数之间的Pearson相关系数, 根据相关系数之间的对比结果验证研究问题二。

4 研究过程
4.1 确定研究期刊及文献集合

在WoS 中检索得到2014年图书馆及信息科学领域中影响因子前10的期刊, 同时统计该期刊在2011年全年的文献数目和名称。考虑到文献的质量及Mendeley上的收录情况, 仅保留收录期刊的数据库所收录的文献条目, 同时去除Editorial、Notes、Comments、Letters和Book Reviews等非正刊文献条目, 不同期刊的类目名称有所不同, 最终检索得到研究文献合计835篇, 如表1所示:

表1 影响因子前10的期刊及其文献数目
4.2 确定被引数目与阅读数目

在WoS及GS中检索研究文献集内各文献的被引数目, 得到全部所需文献被引数目。在Mendeley中检索研究文献集内各文献的用户阅读数目。对于某些难以获得用户阅读数目的文献, 在期刊被收录的数据库中查找文献所在页面, 在Altmetrics.com中根据文献的DOI编号获取其在Mendeley中的用户阅读数据。

为保证被引和被阅读数目不在数据收集的时间段内发生显著变化, 收集2014年11月29日至2014年12月2日期间的数据。对于所有收集数据, 得到基本统计结果, 如表2所示:

表2 文献被引和阅读数据统计结果

根据表2可知, GS中记录的被引数目远高出WoS中记录的被引数目, 而Mendeley的用户阅读数据明显高出GS记录的被引数目。所有文献的数据中, 文献被引量或被阅读量最小值均为0, 其中Mendeley上的用户阅读数据为零的文献最少。在WoS中被引次数前10的文献的Mendeley用户阅读量如表3所示。同时, 对于文献集合内在Mendeley上阅读数量前10的文献在WoS中的被引次数如表4所示：

表3 WoS被引次数前10文献及其阅读量
表4 Mendeley阅读数量前10文献及其被引次数

结果显示, 两项排名均在前10的文献仅有3篇, 一些被引数目排名靠前的文献往往在Mendeley的用户阅读数据排名上并不靠前, 但Mendeley上用户阅读数排名靠前的文献其引文数量排名均相对靠前。

4.3 相关性计算

(1) 研究计算WoS被引数目、GS被引数目、Mendeley用户阅读数目三者之间的Pearson相关性, 结果如表5所示:

表5 Pearson相关性计算结果1

三者数据均呈现高度相关。其中, GS和Mendeley的相关性超过了WoS和GS的相关性, 而WoS和Mendeley的相关性最低。

(2) 计算在WoS、GS中高被引的文献集合以及高Mendeley阅读量的文献中, 三项数据的相关度。

选取WoS被引数约为前100(≥ 17)、GS被引数约为前100(≥ 49)和Mendeley阅读数约前100(≥ 57)的文献作为数据集合(注), 进行Pearson相关性检验得到结果, 如表6所示。(由于有多篇文献的被引数据或Mendeley阅读数据同时达到最低限, 这些文献被一同纳入计算, 故而上述三个文献集合包含的文献数目并非严格等于100。)

表6 Pearson相关性计算结果2

对于Mendeley中高阅读量文献集合而言, Mendeley阅读数量与引证数目仍然保持了良好的线性相关度, 表明Mendeley上拥有高阅读量的文献往往也是高被引文献。然而在两类高被引文献集合中, WoS被引数据和Mendeley阅读数据的相关系数明显降低, 即许多高被引文献的Mendeley阅读数据可能并不高, 这一点在表3中同样得到体现。值得关注的是, GS被引数据和Mendeley阅读数据的相关系数依旧保持了高度稳定, 而且仍比WoS及GS的被引数据的相关系数更高。

5 研究结果与讨论
5.1 研究结果

研究结果显示, 在当前环境下, Mendeley中的文献用户阅读数据已经得到了大量累积。原有研究中发现的数据稀少、文献收录不全的情况[12]得到了很大程度的改善。在统计意义上, 当下Mendeley的用户数据大于文献被引数目, 用户数据为零值的文献少于被引数为零的文献, 证明了Mendeley的使用已经日趋成熟, 对其开展统计分析更加具有价值。

对于研究问题一, 根据表5, Mendeley的文献阅读数据与WoS以及GS的文献被引次数呈现高度显著相关, 证明了用户阅读数据和传统评价中的文献被引数据具有一定的一致性, 预示着用户在社会化平台上的阅读数据可被用来进行学术影响力评价。而其中, 由于Mendeley平台良好的普及性和活跃度, 未来依据此平台开展学术影响力评价的前景广阔。

对于研究问题二, 根据表6, 对于Mendeley平台上高用户阅读量的文献集合, 其阅读数据与WoS及GS的被引数据呈现显著相关, 而且其相关度大小与整个文献集合的相关性数据接近。然而, 对于WoS上被引量高的文献集合, 虽然文献在WoS被引数据仍然与其在Mendeley上的阅读数据显著相关, 但相关系数大大降低。两项结果表明, 一篇文献的高阅读量能很大程度上代表文献得到较多被引, 显示这篇文献具有高价值, 但阅读数据只能帮助研究人员发掘一部分优质文献。在高被引的文献中, 仍有大量的优质文献并不能通过阅读数据进行发掘。

对于文献阅读量和被引量的关系, 若高被引能够导致文献的高阅读量, 那么阅读量不高的文献必然被引量也不高。然而在研究过程中发现存在大量阅读数不高但是被引却排名靠前的文献。同时在所研究的文献集合中, Mendeley上用户阅读量排名靠前的文献其被引量排名均相对靠前, 因此在本研究领域中, 更有可能是文献的高阅读量和关注度引发了高被引, 而非高被引导致了高阅读量。

此外, 对于三者间相关性的研究发现。对比WoS上的文献被引数据, GS上的被引数据和Mendeley的文献阅读数据的相关性更大。由于GS的数据同时包含该平台的社会化属性和文献的引证属性, 与Mendeley相关性更高可能代表GS在实质上更加具有社会化的内涵。

5.2 研究局限性

(1) 本研究选取SSCI中图书馆及信息科学领域2014年影响因子排行前10的期刊在2011年全年的所有正刊文献进行分析。在本研究中, 虽然利用多本期刊的文献数据对学科进行了概括, 然而选择的期刊全部来源于影响因子较高的期刊, 在将本结论应用于整个学科, 乃至整个学术科研领域中存在局限。

(2) 本研究将期刊在社会化平台的阅读数量与期刊的被引数目的线性相关性作为评价阅读数据的标准。虽然结论证实两者之间确实存在较高的相关性, 然而并不能简单地以此认定文献的高阅读量一定会在未来带来高被引, 乃至认定为优质文献。因此该研究还需要更进一步深入, 例如继续比较阅读量与同行评审之间的关系等。

(3) 在处理社会化管理软件上的用户行为数据时也可能存在漏洞。在研究中, 简单地认为每一个账户仅对应一个作者, 即对某篇文献产生的每一条阅读数据都是来源于不同且唯一的读者。忽视了读者的多账号持有和多人共享账号的可能, 以及可能存在的人为故意抬高阅读数目情况。

6 结 语

本研究利用SSCI中图书馆及信息科学领域2014年影响因子排名前10的期刊于2011年发表的全部正刊文献作为样本, 收集文献在WoS、GS上的引证数据及Mendeley上的用户阅读数据, 并据此进行统计分析及相关性分析。根据统计结果, Mendeley阅读数据现今得到了大量积累, 该平台也吸引了大量的用户, 并且得到了广泛的使用; 根据相关性分析结果, 用户阅读数据与WoS及GS上的文献引证数据存在较高的相关性, 验证了其能够作为一项有良好可信度的文献评价指标。然而高被引文献的被引数据与其对应的阅读数据相关度较低, 显示Mendeley阅读数据在揭示优质文献的能力上可能存在一定的欠缺。尽管如此, Mendeley因其较大的文献收录量、充足的用户数据, 以及与传统引文分析相关的评价指标, 而具有良好的研究价值。

参考文献
[1] Garfield E. Citation Indexing for Studying Science[J]. Nature, 1970, 227(5259): 669-671. [本文引用:1]
[2] Garfield E. Citation Analysis as a Tool in Journal Evaluation[J]. Science, 1972, 178(4060): 471-479. [本文引用:2]
[3] McSweeney P, Prince R, Hargood C, et al. Aggregated Erevnametrics: Bringing Together Alt-metrics Through Research Objects [C]. In: Proceedings of the 2011 ACM Web Science Conference, Koblenz, Germany. 2011. [本文引用:1]
[4] MacRoberts M H, MacRoberts B R. Problems of Citation Analysis: A Study of Uncited and Seldom-Cited Influences[J]. Journal of the American Society for Information Science and Technology, 2010, 61(1): 1-12. [本文引用:1]
[5] MacRoberts M H, MacRoberts B R. Problems of Citation Analysis[J]. Scientometrics, 1996, 36(3): 435-444. [本文引用:1]
[6] Alhoori H, Furuta R. Can Social Reference Management Systems Predict a Ranking of Scholarly Venues [A]. // Research and Advanced Technology for Digital Libraries[M]. Springer Berlin Heidelberg, 2013. [本文引用:1]
[7] Thelwall M. Journal Impact Evaluation: A Webometric Perspective[J]. Scientometrics, 2012, 92(2): 429-441. [本文引用:1]
[8] Brody T, Harnad S, Carr L. Earlier Web Usage Statistics as Predictors of Later Citation Impact[J]. Journal of the American Society for Information Science and Technology, 2006, 57(8): 1060-1072. [本文引用:1]
[9] Sutherland W J, Goulson D, Potts S G, et al. Quantifying the Impact and Relevance of Scientific Research[J]. PLoS One, 2011, 6(11): e27537. [本文引用:1]
[10] Tarrant D, Carr L. Using the Co-Citation Network to Indicate Article Impact [C]. In: Proceedings of the 2011 ACM Web Science Conference, Koblenz, Germany. 2011. [本文引用:1]
[11] González-Pereira B, Vicente G B, Moya-Anegón F. A New Approach to the Metric of Journals’ Scientific Prestige: The SJR Indicator[J]. Journal of Informetrics, 2010, 4(3): 379-391. [本文引用:1]
[12] Torres-Salinas D, Cabezas-Clavijo Á, Jiménez-Contreras E. Altmetrics: New Indicators for Scientific Communication in Web 2. 0 [OL]. arXiv: 1306. 6595. [本文引用:3]
[13] Bornmann L. Do Altmetrics Point to the Broader Impact of Research? An Overview of Benefits and Disadvantages of Altmetrics[J]. Journal of Informetrics, 2014, 8(4): 895-903. [本文引用:1]
[14] Roemer R C, Borchardt R. From Bibliometrics to Altmetrics: A Changing Scholarly Land scape[J]. College & Research Libraries News, 2012, 73(10): 596-600. [本文引用:1]
[15] De Winter J C F. The Relationship Between Tweets, Citations, and Article Views for PLoS One Articles[J]. Scientometrics, 2014, 102(2): 1773-1779. [本文引用:2]
[16] Thelwall M, Haustein S, Larivière V, et al. Do Altmetrics Work? Twitter and Ten Other Social Web Services[J]. PLoS One, 2013, 8(5): e64841. [本文引用:1]
[17] Haustein S, Peters I, Bar-Ilan J, et al. Coverage and Adoption of Altmetrics Sources in the Bibliometric Community[J]. Scientometrics, 2014, 101(2): 1145-1163. [本文引用:1]
[18] Zahedi Z, Costas R, Wouters P. How Well Developed are Altmetrics? A Cross-Disciplinary Analysis of the Presence of ‘Alternative Metrics’ in Scientific Publications[J]. Scientometrics, 2014, 101(2): 1491-1513. [本文引用:3]
[19] Li X, Thelwall M, Giustini D. Validating Online Reference Managers for Scholarly Impact Measurement[J]. Scientometrics, 2012, 91(2): 461-471. [本文引用:3]
[20] Sud P, Thelwall M. Evaluating Altmetrics[J]. Scientometrics, 2014, 98(2): 1131-1143. [本文引用:2]
[21] 王睿, 胡文静, 郭玮. 高Altmetrics指标科技论文学术影响力研究[J]. 图书情报工作, 2014, 58(21): 92-98.
(Wang Rui, Hu Wenjing, Guo Wei. Research on Academic Influence of High Altmetrics Sci-tech Papers[J]. Library and Information Service, 2014, 58(21): 92-98. ) [本文引用:1]
[22] 由庆斌, 韦博, 汤珊红. 基于补充计量学的论文影响力评价模型构建[J]. 图书情报工作, 2014, 58(22): 5-11.
(You Qingbin, Wei Bo, Tang Shanhong. Evaluation Model Construction to Evaluate Article’s Influence Based on Altmetrics[J]. Library and Information Service, 2014, 58(22): 5-11. ) [本文引用:1]
[23] 刘春丽, 何钦成. 不同类型选择性计量指标评价论文相关性研究——基于 Mendeley、F1000和Google Scholar三种学术社交网络工具[J]. 情报学报, 2013, 32(2): 206-212.
(Liu Chunli, He Qincheng. Study on Correlation of Different Altmetrics Indicators for Paper Evaluation Based on Three Academic Social Networking Tools: Mendeley, F1000 and Google Scholar[J]. Journal of the China Society for Scientific and Technical Information, 2013, 32(2): 206-212. ) [本文引用:1]
[24] Mohammadi E, Thelwall M. Mendeley Readership Altmetrics for the Social Sciences and Humanities: Research Evaluation and Knowledge Flows[J]. Journal of the Association for Information Science and Technology, 2014, 65(8): 1627-1638. [本文引用:2]
[25] Mas-Bleda A, Thelwall M, Kousha K, et al. Do Highly Cited Researchers Successfully Use the Social Web?[J]. Scientometrics, 2014, 101(1): 337-356. [本文引用:1]
[26] Moed H F. Citation Analysis in Research Evaluation[M]. Springer Netherland s, 2006. [本文引用:1]