引用本文
顾立平. 开放数据计量研究综述:计算网络用户行为和科学社群影响力的Altmetrics计量*. 现代图书情报技术, 2013, 29(6): 1-8
Ku Liping. Reviews of the Open Data Metric Studies:An Alternative Metric (Altmetrics) for Calculating the Online User Behavior and the Scientific Community Impact. New Technology of Library and Information Service, 2013, 29(6): 1-8  
Permissions
开放数据计量研究综述:计算网络用户行为和科学社群影响力的Altmetrics计量
顾立平
中国科学院国家科学图书馆 北京 100190
修回日期:2013-06-03
基金:本文系中国科学院国家科学图书馆指向性人才研究基金资助项目“科技信息政策研究与咨询”(项目编号:馆1203)的研究成果之一。
摘要

简要介绍Altmetrics利用社会网络使用数据来推荐信息检索排名次序以及与其他影响指标改变学术评价方式的优势。经过案例观察分析,描绘Altmetrics.com的开放数据框架,特别是它对论文级别计量的专业服务。着重分析两篇可以提升实证检验方法的核心文章,形成简要的可操作的工作流程;讨论开放存储、开放出版支持与新的嵌入研究团队的信息服务等图书馆新的知识服务议题。

关键词: 替代计量; 影响测度; 使用网络; 引用网络; 社会网络; 开放科研数据; 论文级别计量
Reviews of the Open Data Metric Studies:An Alternative Metric (Altmetrics) for Calculating the Online User Behavior and the Scientific Community Impact
Ku Liping
National Science Library, Chinese Academy of Sciences, Beijing 100190, China
Abstract

This paper introduces what the advantages of Altmetrics that by using the social network usage data to recommend the information retrieval ranking order and with the other impact index to change the scholar evaluation approach. By using the case observation analysis, the author draws-up the open data framework of the Altmetrics.com, focuses on its specialized service for the Article-Level Metrics. For discussion on the library new knowledge service issue in the open repository, open publishing supporting and the new research-group-embed information service, the two core articles which can improve the empirical validation method are simplified as a brief operational workflow.

Keyword: Alternative metrics; Impact measure; Usage network; Citation network; Social network; Open research data; Article-Level Metrics
1 Altmetrics的特性和优势
1.1 学术交流体系的变化与Altmetrics的优势

科技信息学术交流体系,已经向开放获取、开放知识和开放创新的方向前进,对知识服务提出了更高的要求和挑战。新的开放知识服务模式(Open Knowledge Services)包括[ 1]:将图书馆作为支持用户创新的平台,以及经过发现、遴选、集成和提供开放资源、开放分析工具、个性化组织与管理、政策整合规划等,将图书馆发展为开放的公共知识服务创新平台。因此,图书馆需要积极掌握各种分析和遴选工具,实施各种参与开放科学的实践工作。

近期,一种开放数据计量服务Altmetrics正在悄然崛起,它的别称Alternative Metrics或可译为“另类计量”或者“替代计量”。Piwowar[ 2]总结它具有4种潜在优势:

(1)提供更为细致的影响力分析,如同引用数据一般,学术产出的阅读、讨论、存储和评论都可被计算。

(2)提供实时更新的数据,可以评估一天而不是一年的影响力。

(3)网民对学术产出的影响,例如数据集、软件、博客、视频等。

(4)受到各种不同受众的影响,包括学者、从业人员、临床医生、教育家和一般大众。

Altmetric.org[ 3]显示4种不同的评量方法,如图1所示:

图1 4种不同的评量方法[ 3]

其中“使用”是指来自数据库商、学术信息集成商、开放机构知识库的统计内容;“同行评审”是指由评论、注释形成的众包(Crowdsource)专家意见;“引用”是指根据文末参考文献进行的各种影响因子分析以及学术(Academy)以外的各种引用;“Alt-metrics”则是Web2.0方式下的统计数据。

在新型学术交流体系中,同行评议不仅只有已经刊出的期刊论文,广泛含义下的同行评议,也包括前出版(Pre-Publication)和后出版(Post-Publication)的过程。例如类似arX.org的服务,作为支持开放学术交流体系和支撑开放学术出版的开放存储系统,在物理、数学、计算机、计量生物、统计等领域具有广泛影响[ 4]。因为开放资源工具是为了支持不同用户进行协调合作,所以为科研和教育领域的从业人员提供了新的机遇。如何深入了解技术、如何运用技术解决政策问题以及如何运用政策指导开放科学的健全发展,都是这个时代的新挑战[ 5]。在这种背景下,Altmetrics提供了另一种计算网络用户行为和观察学术圈影响力的视角,其机理值得深入研究。

1.2 Altmetrics的特性

有别于传统评价科研成果的引用计量(Citation Metrics), Altmetrics具有更为广泛的同行评审的特性。它将社会媒体、社会标签、社会网络、社群网站等的用户行为, 包括浏览、下载、评论、标引、注释等, 均视作一种可供计算的用户使用数据(User Usage Data)。Neylon等[ 6]认为论文级别计量(Article-Level Metrics, ALMs)可以提供特定项目、来自不同类型学术影响的最新消息,可以帮助研究人员筛选信息,以更快更轻松的方式找到相关的研究。这种新型的学术交流模式也受到Altmetrics的支持。从科研价值评量的角度来看,学术交流的表达方式越来越多样,Priem 等[ 7]认为Altmetrics可以组织开放数据并且呈现直观的可视化内容:

(1)分享数据集、代码和实验设计的“原生/原始/茁科学”(Raw Science)。

(2)发布参数或者语义内容而非整篇文章。

(3)以博客、微博和评论在既有工作上进行批注等。

本文分析Altmetrics的数据模型框架,并且在前期建立专利排名算法[ 8]及知识元库[ 9]等的基础上,经过文献调研,梳理其计算原理。在数据模型和计算原理的基础上,梳理最新有关Altmetrics的文献内容,简要归纳图书馆应用Altmetrics实施开放获取、开放知识和开放创新等情报服务的方式。

2 Altmetrics的开放数据模型

在Altmetrics.org之后,提供商业服务的Altmetrics.com对开放数据模型进行深度开发,形成具有跨越平台,进行多源(不同数据来源)、多向(不同数据推送)、多重(不同数据服务)的动态的功能集结系统(不是静态的系统整合功能),嵌入到信息出版商、集成商、系统商、数据供应商和共享组织等的具体作用中。Altmetrics.com[ 10]显示操作Altmetrics的方式,如图2所示:

图2 操作Altmetrics的方式[ 10]

2.1 社会网络数据的开放数据存储与接口

Altmetrics可以针对论文、网站、博客、数据集、灰色文献、软件等,进行各种社会软件的网络用户行为计量。Konkiel[ 11]表示:阅读(Viewed)、下载(Downloaded)、引用(如PubMed, CrossRef, Scopus, Wikipedia, DOI, Web of Science)、重用(如GitHub)、共享(如Facebook, Twitter)、标引(如Mendeley, CiteULike, Delicious)、评论(如Twitter, Mendeley, Blogs, Publisher Websites, Wikipedia)等均可被Altmetrics计算。所以,它的运行机制主要依赖社会软件所提供的开放数据。

进入Altmetrics数据库中的所有外部API都通过IP进行控制。对于进行特殊应用或者长期大量数据传输的用户、以及个别采用混搭/汇融(Mash-up)或者应用程式界面的机构,可以申请参数名称。申请之后,会得到一个密钥(Key)[ 12],如:“http:// api.altmetric.com/v1/ id/241939?key=xxx”。

2.2 开放数据的系统交互性

如果分析层次在单篇论文,则必须根据一套具体的机械可读的标识符,确定该篇论文或者数据集的有效指涉对象。在Altmetrics中给出5种常见通用的ID参数[ 13, 14, 15, 16, 17],整理如表1所示。查询其中一种,理论上可以同时获得另外4种。

表1 在Altmetrics的5种ID参数
在Altmetrics数据库中,系统自动生成的唯一标识符是Altmetric Article ID,也是标识指涉对象(Object),如一篇文章的具体编号,由于通过数据传输,而取得来自DataCite、PubMed、arXiv.org等开放存储的开放数据,因此Altmetric将各种ID对应到Altmetric ID上,实施统一知识元库(Unified Knowledge Base)的管理。

根据ID参数,可以获得文章或者数据集的反馈指涉对象(Response Object)和其他参数(Parameters)信息。

2.3 论文级别计量的开放数据

在参数中,包括4种主要数据架构:指涉对象的类型(identifier type)、指涉对象(identifier)、资源(include_sources)和章节片段(include_sections)[ 18]。Altmetrics在include_sections这个层次对引号、引文、记分、统计、短信等进行区分,充分发挥可计算性和开放数据的特性。事实上,这个include_sections层次中的实际内容,就是反馈指涉对象(Response Object)的具体信息,也是研究Altmetrics数据模型的关键。笔者整理如表2所示[ 19, 20]:

表2 开放数据的ALM细节
值得注意的是altmetric_score中的context_for_score项中的细节。因为终端用户最后在API上直接看到的数据,来自altmetric_score的成分最多,而且它的混合计算又较为复杂,所以重点在于这类数据数值从何而来。为求方便理解,笔者将其区分为两大类:.

(1)在数据计算(all)方面,在Altmetrics数据库中的统计数字,包括:平均值(mean,即所属数据集内的平均数量)、样本量(sample_size)、拆分值(split,第一条件是数据集中的最高分,第二条件是90%中的最高分,第三条件是80%,往后条件以此类推)、相同或者低于这篇文章的文章数(this_scored_higher_than)、所占排名的百分比(this_scored_higher_than_pct)。

(2)期刊计算方面,包括三种类型:所有在这份期刊中的论文的统计信息(this_journal);在6周内的同样一份期刊中,与此论文有关的统计信息(similar_age_this_journal_3m);在6周内的任何期刊中,与此论文有关的统计信息(similar_age_3m)。

第一种是在整个数据库中,针对单篇论文,运用所有论文的数据,进行ALMs计算;第二种是围绕期刊进行JLMs-ALMs计算,针对单篇论文,运用与之相关的期刊的所有论文,进行ALMs计算。区分这两种计算的意义在于,能够认识到Altmetrics的计算原理。因为对终端用户,如一般浏览论文的读者而言(例如他阅读《Nature》某篇介绍转基因最新发展的会议文章或者演讲视频),第一种显然是Altmetrics与众不同的推荐服务内容。但是,对于若干学科专家而言(例如他阅读“去氧核糖核酸酶的结构”的理论文章),由于学科内容过于精细,需要以期刊群组内的数据进行计算,才能体现某篇文章在学术圈内的价值。而且,更为重要的是,人们如果获得第二种数据,可以对比“基于ALMs的JLMs”和“一般JLMs”的异同,例如对比基于传统文摘数据库的期刊影响力与基于Altmetrics的期刊影响力两者之间的异同。

此外,在demographics和posts中运用到型人(Personas)的概念,人们可以用来筛选数据,也可以用来区分不同用户群组后,给予不同的加权数值。本文省略这部分的讨论。

3 检验Altmetrics的实证方法
3.1 实证验证的思路

Lin等[ 21]认为文章级别计量(ALMs)与期刊级别计量(Journal-Level Metrics, JLMs)具有很大程度的差异:受众不同,公众和学者往往关心的重点不同;维度不同,在影响力、关注力、自我提升等方面,发展科研评量以促进科研发展的方式和角度有所不同;时间节点不同,期刊评价以年度为单位,而Altmetrics等可以计算到月份和当日。这些特性使得Altmetrics能够协助ALMs进行更为“细致”和“精密”的计算。

整个验证步骤可以分为:社会网络计量与期刊引用计量的差异性或者趋同性,以及开放存储下载与开放注释评价的差异性或者趋同性。文献[22]从JLMs的角度、文献[23]从ALMs的角度分别对此进行验证,本文予以合并简化,详述如下。

3.2 指标趋同验证

Bollen等[ 22]从不同数据中心收集开放数据,主要包括:期刊引用数据、期刊引文网络、使用日志数据。根据39种科学影响力指标,建立包括:引文网络、排名算法、使用网络、社会网络等4类测量指标。将指标与指标相对,运用Spearman迭阶相关R矩阵,会产生一个相关矩阵(39×39),利用主成分析法(Principal Component Analysis, PCA)产生层次聚类分析图(Hierarchical Cluster Analysis, HCA)以及方差比例(Proportion of Variance)和累积比例(Cumulative Proportion)。

在PCA之后,是在HCA图上,寻找合适的聚集(Cluster),以帕累托原则(Pareto Principle)(即“二八原则”)进行判断。最后,在新的坐标图上,标明39种指标的对应位置,就得到聚集(Cluster)。

Bollen等[ 22]的研究从实证检验方法,暂时证明期刊引用数据和用户使用数据的趋同性,即根据使用数据所得的排名和根据期刊引用数据所得的排名在方向上是趋于一致的。此外,不论是第一中心点还是第二中心点,均包括以PageRank作为方法组成核心的指标。所以,据此可以开发一系列更为准确的文献相关性推荐或者学术贡献排名等。

3.3 时间延异验证

如果期刊引文计量和用户行为计量,均对高质量和高影响的论文所组成的期刊评价具有一致或者相似的评量结果。那么,在用户行为计量方面,传统使用统计数据(浏览、下载、点选等)和新型使用统计数据(标引、评论、注释等)的举动,是否具有趋同性,是为关键。另外,在ALMs和JLMs的根本性差异中,第三项“时间节点”的差异是否对排名结果造成影响,也很重要。

Shuai等[ 23]从arXiv.org和Twitter各自获得两种迥异的开放数据,即一篇文章发布后,在arXiv.org的下载情况(Downloads)和在Twitter的引述情况(Mentions)。论文从提交(Submission)到下载/引述高峰的时间,是论文被延迟(Delay)关注的时期,而论文从提交到下载/引述高峰,再到逐渐减低至无人关注的时期,是整个跨度日期(Span)。据此形成三种函数:在Twitter的引述数量;在arXiv.org的下载数量;从发布日到分析日的天数。根据三种函数建立三项多元线性回归模型,再比较三者的标准差(Standard Error),选择最优相关性,进行皮尔森相关系数R测量。

Shuai等[ 23]的研究成果能够让人们直观地看到开放存储下载与开放注释评价的趋同性,即随着时间推移,人们关注度的增加和减少,以及两种使用统计(Usage Statistic)在时间轴上趋于一致方向的情况。

3.4 验证模型未考虑的情况

断刊、散刊、合刊、单独论文、论文的单独章节等情况,没有在这个验证模型中考虑。然而由于AMLs的特性,不能排除这几种“例外”情况的统计分析,因为它们实际上在Altmetrics中也在进行各种数值呈现的推荐服务。目前,为求简化,集中探讨了引文网络与使用网络,以及传统使用统计与新型使用统计等,没有被纳入验证模型之中的部分,未来理应纳入计算。

借用Bollen等[ 22]和Shuai等[ 23]所提供的方法和验证结果,几乎可以确立各种指标具有趋同性,而且各种用户行为数据,所呈现的关注度发展,也趋于一致。在此基础上,适当开展关于图书馆如何运用Altmetrics或者利用相同原理开展新的服务,变得稳定可靠。

4 图书馆应用Altmetrics的探讨
4.1 对图书馆服务对象的影响

Alperin[ 24]认为:对发展中国家而言,这些国家地区的经济、政治和技术条件与北美和欧洲地区不同,这些社会需要学术社群关心的议题也有所不同,而Altmetrics的出现,可以提供一种适当平衡公共需求和学术贡献的平台。学术圈内,一向重视学术资历,过去往往以发表期刊论文或者学术专著为主,也有若干专利、项目或者会议发言等。Piwowar等[ 25]认为Altmetrics将对学者履历产生10种影响:

(1)提供传统学术履历表以外的其他信息;

(2)降低不恰当的衡量标准;

(3)揭露那些只是为了出版而出版的工作;

(4)使所有类型的学术产品合法化;

(5)认识到各种影响偏好(不同的受众观点);

(6)奖励能够提供他人重用的实质努力;

(7)鼓励公众参与;

(8)促进定性探索(原“量化”计量方法,不太适合定性研究,但是发布一篇定性研究内容,现在通过Altmetrics可以产生许多量化使用统计数据);

(9)健全科研成果发布的多重选择性;

(10)刺激科研评价的创新。

学者个人履历不只是把著作列表贴在网页上,而是时时刻刻在更新这些列表的“学术贡献”,包括引文和使用两种数据的综合得分。此外,通过Facebook和Twitter等的推荐机制,还能够为学者自动组织对同一个主题都感兴趣的虚拟研究社群。

基于Altmetrics的学者个人履历已经逐渐成为应聘、升职和证明学界地位的一种方式,因此图书馆员可以利用这类数据或者分析方式,进行深度学科化服务咨询工作,为学者专家类型的用户,进行如何使用和提升Altmetrics的服务。

4.2 对图书馆遴选开放获取期刊的影响

开放获取与Altmetrics殊途同归。由于开放获取期刊容易被更多人使用,使得它们被更多人引用,然而,使用文献的方式并不仅仅是在另一篇文献的参考注释中标注,使用文献信息还可以是链接、评论、引文、注释、讨论、保存以及其他交互。Mounce[ 26]认为:作为能够进行即时同行评审的Altmetrics可以为开放获取期刊提供带来正面效益,像是从非科学家(Non-Scientists)中获得大量评价数据,并且能够促使后出版(Post-Publication)的信息过滤(Information Filter)更加容易和准确等。

传统的学术评价方式,是根据纸本期刊中的纸本论文中的参考文献列表,计算一本期刊在2到5年内被引用的情况,然后根据引用数值的高低进行期刊排名,最后形成学者优先投稿哪些期刊的参考依据,并据此形成评价学术质量高低的排名。这是一套“自圆其说”的理论,但是也冒着“套套逻辑”的风险。

开放获取期刊论文内容(Content)的开放程度,包括:可检索、可获取、可使用、可计算等不同开放程度,Altmetrics不是参考前几年的期刊论文的引文数据,而是这几年包括此刻当下的各种被使用情况的综合数据。如此一来,就摆脱了上述传统评价模式中的套套逻辑,而是更加完整地呈现学术质量评估的机制。因为评价结果是时刻变化的,所以学术评价是动态的而不是静态的,这样更加符合开放获取期刊的特性,能够随时被人所用,并且即时反应出来。

因此,图书馆界在支持开放获取期刊发展时,势必考虑到利用Altmetrics或者类似方式,进行期刊评价与遴选的工作。

4.3 对图书馆发展开放知识库的影响

对于机构知识库而言,作为线上活动价值指标的Altmetrics能够带来更多发展空间,将搜索、浏览、社会媒体、受众标引、数据重用等的开放机构知识库的优势扩大。而且,机构知识库为学术圈产生的贡献不是排名或者比较,而是重新审视资源中的相关性,促进检索效率和更为广泛的内容使用。Konkiel等[ 27]认为它对作者的价值体现在:

(1)帮助作者更好地了解读者使用开放获取内容的行为。

(2)作为期刊影响因子的补充,帮助作者记录它们的研究影响力。

(3)知识库管理者据此说服尚未存缴内容的人,实行内容的开放共享。

(4)提供使用统计以外的数据,说明存储开放获取内容的平台价值,与知识库资助者进行更好的沟通。

(5)作为使用统计的补充,帮助制定采集计划、资源分配和推广。

(6)行政管理者据此对内部和外部的利益关系者展示机构的学术影响。

(7)专业评审委员会(职称、终生教职、荣誉奖项等)据此了解研究者实际受到学术团体接纳的程度。

因为存缴在开放知识库中的论文,能够最大程度地被利用和传播,而不受到数据库集成商的控制,所以开放知识库发展类似Altmetrics的功能或者直接使用若干方法,可以增强检索效果、统计与推荐功能、存缴内容被使用的维度等。所以,图书馆可以据此,向广大科研教育人员建议,将论文或者科研数据放置在开放机构知识库,这样能够为作者带来更为广泛的学术贡献和社会贡献。

4.4 对图书馆的情报分析服务的影响

从1960年以来,引文数量(Citation Counts)一直作为判断学术贡献和质量状态的标准,但引文分析(Citation Analysis)越来越多的问题(如时效有限、自我引用、抱团引用、过度受到重视和不完整反映诸如使用量等的情况),正好与Altmetrics的出现形成强烈对比(能够计算社会媒体、社会网络、社群网站、社会标签、博客论坛、图书馆流通量、微博推客等)。

目前Altmetrics正在影响学术评价的发展方向,但是,它的创新以及带来的改革,也造成一些模糊地带。Buschman等[ 28]提出这些问题包括:传统期刊论文势微;网络规模必需够大;关注民意而非论文(People not Papers)等。

是好是坏,各有论述。然而,人们期望Altmetrics在当前开放学术交流体系中,发挥更多的作用。

5 结 语

利用Altmetrics能够帮助发展开放机构知识库以及支持开放获取期刊的发展,同时研究它的数据模型,能够帮助面对开放科研数据的挑战。它的计算方法和评量结果,能够帮助图书馆员获得许多原本不能得到的科研统计数据,协助馆员推展学科化咨询服务以及科技信息政策咨询工作等。

面对各种可能带来的学术交流体系转变,人们对于Altmetrics进行各种介绍[ 29, 30, 31],并且国际知名出版商Nature[ 32]、内容集成商Elsevier[ 33]、系统供应商Ex Libris[ 34]等都开发了Altmetrics服务,日本Altas Co.也已开发基于ALMs和Altmetrics的论文检索系统[ 35, 36]。值得注意的是Altmetrics(Alternative Metrics)和论文级别计量(ALMs)的不同。Tananbaum[ 37]定义Altmetrics是融合多个新的数据来源,用以测量一篇论文、一本期刊,或者一位学者的影响力,而ALMs运用一些传统的(如引用次数)和一些新型的(如推客微博)数据来测量一篇论文的影响力。后续将对ALMs进行深度研究。

本文在实际分析开放数据模型和检验原理的基础上,认为它的服务方式已经成熟,而且还在不断进步中,图书馆员可以开展初步实验。抛砖引玉,是以为文。

参考文献
[1] 张晓林. 开放获取、开放知识、开放创新推动开放知识服务模式——3O会聚与研究图书馆范式再转变[J]. 现代图书情报技术, 2013（2）: 1-10. （Zhang Xiaolin. Open Access, Open Knowledge, and Open Innovation Pushes for Open Knowledge Services——3O Convergence and a New Paradigmatic Shift for Research Libraries[J]. New Technology of Library and Information Service, 2013（2）: 1-10. ） [本文引用:1] [CJCR: 1.073]
[2] Piwowar H. Introduction Altmetrics: What, Why and Where?[J]. Bulletin of the Association for Information Science and Technology, 2013, 39（4）: 8-9. [本文引用:1]
[3] Altmetrics. org. Four Ways to Measure Impact [EB/OL]. (2010-10-26). [2013-04-07]. http://altmetrics.org/wp-content/uploads/2010/10/four-ways-to-measure-impact-copy.png. [本文引用:1]
[4] 张智雄, 顾立平, 张晓林, 等. 组建中国ArXiv服务工作组促进我国有效参与OA活动[J]. 图书情报工作, 2013, 57（1）: 55-59. （Zhang Zhixiong, Ku Liping, Zhang Xiaolin, et al. Establishing ArXiv China Service Group to Promote Open Access Movement in China[J]. Library and Information Service, 2013, 57（1）: 55-59. ） [本文引用:1] [CJCR: 1.193]
[5] 顾立平. 开放科学中的学术交流研究综述[J]. 知识管理论坛, 2013（2）: 9-15. （Ku Liping . Research on the Scholar Communication in Open Sciences[J]. Knowledge Management Forum, 2013（2）: 9-15. ） [本文引用:1]
[6] Neylon C, Wu S. Aricle-Level Metrics and the Evolution of Scientific Impact[J]. PLoS Biology, 2009, 7（11）: e1000242. doi: 101371journal. pbio. 1000242. [本文引用:1] [JCR: 12.69]
[7] Priem J, Taraborelli D, Groth P, et al. Altmetrics: A Manifesto[EB/OL]. [2013-04-07]. http://altmetrics.org/manifesto/. [本文引用:1]
[8] 顾立平. 专利排名算法——运用引用次数与引文网络计算美国专利的研究[J]. 现代图书情报技术, 2011（6）: 14-19. （Ku Liping . PatentRank Algorithm——A Study of Using Cited Time and Citation Network to Calculate U. S. Patents[J]. New Technology of Library and Information Service, 2011（6）: 14-19. ） [本文引用:1] [CJCR: 1.073]
[9] 顾立平. 开放知识元库研究[J]. 现代图书情报技术, 2012（S2）: 26-33. （Ku Liping. Research on the Open Knowledge Base[J]. New Technology of Library and Information Service, 2012（S2）: 26-33. ） [本文引用:1] [CJCR: 1.073]
[10] Altmetrics. The Altmetric Bookmarklet [EB/OL]. [2013-04-07]. http://altmetric.com/bookmarklet.php. [本文引用:1]
[11] Konkiel S. Altmertics: An App Review[EB/OL]. [2013-01-01]. http://altmetric.com/blog/altmetrics-in-academic-libraries-and-institutional-repositories/. [本文引用:1]
[12] Altmetric. Altmetric API Reference & Getting Started [EB/OL]. [2013-04-07]. http://api.altmetric.com/. [本文引用:1]
[13] Altmetric. Fetching Details by Altmetric ID[EB/OL]. [2013-04-07]. http://api.altmetric.com/docs/call_id.html. [本文引用:1]
[14] Altmetric. Fetching Details by DOI[EB/OL]. [2013-04-07]. http://api.altmetric.com/docs/call_doi.html. [本文引用:1]
[15] Altmetric. Fetching Details by PubMed ID[EB/OL]. [2013-04-07]. http://api.altmetric.com/docs/call_pmid.html. [本文引用:1]
[16] Altmetric. Fetching Details by arXiv ID[EB/OL]. [2013-04-07]. http://api.altmetric.com/docs/call_arxiv.html. [本文引用:1]
[17] Altmetric. Fetching Details by ADS Bibcode[EB/OL]. [2013-04-07]. http://api.altmetric.com/docs/call_ads.html. [本文引用:1]
[18] Altmetric. Fetching Detailed Information About an Article or Dataset [EB/OL]. [2013-04-07]. http://api.altmetric.com/docs/call_fetch.html. [本文引用:1]
[19] Altmetric. Fetching Detailed Article Level Metrics for an Article[EB/OL]. [2013-04-07]. https://altmetric.uservoice.com/knowledgebase/articles/95165-sample-api-response. [本文引用:1]
[20] Altmetric. Querying the Database[EB/OL]. [2013-04-07]. http://api.altmetric.com/docs/call_citations.html. [本文引用:1]
[21] Lin J, Fenner M. The Many Faces of Article-level Metrics[J]. Bulletin of the Association for Information Science and Technology, 2013, 39（4）: 27-30. [本文引用:1]
[22] Bollen J, Van de Sompel H, Hagberg A, et al. A Principal Component Analysis of 39 Scientific Impact Measures[J]. PLoS ONE, 2009, 4（6）: e6022. doi: 101371journal. pone. 0006022. [本文引用:3] [JCR: 3.73]
[23] Shuai X, Pepe A, Bollen J. How the Scientific Community Reacts to Newly Submitted Preprints: Article Downloads, Twitter Mentions, and Citations[J]. PLoS ONE, 2012, 7（11）: e47523. doi: 101371journal. pone. 0047523. [本文引用:3] [JCR: 3.73]
[24] Alperin J P. Ask Not What Altmetrics Can Do for You, But What Altmetrics Can Do for Developing Countries[J]. Bulletin of the Association for Information Science and Technology, 2013, 39（4）: 18-21. [本文引用:1]
[25] Piwowar H, Priem J. The Power of Altmetrics on a CV[J]. Bulletin of the Association for Information Science and Technology, 2013, 39（4）: 10-13. [本文引用:1]
[26] Mounce R. Open Access and Altmetrics: Distinct but Complementary[J]. Bulletin of the Association for Information Science and Technology, 2013, 39（4）: 14-17. [本文引用:1]
[27] Konkiel S, Scherer D. A New Opportunities for Repositories in the Age of Altmetrics[J]. Bulletin of the Association for Information Science and Technology, 2013, 39（4）: 22-26. [本文引用:1]
[28] Buschman M, Michalek A. Are Alternative Metrics Still Alternative[J]. Bulletin of the Association for Information Science and Technology, 2013, 39（4）: 35-39. [本文引用:1]
[29] 坂東慶太. Altmetrics の可能性 ソーシャルメディアを活用した研究評価指標[J]. 情報管理, 2012, 55（9）: 638-646. [本文引用:1]
[30] 林和弘. 研究論文の影響度を測定する新しい動き―論文単位で即時かつ多面的な測定を可能とするAltmetrics[J]. 科学技术动向研究, 2013（34）: 20-28. [本文引用:1]
[31] Adie E, Roe W. Altmetric: Enriching Scholarly Content with Article-level Discussion and Metrics[J]. Learned Publishing, 2012, 26（1）: 11-17. [本文引用:1]
[32] Nature Publishing Group. Article Level Metrics on Nature. com[EB/OL]. (2012-10-25). [2012-12-27]. http://www.nature.com/press_releases/article-metrics.html. [本文引用:1]
[33] PRNewswire. Elsevier Announces Winners of ”Apps for Science” Challenge[EB/OL]. (2011-11-01). [2012-03-08]. http://www.prnewswire.com/news-releases/elsevier-announces-winners-of-apps-for-science-challenge-132995468.html. [本文引用:1]
[34] Ex Libris. Altmetrics on Primo[EB/OL]. (2012-12-12). [2012-12-14]. http://initiatives.exlibrisgroup.com/2012/12/altmetrics-on-primo.html. [本文引用:1]
[35] 科学技术振兴机构. アトラス社、「論文検索Qross」をリリース - Altmetricsでインパクト表示[EB/OL]. (2013-03-25). [2013-04-07]. http://johokanri.jp/stiupdates/policy/2013/03/008335.html. [本文引用:1]
[36] Article Search Qross. 書誌情報× 論文単位のインパクト指標[EB/OL]. [2013-04-07]. https://qross.atlas.jp/top. [本文引用:1]
[37] Tananbaum G. Article-Level Metrics: A SPARC Primer[EB/OL]. (2013-04-17). [2013-05-01]. http://www.sparc.arl.org/bm~doc/sparc-alm-primer.pdf. [本文引用:1]