Please wait a minute...
Advanced Search
现代图书情报技术  2015, Vol. 31 Issue (5): 88-93     https://doi.org/10.11925/infotech.1003-3513.2015.05.12
  应用论文 本期目录 | 过刊浏览 | 高级检索 |
运用开源软件Logstash和ElasticSearch实现DSpace日志实时统计分析
陈和
厦门大学图书馆 厦门 361005
Using Logstash and ElasticSearch to Achieve Real-time Statistical Analysis of DSpace Logs
Chen He
Xiamen University Library, Xiamen 361005, China
全文: PDF (506 KB)   HTML  
输出: BibTeX | EndNote (RIS)      
摘要 

[目的]设计并实现DSpace日志实时统计分析系统, 满足用户各种实时统计需求, 弥补DSpace自带统计功能的不足。[应用背景]受DSpace系统自身设计的限制, 其自带的日志统计功能单一, 表现形式僵化, 不能实现交互式统计分析。[方法]运用Logstash实时收集并分析DSpace日志, 运用ElasticSearch对分析后的日志进行索引, 构建QueryDSL查询调用ElasticSearch的Java API实现不同的统计功能, 并采用ECharts组件图形化展示结果。[结果]DSpace日志实时统计分析系统能够实现用户自定义时间区间统计条目、合集和社群的浏览排行, 条目对象下载排行以及访问地区排行等。统计的结果可以以不同图表形式展现。[结论]运用Logstash和ElasticSearch实现DSpace日志统计, 不需要修改DSpace源代码, 组件安装部署简单, 实现人机互动式查询统计, 统计结果快速且实时, 结果展现形式多样。

服务
把本文推荐给朋友
加入引用管理器
E-mail Alert
RSS
作者相关文章
陈和
关键词 日志分析DSpaceLogstashElasticSearchECharts    
Abstract

[Objective] The real-time statistical analysis system of DSpace logs is designed and implemented to meet the different needs of users, and to make up for lack of DSpace's statistical functions itself. [Context] For the design limitations, the DSpace's statistical functions are simple, rigid form of expression, and can not achieve interactive statistical analysis. [Methods] Use Logstash to collect and analyze DSpace logs, and use ElasticSearch to index the logs. Building QueryDSL to call ElasticSearch Java API to achieve different statistical functions, and show the graphical results with ECharts component. [Results] The real-time statistical analysis system of DSpace logs can get the browse rankings of items, collections and communities, get the download rankings of bitstreams, and get the regional rankings of website access, and so on. The statistics time can be customized by user, and the statistical result can be showed in different forms. [Conclusions] Using Logstash and ElasticSearch to achieve statistical analysis of DSpace logs has many excellences, just like no need to modify the code of DSpace, simple installation and deployment of the components, man-machine interactive query, fast and real-time, and rich forms to show the results.

Key wordsLog analysis    DSpace    Logstash    ElasticSearch    ECharts
收稿日期: 2014-11-25      出版日期: 2015-06-11
:  G312  
基金资助:

本文系“2014中国机构知识库学术研讨会”会议论文。

通讯作者: 陈和,ORCID:0000-0002-4506-5612,E-mail:xmu_chen@xmu.edu.cn。     E-mail: xmu_chen@xmu.edu.cn
引用本文:   
陈和. 运用开源软件Logstash和ElasticSearch实现DSpace日志实时统计分析[J]. 现代图书情报技术, 2015, 31(5): 88-93.
Chen He. Using Logstash and ElasticSearch to Achieve Real-time Statistical Analysis of DSpace Logs. New Technology of Library and Information Service, 2015, 31(5): 88-93.
链接本文:  
https://manu44.magtech.com.cn/Jwk_infotech_wk3/CN/10.11925/infotech.1003-3513.2015.05.12      或      https://manu44.magtech.com.cn/Jwk_infotech_wk3/CN/Y2015/V31/I5/88

[1] 顾立平. 机构知识库评价机制 [EB/OL]. [2014-10-06]. http://ir.las.ac.cn/handle/12502/6368. (Ku Liping. Evaluation for Institutional Repositories Development [EB/OL]. [2014-10-06]. http://ir.las.ac.cn/handle/12502/6368.)
[2] DSpace Statistics [EB/OL]. [2014-10-06]. https://wiki.duras-pace.org/display/DSDOC4x/DSpace+Statistics.
[3] DSpace Discovery [EB/OL]. [2014-10-06]. https://wiki.dura-
space.org/display/DSDOC4x/Discovery.
[4] 祝忠明, 马建霞, 卢利农, 等. 机构知识库开源软件DSpace的扩展开发与应用 [J]. 现代图书情报技术, 2009(7-8): 11-17. (Zhu Zhongming, Ma Jianxia, Lu Linong, et al. Developing an Institutional Repository Platform via Extending DSpace [J]. New Technology of Library and Information Service, 2009(7-8): 11-17.)
[5] 姚晓娜, 祝忠明. 基于分面搜索引擎Solr的机构知识库访问统计 [J]. 现代图书情报技术, 2011(7-8): 37-40. (Yao Xiaona, Zhu Zhongming. Usage Statistics of Institutional Repository Based on Faceted Search Engine Solr [J]. New Technology of Library and Information Service, 2011(7-8): 37-40.)
[6] Development of Usage Statistics for RepositóriUM [EB/OL]. [2014-10-06]. https://repositorium.sdum.uminho.pt/handle/1822/ 4803.
[7] ANU DSpace Statistics Installation Guide [EB/OL]. [2014-10-06]. http://sts.anu.edu.au/drs/downloads/dspace-stats/readme. html.
[8] Logstash [EB/OL]. [2014-10-06]. http://logstash.net/.
[9] Redis [EB/OL]. [2014-10-06]. http://redis.io/.
[10] ElasticSearch [EB/OL]. [2014-10-06]. http://www.elasticsear-ch.org/.
[11] QueryDSL [EB/OL]. [2014-10-06]. http://www.querydsl.com/.
[12] ECharts [EB/OL]. [2014-10-06]. http://echarts.baidu.com/.
[13] MaxMind [EB/OL]. [2014-10-06]. https://www.maxmind.com/.

[1] 周翔, 张鹏翼, 王军. 移动购物用户信息浏览特征及对购买的影响研究*——基于移动电商APP点击流日志的分析[J]. 数据分析与知识发现, 2018, 2(4): 1-9.
[2] 赵瑞雪, 杜若鹏. 中国农业科学院机构知识库的实践探索[J]. 现代图书情报技术, 2015, 31(2): 72-77.
[3] 陈勇, 李红莲, 吕学强. 网络用户搜索行为特征分析[J]. 现代图书情报技术, 2014, 30(12): 10-17.
[4] 曾婷, 涂飞平, 董丽, 邹荣. DSpace事件机制的研究及其在扩展开发中的应用[J]. 现代图书情报技术, 2012, 28(3): 73-77.
[5] 邓红, 丁君涛, 涂飞平. 利用NoteExpress设计与开发DSpace机构知识库资源提交工具[J]. 现代图书情报技术, 2012, 28(1): 80-84.
[6] 郑磊, 祝忠明. 复合数字对象语义存交研究及应用进展[J]. 现代图书情报技术, 2011, 27(2): 1-7.
[7] 崔宇红. 机构知识库自动存储系统研究[J]. 现代图书情报技术, 2010, 26(12): 76-80.
[8] 陈晓凤, 张志平, 白海燕. OAI-ORE在机构知识库中的应用研究与实现[J]. 现代图书情报技术, 2010, 26(11): 69-74.
[9] 陶新权,郭光超,杨晓光. 异构数据源的数据移植方案研究 ——以北京航空航天大学图书馆为例[J]. 现代图书情报技术, 2010, 26(1): 94-98.
[10] 祝忠明,马建霞,卢利农,李富强,刘巍,吴登禄. 机构知识库开源软件DSpace的扩展开发与应用[J]. 现代图书情报技术, 2009, 25(7-8): 11-17.
[11] 邹荣,曾婷,姜爱蓉,郭靖. 基于DSpace构建联合网站的研究与实践[J]. 现代图书情报技术, 2009, 25(5): 67-71.
[12] 邹荣,范爱红,姜爱蓉. 基于DSpace构建科研论文管理系统[J]. 现代图书情报技术, 2009, (10): 90-94.
[13] 马建霞,祝忠明,唐润寰,李富强,王渊命. 机构知识库与科研管理信息化环境集成的尝试*[J]. 现代图书情报技术, 2008, 24(2): 14-18.
[14] 吴登禄,祝忠明,马建霞,韩柯. DSpace系统嵌入式检索服务设计与实现*[J]. 现代图书情报技术, 2008, 24(10): 69-74.
[15] 曾婷,董丽. DSpace的相关研究进展及应用探索*[J]. 现代图书情报技术, 2007, 2(6): 11-15.
Viewed
Full text


Abstract

Cited

  Shared   
  Discussed   
版权所有 © 2015 《数据分析与知识发现》编辑部
地址:北京市海淀区中关村北四环西路33号 邮编:100190
电话/传真:(010)82626611-6626,82624938
E-mail:jishu@mail.las.ac.cn