Please wait a minute...
Advanced Search
现代图书情报技术  2009, Vol. 25 Issue (4): 23-26     https://doi.org/10.11925/infotech.1003-3513.2009.04.05
  专题 本期目录 | 过刊浏览 | 高级检索 |
基于Hadoop的海量共现矩阵生成方法*
杨代庆1,2  张智雄1
1(中国科学院国家科学图书馆 北京 100190)
2(中国科学技术信息研究所 北京 100038)
A Method for Generating Co-occurrence Matrix of Mass Data Based on Hadoop
Yang Daiqing1,2  Zhang Zhixiong1
1 (National Science Library, Chinese Academy of Sciences, Beijing 100190, China)
2(Institute of Scientific and Technical Information of China, Beijing 100038, China)
全文: PDF (536 KB)  
输出: BibTeX | EndNote (RIS)      
摘要 

海量数据的处理分析是当前信息处理技术的热点之一,介绍开源并行系统Hadoop的体系结构以及基于Hadoop的MapReduce编程框架,并在Hadoop基础上提出一种通过多重MapReduce操作,实现海量共现矩阵的生成方法。

服务
把本文推荐给朋友
加入引用管理器
E-mail Alert
RSS
作者相关文章
杨代庆
张智雄
关键词 HadoopMapReduce共现矩阵开源软件    
Abstract

Mass data processing is a focal point of information techniques. This paper introduces architecture of open source parallel system-Hadoop, analyzes the MapReduce programming framework based on Hadoop, and proposes a method for generating co-occurrence matrix of mass data through multiple MapReduce operations.

Key wordsHadoop    MapReduce    Co-Occurrence Matrix    open-source-software
收稿日期: 2009-03-28      出版日期: 2009-04-25
: 

G350

 
基金资助:

*本文系国家“十一五”科技支撑计划子课题“网络科技信息监测与评价”(项目编号:2006BAH03B05)的研究成果之一。

通讯作者: 杨代庆     E-mail: yangdq@mail.las.ac.cn
作者简介: 杨代庆,张智雄
引用本文:   
杨代庆,张智雄. 基于Hadoop的海量共现矩阵生成方法*[J]. 现代图书情报技术, 2009, 25(4): 23-26.
Yang Daiqing,Zhang Zhixiong. A Method for Generating Co-occurrence Matrix of Mass Data Based on Hadoop. New Technology of Library and Information Service, 2009, 25(4): 23-26.
链接本文:  
https://manu44.magtech.com.cn/Jwk_infotech_wk3/CN/10.11925/infotech.1003-3513.2009.04.05      或      https://manu44.magtech.com.cn/Jwk_infotech_wk3/CN/Y2009/V25/I4/23

[1] HDFS Architecture[EB/OL].[2008-12-10].http://hadoop.apache.org/core/docs/current/hdfs_design.html.
[2] Hadoop Cluster Setup[EB/OL].[2008-12-15]. http://hadoop.apache.org/core/docs/current/cluster_setup.html.
[3] HadoopMapReduce[EB/OL].[2008-12-16].http://wiki.apache.org/hadoop/HadoopMapReduce.
[4] Distributed Computing with Linux and Hadoop.[EB/OL].[2009-01-10]. http://www.ibm.com/developerworks/linux/library/l-hadoop/index.html.
[5] Hbase[EB/OL].[2009-01-10].http://hadoop.apache.org/hbase/.
[6] Hive[EB/OL].[2009-01-15].http://hadoop.apache.org/hive/.
[7] Pig[EB/OL].[2009-01-15].http://hadoop.apache.org/pig/.
[8] CloudBase[EB/OL].[2009-01-16].http://sourceforge.net/projects/cloudbase/.

[1] 杨恒,王思丽,祝忠明,刘巍,王楠. 基于并行协同过滤算法的领域知识推荐模型研究*[J]. 数据分析与知识发现, 2020, 4(6): 15-21.
[2] 代君,郭世新,王慧,廖莹驰. 开发人员协同开发行为特征对开源项目成功的影响 *[J]. 数据分析与知识发现, 2019, 3(10): 110-117.
[3] 高长元, 于建萍, 何晓燕. 基于改进粒子群算法的云计算产业联盟知识搜索算法研究*[J]. 数据分析与知识发现, 2017, 1(3): 81-89.
[4] 杨爱东,刘东苏. 基于Hadoop的微博舆情监控系统模型研究[J]. 现代图书情报技术, 2016, 32(5): 56-63.
[5] 董智鹏,刘静羽. 基于Drupal的项目网站建设——以“开放资源建设”网站为例[J]. 现代图书情报技术, 2016, 32(1): 81-86.
[6] 范云满, 洪娜, 钱庆, 方安. 利用Hadoop/HBase的药物基因组数据云存储实践研究[J]. 现代图书情报技术, 2015, 31(5): 73-79.
[7] 吴振新, 张智雄, 谢靖, 胡吉颖. 基于IIPC开源软件拓展构建国际重要科研机构Web存档系统[J]. 现代图书情报技术, 2015, 31(4): 1-9.
[8] 卓可秋, 虞为, 苏新宁. 突发事件检测的MapReduce并行化实现[J]. 现代图书情报技术, 2015, 31(2): 46-54.
[9] 马宾, 殷立峰. 一种基于Hadoop平台的并行朴素贝叶斯网络舆情快速分类算法[J]. 现代图书情报技术, 2015, 31(2): 78-84.
[10] 赵华茗. 分布式环境下的文本聚类研究与实现[J]. 现代图书情报技术, 2015, 31(1): 82-88.
[11] 郑海山, 林俊伟. 图书馆数据中心运维中开源软件的应用[J]. 现代图书情报技术, 2014, 30(6): 100-106.
[12] 张旺强, 祝忠明, 卢利农. 几种典型新型开源机构知识库软件的比较分析[J]. 现代图书情报技术, 2014, 30(2): 17-24.
[13] 李善杰. 二维码技术在图书馆查询机中的应用与实现[J]. 现代图书情报技术, 2014, 30(1): 97-101.
[14] 虞为, 陈俊鹏. 基于MapReduce的书目数据关联匹配研究[J]. 现代图书情报技术, 2013, 29(9): 15-22.
[15] 侯月明, 乔晓东, 孙卫, 李颖. 开源分析工具在中文文献分析中的应用[J]. 现代图书情报技术, 2013, 29(3): 71-76.
Viewed
Full text


Abstract

Cited

  Shared   
  Discussed   
版权所有 © 2015 《数据分析与知识发现》编辑部
地址:北京市海淀区中关村北四环西路33号 邮编:100190
电话/传真:(010)82626611-6626,82624938
E-mail:jishu@mail.las.ac.cn