基于Map/Reduce的分布式搜索引擎研究

doi:10.11925/infotech.1003-3513.2007.08.12

现代图书情报技术

2007, Vol. 2

Issue (8): 52-55 https://doi.org/10.11925/infotech.1003-3513.2007.08.12

知识组织与知识管理

本期目录 | 过刊浏览 | 高级检索

基于Map/Reduce的分布式搜索引擎研究

吴宝贵丁振国

¹（西安电子科技大学经济管理学院西安 710071)
²（西安电子科技大学网络教育学院西安 710071）

Research of Distributed Search Engine Based on Map/Reduce

Wu Baogui Ding Zhenguo

¹(School of Economics and Management,Xidian University，Xi’an 710071,China)
²(School of Network Education,Xidian University， Xi’an 710071,China)

摘要
参考文献
相关文章
Metrics

全文: PDF (665 KB)
输出: BibTeX | EndNote (RIS)

摘要

在对Map/Reduce算法进行分析的基础上，利用开源Hadoop软件设计出高容错高性能的分布式搜索引擎，以面对搜索引擎对海量数据的处理和存储问题。

	服务

	把本文推荐给朋友
	加入引用管理器
	E-mail Alert
	RSS
	作者相关文章
	丁振国
	吴宝贵

关键词 ：映射/规约, 分布式搜索引擎, Hadoop

Abstract：

This paper analyzes the algorithm of Map/Reduce and uses open source Hadoop software to design high fault-tolerant,high-performance distributed search engines,which will be in the face of large-scale data processing and storage problems.

Key words： Map/Reduce Distributed search engine Hadoop

收稿日期: 2007-06-18 出版日期: 2007-08-25

G350

通讯作者: 吴宝贵 E-mail: bg1011@163.com

作者简介: 吴宝贵,丁振国

引用本文:

吴宝贵,丁振国. 基于Map/Reduce的分布式搜索引擎研究[J]. 现代图书情报技术, 2007, 2(8): 52-55.
Wu Baogui,Ding Zhenguo. Research of Distributed Search Engine Based on Map/Reduce. New Technology of Library and Information Service, 2007, 2(8): 52-55.

链接本文:

https://manu44.magtech.com.cn/Jwk_infotech_wk3/CN/10.11925/infotech.1003-3513.2007.08.12 或 https://manu44.magtech.com.cn/Jwk_infotech_wk3/CN/Y2007/V2/I8/52

［1］王斌，张刚，孙健大规模分布式并行信息检索技术［J］信息技术快报，2005，3（2）：1-9
［2］姚树宇，赵少东一种使用分布式技术的搜索引擎［J］计算机应用与软件，2005 ，22（10）：127-129
［3］董华山，孙济庆基于P2P的分布式检索模式的研究［J］情报学报，2004，23（6）：683-688
［4］ Dean J，Ghemawat SMap/Reduce:Simplied Data Processing on Large Clusters［C］.In：OSDI 2004，San Francisco,2004，137-150
［5］ Borthakur DThe Hadoop Distributed File System:Architecture and Design［2007］［EB/OL］［2007-06-15］http://lucene.apache.org/hadoop/index.pdf
［6］ Yang H C，Dasdan A，Hsiao R L，et alMap-Reduce-Merge:Simplified Relational Data Processing on Large Vlusters［C］International Conference on Management of Data Proceedings of the 2007 ACM SIGMOD International Conference on Management of Data:1029-1040
［7］孟岩Map Reduce - the Free Lunch is not over［EB/OL］.［2006-06-15］http://www.mengyan.org/blog/archives/2006/11/15/138.html
［8］ Cutting DScalable Computing with Hadoop［EB/OL］［206-06-12］http://wiki.apache.org/lucene-hadoop-data/attachments/HadoopPresentations/attachments/yahoo-sds.pdf
［9］江南白衣Hadoop-海量文件的分布式计算处理方案［EB/OL］.［2007-06-15］http://www.blogjava.net/calvin/archive/2007/02/08/98688.html
［10］ Ghemawat S, Gobioff H, Leung S TThe Google File SystemIn:19th ACM Symposium on Operating Systems Principles［C］Lake George,NY,October,2003.
［11］李晓明，闫宏飞，王继民搜索引擎［M］北京：科学出版社，2005
［12］蒋建洪主要分布式搜索引擎技术的研究［J］科学技术与工程，2007，7（10）:2418-2424
［13］ Hadoop分布式文件系统：体系和设计［EB/OL］.［2006-06-25］http://www.renpeicheng.com/html/2007-04/1690.html
［14］ Hadoop Garbage Collection机制的实现分析［EB/OL］.［2006-06-25］http://tianwang.grids.cn/docman/view.php/38/10/Hadoop-GarbageCollection.doc

[1]	杨爱东,刘东苏. 基于Hadoop的微博舆情监控系统模型研究[J]. 现代图书情报技术, 2016, 32(5): 56-63.
[2]	范云满, 洪娜, 钱庆, 方安. 利用Hadoop/HBase的药物基因组数据云存储实践研究[J]. 现代图书情报技术, 2015, 31(5): 73-79.
[3]	马宾, 殷立峰. 一种基于Hadoop平台的并行朴素贝叶斯网络舆情快速分类算法[J]. 现代图书情报技术, 2015, 31(2): 78-84.
[4]	赵华茗. 分布式环境下的文本聚类研究与实现[J]. 现代图书情报技术, 2015, 31(1): 82-88.
[5]	肖强, 朱庆华, 郑华, 吴克文. Hadoop环境下的分布式协同过滤算法设计与实现[J]. 现代图书情报技术, 2013, 29(1): 83-89.
[6]	亢丽芸, 王效岳, 白如江. MapReduce原理及其主要实现平台分析[J]. 现代图书情报技术, 2012, 28(2): 60-67.
[7]	赵华茗. 分布式环境下的文档相似度研究与实现[J]. 现代图书情报技术, 2011, 27(7/8): 14-20.
[8]	张兴旺, 李晨晖, 秦晓珠. 云计算环境下大规模数据处理的研究与初步实现[J]. 现代图书情报技术, 2011, 27(4): 17-23.
[9]	赵华茗. 搭建基于云计算的开源海量数据挖掘平台[J]. 现代图书情报技术, 2010, 26(10): 76-81.
[10]	杨代庆,张智雄. 基于Hadoop的海量共现矩阵生成方法*[J]. 现代图书情报技术, 2009, 25(4): 23-26.
[11]	刘峰,施水才,肖诗斌,王弘蔚 . 基于RSS的分布式新闻博客搜索引擎设计*[J]. 现代图书情报技术, 2007, 2(1): 29-32.

Viewed

Full text

Abstract

Cited

Shared

Discussed