Please wait a minute...
Advanced Search
现代图书情报技术  2016, Vol. 32 Issue (5): 56-63    DOI: 10.11925/infotech.1003-3513.2016.05.07
  研究论文 本期目录 | 过刊浏览 | 高级检索 |
基于Hadoop的微博舆情监控系统模型研究
杨爱东(),刘东苏
西安电子科技大学经济与管理学院 西安 710126
Hadoop Based Public Opinion Monitoring System for Micro-blogs
Yang Aidong(),Liu Dongsu
School of Economics and Management, Xidian University, Xi’an 710126, China
全文: PDF(1165 KB)   HTML ( 58
输出: BibTeX | EndNote (RIS)      
摘要 

目的】针对当前的大数据环境, 提出基于Hadoop的微博舆情监控系统模型, 实现对海量微博信息的采集、挖掘、监控分析。【方法】分析舆情监控技术, 构建舆情监控系统模型, 改进相关算法, 利用Hadoop搭建大数据平台, 进行仿真实验, 验证模型可用性。【结果】实验结果表明, 模型能够很好地对海量微博数据进行监控分析, 达到舆情监控的目的。【局限】Hadoop集群规模较小; 没有对比多种聚类算法, 未得到改进算法与其他算法的优劣。【结论】该模型可以对海量微博数据进行舆情监控分析, 为决策者应对舆情危机提供科学化的信息支持。

服务
把本文推荐给朋友
加入引用管理器
E-mail Alert
RSS
作者相关文章
杨爱东
刘东苏
关键词 舆情监控Hadoop微博大数据    
Abstract

[Objective] This paper presents a new model for public opinion monitoring system based on Hadoop to retrieve and analyze information from the micro-blog platforms. [Methods] We first surveyed the existing technology of the public opinion monitoring systems and proposed a new model with modified algorithm. Then, we built a big data analysis platform with Hadoop to examine the model’s feasibility through experimental simulations. [Results] The proposed model can detect and retrieve public opinion data effectively. [Limitations] The Hadoop cluster was relatively small. We did not compare our model with other clustering algorithms to discuss their advantages and disadvantages. [Conclusions] The proposed model can conduct public opinion analysis with micro-blog data and provide scientific information for the policy makers to improve crisis management.

Key wordsMonitoring public opinion    Hadoop    Micro-blog    Big data
收稿日期: 2015-12-11     
引用本文:   
杨爱东,刘东苏. 基于Hadoop的微博舆情监控系统模型研究[J]. 现代图书情报技术, 2016, 32(5): 56-63.
Yang Aidong,Liu Dongsu. Hadoop Based Public Opinion Monitoring System for Micro-blogs. New Technology of Library and Information Service, DOI:10.11925/infotech.1003-3513.2016.05.07.
链接本文:  
http://manu44.magtech.com.cn/Jwk_infotech_wk3/CN/10.11925/infotech.1003-3513.2016.05.07
[1] 张克生. 国家决策:机制与舆情[M]. 天津: 天津社会科学院出版社, 2004: 17.
[1] (Zhang Kesheng.National Decision- making: Mechanism and Public Opinion [M]. Tianjin: Tianjin Academy of Social Sciences Press, 2014: 17.)
[2] 中国互联网络信息中心. 第36次中国互联网络发展状况统计报告[R/OL]. [2015-07-23]. .
[2] (CNNIC.The 36th China Internet Development Statistics Report [R/OL]. [2015-07-23].
[3] Wasserman S, Faust K.Social Network Analysis: Methods and Applications [M]. Cambridge, NY: Cambridge University Press, 1994.
[4] 兰月新, 董希琳, 苏国强, 等. 大数据背景下微博舆情信息交互模型研究[J]. 现代图书情报技术, 2015(5): 24-33.
[4] (Lan Yuexin, Dong Xilin, Su Guoqiang, et al.Research on Micro-blog Public Opinion Information Interaction Model Under the Background of Big Data[J]. New Technology of Library and Information Service, 2015(5): 24-33.)
[5] 田占伟, 隋玚. 基于复杂网络理论的微博信息传播实证分析[J]. 图书情报工作, 2012, 56(8): 42-46.
[5] (Tian Zhanwei, Sui Yang.The Empirical Analysis of Micro-blog Information Flow Based on Complex Network Theory[J]. Library and Information Service, 2012, 56(8): 42-46.)
[6] 刘志明, 刘鲁. 微博网络舆情中的意见领袖识别及分析[J]. 系统工程, 2011, 29(6): 8-16.
[6] (Liu Zhiming, Liu Lu.Recognition and Analysis of Opinion Leaders in Microblog Public Opinions[J]. Systems Engineering, 2011, 29(6): 8-16.)
[7] 高承实, 荣星, 陈越. 微博舆情监测指标体系研究[J]. 情报杂志, 2011, 30(9): 66-70.
[7] (Gao Chengshi, Rong Xing, Chen Yue.Research on Public Opinion Monitoring Index- system in Micro-blogging[J]. Journal of Information, 2011, 30(9): 66-70.)
[8] 马彦. 大数据环境下微博舆情热点话题挖掘方法研究[J]. 现代情报, 2014, 34(11): 29-33.
[8] (Ma Yan.Study on the Method of Micro-blogging Public Opinion Hotspots Mining in Big Data[J]. Modern Information, 2014, 34(11): 29-33.)
[9] 潘芳, 张霞, 仲伟俊. 基于BP神经网络的微博网络社群突发舆情的预警监控[J]. 情报杂志, 2014, 33(5): 125-128.
[9] (Pan Fang, Zhang Xia, Zhong Weijun.Precautionary Monitoring of the Sudden Burst of Public Opinion in Weibo Community on Internet Based on BP Neural Network[J]. Journal of Information, 2014, 33(5): 125-128.)
[10] Hadoop [EB/OL]. [2016-01-12]. .
[11] HDFS User Guide [EB/OL]. [2016-01-12]. .
[12] Dean J, Ghemawat S.MapReduce: Simplified Data Processing on Large Clusters[J]. Communications of the ACM, 2004, 51(1): 107-113.
[13] George L.HBase: The Definitive Guide[M]. O’Reilly Media, 2011.
[14] Song Y, Cai D F, Zhang G P, et al.Approach to Chinese Word Segmentation Based on Character-Word Joint Decoding[J]. Journal of Software, 2009, 20(9): 2366-2375.
[15] TF-IDF [EB/OL]. [2016-01-12]. .
[16] 知网[EB/OL]. [2016-01-12]. . (HowNet Knowledge Database [EB/OL]. [2016-01-12].
[17] 李应安. 基于MapReduce的聚类算法的并行化研究[D]. 广州:中山大学, 2010.
[17] (Li Ying’an.Research on Parallelization of Clustering Algorithm Based on MapReduce [D]. Guangzhou: Sun Yat-Sen University, 2010.)
[18] 冯希莹, 王来华. 舆情概念辨析[J]. 社会工作, 2011(10): 83-87.
[18] (Feng Xiying, Wang Laihua.Discussion of the Concept of Public Opinion and Sentiments[J]. Journal of Social Work, 2011(10): 83-87.)
[19] 张伟舒, 吕云翔. 微博情感倾向算法的改进与实现[J]. 知识管理论坛, 2013(9): 21-27.
[19] (Zhang Weishu, Lv Yunxiang.The Improvement and Implementation of the Micro-blog Sentiment Orientation Algorithm[J]. Knowledge Management Forum, 2013(9): 21-27.)
[20] Shen Y.Emotion Mining Research on Micro-blog [C]. In: Proceedings of the 1st IEEE Symposium on Web Society. Lanzhou: Lanzhou University, 2009.
[1] 孔贝贝,谢靖,钱力,常志军,吴振新. 科技大数据增值丰富化方法研究与工具研发 *[J]. 数据分析与知识发现, 2019, 3(7): 113-122.
[2] 董晓舟,陈信康. 电子折扣券弹性与经济效益的关系研究 ——一个基于电商平台大数据的混合模型[J]. 数据分析与知识发现, 2019, 3(6): 42-49.
[3] 陆泉,朱安琪,张霁月,陈静. 中文网络健康社区中的用户信息需求挖掘研究*——以求医网肿瘤板块数据为例[J]. 数据分析与知识发现, 2019, 3(4): 22-32.
[4] 安璐,梁艳平. 突发公共卫生事件微博话题与用户行为选择研究*[J]. 数据分析与知识发现, 2019, 3(4): 33-41.
[5] 赵明清,武圣强. 基于微博情感分析的股市加权预测方法研究*[J]. 数据分析与知识发现, 2019, 3(2): 43-51.
[6] 王颖,钱力,谢靖,常志军,孔贝贝. 科技大数据知识图谱构建模型与方法研究*[J]. 数据分析与知识发现, 2019, 3(1): 15-26.
[7] 钱力,谢靖,常志军,吴振新,张冬荣. 基于科技大数据的智能知识服务体系研究设计*[J]. 数据分析与知识发现, 2019, 3(1): 4-14.
[8] 胡吉颖,谢靖,钱力,付常雷. 基于知识图谱的科技大数据知识发现平台建设*[J]. 数据分析与知识发现, 2019, 3(1): 55-62.
[9] 谢靖,钱力,师洪波,孔贝贝,胡吉颖. 科研学术大数据的精准服务架构设计*[J]. 数据分析与知识发现, 2019, 3(1): 63-71.
[10] 曾子明,杨倩雯. 基于LDA和AdaBoost多特征组合的微博情感分析*[J]. 数据分析与知识发现, 2018, 2(8): 51-59.
[11] 沈志宏,姚畅,侯艳飞,吴林寰,李跃鹏. 关联大数据管理技术: 挑战、对策与实践*[J]. 数据分析与知识发现, 2018, 2(1): 9-20.
[12] 高永兵,杨贵朋,张娣,马占飞. 基于突显词博文聚类的官微事件检测方法*[J]. 数据分析与知识发现, 2017, 1(9): 57-64.
[13] 何跃,朱灿. 基于微博的意见领袖网情感特征分析*——以“非法疫苗”事件为例[J]. 数据分析与知识发现, 2017, 1(9): 65-73.
[14] 敦欣卉,张云秋,杨铠西. 基于微博的细粒度情感分析[J]. 数据分析与知识发现, 2017, 1(7): 61-72.
[15] 朝乐门,杨灿军,王盛杰,赵俊鹏,许梦甜. 全球数据科学课程建设现状的实证分析*[J]. 数据分析与知识发现, 2017, 1(6): 12-21.
Viewed
Full text


Abstract

Cited

  Shared   
  Discussed   
版权所有 © 2015 《数据分析与知识发现》编辑部
地址:北京市海淀区中关村北四环西路33号 邮编:100190
电话/传真:(010)82626611-6626,82624938
E-mail:jishu@mail.las.ac.cn