Please wait a minute...
Advanced Search
现代图书情报技术  2016, Vol. 32 Issue (5): 56-63     https://doi.org/10.11925/infotech.1003-3513.2016.05.07
  研究论文 本期目录 | 过刊浏览 | 高级检索 |
基于Hadoop的微博舆情监控系统模型研究
杨爱东(),刘东苏
西安电子科技大学经济与管理学院 西安 710126
Hadoop Based Public Opinion Monitoring System for Micro-blogs
Yang Aidong(),Liu Dongsu
School of Economics and Management, Xidian University, Xi’an 710126, China
全文: PDF (1165 KB)   HTML ( 58
输出: BibTeX | EndNote (RIS)      
摘要 

目的】针对当前的大数据环境, 提出基于Hadoop的微博舆情监控系统模型, 实现对海量微博信息的采集、挖掘、监控分析。【方法】分析舆情监控技术, 构建舆情监控系统模型, 改进相关算法, 利用Hadoop搭建大数据平台, 进行仿真实验, 验证模型可用性。【结果】实验结果表明, 模型能够很好地对海量微博数据进行监控分析, 达到舆情监控的目的。【局限】Hadoop集群规模较小; 没有对比多种聚类算法, 未得到改进算法与其他算法的优劣。【结论】该模型可以对海量微博数据进行舆情监控分析, 为决策者应对舆情危机提供科学化的信息支持。

服务
把本文推荐给朋友
加入引用管理器
E-mail Alert
RSS
作者相关文章
杨爱东
刘东苏
关键词 舆情监控Hadoop微博大数据    
Abstract

[Objective] This paper presents a new model for public opinion monitoring system based on Hadoop to retrieve and analyze information from the micro-blog platforms. [Methods] We first surveyed the existing technology of the public opinion monitoring systems and proposed a new model with modified algorithm. Then, we built a big data analysis platform with Hadoop to examine the model’s feasibility through experimental simulations. [Results] The proposed model can detect and retrieve public opinion data effectively. [Limitations] The Hadoop cluster was relatively small. We did not compare our model with other clustering algorithms to discuss their advantages and disadvantages. [Conclusions] The proposed model can conduct public opinion analysis with micro-blog data and provide scientific information for the policy makers to improve crisis management.

Key wordsMonitoring public opinion    Hadoop    Micro-blog    Big data
收稿日期: 2015-12-11      出版日期: 2016-06-24
引用本文:   
杨爱东,刘东苏. 基于Hadoop的微博舆情监控系统模型研究[J]. 现代图书情报技术, 2016, 32(5): 56-63.
Yang Aidong,Liu Dongsu. Hadoop Based Public Opinion Monitoring System for Micro-blogs. New Technology of Library and Information Service, 2016, 32(5): 56-63.
链接本文:  
https://manu44.magtech.com.cn/Jwk_infotech_wk3/CN/10.11925/infotech.1003-3513.2016.05.07      或      https://manu44.magtech.com.cn/Jwk_infotech_wk3/CN/Y2016/V32/I5/56
[1] 张克生. 国家决策:机制与舆情[M]. 天津: 天津社会科学院出版社, 2004: 17.
[1] (Zhang Kesheng.National Decision- making: Mechanism and Public Opinion [M]. Tianjin: Tianjin Academy of Social Sciences Press, 2014: 17.)
[2] 中国互联网络信息中心. 第36次中国互联网络发展状况统计报告[R/OL]. [2015-07-23]. .
[2] (CNNIC.The 36th China Internet Development Statistics Report [R/OL]. [2015-07-23].
[3] Wasserman S, Faust K.Social Network Analysis: Methods and Applications [M]. Cambridge, NY: Cambridge University Press, 1994.
[4] 兰月新, 董希琳, 苏国强, 等. 大数据背景下微博舆情信息交互模型研究[J]. 现代图书情报技术, 2015(5): 24-33.
[4] (Lan Yuexin, Dong Xilin, Su Guoqiang, et al.Research on Micro-blog Public Opinion Information Interaction Model Under the Background of Big Data[J]. New Technology of Library and Information Service, 2015(5): 24-33.)
[5] 田占伟, 隋玚. 基于复杂网络理论的微博信息传播实证分析[J]. 图书情报工作, 2012, 56(8): 42-46.
[5] (Tian Zhanwei, Sui Yang.The Empirical Analysis of Micro-blog Information Flow Based on Complex Network Theory[J]. Library and Information Service, 2012, 56(8): 42-46.)
[6] 刘志明, 刘鲁. 微博网络舆情中的意见领袖识别及分析[J]. 系统工程, 2011, 29(6): 8-16.
[6] (Liu Zhiming, Liu Lu.Recognition and Analysis of Opinion Leaders in Microblog Public Opinions[J]. Systems Engineering, 2011, 29(6): 8-16.)
[7] 高承实, 荣星, 陈越. 微博舆情监测指标体系研究[J]. 情报杂志, 2011, 30(9): 66-70.
[7] (Gao Chengshi, Rong Xing, Chen Yue.Research on Public Opinion Monitoring Index- system in Micro-blogging[J]. Journal of Information, 2011, 30(9): 66-70.)
[8] 马彦. 大数据环境下微博舆情热点话题挖掘方法研究[J]. 现代情报, 2014, 34(11): 29-33.
[8] (Ma Yan.Study on the Method of Micro-blogging Public Opinion Hotspots Mining in Big Data[J]. Modern Information, 2014, 34(11): 29-33.)
[9] 潘芳, 张霞, 仲伟俊. 基于BP神经网络的微博网络社群突发舆情的预警监控[J]. 情报杂志, 2014, 33(5): 125-128.
[9] (Pan Fang, Zhang Xia, Zhong Weijun.Precautionary Monitoring of the Sudden Burst of Public Opinion in Weibo Community on Internet Based on BP Neural Network[J]. Journal of Information, 2014, 33(5): 125-128.)
[10] Hadoop [EB/OL]. [2016-01-12]. .
[11] HDFS User Guide [EB/OL]. [2016-01-12]. .
[12] Dean J, Ghemawat S.MapReduce: Simplified Data Processing on Large Clusters[J]. Communications of the ACM, 2004, 51(1): 107-113.
[13] George L.HBase: The Definitive Guide[M]. O’Reilly Media, 2011.
[14] Song Y, Cai D F, Zhang G P, et al.Approach to Chinese Word Segmentation Based on Character-Word Joint Decoding[J]. Journal of Software, 2009, 20(9): 2366-2375.
[15] TF-IDF [EB/OL]. [2016-01-12]. .
[16] 知网[EB/OL]. [2016-01-12]. . (HowNet Knowledge Database [EB/OL]. [2016-01-12].
[17] 李应安. 基于MapReduce的聚类算法的并行化研究[D]. 广州:中山大学, 2010.
[17] (Li Ying’an.Research on Parallelization of Clustering Algorithm Based on MapReduce [D]. Guangzhou: Sun Yat-Sen University, 2010.)
[18] 冯希莹, 王来华. 舆情概念辨析[J]. 社会工作, 2011(10): 83-87.
[18] (Feng Xiying, Wang Laihua.Discussion of the Concept of Public Opinion and Sentiments[J]. Journal of Social Work, 2011(10): 83-87.)
[19] 张伟舒, 吕云翔. 微博情感倾向算法的改进与实现[J]. 知识管理论坛, 2013(9): 21-27.
[19] (Zhang Weishu, Lv Yunxiang.The Improvement and Implementation of the Micro-blog Sentiment Orientation Algorithm[J]. Knowledge Management Forum, 2013(9): 21-27.)
[20] Shen Y.Emotion Mining Research on Micro-blog [C]. In: Proceedings of the 1st IEEE Symposium on Web Society. Lanzhou: Lanzhou University, 2009.
[1] 常志军,钱力,谢靖,吴振新,张鹄,于倩倩,王颖,王永吉. 基于分布式技术的科技文献大数据平台的建设研究*[J]. 数据分析与知识发现, 2021, 5(3): 69-77.
[2] 张梦瑶, 朱广丽, 张顺香, 张标. 基于情感分析的微博热点话题用户群体划分模型 *[J]. 数据分析与知识发现, 2021, 5(2): 43-49.
[3] 陈仕吉, 邱均平, 余波. 基于Overlay图谱的图情领域大数据主题分析*[J]. 数据分析与知识发现, 2021, 5(10): 51-59.
[4] 赵宇翔,练靖雯. 数字人文视域下文化遗产众包研究综述*[J]. 数据分析与知识发现, 2021, 5(1): 36-55.
[5] 席运江, 杜蝶蝶, 廖晓, 仉学红. 基于超网络的企业微博用户聚类研究及特征分析*[J]. 数据分析与知识发现, 2020, 4(8): 107-118.
[6] 王建冬,于施洋. 构建国家经济大脑的实践探索与初步设想 *[J]. 数据分析与知识发现, 2020, 4(7): 2-17.
[7] 邱尔丽,何鸿魏,易成岐,李慧颖. 基于字符级CNN技术的公共政策网民支持度研究 *[J]. 数据分析与知识发现, 2020, 4(7): 28-37.
[8] 叶光辉,曾杰妍,胡婧岚,毕崇武. 城市画像视角下的社会公众情感演化研究*[J]. 数据分析与知识发现, 2020, 4(4): 15-26.
[9] 李铁军,颜端武,杨雄飞. 基于情感加权关联规则的微博推荐研究*[J]. 数据分析与知识发现, 2020, 4(4): 27-33.
[10] 梁艳平,安璐,刘静. 同类突发公共卫生事件微博话题共振研究*[J]. 数据分析与知识发现, 2020, 4(2/3): 122-133.
[11] 徐月梅,刘韫文,蔡连侨. 基于深度融合特征的政务微博转发规模预测模型*[J]. 数据分析与知识发现, 2020, 4(2/3): 18-28.
[12] 韩康康,徐建民,张彬. 融合用户兴趣和多维信任度的微博推荐*[J]. 数据分析与知识发现, 2020, 4(12): 95-104.
[13] 王晰巍,张柳,黄博,韦雅楠. 基于LDA的微博用户主题图谱构建及实证研究*——以“埃航空难”为例[J]. 数据分析与知识发现, 2020, 4(10): 47-57.
[14] 王建冬. 大数据在经济监测预测研究中的应用进展*[J]. 数据分析与知识发现, 2020, 4(1): 12-26.
[15] 李博诚,张云秋,杨铠西. 面向微博商品评论的情感标签抽取研究 *[J]. 数据分析与知识发现, 2019, 3(9): 115-123.
Viewed
Full text


Abstract

Cited

  Shared   
  Discussed   
版权所有 © 2015 《数据分析与知识发现》编辑部
地址:北京市海淀区中关村北四环西路33号 邮编:100190
电话/传真:(010)82626611-6626,82624938
E-mail:jishu@mail.las.ac.cn