引用本文
张红斌, 李广丽. 商品在线评价的情感倾向性分析研究* . 现代图书情报技术, 2012, 28(10): 61-66
Zhang Hongbin, Li Guangli. Research on Sentiment Orientation Analysis of Product Online Reviews. 现代图书情报技术, 2012, 28(10): 61-66  
Permissions
Copyright©2012, 《现代图书情报技术》编辑部
《现代图书情报技术》编辑部版权所有
商品在线评价的情感倾向性分析研究*
张红斌1, 李广丽2
1华东交通大学软件学院 南昌 33001
2华东交通大学信息工程学院 南昌 330013
基金:本文系教育部人文社会科学研究青年项目“基于多层语义推理的数字图书馆多媒体信息检索模型研究”（项目编号：12YJCZH274）、教育部人文社会科学研究青年项目“融合跨媒体检索的数字图书馆个性化信息推送服务研究”（项目编号：11YJC870012）和江西省科技支撑计划-社会发展项目“基于跨媒体检索的医学肿瘤图像病变语义诊断”（项目编号：20121BBG70050）的研究成果之一;
摘要

围绕商品在线评论的语义挖掘问题,采用情感倾向性分析技术对商品在线评论进行情感倾向性极性分析,在此基础上定量度量情感倾向性强度,以正确地表达商品在线评论信息的语义内涵。选择淘宝网小米手机和摩托罗拉ME525+手机的在线评论进行实验分析,结果表明本研究获取的情感倾向性自动评分的准确率达到80%以上,且绝大多数的商品属性指标均能保证正确的情感倾向性极性。因此,该研究成果对用户的网上购物具有一定的参考价值。

关键词: 情感倾向性分析; 商品在线评论; Rost EA; Heritrix; 正则表达式
中图分类号:TP391
Research on Sentiment Orientation Analysis of Product Online Reviews
Zhang Hongbin1, Li Guangli2
1School of Software, East China Jiaotong University, Nanchang 330013, China
2School of Information Engineering, East China Jiaotong University, Nanchang 330013, China
Fund:
Abstract

This paper aims at resolving the semantic mining problem of product online reviews by using the technology of sentiment orientation analysis. The sentiment orientation polar is firstly analyzed and the intensity of sentiment orientation analysis is computed to correctly express the inner semantic of product online reviews. The reviews of Xiaomi mobile phone and Motorola ME525+ mobile phone on Taobao are chosen to do the experiments. The results show that the precision of each auto-scoring of sentiment orientation analysis can reach 80% and most attribute indicators of products can get correct sentiment orientation polar, Which can help Web users to make correct purchase decisions to some extent.

Keyword: Sentiment orientation analysis; Product online reviews; Rost EA; Heritrix; Regular expression
1 引言

越来越多的网上用户通过浏览商品的在线评论来了解商品质量和口碑,以做出正确的购买决策。此外,商品的在线评论作为一种反馈机制可促进生产商和销售商改善和提升商品质量,从而在商业竞争中立于不败之地。但是,在线评论数量呈几何级增长,动辄几千条甚至上万条评论让用户感到无所适从,且从这些评论中获取商品的准确信息变得非常困难。因此,迫切需要借助技术手段来分析这些在线评论,获取对商品评价客观的统计数据,辅助用户的购买行为。本文针对“商品在线评论的语义挖掘问题”展开研究,研究方法是文本情感倾向性分析,最终评定商品在线评论的情感倾向性等级。

2 国内外研究现状

国内外学者对利用在线评论进行情感倾向分析做出了深入的研究和探讨,主要从三个角度展开工作:

(1)词角度。Turney等[ 1]采用词汇共现关系,通过确定词语与基准词的共现程度来计算词语的情感倾向极性。Zhang等[ 2]应用一种基于网络的无监督方法对情感短语的极性做判断。朱嫣岚等[ 3]提出基于HowNet的语义相关场中文情感倾向性计算方法,取得不错结果。

(2)句子角度。Hu等[ 4]和Wiebe等[ 5]基于语料库和词典的方法来研究句子的情感倾向性。王根等[ 6]采用多重冗余标记的CRF分析句子的情感极性,并将极性划分为5类。

(3)篇章角度。Pang等[ 7]首次提出训练分类器对整篇电影评论进行情感极性判断。左维松等[ 8]提出基于规则和统计相结合的方法对篇章级商品评论进行极性判别,获得了较好的效果。

赵丽芳[ 9]提出了抽取商品属性特征进行情感极性判断,但其仅建立贬义和褒义主题词,未针对细化的商品属性分别设计主题词库,因而也就未能获取不同商品属性的情感倾向强度。

从应用看,商用商品信息反馈系统Opinion Observer[ 10]利用网络上丰富的顾客评论资源生成反馈信息。姚天昉等[ 11]选择汽车评论作为语料,构建了一个汽车评论情感分析系统。此外,各大购物网站如淘宝网、京东商城、卓越亚马逊等也提供了在线评论的情感倾向性分析功能。它们主要依赖用户的客观评分来对评论做情感分类,生成评价星级、好评度等指标,未挖掘主观评论中的文本语义,也未生成用户对商品评论的情感倾向性强度。

综上所述,基于词的情感倾向性分析是主流的研究方向。因此笔者选择该方向进行商品评论的文本语义挖掘。此外,针对不同属性指标分别建立语料库或词典,采集评论主题描述的研究较少。故提出建立第三方的主题词库来抽取和表达评论的主题,并对多个商品属性指标分别量化其情感倾向强度分值,最后以图形化方式直观地展示给用户。

3 技术路线与方法

本文关注商品在线评论的语义挖掘,采用情感倾向分析技术对主观评论内容做情感极性分析,获取情感倾向强度,并以柱状图展示给用户。本研究包括构建主题爬虫、设计主题词库、设计情感倾向性分析算法、图形化显示分析结果等内容,其技术路线如图1所示:

图1 采用的技术路线

本文选择淘宝网手机商品的在线评论展开研究工作,步骤如下:

(1)配置抓取的URL、线程数等触发主题爬虫,爬取手机的在线评论网页;

(2)设计正则表达式抽取网页中的评论内容[ 12],并将评论做切分;

(3)从手机商品6大属性特征“质量”、“价格”、“配置”、“外观”、“服务”和“快递”入手,抽取评论中的商品属性特征主题词,围绕每一类主题词进行情感倾向性分析,获取每个类别主题词的情感偏好分值;

(4)将情感偏好分值以柱状图的方式展示给用户。

其中,抽取商品属性特征的主题词描述和基于主题词计算情感倾向性是本技术路线的关键,本文采用建立主题词库并进行关键词匹配的方法实现商品属性特征的主题词抽取。此外,设计情感倾向性分析算法来计算每个类别主题词的情感倾向分值,用户可获取对商品更加细化、更加直观的量化评价。

4 系统实现
4.1 软件结构图设计

系统软件结构如图2所示。在线评论抽取将抽取出指定商品的在线评论网页,针对每个商品抽取100页评论信息;产品的情感倾向性分析为抽取的、描述评论的关键词计算情感倾向性分值,每个商品包含6大属性特征;分析结果展示出每类主题词的情感倾向性柱状图。

图2 系统的软件结构

4.2 关键算法设计

(1)在线评论抽取算法设计

在线评论抽取获取第一手的评论信息,并将它们格式化,为后续情感倾向性分析做好准备。借鉴常规的信息抽取思路对在线评论抽取算法进行了改进[ 9, 11],即仅抽取网页中的商品信息和评论内容等。其流程如图3所示:

图3 在线评论抽取算法流程

在具体实现时,Heritrix首先读取order.xml配置文件,确定爬行策略,该文件确定了抓取文件的最大数量、抓取模式、如何存储、爬行网页等信息。为了能把网页中的评论抽取出来,笔者改写了org.archive.crawler.writer包中的MirrorWriterProcessor.java类,使其在存储网页的同时,通过正则表达式将评论抽取出来,再从网址中抽出商品ID,最后把商品ID和评论内容这些非结构化的数据存储在数据库中,得到结构化的数据。

算法在执行过程中主要通过设计合理的正则表达式完成评论内容的抽取。根据淘宝网商品网页的特点,笔者设计正则表达式将网页中的评论内容抽取出来,然后去掉评论中的次要信息,并保存为纯文本形式。算法中使用到的正则表达式如表1所示:

表1 在线评论抽取使用的正则表达式

(2)主题词抽取算法设计

主题词抽取是在获取了商品在线评论后进一步对纯文本的小评论做主题划分,即判断每条小评论所属的商品属性特征,为后续的情感倾向性评分做好准备。建立了一个主题词库,通过设置正则表达式来判断小评论中是否包含主题词,并将主题词抽取出来,正则表达式的设置是\"["+similarWord.replace(',', '|')+"]\"。借鉴常规的信息抽取思路对主题词抽取算法进行了改进[ 9, 11],即根据主题词库进行主题词的筛选,其流程如图4所示。在实现时,独立开发主题词抽取模块,内置本算法,完成小评论的主题词抽取任务。

图4 主题词抽取算法流程

(3)情感倾向性分析算法设计

借鉴ROST EA[ 13]展开情感倾向性分析算法设计,在情感倾向性分析中引入态度词。态度词是表示人态度的词语,如欢喜、悲伤等,大部分态度词由动词、形容词和副词组成,并含有少量名词。每个态度词对应一个表示心情程度的权值,将权值的范围定义为[-20, 20],例如狂喜的权值是20,彻底绝望的权值为-20。正值表示积极心情,负值表示消极心情。某个词正值越大,越能表达积极情绪;反之,越能表达消极情绪。这一定义从定性和定量角度均较好地描述了文本的情感倾向性。此外,根据句子中出现的否定词次数对情感倾向分值赋予相应符号。情感倾向性分析算法是借鉴ROST EA[ 13]的具体应用,其流程如图5所示:

图5 情感倾向性分析算法流程

4.3 主题词库设计

通过对5 000条手机商品在线评论的人工分析发现,绝大部分手机消费者在购买手机时主要关注质量、价格、外观、配置、服务和快递6个指标。因此,根据这6大属性特征设计出描述手机商品的主题词库。主题词库截图如图6所示:

图6 手机商品的主题词库

5 实验及评估
5.1 实验环境配置

实验环境配置如表2所示:

表2 实验环境配置
5.2 数据准备

数据准备包括获取手机商品在线评论数据和获取人工评分数据。在线评论数据的获取为情感倾向性自动评分准备数据;人工评分数据作为基线,以评估本研究设计的情感倾向性自动评分算法的准确率。

(1)获取在线评论数据

实验中所有数据均来自淘宝网,为了使实验数据更具统计意义,在选择手机商品时,只选择评论数量超过2 000条的商品作为实验对象。因此,实验中选择两款较流行的智能手机,即小米手机和摩托罗拉ME525+手机。所有评论数据均通过设置Heritrix的初始URL、线程数等参数后,驱动其以网页的形式将评论下载到本地硬盘。然后,采用如图3所示的算法流程抽取评论内容,并对评论内容格式化,为情感倾向性分析做好数据准备。

(2)获取人工评分数据

为评测情感倾向性自动评分的准确率,设置了人工评分环节,来对网页评论进行情感倾向性的评分,即由人来决定每条评论的情感倾向性分值,分值范围为[-10,10],0分表示情感倾向性中性,分数越小情感倾向越负面,分数越大情感倾向越正面。人工评分共评价了2 000条自动抽取的在线评论。邀请从事语言学研究的专家参与人工评分,评分中对于积极情感倾向给出较高评分,相反给出较低评分,评分完成后系统提供校验界面,保证打分的公正性。

5.3 软件运行

图7 小米手机的情感倾向性自动评分

用户可查看不同品牌手机的在线评论的情感倾向性自动评分。例如,当用户选择查看小米手机的情感倾向性评分时,得到了如图7所示的柱状图。统计图横轴表示属性特征,有质量、价格、外观、配置、服务和快递6大属性特征,纵轴表示商品各指标分值。可以看到消费者对小米手机的质量和外观较满意,而对小米手机的配置和服务较不满意。

还可从研究者角度来分析、对比自动评分与人工评分的差异。将人工评分和自动评分以不同的颜色绘制成柱状图以对比两者差异,评估自动评分准确率,该图被称为可信度数据比较图。例如,若选择小米手机可信度比较界面,其结果如图8所示。

图8 小米手机可信度比较

图8中红色柱体代表情感倾向性自动评分,蓝色柱体代表情感倾向性人工评分。例如:质量属性的自动评分是1.4,其人工评分是-3。可以看出自动评分和人工评分在价格、外观、配置和服务4大指标的情感倾向性极性上保持一致,且强度相差不大。因此,这些属性特征的自动评分有较高参考价值。但就小米手机而言,它的自动评分和人工评分在质量和快递两类属性特征上的情感倾向性极性刚好相反,这些属性指标的自动评分可能会误导用户的购物行为。造成极性相反的原因包括:

(1)质量和快递的主题词库覆盖范围太小,可从两个极性的角度建立更加均匀的主题词库,从而覆盖更多主题;

(2)情感倾向性分析算法有待改进,可从完整句子、甚至是篇章角度进行情感倾向性分析,获取更客观的情感倾向性极性。

5.4 实验结果及评估
表5 两大品牌的人工评分和自动评分对比表

两大品牌手机的自动评分和人工评分结果如表3所示。为更好地评测本系统,从两个方面做定量衡量:情感倾向性分析自动评分准确率,该准确率决定了本系统的实用价值;情感倾向性分析自动评分方差,该方差描述了自动评分对于其数学期望的偏离程度,它可以辅助分析系统的准确率。由于目前还没有将手机数据作为实验语料的相关研究,因此选择人工评分作为基线进行对比实验。

表3中小米手机只有两个属性指标的人工评分与自动评分极性相反,而摩托罗拉ME525+手机却有三个属性指标的人工评分与自动评分极性相反。因此,猜测摩托罗拉ME525+手机的自动评分准确率比小米手机要低,下面通过公式计算来验证该猜测。

笔者设计了自动评分准确率计算公式,如下所示:

P=(1- ( /20×6)) (1)

其中,i为第i个属性指标,本系统中共用到6个属性指标。Ai为第i个指标的人工评分,Bi为第i个指标的自动评分,P为自动评分准确率。

把表3的数据代入公式(1),计算得到淘宝网小米手机在线评论的自动评分准确率为86.7%,摩托罗拉ME525+手机在线评论的自动评分准确率为80.1%,两者的平均准确率达到83.4%。从平均准确率看,本研究成果在情感倾向性上较准确。若增加网页评论数量,准确率将会进一步提高,并逐步收敛。摩托罗拉ME525+手机的自动评分准确率低于小米手机,验证了猜测。

笔者设计出情感倾向性分析自动评分方差计算方式,如下所示:

D(X)=

(2)

其中,M表示各属性指标分数差(即|人工评分指标分数-自动评分指标分数|)的均值,Xn表示第n个属性指标的|人工评分指标分数-自动评分指标分数|,n表示属性指标总数,本研究中共使用6个指标。

把表3的数据代入公式(2),计算得到淘宝网小米手机在线评论的方差是1.417,摩托罗拉ME525+手机在线评论的方差是3.185。从这两个方差数据看,小米手机的自动评分方差较小,该自动评分能更客观地描述小米手机在线评论的情感倾向性以及强度。相反,摩托罗拉ME525+手机的自动评分方差较大,自动评分对摩托罗拉ME525+手机在线评论的情感倾向性描述要逊色一些,这一结论与上述得出的自动评分准确率相吻合。此外,这两个方差值相互偏离较大,分析原因如下:

(1)主题词库规模偏小,导致主题覆盖范围偏小。解决方法是增加覆盖范围广的主题词。

(2)在线评论数据的规模偏少。解决方法是继续增加评论数据,使数据分布趋于稳定。

(3)6大属性指标均采用相同权值来计算,未体现属性指标间的差异。解决方法是根据指标重要性的高低为它们分配不同的权值。

6 结语

本文针对商品在线评论中存在的如主观评论未加以利用、情感倾向强度不明确等问题展开研究,设计并构造了一个基于情感倾向性分析的商品在线评论语义挖掘系统,并选择淘宝网的手机在线评论进行情感倾向性分析研究。实验结果表明,本研究的情感倾向性自动评分准确率达到80%以上,且绝大多数商品属性指标均能保证正确的情感倾向性极性,研究成果在一定程度上可辅助用户的购物决策。当然,笔者也发现情感分析方差不稳定,主要是主题词库规模偏小、属性指标的重要性差异未体现等原因导致,今后的工作中将对这些问题展开进一步的研究,期望可以获得有价值的研究成果。

参考文献
[1] Turney P D, Littman M L. Measuring Praise and Critism: Inference of Semantic Orientation From Association[J]. ACM Tanslations on Information Systems, 2003, 21(4): 315-346. [本文引用:1]
[2] Zhang Z Q, Li Y J, Ye Q, et al. Sentiment Classification for Chinese Product Reviews Using an Unsupervised Internet-based Method[C]. In: Proceedings of 2008 International Conference on Management Science &Engineering(ICMSE 2008). 2008: 3-9. [本文引用:1]
[3] 朱嫣岚, 闵锦, 周雅倩, 等. 基于HowNet的词汇语义倾向计算[J]. 中文信息学报, 2006, 20(1): 14-20.
(Zhu Yanlan, Min Jin, Zhou Yaqian, et al. Semantic Orientation Computing Based on HowNet[J]. Journal of Chinese Information Processing, 2006, 20(1): 14-20. ) [本文引用:1] [CJCR: 1.13]
[4] Hu M Q, Liu B. Mining Opinion Features in Customer Reviews[C]. In: Proceedings of the 19th National Conference on Artificial Intelligence. AAAI Press, 2004: 755-760. [本文引用:1]
[5] Wiebe J, Rfloff E. Creating Subjective and Objective Sentence Classifiers from Unannotated Texts[C]. In: Proceeding of the 6th International Conference on Computational Linguistics and Intelligent Text Processing (CICLing 2005). Berlin, Heidelberg: Springer-Verlag, 2005: 486-497. [本文引用:1]
[6] 王根, 赵军. 基于多重冗余标记 CRF 的句子情感分析研究[C]. 见: 内容计算的研究与应用前沿——第九届全国计算语言学学术会议论文集, 2007.
(Wang Gen, Zhao Jun. Sentence Sentiment Analysis Based on Multi-redundant-labeled CRF[C]. In: Proceedings of the 9th National Language AcademicConference, 2007. ) [本文引用:1]
[7] Pang B, Lee L, Vaithyanathan S. Thumbs up? Sentiment Classification Using Machine Learning Techniques[C]. In: Proceeding of the ACL-02 Conference on Empirical Methods in Natural Language Processing (EMNLP’02). Stroudsburg: Association for Computational Linguistics, 2002: 79-86. [本文引用:1]
[8] 左维松, 昝红英, 张坤丽, 等. 规则和统计相结合的情感分析研究[C]. 见: 第五届信息检索学术会议论文集, 2009.
(Zuo Weisong, Zhan Hongying, Zhang Kunli, et al. Sentiment Analysis Based on Rule and Statistics[C]. In: Proceedings ofCCIR, 2009. ) [本文引用:1]
[9] 赵丽芳. 基于最大熵方法的评论信息抽取研究[D]. 上海: 上海交通大学, 2009.
(Zhao Lifang. Research of Opinion Information Extraction Based on Maximum Entropy Model[D]. Shanghai: Shanghai Jiaotong University, 2009. ) [本文引用:3]
[10] Liu B, Hu M Q, Cheng J S. Opinion Observer: Analyzing and Comparing Opinions on the Web[C]. In: Proceeding of the 14th International Conference on World Wide Web (WWW’05). New York: ACM, 2005: 342-351. [本文引用:1]
[11] 姚天昉, 聂青阳, 李建超, 等. 一个用于汉语汽车评论的意见挖掘系统[C]. 见: 中文信息处理前沿进展——中国中文信息学会二十五周年学术会议论文集, 2006.
(Yao Tianfang, Nie Qingyang, Li Jianchao, et al. An Opinion Mining System for Chinese Automobile Reviews[C]. In: Proceedings of the 25th Annual Academic Conference of ChineseInformation, 2006. ) [本文引用:3]
[12] Java正则表达式实例教程[EB/OL]. [ 2012-08-31]. Java正则表达式实例教程[EB/OL]. [2012-08-31]. http://wenku.baidu.com/view/fcdf770bf78a6529647d5321.html.(CaseCourseofJavaRegularExpression[EB/OL]. [2012-08-31]. http://wenku.baidu.com/view/fcdf770bf78a6529647d5321.html [本文引用:1]
[13] Rost虚拟学习团队. Rost情感分析工具[EB/OL]. [2012-08-31]. http://www.fanpq.com/soft/uploadsoft/ROSTEA.rar.(RostVirtualLearningTeam.RostSentimentAnalysisTool[EB/OL]. [2012-08-31]. http://www.fanpq.com/soft/uploadsoft/ROSTEA.rar [本文引用:2]
[14] 陈伟. 无比强大的网络爬虫Heritrix[EB/OL]. [2012-01-16]. http://wenku.baidu.com/view/46a9336a561252d380eb6e44.html.(ChenWei.IncomparablePowerfulWebcrawlerHeritrix[EB/OL]. [ 2012-01-16]. http://wenku.baidu.com/view/46a9336a561252d380eb6e44.html [本文引用:1]
[15] SourceForge. JFreeChart[EB/OL]. [2012-08-31]. http: //sourceforge. net/projects/jfreechart/files/.
(作者E-mail: zhbdog@tom. com) [本文引用:1]