面向评论效用评估的文本情感特征提取*
[聂卉1 , 容哲2 
]
]
引用本文
聂卉, 容哲. .面向评论效用评估的文本情感特征提取* [J]. 现代图书情报技术, 2015,31(7/8): 113-121
Nie Hui, Rong Zhe. .Review Helpfulness Prediction Research Based on Review Sentiment Feature Sets. New Technology of Library and Information Service,2015,31(7/8): 113-121
Permissions
Nie Hui, Rong Zhe. .Review Helpfulness Prediction Research Based on Review Sentiment Feature Sets. New Technology of Library and Information Service,2015,31(7/8): 113-121
Copyright©2015, 《现代图书情报技术》编辑部
《现代图书情报技术》编辑部
面向评论效用评估的文本情感特征提取*
2中山大学管理学院 广州 510275
摘要
目的
探测情感词典匹配方法以及机器学习方法抽取的情感特征对评论效用的预测作用。
方法采用情感词典匹配法和机器学习分类法抽取评论情感特征。针对语料构建情感词典, 设计合理匹配算法, 探测最佳情感分类模型, 采用随机森林算法取不同情感特征组合对评论效用价值进行预测。
结果结合两种情感分析方法对评论效用预测效果最好。其中情感词典匹配方法所得的评论情感均值和评论情感波动能有效识别评论效用, 效果优于机器学习方法。【局限】只针对搜索型商品的评论数据, 缺乏对体验型商品评论的相应分析, 研究数据的覆盖面存在局限。
结论情感词典匹配法结合机器学习法能有效识别评论效用。
关键词:
评论效用; 情感分析; 情感词典; 机器学习
中图分类号:
Review Helpfulness Prediction Research Based on Review Sentiment Feature Sets
Abstract
[Objective] Use review sentiment feature sets extracted by dictionary matching method and machine learning method to predict review’s helpfulness. [Methods] This paper adopts sentiment dictionary matching method and machine learning classification method to extract review sentiment feature sets, including building sentiment dictionary, designing appropriate matching algorithm and choosing the best sentiment classifier. Random forest algorithm is applied to predict review’s helpfulness with different sentiment feature sets. [Results] The combination of two sentiment analysis methods performs best in predicting review helpfulness. Review’s average sentiment score and deviation score derived from sentiment dictionary method have better prediction performance to review helpfulness. [Limitations] Only focused on reviews of search product but neglected the reviews of experience product. The research dataset is limited. [Conclusions] The combination of sentiment dictionary matching method and machine learning method can predict review helpfulness effectively.
Keyword:
Review; helpfulness; Sentiment; analysis; Sentiment; dictionary; Machine; learning
1 引 言
随着电子商务的发展, 越来越多的消费者倾向于网络购物。各种信息来源中, 用户评论因为其来源真实、内容丰富成为消费者购买产品的重要参考。然而, 用户生成的评论质量参差不齐, 低质虚假的评论不仅不能提供有价值参考, 甚至会产生误导。因而, 从良莠混杂的评论资讯中辨识具有效用价值的高质量评论具有现实意义。
在诸多的研究中, 评论质量与评论有用性概念等同。高质量评论被认为是“ 有用” 评论, 效用体现在能否为用户做出适当决策提供参考。电子商务网站中一般含有用户对评论有用性的投票, 体现了用户对评论质量的感知[1]。但基于投票机制的效用评价模型由于存在时间延迟, 也限制了某些潜在高质量评论的呈现。因而, 从评论内容中提取反映评论褒贬极性及程度的情感特质, 从情感因素层面探讨其对用户感知的评论效用影响的研究就显得十分重要。
目前, 评论文本的情感分析研究主要采用两类方法, 基于情感词典的分析方法[2, 3, 4]和基于机器学习的分类方法[5, 6, 7]。词典匹配法可获得比较稳定的结论, 但因为泛化, 有失精准。机器学习的预测精度较高, 但取决于训练集质量。这两种方法, 哪种更适用?两者能否结合, 从而构建出更准确的评论效用预测模型?对这一问题的探讨有助于深入了解情感因素对评论效用的影响机制, 进一步提高预测评论效用的能力。
2 相关研究
2.1 基于情感词典匹配的情感分析
词典法主要利用词汇的情感倾向, 通过匹配来计算句子、段落乃至篇章的情感极性。运用词典进行情感分析首先需要构建情感词典。在中文领域, 基础情感词典多选用HowNet(知网)。但基础情感词典存在词量不足、语义宽泛等问题, 实际应用中往往要对未登录词的情感倾向进行判断。对未登录词进行情感极性分析可利用词汇的语义相似度。Turney等[8]提出的SO-PMI(Semantic Orientation from Pointwise Mutual Information)是识别词汇情感极性的重要方法。SO-PMI法通过计算语料中所有形容词与种子褒义词和贬义词之间的点互信息来识别新情感词, 较之语义相似度计算, 更易操作。姚天昉等[9]在中文领域采用该方法获得了良好的效果。
句子层面的极性判断依据对情感词极性的分析结果, Hu等[2]计算出句子的正负情感分, 取正负情感分的离差作为判断句子褒贬极性的依据。在句子正负情感分值相同的情况下, 取情感词分值的均值作为句子的情感倾向度。此后多数研究都采用这一辨别方法[3, 4]。然而用户生成的评论中往往既包含正面评价, 也包含负面评价。在评论效用预测中, 只提取句子的褒贬极性特征有可能丢失判断评论效用的重要因素, 评论中的正面情感和负面情感都是值得保留的特征。
本文选用HowNet情感词典为基础词典, 并利用语料库词语与基准词的点互信息来拓展情感词典, 同时改进句子层面的情感特征提取算法, 对评论文本的正负面情感特征值进行量化。
2.2 基于机器学习的情感分析
基于机器学习的情感分析将文本的情感预测转换为文本分类问题。通过提炼文本内容中表征文本主观特质的特征描述文本, 并利用经典的文本分类方法对文本的褒贬倾向进行判断。而作为文本分类问题, 对蕴含情感特质的文本进行特征描述是关键。一般而言, 特征建模常采用n元文法(n-gram), 例如, Pang 等[5]分别采用基于词频权重的一元文法、布尔权重的一元文法、二元文法、一元文法与二元文法组合等多种形式的特征, 发现采用布尔权重的一元文法描述文本的分类效果最好。因此, Pang等认为情感正负极性主要取决于情感词出现与否, 而并非频次。Pak等[10]采用同样方法在Twitter语料上也取得了良好效果。在情感分类算法方面, 由于分类算法面向不同语料时表现存在差异, 大多数研究都会对比几种常用的学习算法, 以找出最佳模型。Pang等[5]对比了支持向量机、朴素贝叶斯及最大熵模型对情感倾向分类的识别, 发现支持向量机表现更佳。在中文语料上, 刘志明等[11]和 Tan等[12]同样得出SVM算法最优的结论。
实际应用中, 由于语料多样性, 需要对比不同特征描述、权重和分类算法以选择最佳分类模型。本研究采用基于卡方的特征选取方案, 对比n元文法和多种机器学习算法的情感分析效果, 面向真实的网络评论数据, 获取最适用的情感分类模型。
2.3 情感极性分析在评论效用研究中的应用
相关研究表明, 评论的情感特征与评论效用有关联。在部分评论效用预测的研究中, 情感特征获取以情感词汇为粒度, 研究主观情绪在预测评论效用价值所起的作用。Siersdorfer等[13]使用SentiWordNet①(①http://sentiwordnet.isti.cnr.it/.)匹配YouTube评论中的情感词, 将词条的情感倾向引入特征集训练分类器, 为评论进行自动打分。Kim等[14]选用General Inquirer②获取情感词极性(②http://www.wjh.harvard.edu/~inquirer/homecat.htm.), 探测词汇级情感因素对预测商品评论效用的作用。而Jin等[4]则通过拓展WordNet情感词典, 根据产品特征和情感词的共现判断评论中对产品特征的正负情感, 预测评论效用。
另有情感分析研究在句子层面展开, Ghose等[15]采用机器学习方案从评论正文中提取句子主观度和主观度偏差两个情感指标, 验证了评论效用与评论的主观度均值和偏差有显著关系。郝媛媛等[7]采用该方法对影评数据进行分析, 发现正负情感混杂度对评论有用性存在正向影响。Hu等[2]以句子情感分值的总和作为句子的情感倾向。Chen等[3]采用这一算法提取评论情感特征, 证明情感特征是影响预测效果的重要因素。然而有些研究却得到相反的结论, Liu等[16]同样采用Hu等的情感特征算法识别低质量评论, 发现情感特征对辨别低质量评论的贡献不大。Jindal等[17]也根据该算法抽取情感词, 并将情感词在句中所占的比例作为情感特征, 用以探测垃圾评论, 结果发现情感特征对识别垃圾评论帮助不明显。
可见情感特征在效用价值的预测分析中所起的作用与预测目标有直接关系。在效用评估中, 情感特征对预测效用值有显著影响, 而在预测虚假评论或探测低质量评论的任务中, 情感特征因素往往没有发挥作用。因此笔者认为这是一个专属问题, 首先明确情感因素是否能在预测任务中起作用, 再进一步探讨不同的特征抽取方法所得出的情感特征组合在任务中的表现。
3 研究框架
3.1 研究流程及研究问题
本文以“ 有用性” 评论自动识别为研究任务, 重点探讨词典匹配法和基于机器学习的情感分析方法的技术实现, 明确适用于效用预测研究的情感特征的提取方法, 实现高质量评论的自动辨识。研究流程如图1所示:
整个流程分三个环节: 文本预处理对原始文本进行必要的初始处理, 如分句和分词; 词典匹配和机器学习从文本中提取情感特征并形成文本特征描述; 构建预测模型, 探测不同的情感特征集对评论效用的预测效果。依据上述流程, 笔者提出以下两个研究问题:
问题1: 如何利用词典匹配技术和机器学习分类技术获取评论正文中的情感特征因素?两者获得的情感特征是否不同?
问题2: 评论的情感特征对用户感知的评论效用价值是否有显著影响?哪些情感特征因素对评论效用的预测有显著作用?
问题1主要探讨两种方法在提取评论的情感特征上的有效性。问题2重点探索情感特征在识别评论效用上的作用, 并深入挖掘对评论效用影响最大的特征因素, 考察适用于评论效用识别的情感特征抽取方法。
3.2 评论文本中情感特征的描述和定义
面向评论内容, 共提取8个情感特征指标, 前6个采用情感词典匹配获取, 后两个利用机器学习方法取得, 如表1所示。词典法获取的6个情感特征中, 情感极性分和均值反映评论的整体情感倾向, 极性标准差则体现用户对产品评价的认同感。机器学习方法从评论文本中提取的正负情感概率值的意义与词典匹配所得的正负面情感均值意义一致, 以概率值来描述评论内容的情感倾向。
 | 表1 评论文本中情感特征的描述和定义 |
4 研究过程
4.1 词典匹配技术获取评论的情感特征
词典匹配技术的关键是情感词典的构建和匹配算法设计。本文采用HowNet(知网)中的情感词典和台湾大学中文情感词典为基础情感词典。在此基础上拓展构建了领域情感词典, 结合二者作为本文研究所用情感词典。
(1) 情感词典构建
研究选用HowNet“ 情感分析用语集(2007版)” ①（①http://www.keenage.com/html/c_index.html.）的正负面情感词和正负面评价词词典, 同时结合台湾大学中文情感词典②(②http://nlg18.csie.ntu.edu.tw: 8080/opinion/index.html.), 去除重复及情感倾向不显著的词条, 生成基础情感词典。
拓展情感词典采用Turney等[8]的点互信息法, 依据目标词和基准词间的点互信息, 确立两词关联, 预测目标词的情感分。初始评论文本首先经过分词和词性标注等预处理, 提取形容词、副词和动词为候选词, 按词频由大到小排序。根据前50个形容词和副词的极性, 选择10个正面基准词, 10个负面基准词。
基于基准词, 采用SO-PMI算法[8, 9], 计算目标词与基准词的正负面点互信息之差。其中Pset和Nset分别是褒义和贬义基准词的集合, 公式如下:
差值大于0为正面情感词, 反之为负面情感词。据此扩展领域情感词生成拓展情感词典, 共得到274个正面情感词, 322个负面情感词。最终所用情感词典中共包含6 061个正面情感词, 10 270个负面情感词, 负面情感词比重较大。
(2) 词典匹配算法设计
程度副词表达了情感的强烈程度, 利用知网情感用语集中的“ 程度级别词语” 构建程度副词词表。否定词往往会改变情感的极性, 因此人工整理了18个常用否定词。考虑到感叹号意味着情感强化, 因此将感叹号按情感值处理。为程度副词、否定词和感叹号赋予权值, 如表2所示。
进一步, 对评论文本段的情感特征进行量化。将评论R表示为句子集S{S1, S2, …, Sn}。计算单句 Si的正负面情感值{Posi, Negi}。累计评论所有单句的情感分得到评论文本段的正负面情感分值, 即:
| 表2 程度副词、否定词及感叹号的 情感权值、数量及示例 |
取正负情感分值的均值, 均值能比较准确地反映一条评论的情感特质, 公式如下:
进一步计算评论的情感标准差:
标准差指标反映评论中蕴含情绪的稳定程度。对于产品评论, 情绪稳定度有现实的意义。评论语句通常描述产品某方面的属性, 情绪波动大, 说明产品某种属性有争议, 用户评价波动大。因此评论情感方差可作为情感特征指标, 本文将探测该变量对评论效用的影响。
4.2 利用机器学习分类方法获取评论的情感特征
许多研究采用产品评分(Rating)作为情感特征代理。尽管高分评论和低分评论有较明显的主观倾向性, 但中间评分的情感倾向无法处理, 产品评分并不能准确描述评论者的情感特征。为准确提取评论文本中的主观因素, 研究采用机器学习分类方法, 直接依据评论文本内容进行提炼, 主要涉及特征描述及分类算法选择。
特征描述, 分别采用一元文法、二元文法以及一元文法和二元文法的组合形式。特征权重采用特征词条的布尔值。依据Pang等[3]的研究, 情感特征词条出现与否即能有效地反映情感特征。考虑到分类的效率, 依据特征词的卡方统计值, 对特征矢量空间做进一步降维处理。对于分类算法, 选取支持向量机(SVM)[18]、朴素贝叶斯(Naive Bayes)、逻辑回归(Logistic Regression)[19]等分类方法作为候选, 这三类算法在文本分类中都有不错的表现。贝叶斯算法特别选取了多变量伯努利(Multi-Variate Bernoulli Model)和多项式(Multinomial Model)两个模型[20]。研究采用上述4种算法①(①为便于标识, 后文把朴素贝叶斯的多变量伯努利模型和多项式模型分别简称为伯努利贝叶斯和多项式贝叶斯。)实现对评论文本情感特征值的预测, 通过性能比较选择最佳的情感分类模型。
4.3 基于情感分析特征的评论有用性预测
“ 评论有用的投票人数与总人数的比值” 被选作为评论效用的代理指标(Rhelpfulness)。
Rhelpfulness 
在此代理指标下, 观察0.5、0.6、0.7、0.8、0.9阈值下评论的分布, 选择合理的阈值对评论质量进行分类, 令各类的评论数量大致相同。如果进行二分类, 评论区分为“ 有用” 和“ 无用” 两类。多分类下将评论分为“ 低质量” 、“ 中等质量” 和“ 高质量” 三个类别。
选择随机森林(Random Forest)[21]作为评论效用预测的分类算法。随机森林算法在评论效用识别中有着良好表现。笔者采用十折交叉检验, 对分类模型的效能进行评估。进一步针对情感词典匹配法和机器学习法所得的特征子集进行细粒度分析, 探测不同子集对评论效用预测的影响力。
5 研究结果及分析
5.1 数据集
利用火车头采集器(LocoySpider)②(②http://www.locoy.com.)采集中关村在线③(③http://detail.zol.com.cn/cell_phone_index/subcate57_list_1.html.)的手机评论, 选择用户评论超过500条的手机品牌, 采集时间为2013年6月5日至2013年6月7日, 采集了7个手机品牌, 共计4 528条评论。主要提取评论正文、产品评分、用户对评论有用性的评价等信息元。
5.2 研究结果及分析
(1) 利用情感词典提取情感特征
使用情感词典匹配算法, 从评论中抽取正面情感分值(PosSco)、负面情感分值(NegSco)、正面情感均值(AvgPos)、负面情感均值(AvgNeg)、正面情感标准差(StdPos)、负面情感标准差(StdNeg) 6个特征。图2展示了三个评论的情感特征分析的结果。可以看出, 评论一是完全正面评论; 评论二是完全负面评论; 评论三则是正面和负面情感相混杂, 且正面情感值(0.694444)高于负面情感值(0.333333), 表明情感倾向为褒义, 但也提出了不足之处, 这种评论应更具有参考价值(效用)。
 | 图2 情感词典计算情感特征示例(截图) |
(2) 采用机器学习方法抽取情感特征
从标注数据集中随机抽取3/4的数据为训练集, 剩余1/4数据为测试集。依据卡方统计值进行特征降维, 限定特征维度为1 500, 实验结果如表3所示:
| 表3 不同特征集下不同分类模型的性能表现(准确率) |
结果表明, 结合一元文法和二元文法表示特征空间, 分类准确率达到最高, 多项式朴素贝叶斯分类模型的准确率达到0. 937811。基于这一实验结果, 选择一元文法和二元文法的组合形式( 1-grams + 2-grams)为特征矢量空间, 分别对三个性能表现较好的分类算法: 伯努利朴素贝叶斯分类模型、多项式朴素贝叶斯模型和逻辑回归模型, 选取不同特征维度, 探测模型的分类性能, 实验结果如图3所示:
 | 图3 不同特征的分类准确率 |
分析不同特征维度下三个分类算法的分类精度, 选择分类准确率最高且特征维度较小的1 500作为最终的特征维度。进一步采用多项式朴素贝叶斯为分类算法、一元文法与二元文法的组合为特征空间描述, 以卡方统计量缩减特征维度为1500, 构建情感分类器。通过情感分类器判断产品评论的情感正负面极性概率作为情感特征。图4展示了机器学习方法判断评论情感概率值的例子。可以发现通过机器学习方法与词典匹配方法抽取情感特征的结论基本一致。
 | 图4 机器学习方法获取情感特征示例(截图) |
(3) 探测影响评论效用的情感特征
本文研究中, 取0.7作为评论效用的二元分类阈值, 取0.5和0.8作为评论效用三元分类阈值, 以保障正反例分布的均衡。
将所有情感特征的集合记录为S, 同时根据表1描述的情感特征体系, 把情感特征分为6个子集(S-S, S-Avg, S-Std, S-Prob, S-P, S-N), 共得到7个情感特征集合。以随机森林分类算法, 使用十折交叉检验, 分别对这7个情感特征集合进行二分类和三分类下的评论效用预测。并以精确率(Precision)、召回率(Recall)和F指标(F-measure, F-macro, F-micro)对效用分类性能进行评测, 实验结果如表4和表5所示:
| 表4 二分类下情感特征子集的分类效果 |
| 表5 三分类下情感特征子集的分类效果 |
表4和表5的第一栏是所有情感特征(S)对评论效用预测结果。可见无论二分类还是三分类下, 由情感词典方法和机器学习方法抽取的情感特征总集合对评论效用都有良好的探测效果(0.8959, 0.8341/0.8478), 其效果好于各个特征子集。可见两种方法抽取的情感特征都能影响评论效用, 且两种方法的结合能有效覆盖评论的情感表达, 达到最优预测效果。
第二栏是情感分值(S-S)、均值(S-Avg)、波动(S-Std)和概率(S-Prob)对评论效用的预测结果。可以看出, 无论是二元分类还是三元分类, 特征子集中分类效果最优的是情感标准差子集(0.8711, 0.7947/0.8116), 其次是情感均值子集(0.8533, 0.7827/0.7989), 而另外两个特征的效果相对较差。有以下结论:
(1) 在识别评论效用上, 采用情感词典匹配方法所得的情感特征子集除了情感分值外, 其效果都优于机器学习方法抽取的情感特征。
(2) 情感均值与情感分值相比更能代表一条评论的情感倾向。
(3) 情感标准差所体现的评论情感波动更能影响用户对评论的评价。情感波动指对商品特性评价可能从多个维度展开, 有肯定、有否定, 有客观描述、有主观评价, 从而体现出有实际价值的参考意义, 基于用户对商品认知的目的, 这种评论是“ 有用” 的。
第三栏是正负面情感(S-P/S-N)对评论效用的预测结果。可得知, 正面情感子集和负面情感子集的预测效果虽然略差于所有特征集的预测效果, 但预测性能表现不俗, 这说明正面情感和负面情感中都具有能有效影响评论效用的因素。
5.3 讨 论
本文采用情感词典匹配方法及机器学习分类方法抽取评论情感特征, 并采用情感特征识别评论效用。两类方法各具特点, 词典匹配法适用性较好, 如果词典构造得比较完善, 对不同语料能得到相对稳定的判断结果。而基于机器学习的分类方法不依赖外部资源, 适合于特定领域。研究结果表明, 抽取的情感特征能全面涵盖影响评论效用的情感因素, 结合两种方法能有效识别评论效用。但比较而言, 词典匹配法能获取更多影响评论效用的情感因素, 情感波动特征对预测评论效用有重要作用。因而, 计算资源有限的情况下, 采用情感词典匹配方法即可对评论效用做出较为准确的预测。
6 结 语
本文探讨了情感词典匹配方法以及机器学习分类方法抽取的情感特征对评论效用的预测作用。发现情感特征能有效识别评论效用, 两种方法结合的预测效果最好。其中由情感词典匹配方法抽取的情感均值子集和情感波动值子集效果最好, 优于机器学习方法抽取的情感概率值。正面情感和负面情感都能有效影响评论效用且效果相差不大。情感波动特征体现了商品某个属性存在较大争议, 对消费者有较高的参考价值。
本研究尚有值得深入探索的若干方面: 由于数据收集的限制, 只选取一种搜索型商品手机作为研究对象, 对其他搜索型商品的适用性还有待进一步检验; 相对于搜索型商品, 体验型商品的情感特征对评论有用性的影响可能存在差异; 情感因素能有效识别有用评论, 但其对用户感知的影响机制还有待探索。后续研究将拓展数据的收集, 研究体验型商品如影评、书评的情感因素和评论有用性的关系, 与搜索型商品的结果进行对比, 分析两者之间的差异性, 拓展情感特征对评论效用识别的应用范围, 并进一步探讨情感因素对用户感知评论效用的影响机制。
《云中的图书馆关联数据》一书详细阐述了OCLC在图书馆关联数据方面的工作
在《云中的图书馆关联数据: OCLC资源描述新模型的经验》一书详细阐述了OCLC通过创造图书馆关联数据以扩大图书馆馆藏在网络上的曝光度方面所做的工作。
该书的作者是OCLC研究人员Carol Jean Godby, Shenghui Wang和Jeffrey K. Mixter。该书重点描述从传统图书馆元数据衍生的关联数据所涉及的概念和技术挑战。这种转变是当务之急, 这本书坚持认为大多数信息搜索行为并不是从图书馆开始的, 也不是在Web访问的OPAC目录中开始的, 而是从互联网的其他地方开始的。将数据以能被更广泛的Web所理解的形式编码将有助于保持图书馆和整个互联网的关联度。
在这本书中, 作者解释了网络是一个不断增长的互联资源的“ 云” , 这个“ 云” 由人、地点、事物和概念组成, 而这些正是人们在基于一定的信息需要访问网络时想知道的。该书还解释了为什么关联数据是一个合适的图书馆资源描述框架。
“ 这本书展现了OCLC在图书馆关联数据方面所做的显著贡献, ” OCLC研发副总裁兼首席策略师Lorcan Dempsey说: “ 我们的研究人员正参与机器可理解数据的Web标准的制定, 为图书馆的核心价值如何通过关联数据技术来体现提供了参考。”
“ 关联数据在互联网大环境中的重要性日益增长, 在图书馆界的受关注度也达到了顶峰。从传统图书馆的元数据标准朝着全球关联的图书馆资源网络的演化路径变得更加清晰。” OCLC高级研究员Carol Jean Godby, 即本书的主要作者指出: “ 我们写这本书的目的是为了解释这一新架构将如何简化和促进对知识的追求。”
(编译自: http://www.oclc.org/zhcn-asiapacific/news/releases/2015/201519dublin.html)
(本刊讯)
参考文献
| [1] |
|
| [2] |
|
| [3] |
|
| [4] |
|
| [5] |
|
| [6] |
|
| [7] |
|
| [8] |
|
| [9] |
( |
| [10] |
|
| [11] |
|
| [12] |
|
| [13] |
|
| [14] |
|
| [15] |
|
| [16] |
|
| [17] |
|
| [18] |
|
| [19] |
|
| [20] |
|
| [21] |
|