Advanced Search

数据分析与知识发现  2018 , 2 (11): 19-27 https://doi.org/10.11925/infotech.2096-3467.2018.0835

专题

基于在线评论情感分析的海淘APP用户满意度研究*

赵杨, 李齐齐, 陈雨涵, 曹文航

武汉大学信息管理学院 武汉 430072

Examining Consumer Reviews of Overseas Shopping APP with Sentiment Analysis

Zhao Yang, Li Qiqi, Chen Yuhan, Cao Wenhang

School of Information Management, Wuhan University, Wuhan 430072, China

中图分类号:  TP391 G35

通讯作者:  通讯作者: 赵杨, ORCID: 0000-0003-1784-2733, E-mail: yangzhao_0813@whu.edu.cn

收稿日期: 2018-07-26

修回日期:  2018-08-29

网络出版日期:  2018-11-25

版权声明:  2018 《数据分析与知识发现》编辑部 《数据分析与知识发现》编辑部

基金资助:  *本文系湖北省自然科学基金项目“基于社交媒体用户兴趣特征迁移学习的个性化推荐方法研究”(项目编号: 2018CFB758)的研究成果之一

展开

摘要

【目的】对用户在线评论文本进行情感分析, 评价用户满意度, 为海淘APP运营商提供对策建议。【方法】基于APP Store上的海淘APP用户在线评论数据, 采用Canopy+K-means方法对海淘APP属性特征进行聚类, 确定用户满意度评价维度, 进而应用CNN-SVM情感分析模型得到各维度的用户满意度评分。【结果】研究结果表明: 影响海淘APP用户满意度最重要的因素是商品, 其次分别是价格、交互、服务、物流; 垂直类海淘APP的用户满意度整体高于境外买手类和综合类海淘APP; 海淘APP在物流和服务方面的用户满意度整体较低。 【局限】样本选择较为有限。【结论】采用情感分析方法对海淘APP用户在线评论进行文本分析, 为APP用户满意度评价提供有效方法。

关键词: 情感分析 ; 海淘APP ; 用户满意度 ; CNN-SVM

Abstract

[Objective] This paper analyzes the sentiment of online reviews, and then evaluates the consumer’s satisfaction with overseas shopping APP, aiming to improve its performance. [Methods] First, we collected reviews of these APPs from the APP Store. Then, we clustered the APPs’ attributes with Canopy and K-means algorithms, which defines the evaluation dimensions of consumer’s satisfaction. Finally, we computed scores of the consumer’s satisfaction with the CNN-SVM sentiment analysis model. [Results] The most important factor affecting the consumer’s satisfaction with overseas shopping APP was commodities, followed by price, interaction, service, and logistics. The consumer’s satisfaction level with the vertical overseas shopping APP was higher than that of the overseas buyer APP and the comprehensive overseas shopping APP. The consumer’s satisfaction level is relatively low with logistics and services. [Limitations] More overseas shopping APP should be included in future research. [Conclusions] The sentiment analysis method is an effective way to analyze consumer’s satisfaction with online reviews of overseas shopping APP.

Keywords: Sentiment Analysis ; Overseas Shopping APP ; Consumer Satisfaction ; CNN-SVM

0

PDF (1546KB) 元数据 多维度评价 相关文章 收藏文章

本文引用格式 导出 EndNote Ris Bibtex

赵杨, 李齐齐, 陈雨涵, 曹文航. 基于在线评论情感分析的海淘APP用户满意度研究*[J]. 数据分析与知识发现, 2018, 2(11): 19-27 https://doi.org/10.11925/infotech.2096-3467.2018.0835

Zhao Yang, Li Qiqi, Chen Yuhan, Cao Wenhang. Examining Consumer Reviews of Overseas Shopping APP with Sentiment Analysis[J]. Data Analysis and Knowledge Discovery, 2018, 2(11): 19-27 https://doi.org/10.11925/infotech.2096-3467.2018.0835

1 引 言

近年来, 跨境电子商务的迅猛发展带动进口零售业务的快速增长, 催生“海淘”这一新兴网络消费模式。海淘指通过国内外电子商务平台搜索海外商品并进行选择, 然后使用国际信用卡、Pay Pal或支付宝等支付工具在线付款, 再通过海外直邮或保税仓等跨境物流方式进行商品运输的一种电子商务模式。随着中国网络消费者海淘需求不断增长和移动商务环境日渐成熟, 各类海淘APP如雨后春笋般纷纷涌现, 成为消费者在线购买海外商品的重要渠道。大数据服务商极光发布的《2016年垂直海淘APP报告》显示, 截至 2016年8月, 中国海淘APP用户规模已达1 108万人, 预计到2020年将达到3 000万人。与此同时, 各类海淘APP数量将近50个, 市场竞争日趋激烈。在这一背景下, 如何有效衡量这些APP的用户满意度, 进而帮助运营商完善APP功能、提高海淘服务质量、塑造 核心竞争力, 已经成为跨境电子商务研究领域的重要 课题。

APP应用市场上的在线评论是衡量海淘APP用户满意度的重要信息来源。一般而言, APP在线评论包含星级评分和文本评论两个部分。其中, 文本评论包含大量可靠信息, 能够从不同维度反映用户对APP的使用体验与满意程度。相较于定量评分, 文本评论能够更全面准确地反映满意度评价结果。鉴于此, 本文结合深度学习与情感分析技术, 提取海淘APP在线评论中的有价值信息, 利用Word2Vec对采集的评论语料进行词向量初始化, 使用CNN-SVM深度学习模型对其进行训练, 对评论中的关键词进行聚类分析, 建立不同维度的评价单元, 在此基础上计算海淘APP在不同维度上的情感得分, 评价用户满意度。

2 文献综述

2.1 APP用户满意度研究

目前关于APP用户满意度的研究主要集中在社交类、旅游类、新闻阅读类等以提供信息和服务为主 的APP应用中。研究主题侧重于用户满意度影响因素、持续使用意愿、评价体系等方面。周涛等[1]基于ECM-ISC模型, 通过问卷调查探讨移动社交APP用户持续使用行为, 研究结果发现, 个性化、心流体验显著影响用户满意度, 进而影响其持续使用意向; 张一帆[2]通过软件测评、文献分析和用户访谈筛选出影响旅游类APP用户满意度的关键因素, 并通过问卷调查对各项因素进行量化分析, 构建旅游类APP用户满意度评价体系; Dwikesumasari等[3]利用回归分析探寻旅游类APP的功能、创新性、消费者惯性等对用户满意度的影响; 明均仁等[4]基于扎根理论和结构方程模型, 从APP系统特征、界面特征、个体差异三个层面探讨移动图书馆APP用户满意度的内部和外部影响因素; 李武等[5]基于信息系统持续使用模型构建社会化阅读APP用户持续使用意愿理论模型, 并以大学生为研究对象进行问卷调查, 发现大学生在APP使用过程中形成的阅读有用性认知显著影响其满意度和持续使用 意愿。

从已有成果来看, APP作为移动网络时代最重要的客户端应用工具, 其用户满意度研究已引起国内外学者的广泛关注, 但当前专门针对海淘APP的研究却仍是空白。在研究方法上, 大多以问卷调查和定性分析为主, 缺少针对用户在线评论数据的量化分析。Song等[6]提出, 使用用户评论数据能够有效识别手机APP服务中的用户满意度影响因素, 采用语义文本挖掘和贝叶斯网络构建影响因素模型, 识别出影响用户满意度的4个关键因素, 为APP用户满意度研究提供新的思路。

2.2 在线评论情感分析研究

情感分析是自然语言处理领域的一类重要方法, 其基本目的是从文本中识别用户观点, 分析其情感倾向性(积极、消极或中立)[7]。情感分析的应用非常广泛, 可以进行用户评论分析、舆情监控、市场预测等。常用的情感分析方法主要包括基于情感词典和基于机器学习的方法。

(1) 基于情感词典的方法是使用情感词典对文本进行情感计算从而判断其情感倾向及程度。史伟等[8]基于已建立的模糊情感本体, 提出从句子层到文档层的情感计算方法以计算中文在线评论的情感倾向; 王洪伟等[9]基于HowNet语义相似度极性计算方法和副词量级划分方法对在线评论情感极性和强度分析。情感词典方法需要进行大量的人工扩充词典, 对互联网上海量庞杂的在线文本分析无疑耗时耗力。

(2) 基于机器学习的情感分析方法主要有朴素贝叶斯(Naive Bayes, NB)、决策树(Decision Tree, DT)、支持向量机(Support Vector Machine, SVM)等。Pang等[7]使用在线电影评论数据对比不同机器学习算法在情感分类上的效果, 实验表明SVM算法效果最好。随着深度学习算法的广泛应用, 利用深度学习进行情感分析正成为一种重要手段。Yih等[10]和Collobert等[11]发现卷积神经网络(Convolutional Neural Network, CNN)在自然语言处理(Natural Language Processing, NLP)领域有较好的应用效果, 可以用于文本情感分析; Kim[12]比较CNN、SVM、DCNN等算法在标准数据集(如电影评论MR、多种商品用户评论CR和斯坦福情感分类库SST等)上的效果, 实验结果显示CNN算法最优。目前, 深度学习方法基本都是采用Softmax函数进行情感分类[13], 而利用SVM替换Softmax可以提高系统的泛化能力, 从而提高情感分类的准确率。Huang等[14]、Le等[15]和Coates等[16]分别使用监督和无监督学习算法训练卷积神经网络学习图片数据集特征, 将相应特征输入到SVM中, 提高图片分类准确率。然而, 在文本情感分析领域, 将CNN与SVM相结合的应用研究还处于起步阶段, 但Rozi等[17]应用CNN-SVM算法对书籍评价数据进行情感分类, 证实该方法比一般机器学习算法具有更好的情感分类效果。因此, 本文同样采用CNN与SVM相结合的方法进行情感分类, 以提高分类的准确性, 在此基础上对海淘APP用户满意度进行有效评价。

3 研究方法

本文研究工作包括: 海淘APP在线评论的预处理、基于Canopy+K-means的特征聚类、Word2Vec词向量模型训练、基于CNN-SVM的在线评论情感分析和用户满意度评价。具体研究框架如图1所示。

图1   研究框架

   

(1) 对采集的APP用户在线评论语料进行去重和分词操作;

(2) 利用Canopy+K-means对预处理后的语料进行特征聚类, 得到海淘APP用户满意度评价的具体维度;

(3) 利用维基中文百科语料训练Word2Vec词向量模型, 并基于该模型对用户评论中涉及的评价维度特征词进行扩充;

(4) 对CNN-SVM情感分析模型的输入语料进行初始化;

(5) 利用实验训练集与测试集语料对CNN-SVM模型进行训练;

(6) 基于训练好的模型进行情感倾向分类与满意度评分, 得到海淘APP用户满意度评价结果。

3.1 海淘APP用户满意度评价维度提取

对海淘APP用户在线评论数据进行清洗后, 使用TF-IDF提取在线评论中的关键词, 即每条评论中可以表现该评论主要内容的词语, 并选取TF-IDF值较高的名词表征海淘APP属性特征的备选词, 作为后续属性特征聚类的输入语料。在聚类分析中, 使用Canopy聚类对在线评论中的APP属性特征进行“粗”聚类, 得到k值后再使用K-means进行“细”聚类, 最终得到在线评论中反映用户关注点的海淘APP主要属性特征词作为APP用户满意度评价维度。

3.2 基于CNN-SVM的海淘APP在线评论情感分析

本文在Kim[12]提出的CNN文本分类模型基础上构建CNN-SVM情感分析模型, 如图2所示。传统的CNN文本分类模型主要采用Softmax函数进行分类, 但本文用CNN提取评论文本的向量特征, 将SVM作为分类器进行情感倾向分析, 由此提高情感分类的准确率与泛化能力。

图2   CNN-SVM模型结构

   

CNN模型的输入是一个I×K的矩阵, K代表每个词的词向量维度, I代表句子长度。通过无监督学习语言模型初始化词的向量是在缺少大量监督训练集情况下提升分类性能的常用方法[18]。本文利用基于维基百科数据训练的Word2Vec词向量模型初始化训练语料的词向量。模型的卷积层拥有不同大小的滤波器, 一个卷积操作包含一个滤波器, 应用到每个句子的矩阵可以产生一个新的特征, 如公式(1)所示。

$C\text{=}f\mathrm{(}w\times x\text{+}b\mathrm{)}$ (1)

其中, f是一个非线性函数, wb分别是权重向量和偏差向量。池化层提取特征图中最大值作为特征, 得到高维特征图[c11,···,cln,···, cpn]; 通过比较预测结果与实际的标签值调整CNN模型; 采集池化层的输出, 利用SVM将采集到的特征进行分类训练, 得到CNN-SVM的情感分析模型。

3.3 海淘APP用户满意度评价

通过海淘APP不同维度在所有在线评论中被提及的概率, 以及各维度情感与在线评论整体情感的一致性计算海淘APP用户满意度评价中各评价维度的权重值, 以此评价用户对海淘APP不同属性的关注程度。应用Canopy+K-means的聚类方法从用户在线评论数据中提取海淘APP属性特征后, 得到描述不同属性 的特征词。基于这些特征词对在线评论进行分句, 进一步得到描述不同属性的语料, 通过对这些语料进 行情感分析可以从不同维度评价海淘APP的用户满 意度。

4 实验设计与结果分析

4.1 在线评论数据采集与处理

以苹果公司APP Store上的海淘APP为研究对象, 筛选出2017年6月-2017年12月期间评论量超过500条的10个海淘APP, 包括: 网易考拉、小红书、宝贝格子、HIGO、波罗蜜、环球捕手、蜜芽、亚马逊购物、洋码头、折疯了。采集各APP的用户在线评论进行量化分析, 数据采集格式示例如表1所示。

表1   海淘APP用户在线评论数据格式示例

   

发表时间用户ID星级评分评论标题评论内容
2017-11-04 14:55:42豐收F15值得信赖在几个知名网站都经常购买各种商品, 第一在网易考拉购买, 物流给力, 价格实惠。
2017-11-04 14:50:58没有草莓牛奶就不开心的人1讨厌强制更新就这样, 商品也不齐全。
2017-05-12 16:59:56crjjzz4不错的网购APP目前在这网购APP买的东西都蛮好用的, 都验过正品, 价格实惠在那里。
2017-10-25 14:41:15无尽土豆泥2我选择淘宝……不仅没便宜, 甚至还贵了很多, 拿ns举例, 美亚和日亚便宜的才卖2000, 淘宝2600, 这上面居然3300……骗谁啊!

新窗口打开

从每个海淘APP在2017年6月至2017年12月期间的在线评论中各提取最新发布的500条评论数据作为评分依据, 将没有被提取的评论数据作为CNN-SVM深度学习算法的训练集和测试集。参考Ren等[19]对网上消费者评论和销售量之间双向关系的研究结论, 将其中4星和5星评论作为积极评论; 1星和2星评论作为消极评论; 由于3星评论在情感极性上较为中立, 对本文的情感分类模型训练帮助不大, 所以未对其进行分析。对这些评论数据进行清洗, 剔除其中明显带有刷评论和广告性质的无效评论, 得到有效评论 16 000条, 其中积极评论和消极评论各为8 000条。对这些评论数据进行分词和去除停用词处理, 并利用Word2Vec训练词向量模型, 初始化语料词向量, 作为CNN模型的输入。

4.2 基于Word2Vec的海淘APP属性特征提取

通过计算海淘APP每条在线评论对应的TF-IDF值, 选取评论中该值较高的名词作为特征备选词。对筛选得到的词汇进行词频统计, 剔除出现频率过低和明显与特征不相关的词语, 最终得到233个与海淘APP属性特征相关的名词。进而采用Word2Vec工具对在线评论文本进行训练, 得到每个词的词向量, 定义词向量之间的欧几里得距离为词之间的相似度, 利用Canopy进行词语的粗聚类, 估算k值范围, 再通过K-means聚类算法对在线评论进行聚类, 最终确定k=5。通过降维算法将数据从2 000降至2维平面, 绘制聚类效果图如图3所示。

图3   聚类效果图

   

通过K-means聚类算法可以将海淘APP属性特征分为5类: 交互、服务、商品、价格和物流, 各类别下的具体特征词如图4所示。利用维基百科中文语料训练的Word2Vec词向量对每种属性的特征词进行扩充, 得到海淘APP属性特征集。

图4   海淘APP特征聚类结果

   

4.3 在线评论的筛选与处理

对作为评分依据的每个海淘APP中提取的500条评论数据进行基于APP属性特征的分句, 分句标准是根据标点符号进行分割。由于用户评论中不包含APP属性特征的短句对用户满意度评价没有实际价值, 因此需要过滤掉这些短句。对于包含不止一个属性特征的句子则需要进行依存句法分析, 例如“质量很好但是价格偏高”, 就需要提取两个属性的短句进行分析。本文基于哈尔滨工业大学社会计算与信息检索研究中心研发的语言技术平台(Language Technology Plantform, LTP)[20], 根据COO(并列关系)以及父节点的词将句子分开成不同的短句。若不存在COO, 分别提取SBV (主谓关系)以及父节点的词成为一个短句, 由此得到最终用来进行情感分析的5个维度特征短句。

4.4 海淘APP用户满意度评价维度权重计算

通过观察采集的海淘APP在线评论内容, 发现海淘APP各属性维度受用户关注程度不同, 受关注程度越高的维度对在线评论的整体情感影响越大。因此, 通过计算各维度在用户满意度评价中的权重衡量APP不同属性维度对用户满意度的影响。具体而言, 维度ax对整体情感的影响权重与两方面因素有关: 维度ax在全体评论中被提及的概率; 维度ax的情感与在线评论整体情感的一致性[21]。本文依据上述两方面计算海淘APP用户满意度评价各维度的权重值。随机选择在线评论子集R, 对其所包含维度和维度的情感倾向进 行人工标注。维度ax的权重计算如公式(2)和公式(3)所示。

${{w}_{x}}= \frac{\sum\limits_{i=1}^{R}{{{a}_{x}}\in {{r}_{i}}}}{\sum\limits_{x=1}^{A}{\sum\limits_{i=1}^{R}{{{a}_{x}}\in {{r}_{i}}}}}\times \frac{1}{R}\sum\limits_{i=1}^{R}{eq({{s}_{i}},{{S}_{i}})}$ (2)

$eq({{s}_{i}},{{S}_{i}})=\left\{ \begin{align} & 1\ \ \ \ if\ {{s}_{i}}={{S}_{i}} \\ & 0\ \ \ if\ {{s}_{i}}\ne {{S}_{i}} \\ \end{align} \right.$ (3)

其中, A代表维度数量, si代表维度情感, Si代表评论整体情感。维度ax在评论中被提及的概率越大, ax的维度情感与在线评论的整体情感一致性越高, 说明ax对整体情感的决定性越强, 则维度权重越高。

根据公式(2)计算得到海淘APP的5个属性维度的权重值, 从高到低依次为: “商品(0.0948)”、“交互(0.0445)”、“价格(0.0322)”、“服务(0.0094)”、“物流(0.0066)”, 如图5所示。

图5   海淘APP属性权重

   

其中, “商品”是用户最常提及、也是与整体评论情感一致性最高的属性维度, 即与商品相关的指标对用户满意度影响最大。而“交互”维度的权重高于“价格”、“物流”和“服务”三个维度。从评论内容来看, 用户经常提及APP的界面、占用内存大小、使用流畅度以及一些新颖功能, 可见“交互”也是影响用户满意度的重要因素。此外, 用户对“价格”和“服务”维度的关注度相对较低, 但笔者从在线评论中发现, 差评往往涉及服务方面的因素, 说明服务质量对用户负面情绪具有重要影响。“物流”的权重在5个属性中最低, 主要是因为海淘商品大多采用跨境物流, 用户对商品运输时长有一定心理预期, 所以宽容性较高。

4.5 用户满意度评价结果分析

为验证CNN-SVM模型的有效性与精确性, 同时使用决策树、支持向量机和卷积神经网络三种算法进行效果对比, 结果如表2所示。

表2   情感分类结果比较(%)

   

算法准确率(Precision)召回率
(Recall)
F1值
(F1 Score)
Decision Tree79.1879.9179.85
SVM91.3287.3189.22
CNN94.2891.5992.87
CNN-SVM97.7996.2196.97

新窗口打开

从分类结果可以看出, 基于CNN-SVM 的情感分析结果优于传统机器学习算法, 在海淘APP在线评论语料上的情感分类准确率、召回率和F1值均达到96%以上, 具有良好的情感倾向性分类效果, 能够保证海淘APP用户满意度评价的准确性与可靠性。因此, 进一步利用CNN-SVM模型对海淘APP用户满意度评价的5个维度相关语料进行情感分析, 得出每个APP在各维度上的用户满意度评分(积极倾向概率), 如表3所示。

表3   海淘APP各属性维度的用户满意度评分

   

APP类别名称商品价格物流交互服务
境外
买手类
HIGO74.5286.2578.3557.8961.67
洋码头63.0682.2645.7187.7433.96
综合类网易考拉83.5684.9177.7874.1951.43
小红书70.8375.0030.7764.8637.04
亚马逊87.2182.1160.6454.3935.29
波罗蜜86.9684.3449.3366.2030.95
折疯了86.1386.6385.0085.8554.55
垂直类宝贝格子83.7296.5593.9479.1790.91
蜜芽77.8883.3342.8646.3039.66
环球捕手69.8485.5040.9173.6834.21

新窗口打开

为对用户满意度评价结果进行深入对比分析, 将10个海淘APP按其运作模式分为三类。总体而言, 垂直类海淘APP的用户满意度整体略高于买手类和综合类, 但综合类海淘APP具有明显的商品优势, 在商品维度上更能满足用户对品类丰富度的需求; 在价格维度上, 各类APP的用户满意度差异并不明显, 主要是因为目前各海淘平台上的商品价格相差不大; 在物流、交互和服务维度上, 用户满意度则普遍较低, 说明当前各类海淘APP在物流运输、交互体验和服务质量上还存在较大改进空间。

从各类别的海淘APP用户满意度评价结果来看, 可以得到以下结论。

(1) 在境外买手类海淘APP中, “HIGO”在物流和服务维度上的用户满意度最高, 这是因为“HIGO”率先开通DHL全球特快专递服务, 用户在3-5个工作日内即可收到海淘商品, 极大地满足了用户对物流时效性的要求; “洋码头”在交互维度上更受到用户青睐, 主要因为其拥有“海外扫货直播”频道, 能实时分享购物经历, 使用户和海外买手能够随时进行在线沟通与互动, 带给用户良好的交互体验。

(2) 在综合类海淘APP中, “小红书”在商品维度上的用户满意度明显低于其他APP, 可能是因为“小红书”刚刚从以美妆为主的垂直类跨境电商平台转型为综合类平台, 目前在商品种类上还不够齐全, 无法充分满足用户需求; “折疯了”和“网易考拉”在物流方面具有明显优势, 获得更高的用户满意度。其中, “折疯了”实现物流转运全程监控一键查询, 而“网易考拉”则把物流配送交给“中外运”、“顺丰”等合作伙伴, 还采用更安全的定制包装箱, 提高物流效率与质量。此外, “折疯了”在用户交互满意度上也明显高于其他综合类APP, 主要因为其界面设计清晰, 商品分类明确, 操作简便, 方便用户寻找所需的商品或服务, 其交互功能也更为齐全, 具备物流跟踪、在线砍价、查询浏览记录等功能; 相反, “亚马逊”的交互满意度则最低, 用户的负面评价主要集中在软件交互功能差、设计和系统漏洞等方面。在服务维度上, 综合类海淘APP的整体用户满意度均较低, 主要是因为这类APP是为不同卖家提供海淘交易平台, 而各类卖家的服务质量参差不齐, 平台很难进行统一监控与管理, 由此导致用户对服务满意度较低。

(3) 在垂直类海淘APP中, 以母婴商品销售为主的“宝贝格子”在所有维度上的用户满意度均较高, 通过分析其用户评论数据发现, 500条评论中几乎没有差评, 且多数评论句式和内容相似, 可能存在一定的人工刷评论现象(在数据预处理中无法通过去重方法有效剔除)。在物流和服务方面, 以母婴商品销售为主的“蜜芽”和以海外食品销售为主的“环球捕手”用户满意度均较低, 用户的负面评论主要集中在客服无法有效解决售后问题、物流信息偶尔出现停滞、配送时间无法保证等方面, 可见用户对于垂直类海淘APP的物流和服务具有更高的期望和要求。

5 结 语

随着跨境电子商务的快速发展, 各类海淘APP已成为用户开展跨境进口零售交易的主要平台。本文利用抽取得到的海淘APP用户在线评论文本中的关键词, 使用Canopy+K-means聚类分析得到海淘APP属性特征, 并将其作为用户满意度评价维度, 通过计算各维度的权重值, 发现影响用户满意度的关键因素依次为商品、价格、交互、服务和物流。在此基础上, 利用CNN-SVM深度学习算法进行在线评论情感分析, 计算用户对海淘APP各维度的满意度评分。实验结果表明, CNN-SVM算法比一般机器学习算法在用户评论情感倾向性分析中具有更好的效果, 能有效提高情感分析的分类准确率, 保证用户满意度评价的可靠性。而具体评价结果显示, 各类海淘APP的竞争主要集中在商品和价格方面, 在交互、服务和物流方面则存在较大改进空间。

根据本文研究结果, 对于APP运营商和开发商而言, 在努力提高商品质量和价格优势的同时, 应在APP功能设计、界面设计上投入更多精力, 给用户带来良好的交互体验, 同时要凸显APP的个性化特色, 提高竞争优势。此外, 虽然用户对海淘商品的物流期望并不高, 但商家如果能针对不同类型的商品, 合理采用保税仓、海外仓和海外直邮等多种跨境物流模式提高物流效率, 就会带给用户超出预期的惊喜, 从而更容易提升用户满意度。而在服务质量方面, 各类APP也应积极发挥用户大数据优势, 构建精准的海淘用户画像, 为用户提供更高效、更个性化的海淘服务。对于不同类别的海淘APP而言, 海外买手类APP应建立严格的买手准入制度和考核标准, 提高用户对APP的整体信任感, 同时构建统一的海外物流平台, 便于买手们采用统一的物流标准进行商品运输, 提高物流效率。综合类海淘APP则应为用户提供更完善便捷的交互功能, 并强化对不同卖家客户服务行为的规范管理, 树立平台的品牌效应, 进一步增强用户满意度与忠诚度。垂直类海淘APP则需要在专注本领域海外商品销售的同时, 显著提高商品质量与价格优势, 并为用户提供多元化、全方位的增值服务。

本文的不足在于: 只选取苹果公司APP Store上的海淘APP用户评论数据, 未选取基于其他系统的海淘APP评论数据, 而使用不同版本的APP用户群体可能存在一定特征差异, 由此导致本文分析结果存在一定局限性。在未来的研究中, 将进一步扩大样本规模, 针对更多类型的海淘APP进行用户评论数据采集; 同时探寻有效的虚假评论甄别方法, 从而对海淘APP用户满意度进行更全面、精准的分析。

作者贡献声明

赵杨: 提出研究思路, 设计研究方案;

李齐齐, 陈雨涵: 进行实验;

李齐齐: 论文起草和数据分析;

赵杨, 陈雨涵, 曹文航: 论文最终版本修订。

利益冲突声明

所有作者声明不存在利益冲突关系。

支撑数据

支撑数据由作者自存储, E-mail: 593697179@qq.com。

[1] 李齐齐. reviews.xlsx. 苹果APP Store上的海淘APP在线评论数据集.

[2] 李齐齐. wiki.zh.txt. 中文维基百科数据.


参考文献

[1] 周涛, 方文侃.

移动社交APP位置分享服务持续使用研究

[J]. 杭州电子科技大学学报: 社会科学版, 2016, 12(3): 1-7.

[本文引用: 1]     

(Zhou Tao, Fang Wenkan.

On Sustained Usage of Mobile Social APP Location Sharing Service

[J]. Journal of Hangzhou Dianzi University: Social Sciences, 2016, 12(3): 1-7.)

[本文引用: 1]     

[2] 张一帆.

我国旅游APP用户满意度的实证研究[D]

. 海口: 海南大学, 2015.

[本文引用: 1]     

(Zhang Yifan.

Empirical Study of Customer Satisfaction About Tourism APP in China[D]

. Haikou: Hainan University, 2015.)

[本文引用: 1]     

[3] Dwikesumasari P R, Ervianty R M.

Customer Loyalty Analysis of Online Travel Agency APP with Customer Satisfaction as a Mediation Variable

[C]//Proceedings of the 2017 International Conference on Organizational Innovation. 2017.

[本文引用: 1]     

[4] 明均仁, 张俊.

高校移动图书馆APP用户满意度影响因素

[J]. 图书馆论坛, 2018, 38(4): 84-94.

URL      [本文引用: 1]     

(Ming Junren, Zhang Jun.

Research on the Factors Influencing User Satisfaction of University Mobile Library APP

[J]. Library Tribune, 2018, 38(4): 84-94.)

URL      [本文引用: 1]     

[5] 李武, 赵星.

大学生社会化阅读APP持续使用意愿及发生机理研究

[J]. 中国图书馆学报, 2016, 42(1): 52-65.

https://doi.org/10.13530/j.cnki.jlis.160005      URL      [本文引用: 1]      摘要

本研究借鉴信息系统持续使用模型(ECM模型),构建了研究用户社会化阅读APP持续使用意愿及其发生机理的概念模型,并以大学生为研究对象进行问卷调查,利用结构方程模型对所得的数据进行分析。调查结果表明:1用户在使用社会化阅读APP过程中所形成的期望确认程度和满意度是影响他们继续使用该类应用的重要因素;2大学生在社会化阅读APP使用过程中所形成的阅读有用性认知显著影响他们对该类应用的满意度和持续使用意愿,但社交有用性认知对他们不存在预期的显著影响;3大学生社会化阅读APP的持续使用意愿不仅取决于ECM模型所囊括的变量,同时也受诸如主观规范等其他变量的影响;4除对大学生社会化阅读APP的持续使用意愿存在显著影响外,主观规范也对他们的阅读有用性认知和社交有用性认知具有重要的作用。

(Li Wu, Zhao Xing.

Understanding the Continuance Intention of Social Reading Apps by College Students

[J]. Journal of Library Science in China, 2016, 42(1): 52-65.)

https://doi.org/10.13530/j.cnki.jlis.160005      URL      [本文引用: 1]      摘要

本研究借鉴信息系统持续使用模型(ECM模型),构建了研究用户社会化阅读APP持续使用意愿及其发生机理的概念模型,并以大学生为研究对象进行问卷调查,利用结构方程模型对所得的数据进行分析。调查结果表明:1用户在使用社会化阅读APP过程中所形成的期望确认程度和满意度是影响他们继续使用该类应用的重要因素;2大学生在社会化阅读APP使用过程中所形成的阅读有用性认知显著影响他们对该类应用的满意度和持续使用意愿,但社交有用性认知对他们不存在预期的显著影响;3大学生社会化阅读APP的持续使用意愿不仅取决于ECM模型所囊括的变量,同时也受诸如主观规范等其他变量的影响;4除对大学生社会化阅读APP的持续使用意愿存在显著影响外,主观规范也对他们的阅读有用性认知和社交有用性认知具有重要的作用。
[6] Song B, Lee C, Park Y.

Identifying Critical Factors for Customer Satisfaction in Mobile Application Service: A Semantic Text Mining and Bayesian Network Approach

[J]. International Proceedings of Economics Development & Research, 2011, 8: 33-37.

[本文引用: 1]     

[7] Pang B, Lee L, Vaithyanathan S.

Thumbs Up? Sentiment Classification Using Machine Learning Techniques

[C]// Proceedings of the 2002 ACL Conference on Empirical Methods in Natural Language Processing. 2002: 79-86.

[本文引用: 2]     

[8] 史伟, 王洪伟, 何绍义.

基于语义的中文在线评论情感分析

[J]. 情报学报, 2013, 32(8): 860-867.

https://doi.org/10.3772/j.issn.1000-0135.2013.08.009      URL      [本文引用: 1]      摘要

为解决传统的情感分析方法中存在的语义理解能力不足和情感分析不充分问题,本文从语义的角度,运用构建模糊情感本体的方法,对中文在线评论情感分析进行研究。引入情感空间模型,并将传统的在线评论情感分析细分为特征评价和情绪表达两方面。基于已建立的模糊情感本体,对产品(服务)的特征、情感类和强度、程度词、否定词、修辞方法和标点等语义元素进行标注,构建从句子层到文档层的情感计算方法。选取有代表性的评论语料进行实验,结果表明建立的情感分析方法具有优良的准确性和应用性,进一步分析发现不同评论语料中情感具有不同的表达形式和关联关系。

(Shi Wei, Wang Hongwei, He Shaoyi.

Sentiment Analysis of Chinese Online Reviews Based on Semantics

[J]. Journal of the China Society for Scientific and Technical Information, 2013, 32(8): 860-867.)

https://doi.org/10.3772/j.issn.1000-0135.2013.08.009      URL      [本文引用: 1]      摘要

为解决传统的情感分析方法中存在的语义理解能力不足和情感分析不充分问题,本文从语义的角度,运用构建模糊情感本体的方法,对中文在线评论情感分析进行研究。引入情感空间模型,并将传统的在线评论情感分析细分为特征评价和情绪表达两方面。基于已建立的模糊情感本体,对产品(服务)的特征、情感类和强度、程度词、否定词、修辞方法和标点等语义元素进行标注,构建从句子层到文档层的情感计算方法。选取有代表性的评论语料进行实验,结果表明建立的情感分析方法具有优良的准确性和应用性,进一步分析发现不同评论语料中情感具有不同的表达形式和关联关系。
[9] 王洪伟, 宋媛, 杜战其, .

基于在线评论情感分析的快递服务质量评价

[J]. 北京工业大学学报, 2017, 43(3): 402-412.

https://doi.org/10.11936/bjutxb2016010063      URL      [本文引用: 1]      摘要

由于问卷调查分析法受访者少,问卷质量也低,为此,以海量的在线消费者评论为数据,采用情感分析技术,提出一种快递服务质量评价方法.选取大众点评网上SF和ST两家快递企业的评论语料为例进行实验分析,首先,应用服务质量测评模型SERVQUAL量表和物流服务质量评价的相关理论,结合文本分析方法,建立一套基于在线评论情感分析的快递服务质量评价指标体系;其次,对评论语料进行抓取、分句、标识等预处理,比较不同特征选择算法在不同分类算法下的查全率与查准率,最终以信息增益和支持向量机作为最佳组合,抽取614个特征项用于有用性文本的识别;然后,基于How Net的语义相似度极性计算方法和副词量级划分方法对在线评论进行情感极性和强度分析;最后,应用TF-IDF法,结合评论文本确定评价指标的权重,对快递企业服务质量计算综合评价得分.与大众点评网的星级评分进行对比,实验结果表明:该方法与现有方法相比,能够直观地比较SF和ST两家快递企业在快递服务质量各项评价指标上的差异,并且两者的得分趋势相吻合.

(Wang Hongwei, Song Yuan, Du Zhanqi, et al.

Evaluation of Service Quality for Express Industry Through Sentiment Analysis of Online Reviews

[J]. Journal of Beijing University of Technology, 2017, 43(3): 402-412.)

https://doi.org/10.11936/bjutxb2016010063      URL      [本文引用: 1]      摘要

由于问卷调查分析法受访者少,问卷质量也低,为此,以海量的在线消费者评论为数据,采用情感分析技术,提出一种快递服务质量评价方法.选取大众点评网上SF和ST两家快递企业的评论语料为例进行实验分析,首先,应用服务质量测评模型SERVQUAL量表和物流服务质量评价的相关理论,结合文本分析方法,建立一套基于在线评论情感分析的快递服务质量评价指标体系;其次,对评论语料进行抓取、分句、标识等预处理,比较不同特征选择算法在不同分类算法下的查全率与查准率,最终以信息增益和支持向量机作为最佳组合,抽取614个特征项用于有用性文本的识别;然后,基于How Net的语义相似度极性计算方法和副词量级划分方法对在线评论进行情感极性和强度分析;最后,应用TF-IDF法,结合评论文本确定评价指标的权重,对快递企业服务质量计算综合评价得分.与大众点评网的星级评分进行对比,实验结果表明:该方法与现有方法相比,能够直观地比较SF和ST两家快递企业在快递服务质量各项评价指标上的差异,并且两者的得分趋势相吻合.
[10] Yih W, He X, Meek X.

Semantic Parsing for Single-Relation Question Answering

[C]// Proceedings of the 52nd Annual Meeting of the Association for Computational Linguistics. 2014, 2: 643-648.

[本文引用: 1]     

[11] Collobert R, Weston J, Bottou L, et al.

Natural Language Processing (Almost) from Scratch

[J]. Journal of Machine Learning Research, 2011, 12: 2493-2537.

[本文引用: 1]     

[12] Kim Y.

Convolutional Neural Networks for Sentence Classification

[OL]. arXiv Preprint. arXiv: 1408.5882.

https://doi.org/10.1109/CLEI.2017.8226381      URL      [本文引用: 2]      摘要

Over the past few years, neural networks have re-emerged as powerful machine-learning models, yielding state-of-the-art results in fields such as image recognition and speech processing. More recently, neural network models started to be applied also to textual natural language signals, again with very promising results. This paper show a series of experiments with Convolutional Neural Networks for sentence-level classification tasks with different hyperparameter settings and how sensitive model performance is to changes in these configurations.
[13] Mohamed A, Dahl G, Hinton G.

Deep Belief Networks for Phone Recognition

[C]// Proceedings of the 2009 NIPS Workshop on Deep Learning for Speech Recognition and Related Applications. 2009.

[本文引用: 1]     

[14] Huang F J, Lecun Y.

Large-scale Learning with SVM and Convolutional for Generic Object Categorization

[C]// Proceedings of the 2006 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. 2006: 284-291.

[本文引用: 1]     

[15] Le Q V, Ngiam J, Chen Z, et al.

Tiled Convolutional Neural Networks

[C]// Proceedings of the 24th Annual Conference on Neural Information Processing Systems. 2010: 1279-1287.

[本文引用: 1]     

[16] Coates A, Ng A Y, Lee H.

An Analysis of Single-Layer Networks in Unsupervised Feature Learning

[C]// Proceedings of the 14th International Conference on Artificial Intelligence and Statistics. 2011.

[本文引用: 1]     

[17] Rozi M F, Mukhlash I,

Soetrisno, et al. Opinion Mining on Book Review Using CNN-L2-SVM Algorithm

[C]// Proceedings of the 2018 International Conference on Mathematics: Pure, Applied and Computation. 2018. DOI :10.1088/1742-6596/974/1/012004.

[本文引用: 1]     

[18] Socher R, Pennington J, Huang E H.

Semi-Supervised Recursive Autoencoders for Predicting Sentiment Distributions

[C]// Proceedings of the 2011 Conference on Empirical Methods in Natural Language Processing. 2011: 151-161.

[本文引用: 1]     

[19] Ren J, Yeoh W, Ee M S, et al.

Online Consumer Reviews and Sales: Examining the Chicken-Egg Relationships

[J]. Journal of the Association for Information Science & Technology, 2017, 69(3): 449-460.

https://doi.org/10.1002/asi.23967      URL      [本文引用: 1]      摘要

Abstract This article examines the “chicken-egg” two-way relationships between online consumer reviews and sales, and assesses the dual influencer and indicator roles of online consumer reviews in relation to purchase behavior. Considering the time factor, we adopt the methodology of Granger causality test and track 3,390 products on Amazon.com over a 2-month period. The results reveal that a causality loop exists between online consumer review volume and sales. Specifically, our findings indicate that the volume of negative consumer reviews drive consumers' purchasing decisions, but the volume of positive consumers reviews only marginally affects purchasing decisions. Also, consumers generate more positive reviews than negative reviews after sales. Our results highlight the importance of negative consumer reviews; negative reviews not only lead to sales, but sales, in turn, lead to higher volume of negative reviews. The findings suggest an alternative strategy for practitioners to address negative online consumer reviews and highlight the awareness effect of online consumer review postings that can later convert into purchase behaviors.
[20] Che W X, Li Z H, Liu T.

LTP: A Chinese Language Technology Platform

[C]// Proceedings of the 23rd International Conference on Computational Linguistics. 2010: 13-16.

[本文引用: 1]     

[21] 赵志滨, 刘欢, 姚兰, .

中文产品评论的维度挖掘及情感分析技术研究

[J]. 计算机科学与探索, 2018, 12(3): 341-349.

[本文引用: 1]     

(Zhao Zhibin, Liu Huan, Yao Lan, et al.

Research on Dimensional Mining and Sentiment Analysis for Chinese Product Comments

[J]. Journal of Frontiers of Computer Science and Technology, 2018, 12(3): 341-349.)

[本文引用: 1]     

版权所有 © 2015 《数据分析与知识发现》编辑部
地址:北京市海淀区中关村北四环西路33号 邮编:100190
电话/传真:(010)82626611-6626,82624938
E-mail:jishu@mail.las.ac.cn

/