评分矩阵的生成是将用户的文本评论量化成结构化数据^[15]。LDA^[16]主题模型是由Blei等提出的包含词、主题和文档三层结构的贝叶斯概率模型, 通过在文档和词之间引入主题维度, 实现对向量空间的降维, 可以处理大规模语料。该模型采用词袋的方法, 将每篇文档视为一个词频向量, $\alpha $和β分别是文档的主题分布θ和主题中词的分布Φ的超参数, 服从先验Dirichlet分布。本文使用LDA模型分析用户评论, 识别评论中潜在的主题特征, 估计各主题下词的概率分布。根据评论是否涉及各个主题, 将用户评论量化成基于各主题特征的向量。

根据用户评论中出现的各主题词的数量及其概率 分布, 将用户评论量化成主题特征向量。记评论u_i量化后的主题特征向量为θ_i, ${{\theta }_{i}}=[{{\theta }_{i1}},\cdots ,{{\theta }_{is}}\cdots {{\theta }_{iS}}],\ s\in [1,S]$, 其中, S是实验设置的主题个数, θ_is表示评论u_i的第s个主题特征值。特征值的计算如公式(1)所示。

${{\theta }_{is}}=\sum\nolimits_{v=1}^{V}{({{\varphi }_{sv}}\times {{n}_{iv}})}$ (1)

其中, V是各主题的主题词个数, ${{\varphi}_{sv}}$表示第s个主题中主题词v出现的概率, n_iv表示评论u_i中出现主题词v的次数, 若评论中不包含主题词v, 则n_iv=0。

将包含m个特征、容量为n的数据集记为$D=\left\{ ({{x}_{i}},{{y}_{i}}):{{x}_{i}}\in {{R}^{m}},\ {{y}_{i}}\in R,\left| D \right|=n \right\}$, 所有CART树的集合记为$F=\left\{ f(x)={{w}_{q(x)}},q:{{R}^{m}}\to T,w\in {{R}^{T}} \right\}$。其中, q代表样本映射到相应的叶子节点的决策规则, T代表一棵树的叶子节点数量, w代表叶子节点的得分。f代表CART树, 包括树的结构q和叶子节点的得分w。基于XGBoost算法的y_i的预测值可以表示为公式(2)。

${{\hat{y}}_{i}}=\varphi ({{x}_{i}})=\sum\nolimits_{k=1}^{K}{{{f}_{k}}({{x}_{i}})}$ (2)

其中, ${{f}_{k}}\in F$, K为CART树的数量。XGBoost算法在每一次模型训练时保留前面$t-1$轮的预测不

变, 加入新函数f_t到模型中, $\hat{y}_{i}^{t}=\hat{y}_{i}^{(t-1)}+{{f}_{t}}({{x}_{i}})$为第i个样本在第t次模型训练时的预测结果。假设基学习器的误差相互独立, XGBoost算法的学习目标是找到f_t, 最小化目标函数, 其计算如公式(3)^[12]和公式(4)^[12]所示。

${{L}^{(t)}}=\sum\nolimits_{i=1}^{n}{l({{y}_{i}},\hat{y}_{i}^{(t-1)}+{{f}_{t}}({{x}_{i}}))+\Omega ({{f}_{t}})+\mathrm{constant}}$ (3)

$\Omega ({{f}_{t}})=\gamma T+\frac{1}{2}\lambda \sum\nolimits_{j=1}^{T}{w_{j}^{2}}$ (4)

其中, $l(\cdot ,\cdot )$是训练误差, 描述预测值与真实值之间差异的损失。$\Omega (\cdot )$是模型复杂度的正则项惩罚函数, γ是复杂度参数, λ是一个固定系数。

XGBoost算法采用贪心算法^[17]从根节点开始, 递归地选择树结构的最优特征, 据此特征对训练数据进行分割。假设I_L和I_R分别是分割点左边和右边的样本集, $I={{I}_{L}}\bigcup {{I}_{R}}$。计算每个分割方案的信息增益, 信息增益最大的分割为该节点的最优分割, 其计算如公式(5)^[12]所示。

${{L}_{split}}=\frac{1}{2}\left[ \frac{{{(\mathop{\sum }_{i\in {{I}_{L}}}{{g}_{i}})}^{2}}}{\mathop{\sum }_{i\in {{I}_{L}}}{{h}_{i}}+\lambda }+\frac{{{(\mathop{\sum }_{i\in {{I}_{R}}}{{g}_{i}})}^{2}}}{\mathop{\sum }_{i\in {{I}_{R}}}{{h}_{i}}+\lambda }-\frac{{{(\mathop{\sum }_{i\in {{I}_{{}}}}{{g}_{i}})}^{2}}}{\mathop{\sum }_{i\in {{I}_{{}}}}{{h}_{i}}+\lambda } \right]-\gamma $ (5)

其中, ${{I}_{j}}=\left\{ i|q({{x}_{i}})=j \right\}$为节点j上的样本集合, ${{g}_{i}}={{\partial }_{{{{\hat{y}}}_{i}}^{(t-1)}}}l({{y}_{i}},\hat{y}_{i}^{(t-1)})$, ${{h}_{i}}={{\partial }^{2}}_{{{{\hat{y}}}_{i}}^{(t-1)}}l({{y}_{i}},\hat{y}_{i}^{(t-1)})$分别为训练误差的一阶和二阶梯度统计量。$\frac{{{(\mathop{\sum }_{i\in {{I}_{L}}}{{g}_{i}})}^{2}}}{\mathop{\sum }_{i\in {{I}_{L}}}{{h}_{i}}+\lambda }$、$\frac{{{(\mathop{\sum }_{i\in {{I}_{R}}}{{g}_{i}})}^{2}}}{\mathop{\sum }_{i\in {{I}_{R}}}{{h}_{i}}+\lambda }$、$\frac{{{(\mathop{\sum }_{i\in {{I}_{{}}}}{{g}_{i}})}^{2}}}{\mathop{\sum }_{i\in {{I}_{{}}}}{{h}_{i}}+\lambda }$分别为左子树分数、右子树分数、不分割时的分数, γ为加入新叶子节点引入的复杂度代价, 当${{L}_{split}}<0$时, 放弃分割。

集成学习的关键是如何生成好而不同的个体学习器, 个体学习器准确性越高、多样性越大, 则集成效果越好。相对于LR、NB等稳定分类模型, 树模型是一种对样本扰动比较敏感的不稳定分类模型。决策树因为其简单直观, 具有很强的可解释性, 常被作为集成学习的个体学习器。相比于ID3和C4.5, CART^[18]采用二元递归划分方法构建二叉树, 分裂特征可以重复使用, 既可以用于分类也可以用于回归。基于集成学习的优良性, 本文在模型底层选用以CART树为基学习器的XGBoost算法建立评分预测模型。同时, 为了增加集成学习中个体学习器的多样性, 提高模型的泛化能力, 在顶层利用Bagging思想加入数据样本扰动和属性扰动, 以建立多个好而不同的XGBoost模型, 并采用投票法进行模型集成, 集成方法如图2所示。

对于二分类任务, 类别标记集合记为$\{{{y}_{0}},{{y}_{1}}\}$。将样本x在XGBoost模型${{\varphi }_{n}}(x)$上的预测输出表示为一个二维向量$\left\{ \varphi _{n}^{0}(x),\varphi _{n}^{1}(x) \right\}$ 则对样本x, 通过N个XGBoost模型集成进行预测, 预测结果可以表示为公式(6)。

$\hat{y}(x)={{y}_{\underset{j\in \{0,1\}}{\mathop{argmax}}\,\sum\nolimits_{n=1}^{N}{\varphi _{n}^{j}(x)}}}$ (6)

基于XGBoost算法的用户评分预测模型将用户评论的主题特征向量作为解释变量x, 用户评分作为被解释变量y, 具体预测步骤如下:

(1) 数据预处理

①收集用户在线评论, 并进行筛选、分词、去停用词等数据预处理。

②采用LDA模型提取用户评论的主题特征及其概率分布, 将用户评论量化成主题特征向量。

③以主题特征向量为解释变量, 用户评分作为被解释变量构建样本集, 并将样本集划分为训练集和测试集。

(2) 利用训练集建立基于XGBoost算法的用户评分预测模型

④加入样本扰动和属性扰动对训练集样本进行随机采样, 生成多个采样集。

⑤对每一个采样集, 重复步骤1)-步骤3):

1) XGBoost算法根据公式(5)从根节点开始, 递归地选择树结构的最优特征, 据此特征对数据集进行划分, 直到达到提前设定的划分停止条件(如树的最大深度等), 至此所有样本被分配到叶子节点, 生成一棵CART树。

2) 重复步骤1), 在损失函数梯度下降方向上依次建立多棵CART决策树。

3) 组合多棵CART决策树建立基于XGBoost算法的用户评分预测模型。

⑥对步骤⑤生成的多个评分预测模型利用投票法进行集成, 生成最终的用户评分预测模型。

(3) 利用测试集对用户评分预测模型进行评价

⑦对于测试集的每条样本, 利用步骤⑤生成的多个XGBoost模型, 分别计算所有CART树叶子节点上的预测分数之和, 若其属于正类的概率大于0.5, 将其划分为正类; 否则将其划分为负类。

⑧根据公式(6)对多个XGBoost模型的预测结果进行集成, 得到样本的预测类别。

⑨计算用户评分预测模型准确性指标: 准确度(Accuracy)和ROC(Receiver Operating Characteristic)曲线, 评价评分预测模型的预测准确性。准确度是指分类正确的样本数占样本总数的比例。通常来说, 分类准确度越高, 算法越好。

实验数据来自于国内某汽车门户网站的2015年1月至2016年6月的汽车用户在线评论, 包括用户评分和评论数据。用户评分为两类: 1为评分高, 0为评分不高。利用汽车门户网站用户评论, 预测用户评分, 检验预测效果。

选取紧凑型SUV里评论热度较高的汽车品牌, 这些品牌价格适中且购买量较大。首先抓取用户评论、评分及车型、价格等信息。从抓取到的数据中筛选出裸车价格在15万到25万之间的汽车用户评论数据, 删除内容较少的评论。然后进行分词、去停用词、去标点符号等文本数据预处理操作。另外, 在评论量化后的数据中, 出现了少量在某些维度上为0的主题特征向量, 这部分数据较少, 对其进行了剔除处理。最终有效实验数据统计信息如表1所示, 共计13 628条。表1的第2-11列为评论数最多的10种车型, 共有 5 702条评论(约42%)。第12列为其他车型的7 926条评论(约58%)。评分为1的用户占比约为47%, 评分为0的用户占比约为53%。

本文使用LDA模型对汽车用户评论进行主题分析, 估计汽车用户评论的主题特征分布θ, 并根据评论是否涉及各个主题, 将用户评论量化成一组主题特征向量。经实验验证, 对于LDA模型的先验参数, 分别设定为α=0.2, β=0.1, 迭代次数=100。当用户评论的主题数量S=6时主题划分较为清晰, 6个主题分别为: 空间、动力、操控、油耗、外观、内饰。各主题中高频词汇云图如图3所示。

根据图3实验结果, 用户关注的紧凑型SUV车型特征为: 外观方面关注是否大气、时尚; 动力方面关注起步、油门、加速等; 空间方面关注后排和后备箱等空间是否够用; 内饰方面关注做工、座椅、用料等; 油耗方面关注跑市区和高速时的百公里油耗; 操控方面关注方向盘是否轻盈、转向是否精准、底盘是否稳健。

选取每个主题中出现概率较高的前30个代表性词汇, 即V=30。根据评论是否涉及各个主题词, 将用户评论量化成主题特征向量, 作为解释变量x, 被解 释变量为用户评分y。量化后的汽车用户评论如表2所示。

从量化后的13 628条有效数据中, 随机抽取70%作为训练集, 30%作为测试集。训练集和测试集中y=1的数据比例相等。XGBoost算法在训练过程中, 调优参数扰动范围为: 学习率0.1~0.3, 树的最大深度5~10, 样本采样比0.7~1, 样本属性采样比0.7~1, 迭代次数100~1 000, 正则化项权重为5~10。XGBoost算法的可解释性主要体现在特征重要性排序和决策树图两个方面。

选择用户评论的6个主题特征, 同时考虑到主题特征之间可能会存在交互效应, 即一个主题特征在另一个主题特征不同水平上可能会产生不同效果, 实验设计中增加了6个主题特征的二次乘积项, 用以表达不同主题特征之间的交互效应。用Logistic回归方法筛选出对模型贡献较高的22个特征, 选择在生成所有树的过程中特征被用作分裂特征的次数作为特征权重, 特征重要性排序如图4所示。特征重要性排序可以理解为大多数用户对紧凑型SUV不同角度的偏好, 由图4可以看出, 大多数用户对价格在15-20万之间的紧凑型SUV比较注重外观、油耗、动力、内饰等因素, 用户在选车时考虑外观的同时会考虑空间、操控, 考虑动力的同时也会考虑内饰等其他交互因素。

经实验发现, 迭代次数为1 000时效果最优, 1 000棵CART树作为最终的用户评分预测模型。对于测试集的每条样本, 利用生成的1 000棵CART树的决策规则对其进行预测, 计算所有CART树对应叶子节点上的预测分数之和, 若其属于正类的概率大于0.5, 预测评分为1; 否则预测评分为0。XGBoost算法生成的第1000棵CART树如图5所示。

为了演示用户评分预测过程, 选取测试集中一条汽车用户评论。该用户对这款车的评分类别为1。量化后的主题特征向量见表2中第一条样本。

外观大气漂亮, 内饰做工精细, 空间大, 油耗低。后排乘坐非常舒适。车内空间宽敞, 座椅的包裹性不错, 后排座椅空间还是蛮大, 乘坐舒适, 后备箱空间有点小, 美中不足的是全尺寸备胎导致的后箱隆起。动力不错, 2.0开起来一点也不弱, 无论是在市里还是在高速上, ······。

依据图5第1 000棵CART树的决策规则, 该样本被划分到最右侧叶子节点, 得分为0。同样利用第1-999棵CART树对该样本进行预测, 预测得分如图6所示。

该条样本得分的最小值低于-0.1, 最大值高于0.2, 波动幅度较大。随着CART树数量的增加, 波动幅度逐渐较小, 趋于0值附近。总体来看, 得分为正值的情况相对更多。将1 000棵CART树的叶子节点得分相加为4.650 830 244, 用Logistic函数进行转换, 得到其类别为1的概率为0.990 536 742, 概率值大于0.5, 其预测评分类别为1。对比图3可以看出, 该评论中出现了外观、漂亮、大气、座椅、内饰、空间、后排等高频词汇。用户评分预测类别与真实类别一致。

本文选用准确度、ROC曲线对基于XGBoost算法的用户评分预测模型准确性进行评价。为了验证本文方法的优良性, 分别选择对数据扰动不敏感的稳定分类算法NB、LR, 以及对数据扰动敏感的树类模型CART、RF算法进行比较。各分类算法预测结果的ROC曲线如图7所示。纵轴是TPR, 横轴是FPR。

XGBoost集成、XGBoost和RF算法的ROC曲线明显包住NB、LR、CART树, 说明XGBoost集成、XGBoost和RF的预测准确性明显优于NB、LR、CART算法。

为了进一步比较预测准确度, 对量化后的13 628条有效数据, 采用5次五折交叉验证, 分别建立评分预测模型, 结果如表3所示。第2列至第6列分别为五折交叉验证的预测准确度, 第7列为平均值。表3显示, XGBoost集成、XGBoost和RF算法的预测准确度明显优于NB、LR、CART算法。由平均值可知, XGBoost算法的预测准确度达到67.75%, 比RF算法的预测准确度67.54%高出约0.21个百分点。通过加入样本扰动和属性扰动对XGBoost算法集成以后, 模型的泛化能力有所提高, 预测准确度在XGBoost基础上提高约0.43%, 比随机森林高约0.64%。表3中各方法的预测准确度与图7结论一致。

由于样本数据规模略大, 计算速度会受算法影响。通过实验证明, XGBoost算法在迭代次数为1 000时, 预测准确度趋于最大值, 建模过程平均耗时约9秒。对XGBoost算法集成以后, 迭代次数为500时, 预测准确度趋于最大值, 建模过程耗时约50秒。随机森林算法的决策树数量为500时, 预测准确度趋于最大值, 建模过程平均耗时约120秒。XGBoost算法及其集成的计算速度明显优于随机森林。综上可知, 基于XGBoost算法集成的用户评分预测模型具有较高的预测准确度和较高的计算效率。

选取国内某汽车门户网站的汽车用户在线评论数据, 进行数据清洗和用户评论的主题特征提取及量化, 构建基于XGBoost算法的用户评分预测模型。数据分析结果显示, 该模型能够将用户评论信息与评分有效结合, 揭示出用户对紧凑型SUV汽车的消费偏好, 其预测准确度高于LR、NB等模型, 且计算效率的优势更为明显, 能够更好地了解汽车用户需求, 为汽车行业整体结构的优化提供参考。