基于用户-评论-商户关系的虚假用户识别研究：用户偏差分析的视角

图1 URS-FDIRM总体设计

Fig.1 Design of URS-FDIRM

3.2 用户-评论-商户虚假度指标与计算

虚假度是评价用户、评论或商户等对象相对虚假程度或异常程度的概念,为统一量纲,通常其值介于0~1,越接近于1,虚假程度越高;越接近于0,虚假程度越低。虚假度的衡量通常源于一系列与异常评价对象密切相关的指标,如用户虚假度指标多源于用户评论行为,评论虚假度指标多源于评论文本,商户虚假度指标多源于商户声誉或影响力等。参考文献[5,11 ⇓-13,15-16],建立用户、评论、商户的多个指标,并结合用户、评论或商户等评价对象在多个指标上的异常表现,分别得到评价对象相应的综合虚假度。

（1）用户虚假度指标

与正常用户相比,虚假用户在评论行为上往往表现出明显异常,如点评的活跃程度、点评的突发性、点评的频率等。结合相关研究,本文建立以下主要用户虚假度指标,将其进行标准化处理后,使其值在0~1之间,越接近于1,指标虚假程度越高;越接近于0,指标虚假程度越低。

①用户活跃等级（UL）^[13,15]计算方法如公式（1）所示。

(1)

\begin{matrix} U L (u_{i}) = 1 - \frac{u l_{i}}{m a x (u l)} \end{matrix}

通常,平台中的用户被赋予的等级体现在多个方面,如用户上线次数、用户与他人互动频率、用户账户年限、用户评论数等,它体现了用户整体的活跃程度。其中, $u l_{i}$ 表示用户 $u_{i}$ 的等级, $u l$ 表示所有用户等级构成的集合, $m a x (u l)$ 为该集合中的最大值,本文所有公式中的 $m a x$ 操作均具有相同含义。用户等级越高,说明用户长期处于活跃状态,是虚假用户的可能性就越小。因此,等级越低,越可能是虚假用户。

②用户社交粉丝数（UF）^[13]计算方法如公式（2）所示。

(2)

\begin{matrix} U F (u_{i}) = 1 - \frac{u f_{i}}{m a x (u f)} \end{matrix}

其中, $u f_{i}$ 表示用户 $u_{i}$ 的粉丝数, $u f$ 表示所有用户粉丝数量构成的集合。虚假用户与正常用户相比,其社交范围往往较小,相对吸引的粉丝也会较少。因此,用户社交粉丝数越少,越可能是虚假用户。

③用户提问与回答比（UQA）计算方法如公式（3）所示。

(3)

U Q A (u_{i}) = \{\begin{matrix} 1 - u q a_{i}, u q a_{i} < 1 \\ 0, e l s e \end{matrix}

其中, $u q a_{i}$ 表示用户 $u_{i}$ 提问数与回答数的比值。虚假用户的目的是左右潜在用户的购买决策,会异常主动地回答他人对特定产品或服务的问题,回答数也远多于其提问数。因此,用户提问与回答比越小,越可能是虚假用户。

④用户评论时间间隔（UTS）^[13,15-16]计算方法如公式（4）所示。

(4)

U T S (u_{i}) = \{\begin{matrix} 1 - \frac{u t s_{i}}{α_{1}}, u t s_{i} < α_{1} \\ 0, e l s e \end{matrix}

其中, $u t s_{i}$ 表示用户 $u_{i}$ 发表的第一条评论与最后一条评论的间隔天数, $α_{1}$ 是根据样本数据启发式地设置的阈值。若用户在短时间内发表大量评论,则可能是虚假用户。

⑤用户突发评论数（URB）^{[5,12-13,15-16]}计算方法如公式（5）所示。

(5)

\begin{matrix} U R B (u_{i}) = \frac{u r b_{i}}{m a x (u r b)} \end{matrix}

其中, $u r b_{i}$ 表示用户 $u_{i}$ 的最大日评论次数, $u r b$ 表示所有用户最大日评论数构成的集合。正常用户的日评论数一般不会太多,如果某个用户在一天内发布大量评论,可能是虚假用户。

⑥用户评论次数（URN）^[13,16]计算方法如公式（6）所示。

(6)

\begin{matrix} U R N (u_{i}) = \frac{u r n_{i}}{m a x (u r n)} \end{matrix}

其中, $u r n_{i}$ 表示用户 $u_{i}$ 的评论次数, $u r n$ 表示所有用户评论次数构成的集合。虚假用户为了操控评论,干扰消费者的决策,会发布异常大量的评论。因此,用户总评论次数越多,越可能是虚假用户。

⑦用户评论频率（URF）^[16]计算方法如公式（7）所示。

(7)

\begin{matrix} U R F (u_{i}) = \frac{u r f_{i}}{m a x (u r f)} \end{matrix}

其中, $u r f_{i}$ 表示用户 $u_{i}$ 评论次数与时间间隔的比值,其值越大,说明该用户发表评论越频繁,越可能是虚假用户。 $u r f$ 为所有用户的评论频率集合。

⑧用户评论集中度（URC）^[18]计算方法如公式（8）所示。

(8)

\begin{matrix} U R C (u_{i}) = \frac{u r c_{i}}{m a x (u r c)} \end{matrix}

其中, $u r c_{i}$ 表示用户 $u_{i}$ 的评论集中度,是用户的单日最大评论数与该用户总评论数的比值,其值越大,说明用户评论行为越集中,越可能是虚假用户。 $u r c$ 为所有用户的评论集中度集合。

⑨用户在商户中的评论集中度（USC）^[16,18]计算方法如公式（9）所示。

(9)

\begin{matrix} U S C (u_{i}) = 1 - \frac{u s c_{i}}{m a x (u s c)} \end{matrix}

其中, $u s c_{i}$ 表示用户 $u_{i}$ 的商户集中度,是用户评论的商户数目与用户总评论数的比值,商户集中度越小,说明用户在较少的商户里发布了较多评论,越可能是虚假用户。 $u s c$ 为所有用户的商户集中度集合。

（2）评论虚假度指标

虚假用户发表的评论与正常评论相比,在长度、评分、图片数、评论相似度等方面可能会显现出异常。基于此,建立以下评论虚假度指标,将其进行标准化处理后,使其值在0~1之间,越接近于1,指标虚假程度越高;越接近于0,指标虚假程度越低。

①评论长度（RL）^[12,16]计算方法如公式（10）所示。

(10)

\begin{matrix} R L (r_{i}) = \frac{|r l_{i} - a v g (r l)|}{m a x (|r l - a v g (r l)|)} \end{matrix}

其中, $r l_{i}$ 表示评论 $r_{i}$ 的长度, $r l$ 为所有评论长度集合, $a v g (r l)$ 表示所有评论长度的平均值。一条评论长度过长或过短,可能是虚假评论。

②极端评分（RR）^[5,12,15-16]计算方法如公式（11）所示。

(11)

\begin{matrix} R R (r_{i}) = \frac{|r r_{i} - a v g (r r)|}{m a x (|r r - a v g (r r)|)} \end{matrix}

其中, $r r_{i}$ 为评论 $r_{i}$ 的评分, $r r$ 为所有评论评分的集合, $a v g (r r)$ 表示所有评论评分的平均值。一条评论的评分越偏离平均水平,越可能是虚假评论。

③图片数（RPN）^[13]计算方法如公式（12）所示。

(12)

R P N (r_{i}) = \{\begin{matrix} \frac{r p n_{i}}{α_{2}}, r p n_{i} < α_{2} \\ 1, e l s e \end{matrix}

其中, $r p n_{i}$ 为每条评论发布的图片个数, $α_{2}$ 为根据样本数据启发式地设置的阈值,当图片数量大于阈值 $α_{2}$ 时,该指标值设为1。普通用户为节约时间成本,一般很少评论带图。因此,评论图片数越多,该评论越可能是虚假评论。

④评论相似度（RS）^{[5,11⇓-13,15-16]}计算方法如公式（13）所示。

(13)

\begin{matrix} R S (r_{i}) = a v g (c o s i n e_s i m i l a r i t y (r s_{i}, r s_{- i})) \end{matrix}

其中, $r s_{i}$ 为评论 $r_{i}$ 的 $t f i d f$ 文本向量化表示, $r s_{- i}$ 表示除评论 $r_{i}$ 之外的其他评论向量化表示, $c o s i n e_s i m i l a r i t y (r s_{i}, r s_{- i})$ 为每条评论与其他所有评论的文本向量的余弦相似度,取其平均值 $a v g (c o s i n e_s i m i l a r i t y (r s_{i}, r s_{- i}))$ 作为指标值。虚假用户通常直接复制他人发布的已有评论或仅稍作修改,与已有评论存在较高的相似度。因此,该评论与其他评论越相似,则越可能是虚假评论。

（3）商户虚假度指标

虚假商户往往是那些刚刚建立、规模不大、急需大量评论提高自身影响力或声誉的商户。基于此,建立下列商户虚假度指标,将其进行标准化处理后,使其值在0~1之间,越接近于1,指标虚假程度越高;越接近于0,指标虚假程度越低。

①商户年龄（SA）^[16]计算方法如公式（14）所示。

(14)

\begin{matrix} S A (s_{i}) = 1 - \frac{s a_{i}}{m a x (s a)} \end{matrix}

其中, $s a_{i}$ 为商户 $s_{i}$ 开业至今的年限, $s a$ 为所有商户开业年限构成的集合, $m a x (s a)$ 为所有商户开业年限的最大值。新开商户没有稳定的消费者来源,为了在众多同类商户中脱颖而出,可能会雇佣虚假用户对自家产品发布评论以吸引消费者的眼球。因此,商户开业年限越短,商户虚假度越高。

②商户规模（SS）计算方法如公式（15）所示。

(15)

\begin{matrix} S S (s_{i}) = 1 - \frac{s s_{i}}{m a x (s s)} \end{matrix}

其中, $s s_{i}$ 为每家商户中产品或服务的种类数量, $m a x (s s)$ 为所有商户的规模最大值。与指标SA的分析类似,商户规模越小,商户虚假度越高。

③商户早期评论数（SRN）^[5,12,15-16]计算方法如公式（16）所示。

(16)

\begin{matrix} S R N (s_{i}) = \frac{s r n_{i}}{m a x (s r n)} \end{matrix}

其中, $s r n_{i}$ 为每家商户的早期评论总数, $m a x (s r n)$ 为所有商户早期评论数的最大值。商户的早期评论数越多,该商户虚假度越高。根据样本数据,设置商户早期观察周期为三年。

④商户高评论用户数（SUN）计算方法如公式（17）所示。

(17)

\begin{matrix} S U N (s_{i}) = \frac{s u n_{i}}{m a x (s u n)} \end{matrix}

其中, $s u n_{i}$ 为每家商户中评论数超过某一阈值（本文设为50,由样本数据启发式得到）的用户数量, $m a x (s u n)$ 为所有商户高评论用户数量的最大值。商户的高评论用户数量越多,该商户虚假度越高。

综上,用户、评论和商户虚假度相关的指标总结如表1所示。

表1 用户-评论-商户虚假度相关指标

Table 1 Indicators Related to User-Review-Shop Fake Degree

类型	指标缩写	指标个数
用户虚假度指标	用户活跃等级（UL）用户社交粉丝数（UF）用户提问与回答比（UQA）时间间隔（UTS）用户突发评论数（URB）用户评论次数（URN）用户评论频率（URF）用户评论集中度（URC）用户在商户中的评论集中度（USC）	9
评论虚假度指标	评论长度（RL）极端评分（RR）评论图片数（RPN）评论相似度（RS）	4
商户虚假度指标	商户年龄（SA）商户规模（SS）商户早期评论数（SRN）商户高评论用户数（SUN）	4

（4）用户-评论-商户虚假度计算

评价对象在单个指标上的取值并不能有效评估其整体虚假程度,因此根据各个虚假度指标的表现,计算评价对象的整体虚假程度。计算思路为：将评价对象各指标进行向量化表示后,与元素全为1的等长向量进行余弦相似度计算,进而求得评价对象的虚假度。基于此,得到每个用户的虚假度 $U F d e g r e e$ ,如公式（18）所示。

(18)

U F d e g r e e (u_{i}) = c o s i n e_s i m i l a r i t y (U s e r_{i}, O n e s_{u})

其中, $U s e r_{i}$ 表示每个用户各个虚假度指标构成的向量, $O n e s_{u}$ 表示与 $U s e r_{i}$ 等长、元素全为1的向量。

同样地,得到每条评论的虚假度 $R F d e g r e e$ 和每个商户的虚假度 $S F d e g r e e$ ,如公式（19）和公式（20）所示。

(19)

R F d e g r e e (r_{i}) = c o s i n e_s i m i l a r i t y (R e v i e w_{i}, O n e s_{r})

(20)

S F d e g r e e (s_{i}) = c o s i n e_s i m i l a r i t y (S h o p_{i}, O n e s_{s})

其中, $R e v i e w_{i}$ 表示每条评论各个虚假度指标构成的向量, $O n e s_{r}$ 表示与 $R e v i e w_{i}$ 等长、元素全为1的向量; $S h o p_{i}$ 表示每个商户各个虚假度指标构成的向量, $O n e s_{s}$ 表示与 $S h o p_{i}$ 等长、元素全为1的向量。

3.3 用户偏差分析

对于某个虚假用户,可能亲自撰写评论内容,也可能抄袭其他真实用户的评论内容,因此其每条评论风格各异,会出现较大偏差。再者,同一家商户中,可能同时存在虚假用户和真实用户,但虚假用户的行为通常偏离于正常用户的普遍行为。可见,虚假用户与正常用户相比,至少存在两种偏差：内容偏差和行为偏差,分别从用户-评论、商户-用户对应的虚假度指标中,考虑存在的内容偏差和行为偏差。

（1）用户-评论内容偏差

个体层面上,同一用户发布的评论大多风格相似,评论风格总体上趋于稳定。若同一用户的评论风格波动较大,该用户有可能是可疑用户。因此,可以通过测度用户发布的某条评论与该用户总体评论风格之间的差异,发现异常的评论。偏差越大,说明用户的评论风格波动较大,越有可能是虚假评论。为此,以用户为单位,分析同一用户 $u$ 的每条评论 $r$ 的偏差表现,记为 $R e v i e w d e v$ ,计算方法如公式（21）所示。

(21)

R e v i e w d e v_{u} (r) = \frac{\sum_{R \in R e v i e w_{i}} D e v (R)}{|R e v i e w_{i}|}

其中, $R$ 表示评论 $r$ 的各个虚假度指标, $R e v i e w_{i}$ 表示评论 $r$ 所有的虚假度指标构成的集合, $D e v (R)$ 表示采用某种偏差计算方法得到的各指标上的偏差,对每个指标的偏差求平均,得到用户每条评论的虚假度偏差。

（2）商户-用户行为偏差

对同一商户发表评论的用户之间的评论行为趋于协同。因此,可以通过测度同一商户中个体用户与该商户的群体评论行为之间的差异,发现店铺中的异常用户。偏差越大,说明该用户的评论行为与群体行为差异越大,不能很好地代表该店铺的评价水平。为此,以商户为单位,分析同一商户 $s$ 中的每个用户 $u$ 的行为偏差,记为 $U s e r d e v$ ,计算方法如公式（22）所示。

(22)

U s e r d e v_{s} (u) = \frac{\sum_{U \in U s e r_{i}} D e v (U)}{|U s e r_{i}|}

其中, $U$ 表示用户 $u$ 的各个虚假度指标, $U s e r_{i}$ 表示用户 $u$ 所有的虚假度指标构成的集合, $D e v (U)$ 表示采用某种偏差计算方法得出的各指标上的偏差,然后对所有指标的偏差求平均。

（3）偏差测度

基于JS散度偏差^[12],本文引入均值法、JS散度和KL散度三种方法,用于测度用户偏差。

①均值偏差Mean_Dev

均值偏差是各个相关指标与组内各指标的均值的差异,以用户行为偏差为例,计算方法如公式（23）所示。

(23)

\begin{matrix} M e a n_D e v = \frac{|U - a v g (U_g r o u p)|}{m a x (|U_g r o u p - a v g (U_g r o u p)|)} \end{matrix}

其中, $U$ 表示某个用户的虚假度指标, $U_g r o u p$ 表示与该用户有共同评论行为的所有用户在该指标上的取值构成的集合, $a v g (U_g r o u p)$ 表示取该集合的均值,然后用最大值进行标准化。同理,计算评论虚假度各指标上的均值偏差。需要指出的是,评论的虚假度指标之一“评论相似度”采用余弦相似度度量值计算偏差。

②JS散度偏差JS_Dev

JS散度通常用于比较两个分布的差异,JS散度越小,两个分布越相似,偏差越小。通过比较各指标值实际分布与期望分布的差异大小进行偏差的测度^[12],以用户虚假度偏差为例,计算方法如公式（24）所示。

(24)

J S_D e v \begin{matrix} = J S (D_{U} | | E_{U}) \end{matrix}

其中, $D_{U}$ 表示同一店铺中的每个用户各虚假度指标的实际分布, $E_{U}$ 表示每个用户各虚假度指标的期望分布,通过比较两者分布差异,得到每个用户各虚假度指标上的JS散度偏差值。同理,计算评论各虚假度指标的JS散度偏差。

③KL散度偏差KL_Dev

KL散度也是一种比较两个分布差异的方法,在某些情况下度量分布差异能取得较好的效果。以评论虚假度偏差为例,计算方法如公式（25）所示。

(25)

K L_D e v = K L (D_{R} | | E_{R})

其中, $D_{R}$ 表示用户每条评论各虚假度指标的实际分布, $E_{R}$ 表示相应的期望分布,通过比较两者分布差异,得到用户每条评论各虚假度指标上的KL散度偏差值。同理,计算同一店铺中每个用户的各虚假度指标KL散度偏差值。

3.4 URS虚假度增强关系与URS-FDIRM模型设计

文献[10]指出,用户-评论-商户关系节点之间存在紧密联系,因此以用户-评论-商户虚假度关系为基础,构建用户-评论-商户虚假度增强关系,如图2所示,即某个用户的虚假度受其发表的评论虚假度影响;某商户的虚假度受到对其评论的用户虚假度影响;商户的虚假度又会影响商户中评论的虚假度。

图2

图2 URS虚假度增强关系

Fig.2 Reinforced Relationship of URS

基于评论虚假度和用户虚假度之间的增强关系,可以在用户虚假度计算过程中,引入该用户的评论虚假度影响,从而利用评论的虚假度结果和用户-评论的内容偏差,不断修正用户虚假度计算结果。同理,基于用户虚假度和商户虚假度之间的增强关系,在商户虚假度计算过程中,引入商户中的用户虚假度影响,利用用户的虚假度结果和商户-用户的行为偏差,不断修正商户虚假度计算结果。评论与商户节点没有涉及用户对象,但基于评论虚假度和商户虚假度的增强关系,直接使用更新后的商户虚假度对评论虚假度进行迭代修正。上述计算过程对应三组模型,分别为UR-FDIRM、SU-FDIRM、RS-FDIRM。

（1） UR-FDIRM

根据用户每条评论内容偏差分析的结果,设计用户-评论（User-Review,UR）虚假度偏差修正因子 $W_{u r}$ ,其每个分量 $w_{u r}$ 的计算如公式（26）所示。

(26)

w_{u r} = \frac{1 - R e v i e w d e v_{u} (r)}{s u m (1 - R e v i e w d e v_{u} (*))}, r \in R (u)

其中, $R e v i e w d e v_{u} (r)$ 表示用户 $u$ 在其评论 $r$ 上的内容偏差, $R e v i e w d e v_{u} (*)$ 表示该用户所有评论的虚假度偏差值向量。偏差越大,说明该评论越不能很好地代表该用户评论虚假度的一般水平,则赋予其一个较小的权重;相反,赋予偏差较小的评论一个较大的权重,因此,用1减去偏差值并做归一化处理。

基于用户和评论的虚假度增强关系,利用用户-评论虚假度偏差修正因子,实现由评论虚假度对用户虚假度的更新与调整,如公式（27）所示。

(27)

\begin{matrix} \begin{array}{l} U F d e g r e e (u_{i}) = λ_{1} (W_{u r} \times R F d e g r e e (r_{u_{i}})) + \\ (1 - λ_{1}) U F d e g r e e (u_{i}) \end{array} \end{matrix}

其中, $U F d e g r e e (u_{i})$ 表示某个用户 $u_{i}$ 的虚假度, $R F d e g r e e (r_{u_{i}})$ 表示该用户所有评论的虚假度, $λ_{1}$ 为调节参数,决定用户虚假度更新时的步幅。

（2） SU-FDIRM

根据店铺中每个用户行为偏差分析的结果,设计商户-用户（Shop-User,SU）虚假度偏差调节因子 $W_{s u}$ ,其每个分量 $w_{s u}$ 的计算如公式（28）所示。

(28)

w_{s u} = \frac{1 - U s e r d e v_{s} (u)}{s u m (1 - U s e r d e v_{s} (*))}, u \in U (s)

其中, $U s e r d e v_{s} (u)$ 表示商户 $s$ 的用户 $u$ 的行为偏差, $U s e r d e v_{s} (*)$ 表示该店铺所有用户的行为偏差向量。偏差越大,说明该用户越不能代表群体的普遍评论行为,故赋予其一个较小的权重,用1减去偏差值,最后做归一化处理。

基于商户和用户的增强关系,利用商户-用户虚假度偏差修正因子 $W_{s u}$ ,实现由用户虚假度对商户虚假度的更新与调整,如公式（29）所示。

(29)

\begin{matrix} \begin{array}{l} S F d e g r e e (s_{i}) = λ_{2} (W_{s u} \times U F d e g r e e (u_{s_{i}})) + \\ (1 - λ_{2}) S F d e g r e e (s_{i}) \end{array} \end{matrix}

其中, $S F d e g r e e (s_{i})$ 表示某家商户 $s_{i}$ 的虚假度, $U F d e g r e e (u_{s_{i}})$ 表示该商户中所有用户的虚假度, $λ_{2}$ 为调节参数,决定商户虚假度更新时的步幅。

（3） RS-FDIRM

基于评论-商户（Review-Shop,RS）的增强关系,直接使用商户虚假度对评论虚假度进行更新,如公式（30）所示。

(30)

\begin{matrix} \begin{array}{l} R F d e g r e e (r_{i}) = λ_{3} \times S F d e g r e e (s_{r_{i}}) + \\ (1 - λ_{3}) \times R F d e g r e e (r_{i}) \end{array} \end{matrix}

其中, $R F d e g r e e (r_{i})$ 表示每条评论 $r_{i}$ 的虚假度, $S F d e g r e e (s_{r_{i}})$ 表示该条评论所在的商户虚假度, $λ_{3}$ 为调节因子,决定评论虚假度更新时的步幅。

（4）迭代计算过程

迭代开始时,根据用户-评论-商户的虚假度指标含义,分别计算用户、评论、商户的初始虚假度,作为各个对象虚假度的初始值,然后利用公式（27）、公式（29）和公式（30）开始迭代,直至模型收敛。迭代完成后得到的 $U F d e g r e e 、 R F d e g r e e 和 S F d e g r e e$ 分别为用户、评论、商户最终的虚假度。最后,对用户虚假度进行排名,通过设定阈值,确定虚假用户。具体实现流程如图3所示。

图3

图3 虚假用户识别迭代流程

Fig.3 Process of Fake Users Identification

4 实验

4.1 实验数据

本文以马蜂窝平台（https：//www.mafengwo.cn/）作为实验数据来源,重点采集北京、上海、广州、深圳等一线城市的相关数据。截至2021年6月,共获得酒店数据14 095条,用户数据7 882条,评论数据339 364条。文献[12]指出,用户发表的评论越多,体现出的用户行为就越多,就能够为虚假用户识别提供更多的线索。考虑到本文需要人工标注一部分数据集,而虚假评论者的标注任务又具有一定复杂性,为增加模型识别虚假评论者的准确性,本文参照文献[12]最终选取发布评论数较多的用户作为分析对象。此外,根据帕累托法则（Pareto Principle）,80%的虚假评论来自20%的用户,因此,选取评论总数排名约前20%的用户。经计算,前20%的用户评论数最少在50条左右,如图4所示。在初始数据集中剔除评论总数小于50条的用户数据及相应的酒店、评论数据。

图4

图4 用户评论数量-用户数累计分布统计

Fig.4 Cumulative Distribution of Number of User Reviews and Number of Users

最终获得的实验数据包括13 551家酒店、1 829个用户和102 788条评论数据。各指标在标准化之前的描述性统计如表2所示。在实验数据集中,初步统计用户发表的评论数分布情况和各个商户中的用户数分布情况,如图5所示。在1 829个用户中,多数用户的评论数集中在51~60条之间,有少数用户的评论数大于70条,结合表2,用户评论数最高可至300条。这类用户的评论数量明显偏离总体分布,可能存在异常用户。在13 551家商户中,用户数大多集中在2~10之间,结合表2,最多用户数达到73个,经统计可得,约86.54%的商户高评论用户数小于10,95.12%的商户高评论用户数小于30,而有些商户中的高评论用户数远大于30,明显偏离总体分布,说明这些商户可能存在异常。

表2 描述性统计

Table 2 Descriptive Statistics

对象	指标	描述	最小值	最大值	中位数	均值	标准差
用户	UL	用户活跃等级	6.000 0	45.000 0	17.000 0	16.840 0	3.460 0
	UF	用户社交粉丝数	0.000 0	5 927.000 0	1 182.000 0	960.820 0	520.730 0
	UQA	用户提问与回答比	0.000 0	1.000 0	0.000 0	0.040 7	0.156 6
	UTS	用户评论时间间隔	1.000 0	4 087.000 0	2 049.000 0	1 985.270 0	433.970 0
	URB	用户突发评论数	1.000 0	132.000 0	2.000 0	2.780 0	7.290 0
	URN	用户评论次数	51.000 0	301.000 0	54.000 0	56.600 0	12.600 0
	URF	用户评论频率	0.014 2	64.000 0	0.026 9	0.093 0	1.539 6
	URC	用户评论集中度	0.012 2	0.987 6	0.037 0	0.043 0	0.066 2
	USC	用户在商户中评论集中度	0.181 8	1.000 0	1.000 0	0.994 3	0.022 5
评论	RL	评论长度	0.000 0	576.000 0	9.000 0	12.470 0	13.330 0
	RR	极端评分	0.000 0	5.000 0	5.000 0	4.430 0	0.770 0
	RPN	图片数	0.000 0	10.000 0	0.000 0	0.002 0	0.058 0
	RS	评论相似度	0.000 0	1.000 0	0.028 0	0.039 0	0.045 0
商户	SA	商户年龄	0.000 0	108.000 0	8.000 0	9.807 6	7.612 7
	SS	商户规模	1.000 0	1 500.000 0	80.000 0	102.070 0	92.610 0
	SRN	商户早期评论数	1.000 0	73.000 0	5.000 0	7.596 5	9.910 7
	SUN	商户高评论用户数（≥50）	2.000 0	73.000 0	5.000 0	7.551 3	9.782 0

图5

图5 用户-评论和商户-用户分布

Fig.5 Distribution of User-Review and Shop-User

4.2 用户-评论-商户虚假度关系检验

为验证本文所建立的用户-评论-商户虚假度增强关系的合理性,首先检验用户、评论、商户三者之间的虚假度是否存在一定程度的关联关系,为此对用户-评论、商户-用户、评论-商户两两之间迭代前的初始虚假度与迭代后的最终虚假度分别进行相关系数检验。检验结果如表3所示,在0.05的显著性水平下,各P值均显著,说明用户-评论、商户-用户、评论-商户两两之间的虚假度在迭代前与迭代后均存在相关关系,这为本文模型的建立提供了支撑。

表3 相关系数检验

Table 3 Correlation Coefficient Test

检验对象	\|cor\|		\|T value\|		P value
检验对象	迭代前	迭代后	迭代前	迭代后	迭代前	迭代后
用户-评论虚假度	0.379 7	0.051 3	17.544 0	2.197 1	0.000 0***	0.028 1***
商户-用户虚假度	0.094 8	0.098 3	11.075 0	11.488 0	0.000 0***	0.000 0***
评论-商户虚假度	0.458 2	0.458 2	165.300 0	165.300 0	0.000 0***	0.000 0***

（注：***表示在0.05水平上显著。）

4.3 用户偏差分析

（1）指标偏差分析

狭义上,用户偏差体现为用户相关指标值与整体平均水平的差异。变异系数可表示一组数据的离散程度,变异系数越大,说明与该组数据的平均数相比,这组数据的离散程度越大,即偏差越大。由此可知,若某指标上用户的变异系数越大,则存在的用户偏差越大。为此,计算用户各指标的变异系数,初步描述用户在相关指标上是否存在一定程度的偏差,结果如图6所示。

以用户粉丝数（UF）、用户评论时间间隔（UTS）两个指标为例,以商户为单位,计算每个商户内用户的UF和UTS指标的变异系数,从图6（a）和图6（b）的所有商户UF和UTS指标的分布来看,相当多数量的商户用户在两个指标上存在不同程度的偏差（y轴0以上的点）,证实了商户内用户行为指标偏差的普遍存在。同样,以RL（评论长度）、RR（评论极端评分）两个指标为例,以用户为单位,计算每个用户发布的评论在RL和RR两个指标上的变异系数,从图6（c）和图6（d）的所有用户RL和RR指标的分布来看,相当多数量的用户在两个指标上存在不同程度的偏差,证实了用户评论内容指标偏差的普遍存在。

图6

图6 偏差展示

Fig.6 Deviation Display

（2）虚假度偏差分析

由于用户的虚假度是否存在偏差是识别虚假用户的关键,因此以同样方法分析用户的虚假度是否存在偏差。分别计算商户内的用户初始虚假度（模型迭代前）和最终虚假度（模型迭代后）的变异系数,如图7所示。其中,多数点不同程度地偏离x轴,说明不论是模型迭代前,还是模型迭代后,商户中相当多数量的用户虚假度存在偏差,为本文从用户偏差的视角识别虚假用户奠定了基础。

图7

图7 用户虚假度偏差分析

Fig.7 User Fake Degree Deviation Analysis

4.4 模型性能分析

（1）虚假用户识别结果

为评估URS-FDIRM在虚假用户识别问题上的有效性,邀请三名专业人员进行数据标注。虚假用户判别是一项复杂的任务,通常需要搜集大量的相关资料,综合判断各个方面后给出对应的标签。为保证标注的准确性,参照文献[10],为标注者提供用户主页网址、用户评论文本、用户评论对应的商户、该商户中其他用户的评论等一系列相关数据。同时,为标准化这一复杂的判断过程,在共同商议后,标注人员达成一致,主要遵循如表4所示的7个规则,并在此规则的基础上完成数据标注工作。

表4 标注规则

Table 4 Tagging Rules

规则	规则说明
1	如果一个用户的评论总是与对应商户中其他用户的评论差别很大,这个用户是可疑的。例如,如果一个用户总是给他评论过的商户很高的评价,而其余用户给这些商户的评价较低,此时该用户是可疑的^[10]。
2	如果一个用户的评论总是与对应商户中其他用户早已发布的评论很相似,这个用户是可疑的。因为虚假用户往往会复制他人已有的评论达到快速评论提高影响的目的^[15]。
3	如果一个用户绝大多数评论都集中在某一家或某几家商户,且总是发布好评或差评,这个用户是可疑的。此时很可能存在用户与商户之间的串谋关系^[18]。
4	鉴于本文所用的数据为酒店数据,具有其特殊性,如果一个用户在一天内发布了大量评论,这个用户是可疑的。
5	仅仅从评论文本观察,如果一个用户的评论总是遵循一个固定的模板,或是毫无逻辑的辞藻堆砌,这个用户是可疑的。
6	进入用户主页,观察用户相关数据及日常行为,主观感受该用户是否可疑。
7	在进行数据标注时,要综合所有相关信息进行考量,不可仅看一个方面做出想当然的判断。

依据多数投票的原则,对于一个用户,如果至少两个标注者认为其是虚假用户,则标记为1,否则标记为0,最终在1 829个用户中标注出279位虚假用户。经过对标注结果的Cohen-Kappa检验,两两标注结果的Kappa平均值达91.65%,标注的一致性结果较为理想。

建立均值偏差、JS散度偏差、KL散度偏差下的URS-FDIRM模型和未使用偏差进行迭代的模型,分别表示为URS-FDIRM_MEAN、URS-FDIRM_JS、URS-FDIRM_KL及URS-FDIRM_WITHOUT_DEV,建立模型时三组参数 $λ$ 均设置为0.1。取虚假度排名前k个（此处设置k=279,为标记的虚假用户数量）用户作为模型识别出的虚假用户。选择F1值作为模型的评估指标,4个模型的识别效果如表5所示。

表5 模型实验结果

Table 5 The Experimental Results

模型	F1值
URS-FDIRM_MEAN	0.914 0
URS-FDIRM_JS	0.878 1
URS-FDIRM_KL	0.874 6
URS-FDIRM_WITHOUT_DEV	0.871 0

均值偏差URS-FDIRM_MEAN模型的识别效果最好,F1值可达91.40%,JS散度偏差URS-FDIRM_JS模型次之。整体上,三种偏差下的URS-FDIRM模型的识别效果均好于未使用偏差进行迭代的模型,说明用户偏差是识别虚假用户的重要因素。

考虑到虚假用户数量k的选择对模型实验结果可能会造成影响,对k进行多次取值,三组参数 $λ$ 均设置为0.1,采用精确率、召回率、F1值（分别记为P、R、F1）评价实验结果。随着k取值的变化,URS-FDIRM_MEAN模型分类效果出现一定变化,如表6所示。当k越来越大时,P值逐渐减小,R值逐渐增大,F1值先增大后减小。选择F1值作为评估指标,当k取值在人工标注的虚假用户个数附近时,模型分类效果较好。在k值由小到大过程中,各模型F1值变化如图8所示,当k取318时,URS-FDIRM_MEAN模型的F1值达到最大值0.925 7。

表6 不同k值下的URS-FDIRM_MEAN实验结果

Table 6 Experimental Results Under Different k Values

k
230	0.961 0	0.795 7	0.870 6
240	0.954 4	0.824 4	0.884 6
250	0.944 2	0.849 5	0.894 3
260	0.934 9	0.874 6	0.903 7
270	0.922 5	0.896 1	0.909 1
280	0.914 6	0.921 1	0.917 9
290	0.903 8	0.942 7	0.922 8
300	0.890 4	0.960 6	0.924 1
310	0.865 0	0.964 2	0.911 9
320	0.844 2	0.971 3	0.903 3
330	0.818 7	0.971 3	0.888 5
340	0.797 7	0.974 9	0.877 4

图8

图8 F1值变化

Fig.8 Change of F1 Score

进一步考察迭代过程中三组 $λ$ 参数的不同取值对最终识别效果产生的影响。考虑到三组 $λ$ 参数的搜索空间复杂性,将三组参数设置为相同值。固定k为标记的虚假用户数量（279）,计算 $λ$ 取不同值时,URS-FDIRM_MEAN模型识别的F1值,结果如表7所示。当 $λ$ 取值均为0.1时,模型识别效果最好。随着 $λ$ 值增大,F1值逐渐减小。因此,在迭代中将参数值统一设置为0.1。

表7 $λ$ 不同取值时的F1值

Table 7 F1 Score Under Different $λ$

$λ$	F1	$λ$	F1
0.0	0.871 0	0.6	0.591 4
0.1	0.914 0	0.7	0.483 9
0.2	0.910 4	0.8	0.344 1
0.3	0.842 3	0.9	0.222 2
0.4	0.770 6	1.0	0.179 2
0.5	0.706 1

（2）与基准方法对比分析

设置参数k、 $λ$ 为（1）中分析得到的最优参数（318,0.1）,将最优模型URS-FDIRM_MEAN与其他方法进行对比分析。对于表1中的各个指标,建立逻辑回归模型（LR）、随机森林模型（RF）、K-近邻模型（KNN）、深度神经网络模型（DNN）等4个有监督分类模型和Feature Sum（记为Fsum）这一无监督排序模型。计算各个模型的P、R、F1值,如表8所示。其中,Fsum方法是一种虚假用户识别方法^[5],它将所有指标求和并排序,是最常用的虚假用户识别基准方法。

表8 多个方法的分类效果比较

Table 8 Algorithm Performance

模型	P	R	F1
URS-FDIRM_MEAN	0.893 3	0.960 6	0.925 7
LR	0.881 5	0.474 1	0.613 1
RF	0.720 5	0.131 6	0.221 6
KNN	0.939 2	0.737 0	0.825 7
DNN	1.000 0	0.750 0	0.857 1
Fsum	0.262 9	0.709 7	0.383 7

在虚假用户识别方面,URS-FDIRM_MEAN、KNN、DNN三个方法的识别效果较好。尽管DNN与KNN在P值上优于其他方法,但R值较小,导致最终的F1值低于本文模型;URS-FDIRM_MEAN在R、F1值两个指标上优于其他方法,表明与其他方法相比,该模型对于虚假用户识别更有效;此外,LR、RF、Fsum方法识别效果较差。

4.5 模型适应性分析

为检验各虚假度指标在虚假用户识别上的有效性,以虚假用户标注标签（0或1）为自变量、各个相关指标为因变量分别进行方差分析。方差分析可用来检验分类型自变量对数值型因变量的影响。为保证虚假用户标注标签与各指标的一一对应,对评论虚假度指标与商户虚假度指标以用户为单位,在各指标上取均值,方差分析结果如表9所示。

表9 方差分析汇总

Table 9 ANOVA Summary

指标	Mean sq	F value	Pr（>F）
UL	0.205 0	35.490 0	0.000 0***
UF	0.314 1	41.600 0	0.000 0***
UQA	8.133 0	405.000 0	0.000 0***
UTS	0.528 2	55.310 0	0.000 0***
URB	0.134 0	44.960 0	0.000 0***
URN	0.045 1	26.080 0	0.000 0***
URF	0.000 0	0.044 0	0.833 0
URC	0.281 8	64.980 0	0.000 0***
USC	0.015 3	30.550 0	0.000 0***
RL	0.000 0	0.523 0	0.470 0
RR	0.013 8	0.745 0	0.388 0
RPN	0.000 0	1.854 0	0.173 0
RS	0.000 2	2.666 0	0.103 0
SA	0.005 2	32.170 0	0.000 0***
SS	0.006 0	32.020 0	0.000 0***
SRN	0.044 4	20.720 0	0.000 1***
SUN	0.046 0	21.990 0	0.000 0***

（注：***表示在0.05水平上显著。）

结果表明,除URF、RL、RR、RPN、RS之外,其余指标均显著,即虚假用户与非虚假用户在这些指标上取值的均值有显著差异。进一步考察不显著的各个指标在本文模型中的作用大小。分别删去各指标,重新按照本文方法建立URS-FDIRM_MEAN模型,得到的模型对于虚假用户识别的效果如表10所示。可知,新模型与原模型相比,识别效果有所下降,这表明虽然虚假用户与非虚假用户在这些指标上取值无明显差异,但这些指标在模型中仍发挥着一定的作用。观察各指标可发现,它们均为用户虚假度指标或评论虚假度指标,未通过显著性检验有可能是商户-用户行为偏差和用户-评论内容偏差过于分散导致的。综上,本文所选择的虚假度相关指标对于虚假用户识别问题的有效性得以验证。

表10 删去各指标后的分类效果比较

Table 10 Algorithm Performance Without Some Indicators

删去的指标	新模型的F1值
URF	0.896 1
RL	0.408 6
RR	0.860 2
RPN	0.881 7
RS	0.863 8

5 结语

针对当前虚假用户识别问题面临的挑战,本研究提出了一种基于偏差的虚假度修正关系模型URS-FDIRM。实验结果表明,该模型具有较好的虚假用户识别性能。本研究的主要工作以构建用户-评论-商户虚假度指标体系为基础,以用户内容偏差和用户行为偏差测度为核心,结合用户偏差和用户-评论-商户虚假度迭代关系,构建虚假用户识别模型,最终提升虚假用户识别精度。

本研究存在以下局限性：

（1）受限于公开数据集的限制,仅选择马蜂窝平台数据作为实验数据。尽管在数据探索性分析和模型验证等方面取得了理想的实验效果,但未来还应探索更多平台的数据集,拓展模型的应用范围。

（2）在测度用户偏差方面,检验了均值法、JS散度和KL散度三种方法在建立的指标体系上的测量效果,是否还有其他的用户指标能表征用户偏差,未来可以进行更多的尝试和检验。

作者贡献声明

孟园：拟定研究命题,提出研究思路,论文起草及最终版本修订;

王悦：采集、清洗和分析实验数据,进行实验。

利益冲突声明

所有作者声明不存在利益冲突关系。

支撑数据

支撑数据由作者自存储,https://github.com/wy416408/support_data。

[1] 孟园, 王悦. jiudianData.rar. 包括酒店相关数据及酒店中的评论信息.

[2] 孟园, 王悦. users_data.rar. 原始数据, 包括用户相关数据.

[3] 孟园, 王悦. UsersData_all.sql. 处理后的全部用户数据(图4).

[4] 孟园, 王悦. FilteredData.sql. 实验用户表、评论表及商铺表(表2、图5).

[5] 孟园, 王悦. URS_spam.rar. 迭代前后用户-评论-商户两两虚假度数据(表3).

[6] 孟园, 王悦. SU_UR_cov.rar. 用户指标、用户评论指标的变异系数等(图6、图7).

[7] 孟园, 王悦. result.sql. 用户虚假度比较实验排序结果、用户虚假度排名和用户初始虚假度排名、虚假用户标注结果、参数不同取值时的比较结果等(表5-表8、表10、图8).

[8] 孟园,王悦. user_index.csv. 用户对应的各个指标取值及虚假用户标签(表8、表9).

参考文献

原文顺序

文献年度倒序

文中引用次数倒序

被引期刊影响因子

[1]

, Bose

, Koh

N S

, et al.

Manipulation of Online Reviews: An Analysis of Ratings, Readability, and Sentiments

[J]. Decision Support Systems, 2012, 52(3): 674-684.

[2]

Y Y

, Ngai

E W T

, Wu

P K

, et al.

Fake Online Reviews: Literature Review, Synthesis, and Directions for Future Research

[J]. Decision Support Systems, 2020, 132: 113280.

[本文引用: 2]

[3]

宋海霞, 严馨, 余正涛, 等.

基于自适应聚类的虚假评论检测

[J]. 南京大学学报(自然科学版), 2013, 49(4): 433-438.

Song

Haixia

, Yan

Xin

, Yu

Zhengtao

, et al.

Detection of Fake Reviews Based on Adaptive Clustering

[J]. Journal of Nanjing University(Natural Sciences), 2013, 49(4): 433-438.)

[4]

邓松, 万常选, 关爱浩, 等.

基于行为与内容的科技产品虚假评论识别

[J]. 小型微型计算机系统, 2015, 36(11): 2498-2503.

(Deng

Song

, Wan

Changxuan

, Guan

Aihao

, et al.

Deceptive Reviews Detection of Technology Products Based on Behavior and Content

[J]. Journal of Chinese Computer Systems, 2015, 36(11): 2498-2503.)

[5]

Mukherjee

, Kumar

, Liu

, et al.

Spotting Opinion Spammers Using Behavioral Footprints

[C]// Proceedings of the 19th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. 2013: 632-640.

[本文引用: 10]

[6]

Q K

, Zhao

Using Deep Linguistic Features for Finding Deceptive Opinion Spam

[C]// Proceedings of the 24th International Conference on Computational Linguistics. ACL, 2012:1341-1350.

[7]

Feng

, Banerjee

, Choi

Syntactic Stylometry for Deception Detection

[C]// Proceedings of the 50th Annual Meeting of the Association for Computational Linguistics. ACL, 2012:171-175.

[8]

Goswami

, Park

, Song

Impact of Reviewer Social Interaction on Online Consumer Review Fraud Detection

[J]. Journal of Big Data, 2017, 4: 15.

[9]

Wang

X P

, Liu

, Zhao

Handling Cold-Start Problem in Review Spam Detection by Jointly Embedding Texts and Behaviors

[C]// Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics. ACL, 2017: 366-376.

[10]

Wang

, Xie

S H

, Liu

, et al.

Identify Online Store Review Spammers via Social Review Graph

[J]. ACM Transactions on Intelligent Systems and Technology, 2012, 3(4): 1-21.

[本文引用: 6]

[11]

余传明, 冯博琳, 左宇恒, 等.

基于个人-群体-商户关系模型的虚假评论识别研究

[J]. 北京大学学报(自然科学版), 2017, 53(2): 262-272.

(Yu

Chuanming

, Feng

Bolin

, Zuo

Yuheng

, et al.

An Individual-Group-Merchant Relation Model for Identifying Online Fake Reviews

[J]. Acta Scientiarum Naturalium Universitatis Pekinensis, 2017, 53(2): 262-272.)

[12]

Liu

Y C

, Pang

A Unified Framework for Detecting Author Spamicity by Modeling Review Deviation

[J]. Expert Systems with Applications, 2018, 112: 148-155.

[本文引用: 12]

[13]

Shan

G H

, Zhou

L N

, Zhang

D S

From Conflicts and Confusion to Doubts: Examining Review Inconsistency for Fake Review Detection

[J]. Decision Support Systems, 2021, 144: 113513.

[本文引用: 10]

[14]

彭庆喜, 钱铁云.

基于量化情感的网店垃圾评论检测

[J]. 山东大学学报(理学版), 2013, 48(11): 66-72.

Peng

Qingxi

, Qian

Tieyun

Store Review Spam Detection Based on Quantitative Sentiment

[J]. Journal of Shandong University(Natural Science), 2013, 48(11): 66-72.)

[15]

Cao

J X

, Xia

R Q

, Guo

Y F

, et al.

Collusion-Aware Detection of Review Spammers in Location Based Social Networks

[J]. World Wide Web, 2019, 22(6): 2921-2951.

[本文引用: 9]

[16]

吴佳芬, 马费成.

产品虚假评论文本识别方法研究述评

[J]. 数据分析与知识发现, 2019, 3(9): 1-15.

[本文引用: 12]

(Wu

Jiafen

, Ma

Feicheng

Detecting Product Review Spam: A Survey

[J]. Data Analysis and Knowledge Discovery, 2019, 3(9): 1-15.)

[本文引用: 12]

[17]

袁得嵛, 章逸钒, 高见, 等.

基于用户特征提取的新浪微博异常用户检测方法

[J]. 计算机科学, 2020, 47(S1): 364-368.

(Yuan

Deyu

, Zhang

Yifan

, Gao

Jian

, et al.

Abnormal User Detection Method in Sina Weibo Based on User Feature Extraction

[J]. Computer Science, 2020, 47(S1): 364-368.)

[18]

张文宇, 岳昆, 张彬彬.

基于D-S证据理论的电子商务虚假评论者检测

[J]. 小型微型计算机系统, 2018, 39(11): 2428-2435.

(Zhang

Wenyu

, Yue

Kun

, Zhang

Binbin

Detecting E-Commerce Review Spammer Based on D-S Evidence Theory

[J]. Journal of Chinese Computer Systems, 2018, 39(11): 2428-2435.)

[19]

邵珠峰, 姬东鸿.

基于情感特征和用户关系的虚假评论者的识别

[J]. 计算机应用与软件, 2016, 33(5): 158-161.

(Shao

Zhufeng

, Ji

Donghong

Spotting Fake Reviewers Based on Sentiment Features and Users’ Relationship

[J]. Computer Applications and Software, 2016, 33(5): 158-161.)

[20]

J T

, Akoglu

Discovering Opinion Spammer Groups by Network Footprints

[C]// Proceedings of the 2015 ACM Conference on Online Social Networks. ACM, 2015: 97.