微博是一个基于用户关系进行信息发布、获取、分享、传播的平台, 它提供了单向关注机制, 用户可以选择关注其他用户, 自动接收这些用户的微博信息, 但不要求这些用户关注他。这些被关注的人可能是用户感兴趣的人, 如同事、朋友、亲人, 或某些名人。这种信息发布方式的便捷性、聚焦关注的自主性和广泛连接的社会性, 使微博这一社会媒体受到互联网用户的喜爱, 成为用户获取信息、获知社会动态的重要途径。

微博信息通常是用户行为的记录, 其中必然反映出用户的兴趣和爱好。通过对微博数据进行挖掘和分析, 可以发现用户的兴趣。针对每个用户的具体兴趣, 可以为用户推荐相应的信息、产品、广告等, 也可以为用户推荐其可能感兴趣的用户, 从而达到个性化的推荐效果。此外, 对于提升用户对网站的满意度以及促进网站自身的发展具有十分重要的作用。因此, 研究微博用户兴趣发现具有十分重要的意义。

微博的内容涉及多个方面, 从日常生活到时事新闻, 但并非所有内容都能反映出用户的兴趣。另外, 大量的微博信息也使用户无暇顾及。因此, 采用有效的方法从大量杂乱的微博信息中准确提取用户的兴趣便成为当下社交网络研究领域十分重要的课题。

Tang等^[1]提出了一个新的概率图模型在网站内容中提取隐藏的话题, 并在每个网站集群上探测用户兴趣。Genc等^[2]通过提取单条微博实体, 将其映射到相应的维基百科类别节点, 从而对每条微博分类。Welch等^[3]分析了用户间关注和转发两种关系, 分别对由这两种关系得到的用户关系图进行分析, 发现转发用户微博比关注该用户更能体现对该用户讨论话题的感兴趣程度。Abel等^[4]提取Twitter中的 HashTag、Entity等与大新闻媒体如 CNN、New York Times 等关联, 丰富微博的语义。Xu等^[5]通过使用一个标识用户兴趣的变量来改进LDA(Latent Dirichlet Allocation)模型, 从而提取用户主题。Michelson等^[6]将用户发布的微博中提及的实体经过消歧等处理后, 映射到维基百科的某个类别节点上, 经过投票策略可得到用户最感兴趣的维基百科类别节点。宋巍等^[7]提取词语层次和主题层次的特征并进行组合, 构成特征空间, 并利用支持向量机(SVM)进行微博主题分类。方维^[8]通过对微博用户行为分析, 提出了文本分类和主题库词匹配相结合的策略, 对用户兴趣进行识别。孙威^[9]通过调查发现使用关注用户的微博信息具有较好的兴趣发现效果。崔争艳^[10]提出一种基于语义的微博分类方法, 该方法通过对微博文本进行处理, 得到关键词语义扩展后的特征向量文本表示和训练集文本的语义特征向量, 并从训练集中选取与测试文本集中最相似的N个文本, 最后利用SWF决策规则将文本分到权重最大的类别。

根据用户兴趣的具体程度将其划分为粗粒度兴趣和细粒度兴趣。粗粒度兴趣范围广, 比较模糊, 往往可再具体划分, 如兴趣主题; 细粒度兴趣指向明确具体, 能更加细致地描述用户的兴趣, 有利于更加深入了解微博用户, 从而准确合理地进行个性化推荐。总的来说, 当前研究微博用户兴趣发现多从粗粒度层面直接对用户微博进行主题分类, 虽然取得了一定的研究效果, 但不能细致具体地描述用户的兴趣, 无法满足个性化推荐的要求, 同时这些方法未充分考虑与用户有关联的其他用户的信息, 忽略了微博社交网络的结构特征。针对这种情况, 本文基于新浪微博, 从研究细粒度层面的用户兴趣出发, 综合考虑用户与其关注用户的微博以及他们之间的社交联系, 提出一种新的发现微博用户兴趣的方法。

本文通过研究微博用户u的微博与其关注用户v的微博, 以及用户u与用户v之间的社交相关度来识别微博用户u的兴趣, 具体步骤如下:

(1) 对用户u的微博数据进行分词、词性标注、命名实体识别、句法分析、语义角色标注预处理, 之后对经过预处理的数据采用改进的tf-idf算法提取出兴趣关键词, 得到用户u的兴趣集I_u1;

(2) 采用同样方法提取关注用户v的兴趣集I_v, 经同义词合并后, 通过中文维基百科获取每个兴趣关键词 的解释文本, 作为对兴趣关键词i的描述; 通过计算用户u的微博与用户v兴趣关键词描述之间的主题分布相似度, 以及用户u与用户v之间的亲密度, 得出用户间的社交相关度, 并根据社交相关度得出用户u对兴趣i的兴趣分, 取前K个分数最高的兴趣作为用户u的兴趣集I_u2;

(3) 通过《知网》^[11]合并用户u的兴趣集I_u1与兴趣集I_u2, 得出用户u的兴趣集I_u。

与用户有关联的用户包括用户的粉丝、评论转发用户微博的用户以及用户关注的用户。研究表明, 通过关注用户的微博发现用户的兴趣是可靠的^[9]。然而用户的关注用户中一般都含有名人, 所以将关注用户分为名人和非名人用户。

名人用户是经过官方认证的微博用户, 具有十分强大的影响力。名人的影响力是由于其知名度而并非其微博内容造成的, 故分析名人用户的微博内容意义不大。本文只分析关注用户中的非名人用户, 非名人用户的特征是粉丝数小于5万^[9]。

本文识别用户u的兴趣, 需先识别出u所关注用户的兴趣。设用户u的关注用户集为V, , 用户v的兴趣集I_v可通过第4节的计算方法得出。用户u关注用户v往往是由于对用户v的某些方面感兴趣, 也就是说用户u与用户v很可能有共同的某个或某几个兴趣。用户u与用户v之间的社交相关度取决于用户v的兴趣, , 相关定义如下:

: 用户u发布、转发的微博与用户v的兴趣i描述的相似度;

: 用户u与用户v之间的亲密度;

: 用户u与用户v对兴趣i的社交相关度;

: 用户u对兴趣i的兴趣分, 体现了用户u对兴趣i的倾向程度。

用户u与用户v对兴趣i的社交相关度 由用户u发布、转发的微博与用户v的兴趣i描述的相似度 和用户u与用户v之间的亲密度 决定, 本文定义其计算公式如下。

(3)

其中, i为用户v的某个兴趣, 表示权重。对于兴趣i, 本文采用维基百科的完整解释页面文字作为其描述。若中文维基百科中未收录该词, 则该词为未登录词, 其描述便无法从解释页面获取。针对此种情况, 使用哈尔滨工业大学同义词词林扩展版^[14]获取该未登录词的同义词或近义词, 继续提取中文维基百科解释页面。同义词林部分解决了未登录词缺少解释词条的问题, 满足了实验需求。

用户u对兴趣i的兴趣分 是通过用户u与用户v对兴趣i的社交相关度 体现的, 本文定义其计算公式如下:

(4)

5.1 相似度

相似度 对于识别用户兴趣具有关键作用。用户u的微博中存在某些潜在主题, 兴趣i的描述内容也是如此, 这里兴趣i为用户v的某个兴趣。为了获取兴趣i的描述内容, 本文抽取兴趣i在维基百科中的解释页面信息, 每个兴趣对应一个解释页面。

将用户u的微博和兴趣i的描述文本分别记为文档d_u和d_vi。其中, 文档d_u由用户u的所有微博组成, 文档d_vi由用户v某个兴趣i的解释页面文本组成, 如表1所示。使用LDA模型^[15]分别计算文档d_u和d_vi的主题分布向量 和 。使用LDA模型时, 主题个数参数统一取为20, 迭代次数参数统一取为150, 并在统一的LDA计算过程中得到主题分布向量 和 。最后计算这两个同维度主题分布向量的相似度, 这个相似度就是 。本文采用欧氏距离来表征向量 和 的相似度, 并定义 的计算公式如下:

(5)

表1

表1

表1 兴趣i描述文本示例 用户v的兴趣i 解释页面文本dvi 音乐 “ 音乐, 广义而言, 就是指任何以声音组成的艺术。英文Music一词源于古希腊语, 即女神的艺术。而中文的音乐二字, ……, 都是依靠本身的才能和自我学习。”

表1 兴趣i描述文本示例

5.2 亲密度

用户间时常会进行社交联系。用户u与用户v之间的社交联系是通过用户u评论、转发用户v的微博实现的。用户间的社交联系越频繁, 他们之间的亲密度就越高, 用户v对用户u的影响就越大, 用户u与用户v之间存在共同兴趣的可能性就越高。用户亲密度F_{u, v}由用户u评论、转发用户v微博的次数a、b决定。

本文定义用户亲密度F_{u, v}计算公式如下:

(6)

其中, α 、β 分别为用户u评论、转发次数的权重。社交联系中评论、转发重要性有些区别, 它们与用户使用微博的行为习惯有关。本文做简化处理, 设α =β =1。最后, 将F_{u, v}通过max(F_{u, v})进行归一化处理。

综上所述, 提出基于关注用户信息的兴趣发现算法:

输入: 预处理后的用户u及其关注用户集V的微博数据

输出: 用户u兴趣集I_u2

(1) v_k∈ V, if v_k粉丝数num< 10 000, v_k为非名人用户;
else对v_k+1进行判断;

(2) 通过兴趣关键词提取算法获得v_k的兴趣集I_k;

(3) , 抽取i在中文维基百科的解释页面, 作为兴趣i的描述内容文档d_vi;

(4) 用LDA^[15]分别提取文档d_u和d_vi的主题分布向量
和 , 计算 和 间的欧氏距离得到相似度Sim_{u, v, i};

(5) 对u评论和转发v_k微博的次数a和b分别设定权重α 和β , 计算亲密度F_uvk;

(6) 设定θ 值, 根据Sim_{u, v, i}和F_uvk计算 u对i的兴趣分score_{u, i};

(7) 重复步骤(1)到步骤(6), 直到所有关注用户计算结束;

(8) 取前K个score_{u, i}值最高的词, 作为兴趣集I_u2。

用户兴趣可由用户兴趣集I_u1与用户兴趣集I_u2合并后的兴趣集I_u来表示。 I_u1与I_u2之间很可能存在相似兴趣, 所以需要对两个兴趣集中的相似兴趣进行合并, 得出最终的用户兴趣集I_u。

合并同义词需计算词语间的相似度, 当两个词语t₁、t₂间的相似度Sim(t₁, t₂)超过阈值δ 时, 则将两个词合并为一个词。本文使用刘群等^[11]的方法计算词语之间的相似度。一个实词概念的语义表达式分为4部分:

(1) 基本义原描述式相似度, 记为sim₁;

(2) 其他基本义原描述式的相似度, 记为sim₂;

(3) 关系义原描述式的相似度, 记为sim₃;

(4) 符号义原描述式的相似度, 记为sim₄。

计算公式如公式(7)所示:

(7)

义原之间的相似度如公式(8)所示:

(8)

其中, p₁, p₂表示义原, d是两个义原在义原树上的距离, α 和β _i为预设参数。本文采用刘群等^[11]经过实验得出的参数α =1.6; β ₁=0.5, β ₂=0.2, β ₃=0.17, β ₄=0.13。

计算结束后便可得到最终的用户兴趣集I_u。其算法如下:

输入:I_u1, I_u2

输出: 用户兴趣集I_u

(1) term₁, term₂ , 如果Sim(term₁, term₂) , 那么保留term₁, 并删除term₂;

(2) 重复步骤(1), 直到I_u稳定不变。算法结束。

本文基于新浪微博进行用户兴趣发现的研究, 使用句法分析方法对微博文本进行过滤, 综合考虑了用户及其关注用户的微博数据, 缓解了微博数据不足的情况; 同时考虑了用户与其关注用户间的社交联系对挖掘用户兴趣的贡献。通过对爬取的新浪微博数据集进行实验, 发现本文方法发现用户兴趣的效果比传统tf-idf方法和只考虑目标用户微博方法的效果都有较大提高, 从而证明了该方法的有效性。

在商业应用方面, 研究微博用户兴趣可以针对用户具体的兴趣爱好, 为用户进行个性化推荐, 同时对于提升用户对网站的满意度以及促进网站自身的发展具有十分重要的作用。下一步工作中, 笔者将在数据预处理方面加强研究工作, 重点研究停用词表的自动学习和生成。此外, 如何更准确识别不同关注用户对目标用户的影响力也是下一步的研究方向。