社会文本流数据(Social Text Stream Data)是指随时间而聚集的文本交流数据,文本流中每个文本片段同某些社会属性(如作者、评论者、发送者、接受者)相关联^{[ 3]}。典型数据有博客、BBS、邮件列表、评论站点、网络论坛以及社交网站等。对于邮件数据集,交流即是邮件消息本身,而在博客数据集中,交流则是博客之间的评论。同文档流相比,社会文本流的输入输出单元为文本段,强调用户间的交互,而文档流是指按时间顺序到达的一系列文档,输入输出单元为文档,如新闻网页、科技文献,因而粒度上要比社会文本流大。在研究中,二者的界限较模糊,如果不考察社会信息,社会文本流有时也被看作文档流,如 Kleinberg^{[ 4]}在研究中就将邮件作为文档流,Fujiki等^{[ 5]}也将BBS实体作为文档流。

与一般的文本流数据相比,社会文本流数据具有以下几个特点:

(1)数据粒度小,表现为文本描述短、词汇重叠。例如评论、QnA社团、Tweeter通常都是短句、书签、标签甚至仅仅是关键词^{[ 6, 7]}。

(2)内容具有丰富的上下文环境特征。文本块在信息发送者-接收者或作者-评论者之间富含社会关系,每个文本块包含时间属性,文本块内容对上下文环境敏感,词义不仅依赖于文本块内容内部所处的环境,而且还依赖于社会参与者(如发送者、作者、接收者、评论者)和其他相关文本块(如先前文本块的时间和内容信息)^{[ 3]}。

(3)语言不规范,非常随意和口语化,数据干扰多,帖子质量参差不齐,广告垃圾和欺骗信息常常混在其中^{[ 8]}。

(4)参与用户数量庞大。

与文本内容相比,用户参与信息仅涉及用户ID、发帖时间和发帖频率,噪音相对较小,且易于处理,因而成为爆发主题探测中的重要考察特征。对于用户参与信息的利用方法,Zhu等^{[ 13]}在对BBS做话题探测和跟踪研究中提出了UF-ITUF (User Frequency-Inverse Thread User Frequency) 模型,该模型同计算内容相似性的TF-IDF模型相似,主要用来度量同时参与两个主题(Threads)的用户组的相似性。此外,Wu等^{[ 14]}在研究论坛中的话题检测问题时提出用户参与模型。

在利用用户参与信息进行爆发主题探测方面,主要是从文本内容和用户参与信息相结合的角度上开展研究。Chen等^{[ 6]}在研究从网络论坛中抽取爆发主题时提出一种利用术语、时间和用户参与信息提取爆发主题的噪音过滤模型。其基本思路为采用频率分段来度量术语和用户特征。术语用频率分段(Frequency Segments)的概念进行刻画和分级,术语随时间顺序发生,如果术语在频率分段中没有爆发,则被视为噪音。然后用一个分段中术语或用户出现频率权重总和(Sumseg)和出现频率权重方差 (Devseg)两个参数刻画术语和用户,并基于Rank值过滤数据集中的噪音。用户的参与特征用轨迹刻画,并定义一种角色权重策略照顾发布标题的用户。用户轨迹定义为yu = [ yu (1), yu (2),…, yu (T)],其中yu (t)是用户在时间t内的发布频率。在爆发特征提取时,利用频率分段构造sum-dev向量,采用score(fi) = α×log(Sumseg) + Devseg计算特征的分值。然后分别选定不同的阈值排列术语特征和选择核心用户。在度量术语和用户的特征相似性时,主要从特征相关性和提交交叠两方面进行计算。

通过分析大规模用户查询日志发现爆发模式是利用用户活动信息探测爆发主题的另一种途径。Parikh等^{[ 15]}研究了一种能够克服数据获取方式差异的爆发探测模型,并用此模型对每天的查询进行不间断的增量爆发探测。该模型将查询看作一个用于探测爆发和系统内流动的其他查询的查询混合体,主要考察同一查询的量变百分率,而非查询量的绝对变化。这种增量模型考察分批次到达的新查询,批次到达的时间间隔可以为每天、每小时或任意合理的时间。对于任意一个想要探测是否为爆发的查询Q,只要构建基于该查询Q的碎片(Fraction)模型并将其与系统中的所有查询相比较即可。

此外,Liu等^{[ 16]}通过构建用户浏览网页的路径图以及计算用户在每一个网页上的浏览时间,引入用户反馈信息来对网页的重要性排序。李东方等^{[ 17]}将Web 2.0中用户信息活动看作发生在互联网上的热量活动,用户的信息活动被表示为热量的传递,将互联网作为承载热量活动的系统,进行网络主题抽取。这些分析方法虽未直接用于爆发探测,但其思路为如何利用用户活动信息进行爆发主题探测提供了借鉴。

利用社会环境信息探测爆发主题主要是利用文本块的时间属性和社会属性,考察社会网络环境中数据对象的生命周期或新鲜度、用户权威值、用户共同兴趣点等特征,综合多种特征构建爆发主题探测模型。

(1)生命周期

将生命周期/新鲜度列入社会信息特征主要是基于以下常识:发帖的时间越新,越易引起人们的注意,引发的转发、跟贴、评论的用户回应就会更多,因而更容易形成爆发。

Yao等^{[ 7]}在研究大众分类(Folksonomies)爆发探测时考察了帖子的生命周期,方法是计算含时间戳的帖子覆盖(Time-aware Post Coverage)。对于一个标签来说,若具体的时间间隔为xi,在时间t内总共有n条被其他用户做过标签的帖子,则用ni(t)度量在xi间隔中时间t内的帖子覆盖,标签帖依新鲜度被赋予权重。Cataldi 等^{[ 18]}用老化理论对术语的生命周期建模,如果术语经常在具体的时间间隔发生并且相对来说在过去很少出现,则被视为新兴术语。

(2)用户权威值或用户吸引力

这种特征主要用于度量用户的影响力或重要度。其基本思想与大规模超文本系统中网页权威性假设类似:在社会媒介中一个用户跟随另一个用户类似于Web中一个网页链接到另一个网页,二者都是一种推荐形式,跟随关系获得声誉而后又给出声誉。用户的追随者越多,他/她就越权威;他/她的追随者越权威,他/她就越权威。用户权威值的计算与Google的网页权威计算相类似,借助Page Rank算法分析其中的社会关系而获得^{[ 7]}。有的研究则是选择HITS算法,基于社团中的用户网络提取用户权威值^{[ 18]}。

(3)用户共同兴趣点

Adamic等^{[ 19]}在同质性(Homophily)研究中表明,具有相似兴趣的人更有可能联系在一起。如果到访者有相似兴趣或者有相同兴趣的到访者的朋友紧紧连接在一起,那么到访者间的连接会对到访者的兴趣产生更强影响^{[ 20]}。个体的行为通常在时间上是连续的,呈现出很强的个性化模式,用户对于某种事件的兴趣不会在短时间内发生戏剧性的改变,某一时刻出现的兴趣爆发模式在下一个时间点很可能依然保持很高的水平。当一个到访者对一事件高度感兴趣,他/她所写内容跟此事件更相关^{[ 21]}。所以选取用户共同兴趣点作为社会特征也是爆发主题探测的重要途径。Lin等^{[ 21]}将发帖者的兴趣状态作为网络连接图中的吉布斯随机域(Gibbs Random Field)进行建模,通过设计一些潜在函数使个体的兴趣值更接近过去的状态和邻居的“赞同”意见,其权重框架由现实网络中的观察结果决定。

(4)利用多种特征探测爆发主题方法

利用多种社会环境特征进行爆发探测的方法依研究目标不同而存在差异。Yao等^{[ 7]}的做法是:首先选取单个特征,以Kleinberg的两种状态自动机模型为基础进行独立的单流探测,然后采用基于学习的混合模型集成多种爆发特征源,所用方法是Rankboost,它能将许多仅适度精确的“弱”规则结合起来形成预想规则。对于一个单独的排列者(Ranker),用函数fi将实例xi映射到R,这些给定的映射被称为排列特征(Ranking Features),一个具体标签的所有时间间隔就形成了一个实例空间X,而R则被视为排列空间。实验中作者将标签频率、发布覆盖和用户吸引力这三种特征作为“弱”排列规则,并从这些初步的爆发探测结果中得到了更高质量的混合结果。

社交网络中存在大量的社团(Community),社团成员间存在许多交互信息,当有趣的话题出现、凸显、消退时这些反应的顺序会在短暂的重大活动爆发期间发生。社交网络中社会网络空间易在连续时间下形成演化视图。分析微观社团结构及其连通性,研究社团演化过程中微观社团随时间变化形成过程以及活跃社团内正在进行的活动,以便发现社团内部链接产生的爆发周期密度或爆发社团,是利用社会网络信息探测爆发主题的重要途径。

这种思路将研究重点放在时间图构建和爆发社团追踪上。Kumar等^{[ 22]}在研究博客爆发演化时,首先定义了由博客形成的时间图,然后在此图上采用两步法完成爆发社团跟踪:社团提取,从博客图中提取密集子图,并将这些子图作为所有潜在社团(不管是否爆发),采用剪除扩充算法,剪除用于鉴定社团种子,扩充用于将种子培育成形成社团签名的稠密子图;爆发分析,以Kleinberg研究事件流中爆发所用方法为基础,通过无限状态自动机中的状态转换反映爆发的出现,对社团提取中获取的每个子图进行爆发分析以便从那些社团中鉴别和排列爆发。不同之处在于,Kleinberg处理的基本事件相对简单,主要是定位特征(例如,邮件中是否包含给定的关键词),而Kumar的框架没有提供这种定位点,爆发社团并不是以单个博客或时间图边中术语进行刻画,而是从分析整个博客图结构后体现出来。

另一种方法是研究文本主题与网络结构间的相互作用。网络用户间的交流和文本内容均会随时间发生变化,从而导致网络结构和文本集同时演化。Lin等^{[ 21]}的实验证实在社会网络中探测或跟踪爆发主题及事件演化时,如果不考虑网络结构会显现两大缺陷:

(1)不能充分反应突然变化。如果在当前时间点没有某个特定用户的文本信息,用户的新状态被设为以前的状态,而不能借用用户邻居信息进行更为准确的新状态评估。

(2)反应局部噪音能力更加脆弱。一个拥有10个用户跟随的Tweet比没有跟随的Tweet更有影响力,如果同等对待这两种情形,则“孤立”Tweet的影响力就被不恰当地放大。

所以研究者在做社会网络中流行事件跟踪研究时,综合考察了用户兴趣爆发、网络结构信息扩散以及文本话题演变,利用吉布斯随机域对图的历史状态影响力和依赖关系进行建模,合并所有的历史特征、文本特征、结构特征推理出联合分布。此外,研究者证明了经典Kleinberg爆发探测模型可以作为该模型的特例,因而对于综合利用网络结构信息探测爆发主题具有一定的参考价值。