商务情报语义链接分析流程, 如图1所示:

图1

	Figure Option ViewDownloadNew Window
	图1 商务情报语义链接分析流程

主要包括5部分内容:信息采集、网页预处理与分类、语义链接分析、分析结果评价与可视化展示、情报服务与人机交互。其中, 信息采集主要根据企业自身的经营战略和商务情报需求确定原始信息采集的主题、范围、信息源和种子URL, 借助智能代理软件Crawler进行自动化、系统化、连续的链接信息采集;网页预处理与分类主要是将采集到的网页进行初步清洗, 剔除Web页面中由于商业目的或其他原因而嵌入的诸如广告链接、导航栏、友情链接等与主题无关的链接, 利用基于SVM的分类技术进行分类, 发现和提取包含潜在主题相关的目标页面及其链接;语义链接分析利用领域本体提供语义知识, 综合利用锚链文本和锚链结构进行主题相似度计算和情报发现;分析结果评价与可视化展示主要是从分析结果中筛选出符合企业要求的、有意义的、能够满足战略决策需求的情报知识, 存储并以可视化的方式展现分析结果, 如利用本体提供的TGVizTab、OntoViz、OWL2Prefuse、Graphviz等插件从语义层面进行多层次的分析结果可视化展示, 揭示分析结果中存在的潜在语义模式和深层知识;情报服务与人机交互主要是将分析结果提供给企业用户实时检索与共享, 情报专家也可将检索结果作为人工分析的依据, 在此基础上进行情报可信性判断和情报价值增值。限于篇幅, 本文主要研究该流程中的语义链接分析方法, 该方法主要包括锚链文本与主题的语义相似度计算和锚链结构与主题的语义相似度计算两部分内容。

锚链文本与主题的语义相似度计算过程主要由三部分组成:

(1) 利用领域本体丰富的概念层次结构和语义知识对锚链文本数据集进行语义标注, 识别和抽取重要的概念及其关系, 构建锚链文本的概念特征向量;

(2) 针对企业目标主题所存在的认识模糊性和局限性, 利用领域本体和通用本体相结合的方式进行主题特征向量的构建和优化, 使其能够在语义层面上反映企业的情报需求;

(3) 考虑到构建的锚链文本概念特征向量和主题特征向量可能存在维度差异, 利用领域本体指导锚链文本概念特征向量与主题特征向量的维度转换, 使其能够在相同维度上进行相似度计算, 在此基础上利用语义核函数进行锚链文本概念特征与主题特征的语义相似度计算。该过程的算法描述如下:

算法1 Semantic Similarity Computing between Anchor Text and Topic.

输入:锚链文本数据集D= (d₁, d₂, … , d_D) ;领域本体H;通用本体O;主题特征概念集C= (c₁, c₂, … , c_C) .

输出:锚链文本与主题的语义相似度Sim_anchor (d_t, c_i) .

(1) 对锚链文本数据集D= (d₁, d₂, … , d_D) 进行分词, 去除停用词等处理后, 得到锚链文本的概念特征向量V= (v₁, v₂, … , v_V) ;

(2) 利用领域本体H和通用本体O相结合构建主题特征向量:

①获取所有主题对应的概念集合{Con_i1, Con_i2, … , Con_in};

1) 对于主题领域强相关的类别c_i, 采取自上而下的策略遍历领域本体H, 获取描述该类别名称的主要概念集合;

2) 对于主题领域弱相关的类别c_j, 采取相同的方式遍历通用本体O, 获取描述该类别所对应的概念集合;

②对概念集合{Con_i1, Con_i2, … , Con_in}中的每个元素, 解析领域本体或通用本体, 获取每个元素对应的所有直接或间接子类概念{Con_i11, Con_i12, … , Con_i1m}和各个类或子类的属性集合{Pro_i1, Pro_i2, … , Pro_ik};

③构建主题c_i的类别向量{Con_i1, Con_i2, … , Con_in, Con_i11, Con_i12, … , Con_i1m , Pro_i1, Pro_i2, … , Pro_ik };

④确定主题向量中各分量的权重值:

1) 针对每个向量利用本体逆映射技术获取概念特征对应于整个数据集中的词语特征;

2) 利用词语特征在已标注类别的训练数据集中的频率信息和权重调节因子确定与该特征对应的概念分量在类别向量中的权重取值, 计算公式为:
w_ij (Con/Pro) =∑nk=1tfidf (word, t_ik) n·δ.

其中, t_ik表示属于类别c_i的第k个训练文本, n表示属于类别c_i的训练文本数, tfidf (word, t_ik) 表示word在文本t_ik中的tfidf权重值, δ为权重调节因子。

⑤通过上述处理获取主题c_i的向量空间模型可表示为c_i={ (Con_i1, w_i1) , (Con_i2, w_i2) , … , (Con_ij, w_ij) , … , (Con_is, w_is) }, 其中Con_ij表示本体中的类或属性, w_ij表示该类或属性的权重取值;

(3) 基于语义相似性的锚链文本与主题的相似度计算:

①锚链文本概念特征向量与主题概念向量的维度转换;

②利用语义核函数进行概念特征d_t与主题c_i的语义相似度计算, 计算公式为^{[ 12]}:
Sim_anchor (d_t, c_i) =K (d_t, c_i) K (d_t, d_t) , K (c_i, c_i)
K (d_t, c_i) =d^T_tP^TPc_i.

其中, K (d_t, c_i) 表示语义核函数的表现形式, P为相似度矩阵, P^T为P的转置矩阵。

锚链结构特征的相似度计算主要利用网页预处理与分类模块得到的结果页面中的链接结构构建Web链接结构图, 通过基于Q学习的Web链接结构图增量学习算法进行链接与链接主题相似度之间的映射关系挖掘, 实现当前页面链接与Web链接结构图的链接空间映射, 获取当前链接的主题结构相似度。该过程算法描述如下:

算法2 Semantic Similarity Computing between Anchor Structure and Topic.

输入:锚链结构数据集S= (s₁, s₂, … , s_S) ;领域本体H;通用本体O;主题特征概念集C= (c₁, c₂, … , c_C) .

输出:锚链结构与主题的语义相似度Sim_structure (s_i, c_t) .

(1) 构建锚链链接结构图G_w:

①利用网页解析工具Htmlparse将Web页面解析为DOM树节点, 提取Anchor Text、URL、Context等特征信息构建任意链接的链接结构表示模型M<Anchor Text, URL , Context>, 其中, Anchor Text表示链接s_t的锚链文本, URL表示链接s_t对应的URL字符串, Context表示链接s_t在当前页面中的环境;

②通过对链接结构表示模型M进行解析, 获取链接结构信息LinkTable<ID, url, parentID, depth, anchor Text>和经过初步分析得到的结果页面ResultTable<ID, urlID>

③利用ResultTable中的urlID在LinkTable中找到与之对应的parentID, 然后在LinkTable中找到parentID的parentID, 通过这种类推方式反向构造出所有从结果页面到种子URL的路径, 实现链接结构图G_w的构建和优化;

(2) 采用与算法1中相同的方法将主题特征概念集映射为主题概念向量c_i={ (Con_i1, w_i1) , (Con_i2, w_i2) , … , (Con_ij, w_ij) , … , (Con_is, w_is) };

(3) 基于Q学习算法的锚链结构与主题的相似度计算:

①初始化锚链链接结构图G_w, 对任意<s_i, s_j>, 设置Q (s_i, <s_i, s_j>) =0, 对Q (s_i, <s_i, s_j>) 进行n次更新操作, 设置计数器Counter=0和更新标志bFlag=false;

②任取G_w中除叶节点外的未被计算的节点s_i, 计算Q (s_i, <s_i, s_j>) , 计算公式为:

Q (s_i, <s_i, s_j>) =r (s_i, <s_i, s_j>) +γmax<s_j, s_m>∈EQ (s_j, <s_j, s_m>) .

③若回报函数r (s_i, <s_i, s_j>) 中的s_j∈T, 立即回报值设置为rd=k, 否则rd=0;若s_i的当前Q值与计算值不同, 则更新s_i的Q值, 并设置更新标志bFlag=true;

1) 判断更新标志bFlag=true是否成立, 若成立, 则判断Counter的值是否为n, 若成立, 则计算Q (s_i) , 其计算公式为:
Q (s_i) =max<s_i, s_j>∈EQ (s_i, <s_i, s_j>) .

2) 若更新标志bFlag=true不成立或Counter的值不为n, 则设置Counter=Counter+1, bFlag=false;

④经上述处理, G_w中除叶节点外所有节点都被计算后, 返回计算结果Q (s_i, <s_i, s_j>) 和Q (s_i) , 则Sim_structure (s_i, c_t) 的值为:
Sim_structure (s_i, c_t) =Q (s_i) ×Sim_anchor (s_i, c_t) .

本文实验共有三个数据集:页面分类器训练数据集TrainSet、种子URL数据集URLSet、目标主题页面URL数据集TargetSet。为充分反映所设计的算法在不同领域的分析效果和质量, 选取三个主题域 (笔记本电脑、智能手机、数码相机) 进行实验。采用深度优先策略进行链接抓取;采用非递归策略利用队列进行链接管理来实现爬虫程序, 经过数据清洗与选择, 共获取9 000个页面和15 000个URL。三个数据集的基本构成情况分别如表1、表2和表3所示:

表1

表1

表1 页面分类器训练数据集TrainSet 主题域 页面数量 数据来源 正例 反例 正例 反例 笔记本 电脑 1 500 1 500 http://nb.zol.com.cn http://notebook.it168.com/ http://product.pconline.com.cn/notebook/ 除笔记本电脑页面外, 随机选择 智能手机 1 500 1 500 http://mobile.zol.com.cn http://mobile.it168.com/ http://product.pconline.com.cn/mobile/ 除智能手机页面外, 随机选择 数码相机 1 500 1 500 http://dcdv.zol.com.cn http://dc.it168.com/ http://product.pconline.com.cn/dc/ 除数码相机页面外, 随机选择

表1 页面分类器训练数据集TrainSet

表2

表2

表2 种子URL数据集URLSet 数据集 集合规模 数据来源 URLSet 7个种子URL http://www.zol.com.cn http://www.it168.com http://www.pconline.com.cn/ http://www.amazon.cn http://www.360buy.com/ http://www.pcpop.com/ http://www.tmall.com/

表2 种子URL数据集URLSet

表3

表3

表3 目标主题页面URL数据集TargetSet 数据集 集合规模 数据来源 TargetSet 子集合a:5 000个URL 子集合b:5 000个URL 子集合c:5 000个URL 使用Google搜索关键词:笔记本电脑 使用Google搜索关键词:智能手机 使用Google搜索关键词:数码相机

表3 目标主题页面URL数据集TargetSet

为了检验本文算法的实际运行效果, 选取链接分析领域常用的分析算法——HITS算法、PageRank算法、Hilltop算法与本文设计的BILAABSS算法在相同的实验环境和数据集上进行对比实验。利用平均收益准确率 (harvest_precision) 模拟准确率指标, 计算公式为^{[ 13]}:
harvest_precision=∑i∈Np_iN.

其中, N表示系统已经分析过的页面集合, p_i表示页面与主题的相似度, 若页面i与主题相似, 则p_i=1, 否则p_i=0。

利用平均目标召回率 (target_recall) 模拟召回率指标, 计算公式为^{[ 13]}:
target_recall=T∩C_tT.

其中, T是指目标页面URL的数据集TargetSet, C_t表示系统分析结果页面所对应的URL集合。

在上述实验数据集上进行4种算法的对比实验, 实验结果分别如表4、图2和表5、图3所示:

表4

表4

表4 不同算法在三个主题域上的平均收益准确率对比 页面数量 HITS PageRank Hilltop BILAABSS 500 0.653 0.654 0.687 0.698 1 000 0.571 0.589 0.622 0.657 2 000 0.528 0.542 0.584 0.625 4 000 0.485 0.495 0.549 0.598 8 000 0.448 0.456 0.524 0.576 16 000 0.429 0.438 0.501 0.564

表4 不同算法在三个主题域上的平均收益准确率对比

图2

	Figure Option ViewDownloadNew Window
	图2 平均收益准确率变化趋势

表5

表5

表5 不同算法在三个主题域上的平均目标召回率对比 页面数量 HITS PageRank Hilltop BILAABSS 500 0.022 0.025 0.029 0.028 1 000 0.074 0.085 0.096 0.114 2 000 0.107 0.118 0.127 0.167 4 000 0.124 0.136 0.144 0.192 8 000 0.135 0.145 0.158 0.207 16 000 0.142 0.151 0.167 0.215

表5 不同算法在三个主题域上的平均目标召回率对比

图3

	Figure Option ViewDownloadNew Window
	图3 平均目标召回率变化趋势

本文主要从平均收益准确率和平均目标召回率两个方面对实验结果进行分析:

(1) 平均收益准确率分析.

表4和图2展示了4种不同的链接分析算法在三个不同主题域上取得的平均收益准确率及其变化趋势, 可以看出, 随着页面数量的增加, 4种链接分析算法的平均收益准确率都呈现下降的趋势, 但不同算法的下降幅度有所不同。其中, HITS算法和PageRank算法下降趋势较陡峭, Hilltop算法和BILAABSS算法下降趋势较平缓, 主要原因在于HITS算法在执行过程中仅根据网页之间的链接结构来分析页面的权威性和重要性, PageRank算法主要根据Rank值进行网页的重要性排序, 容易造成部分Rank值比较低但非常重要的网页丢失, 所以这两种算法的平均收益准确率随着页面数量的增加, 下降趋势比较明显。而Hilltop算法在执行过程中比较关注主题相关网页之间的链接对应权值计算的贡献, 能够避免通过增加无效链接来提高网页的Rank值, 所以其平均收益准确率的下降趋势较平缓;BILAABSS算法综合利用锚链文本和锚链结构进行链接页面与主题的综合性分析, 利用领域本体进行语义层面的相似度计算, 能够有效地提高平均收益准确率水平, 所以, 随着页面的增加, 其平均收益准确率的下降趋势最平缓。

(2) 平均目标召回率分析.

表5和图3展示了4种不同的链接分析算法在三个主题域上取得的平均目标召回率及其变化趋势, 可以看出, 随着页面数量的增加, 4种链接分析算法的平均目标召回率都呈现上升的趋势, 即算法执行过程中, 分析得到的主题相关页面的数量增加, 使得平均目标召回率总体上也随之增加。但不同算法的上升幅度有所不同, 其中, HITS算法、PageRank算法和Hilltop算法上升的幅度较平缓, BILAABSS算法的上升幅度最明显, 其主要原因在于随着网页数量的增加, BILAABSS算法比其他三种算法具有更高的准确度和分析深度, 能够获取的主题相关页面也越多, 分析结果页面所对应的URL集合增加程度高于其他算法, 即在T相同的情况下, BILAABSS算法的T∩C_t增加更快, 从而使得其执行效果相对于其他算法而言最好。