从文本型信息资源中抽取名词、术语的过程与传统信息抽取相似,所不同的是,注释服务需要在通用信息抽取操作之前或之后进行相关处理操作。比如启发式算法认为,对题名、段落首句、图表标题等内容中的名词术语进行注释更有意义,为此,需要在信息抽取操作前划定抽取范围,Virgilio^{[ 12]}的策略是先识别出待注释信息块,然后使用KEA^{[ 13]}从每个信息块中抽取人名信息。比如根据用户偏好,只对指定学科领域的名词术语进行注释,为此,需要对通用抽取结果进行学科过滤,滤掉其他学科名词术语,其中,SCALE项目^{[ 14]}就是根据用户交互信息,抽取指定学科名词术语,并建立注释服务。另外,注释服务还需要对抽取到的名词、术语进行规范化处理,例如DBpedia Spotlight^{[ 15]}利用关联数据标签属性(Labels)、重定向属性(Redirects)和消歧属性(Disambiguates)等链接的词汇构建词库,然后借助相关工具建立所抽取词与词库中属性词的映射关系。

图像型资源的名词、术语抽取过程如下:选择要注释的图像区域,并利用交互界面由用户添加与该区域对应的主题信息,可以是一段文字或几个关键词;由系统借助信息抽取技术从用户添加信息片段中抽取待注释的名词、术语;由系统借助OCR(Optical Character Recognition)识别技术,从选定区域内识别人名、地名等相关实体;对抽取、识别出的名词、术语进行合并处理。例如Simon等^{[ 11]}使用OpenCalais^{[ 16]}等命名实体识别工具识别指定地图区域中的人名、地名和机构名等;Becker等^{[ 4]}通过手持终端获得用户位置信息,再根据GoogleMap获得附近的地名、建筑物等待注释的对象信息。

视频型资源的名词、术语抽取方法与图像型资源类似。首先,由用户标注要注释的视频片段,输入描述视频主题的信息内容,作为抽取待注释名词、术语的来源,例如Lambert等^{[ 7]}和Ko等^{[ 8]}提出综合当前用户输入的主题描述信息以及其他用户已经添加的相关信息,从中抽取待注释的名词、术语作为视频注释对象。然后,使用OCR、命名实体识别等技术抽取出与视频主题及元数据内容相关的名词、术语,例如Waitelonis等^{[ 17]}提出从视频资源的题名、演讲者和描述信息中抽取与视频相关的关键词,使用OCR等方法从视频中抽取与视频时间相关的关键词以及用户对视频所做的标签,指导完成注释服务建设。

一篇文献或一段Web信息的主题通常以关键词集或本体进行描述。注释服务中的主题识别方法与普通文档主题识别方法类似,通常会根据文档内容、结构、领域等特点采取个性化处理策略。其中,Otero-Garcia等^{[ 3]}提出一个针对教育文档的主题识别方案:解析XML格式的教育文档,得到标题、章节和段落等字段,对不同字段赋予不同的权重;从词性、相似度和频率三个方面分析文档主题:

(1)使用GATE^{[ 18]}工具进行词法分析,排除动词、连词等不能表示文档内容特征或在DBpedia中不包含的词项,并识别复合词;

(2)使用Monge-Elkan^{[ 19]}算法和Jaro-Winkler^{[ 20]}算法计算可能以不同形式出现的词项相似度,对相似词进行聚类,以避免具有共同含义或具有相同词根的词项分离并增加词项的出现频率;

(3)结合字段权重并考虑词项在文档不同字段中出现的次数以及词项的相似词的个数对词项相对权重频率进行分析,选取相对权重频率在4%和15%之间的词项。

经过上述分析得到以关键词集表示的待注释的文档主题。Yu等^{[ 21]}使用Zemanta^{[ 22]}对用户提供的讲稿文本进行分析,得出同样以关键词集表达的文本主题。

在目标资源已经确定的情况下,使用SPARQL查询技术能够快速获取指定关联数据源中的相关数据。例如,Latif等^{[ 23]}在对期刊论文的作者信息构建注释服务时,通过查询载有DBpedia Persondata数据集的本地三元组存储库SPARQL接口,可以迅速查找到作者的关联数据URI。SPARQL查询准确率高,但需要数据源提供专门的SPARQL查询端点。 目标资源确定后,也可以使用HTTP URI查询技术实现相关数据搜索。例如,将Web资源主题词项转化为DBpedia URI后缀形式,然后查询DBpedia是否包含此URI资源,也可以将主题词项与DBpedia的rdf:label进行匹配度计算,以发现相关资源;进而使用DBpedia重定向属性获取同义词或字母缩写资源;最后使用DBpedia消歧属性获取多义词资源。如果以上匹配均失败,则将匹配所有以词项作为子串的资源^{[ 24]}。资源匹配简单、直接,但需要了解数据源使用的词汇表及其表达形式。

在目标资源不确定的情况下,借助语义网搜索引擎是发现相关关联数据的有效手段,目前常用的语义网搜索引擎包括Sindice^{[ 25]}、Falcons^{[ 26]}和Swoogle^{[ 27]}等。语义网搜索引擎可以面向整个关联数据空间进行搜索,但是返回的数据质量参差不齐,为提高准确率,需要辅助应用过滤选择技术。例如Ko等^{[ 8]}对网络电视进行注释服务时即采用Sindice引擎进行搜索,并从返回结果中选取前n个RDF结点作为最具代表性的结点,然后通过SKOS(Simple Knowledge Organization System)中的关系属性skos:broader和skos:narrower比较代表性结点相对的概念层级,选取其中的上位类结点作为匹配结果。

关键词搜索存在语义歧义问题,即一个关键词可能与多个关联数据资源相匹配,如Washington可能与dbpedia:George_Washington、dbpedia:Washington,_D.C.和dbpedia:Washington_(U.S._state)等相匹配。语义消歧就是从获取的关联数据资源中选择最符合关键词上下文的关联数据信息的过程。常用方法包括基于上下文相似度算法^{[ 15]}、基于关联数据集结构中心度算法^{[ 2]}以及基于共现分析和实体间关联图分析法^{[ 28]}等。其中,上下文相似度算法首先识别文本主题上下文即文本片段中待注释词汇周围的词,然后将待注释词汇与DBpedia资源匹配的候选项表示为来自Wikipedia上下文的词项组成的向量,最后使用余弦相似度计算文本主题上下文与匹配候选项的Wikipedia上下文的相似度,选择相似度值最大的候选项作为语义消歧项。基于关联数据集结构中心度算法即是根据关联数据集的图结构将PageRank算法应用于关联数据集。基于共现分析和实体间关联图分析法是结合标签上下文和关联数据中候选资源上下文的共现分析以及实体间关系的链接图分析对用户添加的视频标签进行消歧。

关联数据依据RDF模型的“资源-属性-属性值”的形式进行表达,基于关联关系的搜索即是根据已获取的资源URI信息,通过关联数据中的属性扩展搜索相关关联数据。关联数据属性繁多,如在DBpedia本体中描述人物的相关属性就有350多个^{[ 29]}。因此,需要选择合适的关联数据属性,以提高注释服务的精准性。关联数据属性主要是依据注释服务的应用目的进行选择,可以选取少量属性,也可以使用较多属性,可以直接利用选取的属性,还可以对选取的属性赋予权重或排序以表达不同属性的重要程度。

关联关系搜索有多种策略。其中,Mirizzi等^{[ 30]}提出遍历搜索法,即使用dcterms:subject和skos:broader属性,借助SPARQL查询端点遍历相关关联数据集,在指定遍历深度范围内获取相关信息,作为对Web内容的注释。Stan等^{[ 31]}使用关联数据中的三种关联关系进行语义扩展,包括上位类概念扩展、同位类概念扩展以及直接关联概念扩展,实现对社交论坛用户发布的人名、地名和关键词等进行注释。Lama等^{[ 32]}利用DBpedia属性,通过人工方式对其赋予权重,使用深度优先算法对DBpedia资源进行遍历直到深度限制,从而发现相关信息。关联数据属性权重值的赋予方法包括人工方式以及机器学习方式等^{[ 33]}。此外,Waitelonis等^{[ 34, 35]}提出启发法对DBpedia中的重要属性进行排序,他们认为具有rdf:type或skos:subject的实体的属性频次越高,属性越重要,如果一个实体属于几个分类,则相同属性发生次数可以相加。Ko等^{[ 8]}结合用户情景及兴趣从FOAF、DC和SIOC等词汇表中选择相关的关联数据属性,并依据这些属性搜索相关资源对视频信息进行注释。

使用关联数据属性进行资源遍历,需要对关联数据集使用的本体及词汇表等比较了解,选取的属性不同,获取的关联数据资源也不尽相同。基于属性对关联数据资源进行遍历简单快捷,获取的资源准确率高,但有些关联数据集存在链接缺失、数据不全等问题,会给关联数据资源的发现获取带来一定的障碍,而且如何确定资源的遍历深度以尽可能返回用户感兴趣的信息是关联关系搜索面临的又一问题。

经历主题词搜索、关联关系搜索后,需要采取过滤技术以提高搜索结果的精准度。

(1)基于相关度排序的过滤技术

包括基于关联数据和外部数据源信息、基于关联数据结构信息以及综合利用关联数据内容和结构信息等排序方式。

①基于关联数据和外部数据源方式是利用关联数据信息并结合外部数据源如网络搜索引擎等对搜索结果进行排序。例如Mirizzi等^{[ 36]}利用DBpedia信息并结合网络搜索引擎(如谷歌)和社交标签系统(如Delicious)计算搜索到的任意两个DBpedia资源结点的相似度。此方法使用不同的搜索引擎以及社交标签系统,充分考虑词汇在网页中的流行度以及词汇在用户间的流行度,并结合外部数据源对结点相似度进行计算,以筛选相关的关联数据资源。

②基于关联数据结构信息方式是利用关联数据属性构成的图结构信息对搜索结果进行排序。例如Stankovic等^{[ 37]}基于两个启发式策略计算相似度,即与起始概念距离越短的概念越相关,与若干起始概念邻近的概念比与一个起始概念邻近的概念要更相关。该方法利用了关联数据集的结构信息,不仅适用于DBpedia数据集,还适用于Freebase等其他关联数据集^{[ 38]}。

③综合利用关联数据内容和结构信息方式是结合关联数据中的结点文本信息及关联数据属性构成的图结构信息对搜索到的结果进行排序。例如Lama等^{[ 32]}利用关联数据属性权重值并结合主题词项在结点文本信息中的频次等对搜索到的资源进行排序。该方法通过遍历结点与主题词的相关性对关联数据资源进行排序,以选择合适的子图对教育资源进行注释,不局限于某一种或某几种关联数据属性,并且考虑了属性的权重,可以为相关主题注释服务构建中的资源排序提供较好的借鉴。

(2)基于本体分类层级的过滤技术

关联数据集基于本体或词汇表对资源进行描述,如DBpedia本体是一个跨领域的本体,描述了多种实体对象包括人、机构、电影、书籍和概念等。不同的注释服务面临的注释对象类型不同,可以根据构建注释服务利用的数据集本体分类层级概念类型对获取的数据资源进行过滤,例如Stankovic等^{[ 37]}对相关术语进行注释,因此可以利用DBpedia本体中的概念类型,过滤掉人、公司和书籍等不相关的概念。此外还可以通过构建SPARQL语句等方式对获取的关联数据资源过滤,例如DBpedia Spotlight^{[ 15]}和DBpedia Mobile^{[ 4]}不仅可以利用关联数据集本体概念类型对已获取的资源进行过滤,还可以通过构建SPARQL语句过滤掉不相关的资源。