判断术语间相似关系的最直接的方法是测量术语构成语词的相似程度^{[ 4]}。一些学者认为,术语的语词构成,也就是术语中关键词汇(Head)和修饰词汇(Modifiers)可以作为测度语词相似性的重要标志。Bourigault等在半自动术语抽取系统中,借助术语的关键词汇和修饰词汇特征来构造候选术语网络,为人工对候选术语的验证操作提供了便利^{[ 5]}。通过术语抽取工具产生的多词候选术语,在句法解析阶段首先被分割为关键词汇和修饰词汇两部分,并以术语网络的形式组织在一起。该网络的纵向反映术语之间的关键词汇关联,横向反映术语之间的修饰词汇关联。术语网络的一个片段如图1所示:

图1

	Figure Option ViewDownloadNew Window
	图1 候选术语网络片段[ 5]

图1中,术语“Cylindrical bronchial cell”和“Cylindrical cell”之间并没有直接的联系,但是由于两者在关键词汇部分和“Bronchial cell”直接相关,在修饰词汇部分和“Cylindrical”直接相关,因此可以判断两者是具有相似性的。

如果一个术语是在其他术语的基础上通过增加修饰词汇产生,这意味着两个术语之间具有概念属种关系或功能关系。这种相似情况在Ogren等关于基因本体的研究成果中有较为深入的论述^{[ 6]}。Nenadic等在此基础上提出了共用关键词汇的术语具有相似性的假设^{[ 4]}。他们认为,共有相同关键词汇的术语可看作同一个术语的下位词(例如:progesterone receptor和oestrogen receptor都是receptors)。也就是说,当一个术语存在于另一个术语之中,则它们之间具有某种语义相似性。

除了根据关键词汇、修饰词汇部分的匹配情况来判断术语相似度,通过语词字符序列的对比来判断术语之间的相似度也是一种重要的基于语词特征的计算思路。Levenshtein提出了编辑距离(Edit Distance)相似度计算方法,通过衡量将一个字符序列转换为另一个字符序列时所需要的插入、删除和替换操作成本来计算相似度^{[ 7]}。Kelil等针对编辑距离方法只能进行顺序匹配,以及插入、删除和替换操作的权重赋值受到主观影响等问题,提出了SCS相似度计算方法。该方法首先从字符序列中抽取有意义的模式集,通过过滤去除噪音模式,然后使用N-Gram方法将模式中原始字符序列映射到低维向量空间,运用向量之间的余弦内积计算获得字符序列之间的相似度^{[ 8]}。

基于语词特征的相似度计算思路主要以语词构成的外在特征作为计算对象和依据,因此对于语义相似而构词特征不相似的术语对而言,计算就有可能失效。为了克服这种局限性,在术语语义相似度计算过程中还需要结合基于句法特征、基于语境特征或其他能够体现语义相似性的方法进行集成计算。

基于句法特征的术语相似度计算主要借助句法模板匹配来实现。由于句法模板能够暗示共同出现在其中的术语之间的相似关系,因此构造能够表达相似关系的句法模板,并对领域文集中术语共同出现的句法模板数量进行统计,就能够计算出术语之间的相似程度。Hearst等最早提出了这样的假设:特定句法模式可以传达术语之间的某种关联性。例如,类似“NP₀ such as {NP₁, NP₂, …, (and | or)} NP_n”这样的句法形式可能暗示出名词短语NP₀和NP_i之间具有上下位类关系。根据该假设,Hearst认为可以通过找到更多的句法模板,并识别这些句法模板所暗示的语义关联,来发现实体之间的特定语义关系^{[ 9]}。Nenadic等在Hearst方法的基础上,进一步指出术语的句法相似性一般以三种形式表达^{[ 10]},分别是:术语列举(Enumeration of Terms,例如:“steroid receptors, such as, estrogen receptor, gluco-corticoid receptor, and progesterone receptor”),术语协作(Term Coordination,例如:“adrenal glands and gonads”)和术语联合(Conjunction of Terms,例如:“estrogen receptor and pro-gesterone receptor”)。以上三种句法形式暗示这些术语之间存在语义相关关系。

由于相似术语并不总是出现在特定模板中,基于语词模板的术语相似度算法具有准确率较高、召回率较低的特点。此外,特定领域文集中模板实例的稀疏性问题,以及仅能捕获有限关系类型(例如:上下位类关系、同位类关系等)的特点,决定了基于句法模板的术语相似度算法并不适合在术语语义相似度计算过程中被独立使用。

术语的语境是术语出现在文本中的上下文环境。语境的单元划分有多种方案,可以将一篇完整的摘要或文档作为语境看待,当然也可以将一个语句或更小的语块(例如,一个动词补足短语)作为语境看待。Ding等基于术语共现测量方法,调查了语境单元大小对于语境计算的影响^{[ 11]}。他们的评测结果表明,越大的语境单元划分能够产生越高的召回率,而越小的语境单元划分一般会具有更高的准确率。从整体效果而言,以语句为语境单元性能最好。事实上很多学者正是以术语出现的语句为语境单元计算术语语义相似度。

Neshati等提出了这样的假设:在相同句法角色中的语词,如果与相似名词或动词搭配,则这些语词之间很可能存在语义相似关系^{[ 12]}。他们借助WordNet来发现相似动词。例如,在WordNet分类体系树中,“eat”和“drink”之间的连接距离很短,这表明它们之间具有相似性。从文集中又可以发现,名词“cake”和“coffee”与动词“eat”和“drink”经常在“object-verb”句法结构中共现,由此可以判断“cake”和“coffee”是相似的。类似的方法在Jing等进行基于知识的文本聚类任务时也被使用^{[ 13]}。该方法使用背景知识来判断词语的语义相似度,能够比较有效地克服特定文集中术语实例稀缺性问题。

Nenadic等提出了通过语境模板(Context Pattern)来规范化表达术语出现语境的方法^{[ 4]}。语境模板可以由词性标注、句法标签、本体或类的信息等有意义的语境元素构成。那些信息量少的语境组成部分(例如限定词、副词、连接短语,以及助动词)被丢弃掉,而具有较大信息量和具体内容的语境元素被归类或实例化,以增强它们建立关联的重要性。Nenadic等从术语出现语境中解析语境模板,并提出了对这些语境模板进行自动评价的方法。最后,以术语所关联的优质语境模板为变量,通过类骰子系数(Dice-like Coefficient)公式计算得到基于语境特征的术语语义相似度。

相关实验表明,基于特定领域文集的术语相似度计算方法能够取得较好的计算效果,但是仍然存在应用局限性。基于语词构成特征的术语相似度计算方法很难从语义层面对术语相似程度进行计算,而基于句法、语境特征的术语相似度计算方法在很大程度上依赖于特定领域文集的规模和质量。近年来,一些学者开始探索借助开放知识资源开展术语语义相似度计算的方法,能够较好地弥补基于领域文集进行相似度计算所存在的不足。

在知识分类体系中,两个概念对应节点之间的距离反映了它们之间的语义关联程度。节点之间距离越近,则节点对应概念之间的相似程度越高。利用这一规律可以开展术语语义相似度计算。Rada等在解决检索式和文档匹配问题时,提出相似性测度可以通过分类体系或词表中语词对应节点之间的距离来确定^{[ 14]}。两个语词对应节点之间的路径越短,它们越相似。如果有多条路径,则选择最短的路径作为计算依据。Jing等在文本聚类任务中,提出在使用WordNet等本体进行相似度计算时除了考虑概念节点之间的距离因素,还应考虑到节点所处的位置因素^{[ 13]}。在概念节点之间距离不变的情况下,概念节点所处的位置越深,则概念之间的相似程度越高。Siemiński在进行网页链接文字相似度计算时,提出了借助WordNet识别待计算语词的共同概念下位词,然后通过计算共同概念下位词的信息内容(Information Content)来反映两词之间相似度的计算方法^{[ 15]}。Rahurkar等在识别特定术语具体有几种意义的任务中,使用Wiki来计算术语之间的相似度^{[ 16]}。他们认为,如果两个概念共享链接集合,那么这两个概念很有可能是相似的。

与在特定文集中术语共现能够反映术语间相似程度的原理类似,在Web庞大网页集合中的术语共现特征也能够直接作为衡量术语相似程度的指标。应用Web网页集合进行术语相似度计算的关键是如何获得术语在Web文集中单独出现的次数、共现的次数以及术语语境等信息,而商业搜索引擎为获取上述信息提供了捷径。借助搜索引擎进行术语相似度计算的方法主要以搜索引擎返回的检索结果命中数和检索结果摘要这两条线索展开。

Matsuo等在抽取Web社区信息任务中,利用搜索引擎返回的命中数指标来计算两个人名之间的相似性^{[ 17]}。他们通过检索获得每个人名的命中记录条数以及两个人名联合检索(And检索)获得的命中记录条数,将这些数值代入Overlap Coefficient公式进行计算,得到人名之间的相似性度量。Chen等提出了使用Web搜索引擎返回的文本摘要来计算语词之间语义相似度的双重检查模型^{[ 18]}。对于两个语词P和Q,从Web搜索引擎收集相关检索结果摘要,然后计算语词P在语词Q对应摘要中出现的次数以及语词Q在语词P对应摘要中出现的次数。这些值在合并后就能够反映出P和Q之间的相似性。

Bollegala等将搜索引擎命中数指标和术语在检索结果摘要中出现的模式指标进行综合,以获得更加准确的相似度计算结果^{[ 19]}。在搜索引擎命中数方面,他们采取了4种流行的共现测度(Jaccard,Overlap,Dice及PMI)来计算术语语义相似度。在摘要方面,采用N-Gram方法抽取术语语境模板。上述两方面相似度指标通过SVM(Support Vector Machine)机器学习方法集成在一起,综合反映术语之间的相似程度。Iosif等总结了基于搜索引擎命中数、检索结果摘要以及检索结果全文的术语相似度计算方法,并通过实验证明,基于搜索引擎的非监督相似度算法在计算效果方面能够达到基于本体等人工生成资源的监督相似度算法计算水平^{[ 20]}。

使用搜索引擎的检索命中数作为相似度测度具有简单、直接的优点,但是也存在以下两个方面的问题:

(1)网页数量分析忽略了术语在网页中出现的位置。即使两个术语出现在同一个网页中,它们也可能并不相似。

(2)多义术语的网页数量可能是术语各种意义对应页面数量的总和。例如,“apple”对应的检索结果命中数包含了那些将“apple”作为水果意义的网页数量和将“apple”作为公司名意义的网页数量。

以上两方面问题可能会影响到这类方法的实际计算效果。基于搜索引擎摘要的相似度算法效果也会受到搜索引擎的制约。由于Web规模巨大,搜索引擎命中结果集通常也很大,只有被搜索引擎排列在最前面的那些摘要能够得到有效处理,因此搜索引擎的排序策略对基于摘要的术语语义相似度计算具有一定影响。