术语映射试图通过各种匹配方法在不同概念体系的术语(包括代码和语词)间达成一致或建立关联,它面向特定概念体系,因而也称为词表映射(Vocabulary Mapping)^{[ 2]}。近年来,各种KOS尤其是受控词表间的术语映射研究受到广泛关注,如OCLC的FAST^{[ 3]}、英国的HILT^{[ 4]}、德国的KoMoHe^{[ 5]}等大型研究项目;并且随着新的受控词表编制标准Z39.19-2005、BS 8723、ISO 25964和W3C的KOS通用描述规范——简单知识组织系统(Simple Knowledge Organization System,SKOS)的修订与发布,互操作作为KOS资源建设的一个重要内容也推动了术语映射研究的发展。

KOS互操作中的术语映射不同于受控词表内词间关系的建立,它是不同KOS间词汇关系的识别与界定。因

此,根据映射的方向可将参与映射的KOS表示为源S和目标T,S和T均是术语概念的集合^{[ 6]},分别表示为:

S=(st₁,st₂,……,st_m)

T=(tt₁,tt₂,……,tt_n)

两者之间的各种映射关系类型也可表示为一个关系集R:

R=(r₁,r₂,……,r_l)

术语映射的结果是一组术语及其关系的集合TM,在不考虑组合映射的情况下,映射结果集合TM包含元素的个数最大值为m×n。对于每一条映射结果u(u∈TM),可定义为一个4元组(st,tt,r,θ)^{[ 7]},其中,st∈S、tt∈T、r∈R,θ表示两个术语的映射程度,往往用术语st和tt的相似度、相关度或两者结合的值来度量,取值范围为[0,1]。θ既可以是某一具体映射方法计算出的结果,也可以是多方法集成计算的结果,θ=0表示术语st和tt完全无关联,θ=1表示st和tt字形完全相同或概念完全相等。θ取值与术语映射方法相关,而r与映射关系类型研究相关,因此本文着重阐述这两个问题的研究进展。

根据实现方式的不同,术语映射分为人工映射和自动映射。中国农业科学院通过人工方式由词表人员和领域专家在中国《农业科学叙词表》与联合国粮农组织的多语种农业叙词表AGROVOC之间建立了跨语言的映射关系^{[ 8, 9]}、德国社会科学信息中心的KoMoHe项目通过人工方式在涉及11个学科、3种语言的25部受控词表之间建立了64种词表映射,产生了513 000个术语映射关系^{[ 10]}。术语映射是一项智力依赖型工作,需要领域专家和词表专家的智慧;但人工映射工作量巨大,且因人的主观性会导致映射的不一致和映射程度定量衡量的缺乏。因此,目前术语映射研究一方面从理论上探索术语映射的实现机制和途径,另一方面也在寻求语言学和人工智能领域的合作以探索术语自动映射技术。

2.2 术语自动映射方法

Francesconi等将KOS互操作中的术语自动映射方法分为基于实例的匹配和基于KOS体系的匹配两大类,并着重从词汇层、结构层和语义层三个方面对基于体系的匹配方法进行细分和说明,主要介绍了基于字符串、基于语言学、基于语言资源、基于图形、基于分类结构、基于模式、基于共现和基于知识库等映射关系自动发现方法^{[ 7]}。术语自动映射其本质是将定性的映射问题转化为基于语言学或基于统计学的术语相似度和术语相关度计算问题,其中相似度计算分为字面相似度和语义相似度两种类型,而相关度则分为基于结构的相关和基于语料的相关;在实际的计算中,除了利用术语自身的信息,往往还要依赖其所归属的KOS以及其他外部语料,如图1所示:

图1

	Figure Option ViewDownloadNew Window
	图1 术语自动映射衡量方法及依赖资源

其中,基于词形的字面相似度计算^{[ 13]}、基于语义词典的语义相似度计算^{[ 14, 15]}、基于结构的相关度计算^{[ 16]}和基于语料共现的相关度计算^{[ 17]}等方法最为常用。下文将结合中文术语和中文KOS的特点从基于词形、基于结构和基于语料三个方面来阐述各种常用的术语映射方法。

(1)基于词形的术语映射

基于词形的术语映射是利用术语本身的词汇特征和语法特征来计算两个术语的字面相似程度,是一种简单易用的术语映射关系自动发现方法。就中文而言,基于词形的术语映射主要有基于单字的字面相似度和基于词素的字面相似度两种计算方法^{[ 18]},其中基于词素的方法通常要借助词素表来进行术语切分。字面相似度计算主要依据字面成族原理和字面相似性原理,即汉语中绝大多数同义词、近义词或相关词等都含有相同的字或词素这一特点,来计算术语之间的关联程度^{[ 19]},从而建立映射关系。在这一原理基础上,王源等提出字面相似度计算应考虑两个影响因素:匹配度和匹配序,匹配度指两个词含有的相同字或词素的个数,匹配序指相同的字或词素的位置,并把匹配度对相似度的影响设定为60%,把匹配序对相似度的影响设定为40%^{[ 20]}。吴志强则考虑汉语重心后移规律,引入位置加权算法对字面相似度计算方法进行改进^{[ 21]},提出字面相似度计算公式:

sem(st,tt)=0.6×( + )/2+0.4×dp×( + )/2 (1)

其中,加号前半部分表示相同字或词素个数对相似度的影响,即匹配度;加号后半部分表示相同字或词素出现位置对相似度的影响,即匹配序。semt表示源术语st和目标术语tt相同字或词素的个数;num(tt),num(st)分别表示tt和st的总字数或总词素; , 分别表示相同字或词素在术语tt和st中的位置权数之和,根据汉语构词中心后移原则,字或词素的位置权数为 ,l表示该字或词素出现的位置,n表示该术语总字数或总词素个数。dp为位置系数,为 , 两者取值小于1的那个值。

此外,结合字面成族原理和汉语复合词组成特点,在上述字面相似度计算过程中还要识别一种特例,即术语字面包含关系,比如术语“电池”与术语“燃料电池”具有字面包含关系。结合汉语词组构成中核心概念后置的特点,这种情况通常可以建立术语之间的上下位等级映射关系^{[ 22]},这也是一种常用的基于词形的术语等级映射关系发现方法。

(2)基于结构的术语映射

建立映射关系的术语来自特定的KOS,KOS的微观结构,如用、代、组代、属、分、参等各种参照关系以及范畴往往构成了术语的语境,为术语映射关系的发现提供有价值的参考。在ERIC叙词表与LCSH的映射中,就利用了术语的用代参照关系来进行等同关系的直接推导,给出了PT/PT、PT/NP、NPT/PTT、NPT/NPT4种匹配情形^{[ 16]},如图2所示^{[ 23]}:

图2

	Figure Option ViewDownloadNew Window
	图2 基于KOS用代关系的术语映射关系推导情形

这种方式识别出来的等同映射关系准确率高,尤其是在两个KOS的主题领域相同或相关且入口率较高的情况下。

Doerr则利用术语在各自概念体系中的层次关系,将其上位词、下位词、注释等信息引入,利用描述逻辑来推导映射关系^{[ 2]},这种方法往往用来在无法建立一对一等同关系的情况下建立一对多的组合映射。

Giunchiglia等将大规模的KOS映射分为元素层和结构层,其结构层映射是将KOS中术语以树节点的形式表示,将其上位信息作为该术语的语境,通过树匹配(Tree Matching)算法^{[ 24]}建立映射关系^{[ 25]}。

基于结构的术语映射充分利用了术语所归属的KOS,使参与映射的术语不再仅是一个单独的标签,而是通过各种参照关系和范畴信息丰富了术语的背景知识,使术语映射深入到概念层,从而提高映射的效率和精度。

(3)基于外部语料的术语映射

基于语料的术语映射是利用各种语言学语料或文献语料来挖掘术语之间的关联。根据语料类型的不同,基于语料的术语映射采用的方法也各不相同。基于语言学语料,比如WordNet、HowNet、同义词林^{[ 26]}等语义词典的语义相似度计算是用来改进字面相似度计算效果的一种方法,主要通过这些语义词典将术语的自然语言化标签转换为具有一定语义涵义的编码体系,从而用来建立字形完全不一致但语义概念相同的术语之间的映射关系。此外,多语言环境中的术语映射还需要双语或多语言翻译词典的支持。

基于文献语料的术语映射是一种共现映射,利用源术语st和目标术语tt在同一个文献集合中的分别出现频次(或标引频次)和同现频次(标引同现频次)来计算两个术语之间的相关度^{[ 27]},是一种基于大规模语料的关联规则挖掘。相关度的具体计算方法有互信息法、Dice测度法、LogL测度法、余弦系数法、Jaccard系数法等。

在具体映射实践中,这些术语映射的方法一般不单独使用,往往多方法集成使用,字面相似与语义相似相结合、基于词形与基于语料相结合、相似度与相关度计算相结合等;并且不同的术语映射方法有时能与术语映射关系类型的识别相对应。

术语映射应包括两部分内容:建立映射关系和判别映射关系的类型,因此术语映射关系类型的界定和自动识别研究一直受到关注,是术语映射研究的主要内容。

早在1970年,Neville就识别出14种术语映射类型^{[ 28]};1995年,Chaplan在建立劳工叙词表与LCSH的映射中提出了19种映射关系类型^{[ 29]};此后,Riesthuis针对多语言环境中术语映射提出了6种术语映射类型:完全等同映射(Exact Equivalence)、部分等同映射(Partial Equivalence)、外来语映射(Loan Term)、非精确等同映射(Inexact Equivalence)、一对多等同映射(Single-to-Multiple)、无等同关系(Non-equivalence)^{[ 30]};Koch等人根据集合论的原则提出5种映射类型:完全等同(Full Equivalence)、下位映射(Narrower)、上位映射(Broader)、大部分重合(Major Overlap)、小部分重合(Minor Overlap)^{[ 31]}。

此后,随着SKOS的修订,SKOS Mapping为不同概念体系的术语概念映射提供了良好的描述支撑和规范,SKOS Mapping最初定义了5种映射关系类型:exactMatch、broadMatch、narrowMatch、majorMatch、minorMatch以及三种组合映射符号AND、OR、NOT^{[ 6]}。majorMatch即指用术语A标引的文献与术语B标引的文献有超过50%的重合,反之低于50%则为minorMatch,这种映射关系界定需要基于特定的资源集合,只适合静态的术语映射,且完全依赖于文献统计,因此在SKOS修订过程中逐渐被取消。2009年发布的最新SKOS规范中只给出了closeMatch、exactMatch、broadMatch、narrowMatch和relatedMatch 5种映射关系类型^{[ 32]},这种映射关系类型划分与传统叙词表词间关系类型比较接近,是SKOS作为一种通用、简单的KOS描述规范的体现。在具体的映射实践中,研究者可以根据需要来扩展映射关系类型,目前以精确映射关系类型的扩展最为普遍^{[ 33]}。

就中文术语而言,exactMatch映射类型可细化为表1所示的各种情况。

表1

表1

表1 exactMatch映射常见情形 ID 映射 层次 映射情况 示例 常用方法 1 词形 层面 字形完全一致 安全气囊-安全气囊 基于词形 2 习惯拼写差异 储存-贮存 基于语料+语义词典 3 简称 备用轮胎-备胎 基于词形+语言学方法 4 词序不一致 变形-形变 基于词形 5 语义 层面 俗称 转向盘-方向盘 基于语料+语义词典 6 不同语种 防抱死制动系统-Antilock Braking System 基于语料+语言学词典 7 首字母缩写 防抱死制动系统-ABS 基于语料+语言学词典 8 外来语音译 英特网-因特网 基于语料+语言学词典 9 同义概念 风窗玻璃-挡风玻璃 基于词形+语义词典 10 反义概念 独立悬架-非独立悬架 基于词形+构词方法 11 参照项一致 紧急制动 应急制动 D 紧急制动 基于结构方法 (注:因为一对多的组合映射自动实现比较困难,表1只给出了一对一的精确映射,对一对多的组合映射情况未作说明。)

表1 exactMatch映射常见情形

这些常用情形的界定可以建立术语映射的一般规则,从而帮助映射人员或机器识别和判定出相应的映射关系类型。但过于细致的映射关系类型划分也增加了映射关系自动识别的难度,McCulloch和Macgregor对Chaplan提出的19种映射关系类型进行了实验,在AAT、DDC、LCSH、MeSH和UNESCO叙词表5个KOS的映射实践中发现仅精确匹配、下位匹配、精确限定、概念等同4种关系最常见,其他映射关系出现较少甚至一次也没有出现^{[ 33]}。因此,在映射实践前应预实验,确定主要的映射关系类型以及相应的判别条件。

不论是基于人工方式实现的术语映射还是基于计算机辅助实现的术语映射,在术语映射实践中,除了上述映射方法、映射关系类型,还有如下几个值得关注的问题:

(1)映射的方向性问题。术语映射过程中参与映射的KOS有源和目标之分,但两者的身份并不固定,是动态变化的,相互之间的映射关系也不完全是一个互逆的过程。映射中完全等同关系毕竟只占一部分,甚至是一小部分,剩下的各种匹配关系都是基于相似度或相关度给出的一个映射推荐。比如,S中“计算机”一词在T中最相似或相关的映射词是“信息系统”;但反过来从T到S映射,T中“信息系统”在S中最相似或相关的概念是“数据系统”而非“计算机”,这就存在一个映射的方向性问题。

(2)映射不一致性问题。术语映射是一个定性的判断问题,目前的映射仍是以人工实现为主,机器识别为辅,包括是否建立映射关系、概念重叠程度和映射关系的类型等,不同的机构、不同的人衡量标准不一样,必然导致映射数据的不一致。因此,必须建立一个统一原则和筛选机制。一般而言,在术语映射中应遵循最相近的语义原则、最精确的匹配原则、最广泛的兼容原则。最相近的语义原则要求术语映射应建立在语义概念相同或相近层面而非字形层面,优先考虑语义相似性;最精确的匹配原则要求以等同映射关系优先,在不能一对一精确映射情况下要优先考虑一对多的组合精确映射;最广泛兼容的原则与最精确的匹配原则相反但不冲突,它强调的不是精确性而是兼容性,这是KOS互操作的意义所在,即在无法建立精确匹配的情况下,应通过上位匹配、下位匹配或相关匹配尽可能为源S中的每个术语在目标T中找到对应的映射关系。无论是人工映射还是自动映射,要解决不一致问题必须将术语映射从定性问题转化为定量问题,建立一个定量的、统一的筛选机制。

(3)映射关系的传递性问题。不论是利用KOS的结构来建立映射,还是在基于转换语言的多系统映射中,都会涉及利用已有的词间关系或映射关系来推导和传递新的映射关系。比如A exactMatch B和B exactMatch C可以推导出A exactMatch C,但A broadMatch B和B broadMatch C推导出A broadMatch C则有时往往不够准确,比如从“交通工具”broadMatch“汽车”和“汽车”broadMatch“车轮”推导出“交通工具”broadMatch“车轮”这个映射关系是存在问题的,这种传递往往会导致映射精度的降低或丢失。目前最新发布的SKOS对词间关系的传递性进行了明确的限定,用Broader、Broadertransitive和Narrower、Broadertransitive来明确限定这种等级关系是否具有传递性^{[ 34]},这一方法也可引入到术语映射关系传递性的限定上来。

(4)人工映射与机器映射相结合的问题。尽管研究者对术语映射的自动化技术进行了大量探索,但映射过程中大量人的智力劳动仍然不可回避。因此,在术语映射过程中应将机器智能、专家智能和用户智能相结合^{[ 35]},即除了利用领域专家智慧和计算机的辅助推荐外,在提供术语服务过程中应根据用户的使用情况和用户参与来完善术语映射,在术语映射过程中对映射工作进行分工,由这三方面的智能各行所长来共同完成映射。

除了上述问题外,在术语映射过程中还需要关注映射效果的评价、映射过程的呈现方式、映射结果的筛选、映射关系的更新、多概念组合映射、术语映射辅助编辑工具的开发等问题。

目前,KOS互操作^{[ 36]}、术语服务^{[ 37, 38]}等是国际研究的热点。随着中文网络信息资源的日益增长,多语言的信息环境和海量信息组织的语义化趋势,网络环境下中文KOS的构建、跨语言、跨结构、跨领域的互操作业已引起国内业界的重视^{[ 39]},中文术语注册与术语服务研究也提上日程^{[ 40, 41]},但汉语的特点不允许直接套用其他语言术语映射的经验,因此必须针对中文术语和中文KOS的特点来探索中文术语间以及中文术语与其他语种术语间的映射机制、方法和具体实践。