实现CLIR 的基本模式包括文档翻译(Document Translation)、查询式翻译(Query Translation)、中间语种转换(Interlingual Representation)、非翻译(No Translation)、同源匹配(Cognate Matching)。查询式翻译是目前绝大多数CLIR 系统所采用的翻译模式^{[ 6]}。由于查询式一般比较简短,语种转化的工作易于实现,而且能够在传统单语环境检索系统的基础上构建跨语言检索机制。但是查询式缺乏足够的上下文语境信息,增加了翻译的难度。非翻译模式并不对源语种和目标语种进行翻译,包括潜在语义索引^{[ 7]}和向量空间模型^{[ 8]}。

现阶段跨语言信息检索主要解决源语种和目标语种之间的翻译转换问题,研究的热点和难点集中表现为翻译歧义性消解。一个词汇可能有多重意义,系统在翻译时面临对众多翻译项进行选择的问题。目前,在针对CLIR 翻译消歧技术的研究中,有以下几种关键技术:

(1)查询扩展(Query Expansion)。查询扩展技术的思想是对用户提交的查询式进行语义扩展,利用词的同义、近义、上下位等关系确定词义,以缩小翻译项的语义范围,帮助系统排除干扰项的影响。查询扩展可以在翻译前、翻译后或翻译前后同时进行^{[ 9]}。

(2)基于语料库(Corpus-based)。语料库是指由大量经过整理的文本形成的具有既定格式与标记的文本集。在CLIR 应用中,语料库的组织形式主要是用两种或多种语言来描述同一信息或同一主题的信息。利用不同语种在同一信息上的对应关系,实现对翻译项的筛选,或者根据对应语料库中源语词和翻译项出现的频率来确定最佳翻译结果^{[ 10]}。

(3)词性标记(Part-of-speech Tags)。词性标记技术的基本思想是只选择那些与源语种查询式词汇有相同词性标记的翻译项。Davis^{[ 11]}等人在解决英语和西班牙语之间的CLIR 翻译消歧时采用了这种技术,只有在英西词典中的西班牙语与作为查询式的英语有相同的词性标注时,该翻译才会被采纳。这种方法要求进行词性标记的软件同时适用于源语种和目标语种。

(4)结构化查询(Structured Query)。结构化查询将查询式的众多翻译项看成一个同义词集合,从这个角度引入传统的布尔逻辑。Hull 认为,布尔运算采取了一种自然方式将众多翻译项进行等值连接,而不会过分增加基本概念的权重。基于一个纳入了布尔运算符的查询式排列文档,Hull 等人还提出了概率检索模型^{[ 12]}。

(5)基于共现率(Co-occurrence Based)。共现率技术的核心思想是查询式的正确翻译组合共同出现在文档中的概率要大于不正确的翻译组合^{[ 13]}。例如,在一个英文查询式中同时包含“Mercury”和“Planet”这两个单词,虽然“Mercury”有多个翻译项,但在这里由于和“Planet” 共同出现,因此被翻译成“水星”的概率最大。

(6)检索反馈(Retrieval Feedback)。在CLIR 中,第一次检索得到的结果往往并不理想,需要采取相应的方法获取反馈信息,对查询式和翻译结果进行改进,反馈信息可以成为提高系统检索性能的依据^{[ 14]}。

本文提出的以Web 商品信息资源为检索目标的CLIR 系统模型框架是在信息检索基本模型的基础上加以扩展,加入了查询式的人工或自动翻译机制,主要分为翻译处理模块、搜索处理模块、结果处理模块三个部分,体系结构如图1 所示:

图1

	Figure Option ViewDownloadNew Window
	图1 CLIR 系统体系结构

由于用户提交的查询式形式简洁且无语法约束,因此翻译处理模块无需过多考虑语法因素,而专注于解决语言的一词多义和近义词处理等问题。系统的交互性能也是非常重要的,尤其是在跨语言环境下,某些时候系统无法通过简单的翻译理解查询式所表达的用户意图。在用户提交查询式之后,系统利用查询扩展等技术提供一个翻译列表,包括系统无法自动过滤的所有可能的翻译形式供用户选择,或在此基础上让用户自行优化翻译结果。在这种用户辅助查询的方式下,系统可以更加直观地理解用户需求以提高查准率。搜索处理模块基于开放源代码的Lucene 来构建一个图书信息搜索引擎,本文对此并不进行详细介绍,而将研究重点放在降低翻译歧义性的翻译优化过程上。

在图书信息搜索中,用户提交的查询式大多是书名或者反映图书内容的关键词组合,在翻译时对语法识别的要求并不高,且副词、介词、连词、助词、叹词和拟声词等虚词不易产生歧义。因此,无论用户提交的查询式是单词、短语或短句,在本文中被统一当做词组来处理,即由词语组成的线性序列,而这里将词语作为翻译系统处理的最小单元。

词语的一词多义问题是翻译系统遇到的最大障碍,克服语意模糊性的最好方法就是利用上下文语境^{[ 16]}。除非用户亲自对输入进行解释,否则系统只能根据上下文来选择最有可能符合用户意图的翻译,而查询式中每个词语的上下文就是其他词语。假设源语种查询式Q是由一系列词语组成的线性序列,Q=1q₂…q_i…>,其中q_i是Q中的第i个词语。通过查询机器可读词典能够得到q_i的一个翻译项集合T(q_i)={ , ,…, ,…},其中 是q_i的第j个翻译项。如果i取3,q_l有两个翻译项 , ;q₂有三个翻译项 , , ;q₃有一个翻译项 ,则共有6种不同的翻译组合。显然,翻译项的组合方式越多,产生歧义的可能性就越大,在这种情况下就需要确定最佳的翻译组合。

一个简单的方法是统计每一种翻译组合在语料库中的共现情况,得分最高的组合作为最佳翻译。但是,语料库通常非常庞大,统计每一种组合的共现次数需要消耗大量时间。在词语数量较多时,有可能面临数据稀疏的情况,即使语料库十分庞大,也无法获得足够数量的共现次数。另外,并没有对词语间关联度进行区分。因此,本文考虑翻译项的词语对在单语语料库中的共现率(Pairs of Terms Co-occurrences, PTC)。用骰子系数(Dice Coefficient)^{[ 17]}来表示词语对之间的共现关系, 计算公式如下^{[ 18]}:

DC(t,t')= (1)

其中,freq(t)表示词语t出现的次数,freq(t,t')表示词语t和t'同时出现的次数,DC(t,t')的取值在0到1的范围内变化。词语对的共现率越高,产生歧义的可能性就越小,其作为最佳翻译项的可能性就越大。

(1)n阶无向完全图

本文利用图的概念来表示查询式各词语翻译项之间的联系。如图2 所示,用节点来表示各个翻译项,用一条边连接两个节点来表示翻译项词语对,两个节点之间的边则表示这个词语对的共现关系,需要注意的是同一个词语的各个翻译项作为一组节点,同一组节点之间并无连接^{[ 18]}。不同组节点两两之间存在一条边,形成多个n阶无向完全图,这样,每个n阶无向完全图表示一个翻译组合(n表示源语种查询式中词语的个数,这里n=3),比如< >。

图2

	Figure Option ViewDownloadNew Window
	图2 词语对的共现

在这里,为图中的每一条边赋予一个系数来计算两个翻译项的共现率,可以直接用骰子系数的计算公式来表示共现率:

Co(e_i,j)= (2)

其中,Co(e_i,j)表示e_i,j的系数,e_i,j为连接i,j这两个节点的边。在一个n阶无向完全图中,把每一条边的系数相加即得到这个n阶无向完全图的系数:

Co(graph)= (3)

其中,e_i,j表示连接源语种查询式中第i个和第j个词语的翻译项的边。边的系数反映了词语对之间的关联度,进而一个n阶无向完全图中所有边的系数之和从某种程度上可以反映这个n阶无向完全图中所有节点所表示的一组翻译项的关联度。笔者认为,系数最大的n阶无向完全图表示的翻译组合产生歧义的可能最小,优于其他翻译组合。

(2)距离因子

假设 、 是q₁、q₂所有翻译组合中共现率最高的一对,则 、 被认为分别是q₁、q₂最可靠的翻译,但同时发现, 和 之间几乎没有什么联系。在这种情况下,虽然由 , , 组成的完全图具有最高的系数,但是不一定是最精确的翻译。再假设 、 的共现率略低于 、 ,然而 、 的共现率却高于 、 ,由 , , 和 , , 组成的完全图的系数之间的差距很小,则很难判断哪一组才是最佳翻译组合。可见,上述仅仅依靠词语对共现率简单相加来决定最佳翻译的方法并非绝对可靠。

在短语或句子中,相比于相距较远的两个词语,相邻两个词语间的联系往往更加紧密。最佳翻译项的共现率不能仅仅依靠其中每个词语对的共现率简单相加来获得。因此,本文将每对词语的权重进行区分,引入距离因子d,距离远的词语对权重低,反之,距离近的词语对权重高,公式(3)可修正为:

Co(graph)= (d=|j-i|)(4)

将根据公式计算出来的所有n阶无向完全图的系数进行比较,得出最佳翻译组合:

BestTrans=1t₂…t_n> [Co(graph)](5)

(3)翻译组合可选范围

虽然公式(5)通过更精确的加权计算得到了所有翻译项组合中相对最可靠的翻译,将源语种查询式转化为目标语种查询式,然而翻译的歧义性并没有完全消除,仍然可能出现几个n阶无向完全图的系数相近的情况。这时候仅仅依靠比较系数的大小来进行取舍显然没有足够的说服力,容易产生词义上的偏差。因此,在得到最可靠翻译组合的同时,系统可以列出其他可能的组合供用户选择,借助用户参与以帮助提高翻译的准确性。在本文方法中,规定一个阈值来限定选择范围。利用公式(6)得到符合要求的最终翻译列表:

TransList(Q)={probtrans|probtrans∈Trans(Q)

and Co(graph)_probtrans≥(1-p)·Co(graph)_max}(6)

其中,阈值p取值为0.2,Co(graph)_max表示所有n阶无向完全图的最大系数,Trans(Q)表示所有可能的翻译项组合的集合,probtrans表示可供用户选择的翻译项组合。