多语言文本聚类是指在多语言的环境下（即文档集中各文档所使用的语言是不同的）完成文档的聚类操作, 其关键在于如何消除语言的不同所带来的特征项权重标记的问题, 以汉英双语为例, 传统的文本挖掘技术在统计“计算机”和“Computer”时, 会将其分别统计, 而实际上它们应该作为等同词汇参与聚类, 它们所在的文档同属于一个类别的可能性也比较大。

早期的文本聚类主要是在单语言环境下进行, 而多语言的文本聚类研究则不够成熟。章成志等将多语言文本聚类方法划分为“先聚类再合并”以及“先转换再聚类”^{[1, 2]}, 前者将多语言文本分别聚类然后再合并类簇, 后者将多语言转换为单语言实现聚类或者对多语言语义空间进行变换实现聚类^[3]。Chen等采用先聚类再合并的方法对英汉双语新闻语料进行聚类实验, 结果表明先聚类再合并的方法有着明显的缺陷, 由于需要先在单语言环境下分别聚类, 导致不能从全局上考虑文档与特征项的关系, 特征项权重的计算缺乏全局性考虑^{[2, 4]}。

先转换再聚类的方法是目前研究的主流, 其又可以分为基于翻译的方法以及基于语义分析的方法。前者可以再细分为两种：基于全文翻译或者是特征提取之后再翻译。2003年, Leftin^[5]的研究指出基于全文翻译的方式严重依赖于翻译系统的性能, 而海量文本的实时全文翻译也是一个问题。相比而言, 特征提取之后再翻译似乎更加合理, 因为, 翻译工具在词语方面的翻译性能和效果显然要优于全文翻译。Wu等^[6]提出通过结合跨语言领域对准模型和特定领域词项翻译模型, 实现了跨语言文本聚类, 实验取得了不错的效果。Montalvo等^[7]进行了基于特征翻译和命名实体作为特征表示文档这两种方法优劣的比较研究。Denicia-Carral等^[8]利用外文之间在拼写上的相似性, 实现了多语言文本的聚类, Negri等^[9]则详细阐述了如何使用WordNet实现多语言命名实体的识别, 将英文命名实体识别的系统扩展到印度语, 并且取得了不错的效果。

除了基于翻译的方法, 也有许多学者试图从语义层面分析多语言文本, 主要方法有：隐含语义分析的方法以及基于知识库的分析方法。Dumais等^[10]使用了潜在语义标引的方式来规避语言的不同来实现检索任务, Wei等^[11]通过潜在语义标引的方法实现了多语言文本的聚类。金千里等^[12]研究了弱指导的统计隐含语义分析及其在跨语言检索系统中的应用, 通过机器学习的方法自动进行基于语义层面的文本聚类。Montalvo 等^[13]采用命名实体作为特征实现了西班牙语和英语的双语文本聚类, 计算文本相似度的时候, 提出了一种基于模糊系统的方法, 该模糊系统基于一个知识库, 对命名实体做出了知识层面的定义。Kumar等^{[14, 15]}使用Wikipedia的可比语料进行了英语和印地文（Hindi）双语文本聚类实验, 利用跨语言链接、类别标签、外部链接等丰富了文档的表示。

本文在对国内外多语言文本聚类相关研究总结分析的基础上, 以实验的方式探究中英文双语文本聚类主流处理方法的实际效果、存在的缺陷以及可能的改进方向。同时, 实验中选择的是新闻语料, 而新闻文本是目前最为庞大的多语言数据资源, 也希望本文的研究对跨语言新闻数据资源自动化组织与发掘有一定的指导作用。

鉴于目前多语言文本聚类主要从两个方面研究：先翻译再聚类的方法及以LSI为主的语义分析方法, 本文主要采用这两种方法实现多语言文本的聚类, 并进行对比：

（1）方法一：将多语言文本通过翻译的方式映射到单一语言空间, 一般过程包括：

①文本识别：以汉英双语为例, 可以将汉英双语文本统一UTF-8编码, 然后利用它们各自编码范围的不同（英文UTF-8编码范围在00000000-0000007F, 中文UTF-8编码范围在00000080-000007FF和00000800-0000FFFF之间）进行识别；

②将多语言文本分别进行预处理和特征提取, 通过翻译等方式将特征项转换成单一语言下的特征项；

③在单语言环境下实现文本表示, 生成对应的文本表示空间。

其过程如图1所示：

图1

	Figure Option ViewDownloadNew Window
	图1 先特征提取然后翻译的多文本表示过程

（2）方法二：通过潜在语义标引的方法, 直接将多语言文本映射到多语言的语义空间, 实现多语言文本的跨语言表示。其过程一般包括如下几个步骤：

①进行文本的语言识别；

②按照各语言的特点, 分别做预处理和特征提取操作, 实现各语种文本的特征表示；

③合并步骤②中得到的所有文本表示, 得到一个初始的多语言文本表示空间；

④对步骤③中的初始表示空间进行隐含语义分析、基于知识库的语义分析等语义分析操作, 这样就可得到一个新的多语言文本表示空间。

其过程如图2所示：

同向量空间模型一样, LSI首先也需要从输入文档集构建一个“特征项-文档”的关联矩阵, 该矩阵被认为是文档集合的原始语义空间。之后将该矩阵做奇异值分解（SVD）和矩阵降维, 剔除掉次要的联系, 变换得到一个新的语义空间（矩阵）^[16]。降维的过程去除了原始语义空间中的噪声信息, 提高了语义层面的表示度。

图2

	Figure Option ViewDownloadNew Window
	图2 多语言文本映射到多语言空间的过程

LSI在信息检索方面得到了广泛应用, 然而其在应用过程中一直未能解决的一个问题便是SVD 运算的高复杂度, 以致这种方法一直不能在大规模数据上得到成功应用, 包括计算最快的LAS2算法、替代LSI的半离散矩阵分解（SDD）方法, 都无法在空间和时间上同时优化LSI的计算复杂度^{[1, 17]}。

本文在梳理国内外相关研究的基础上, 总结出多语言文本表示的两种基本思路：

（1）将多语言文本通过翻译、转换等方式映射到单语言空间；

（2）将多语言文本通过隐含语义分析技术、基于知识库的语义分析技术等映射到多语言的语义空间。在上述两种基本思想的指导下, 选取中英双语对照语料2 736篇, 使用最基本的K-means算法实现了中英双语的文本聚类实验研究。

实验一“基于翻译系统的中英双语新闻文本聚类”采用了“转换到单一语言空间”的思想。实验结果表明, 基于先特征提取然后再统一语言的方式极大提高了混合文本的聚类效果, 在翻译系统性能进一步提升的情况下, 该方法将具有很好的应用前景。

实验二“基于潜在语义标引的中英双语新闻文本聚类”采用了“转换到多语言空间”这一思想。最终的实验结果并不理想, 没有显示出该方面对于混合文本聚类效果的显著提升。通过分析发现潜在语义标引模型的奇异值分解存在一定的缺陷：

（1）SVD算法的时间和空间复杂度很高, 对机器以及聚类工具的要求很高, 难以应用于网络海量的信息资源处理；

（2）消除噪声后的语义空间中出现了部分负值, 体现出特征项与某些文档之间不但不相似, 反而是“互相排斥”, 说明噪音消除可能消除了部分文档的特征项, 因此, 噪音的选择或者特征项的选择还存在一定优化空间；

（3）K值的选择是个问题, 目前尚无统一的参照标准, 对不同样本, 可能需要更多的实验场景来验证和选择。

由于两种实验的样本数不同, 难以直接对比二者的结果, 不过明显可以看出, 在本研究样本中, 实验二的方法在样本少一半的情况下, 各性能指标比实验一要差很多, 表明基于LSI的聚类方法还有很大改进空间, 也期待在更先进的计算环境下对此两种方法进行更详尽的对比。

本文主要的贡献在于系统梳理了目前学术界关于跨语言文本聚类的研究方法和思路, 并且以实验的方式探究了两种主流方法的实际效果、存在的缺陷、可能的改进方向以及可能的应用前景。