平台开发过程中用到的主要工具有OpenNLP工具包^{[ 5]}(英文断句)、Treebank Tokenizer^{[ 6]}(英文断词)、MXPOST^{[ 7]}(英文词性标注)、ICTCLAS^{[ 8]}(中文分词)、Stanford POS Tagger^{[ 9]}(中文词性标注)、Stanford Parser(训练语料生产)^{[ 10]}和 Multilingual Statistical Parsing Engine^{[ 11]}(中英文句法分析)等。

平台对英文的处理遵循宾州树库词性集标准,对中文的处理遵循宾州中文树库词性集标准。平台的句法分析采用Bikel的多语言统计句法分析引擎,即Multilingual Statistical Parsing Engine(DBParser),它是由宾夕法尼亚大学的Bikel^{[ 12]}设计实现的一个基于中心词驱动和线图算法的短语结构产生式句法分析器,提供了多种已实现的统计句法分析模型,包括对著名的Collins短语结构句法分析器^{[ 13]}的模拟。目前的DBParser句法分析器通过Java实现,提供了英语、汉语和阿拉伯语的设置文件,并且分析性能较高^{[ 14]}。

平台划分为三大模块:预处理模块、句法分析模块和结果验证模块。预处理模块的任务是通过词法分析和格式转换将待分析文本转换成句法分析器所需形式;句法分析模块能够训练句法分析模型,对预处理后的文本进行句法分析;结果验证模块对训练学习的规则和词典进行可视化编辑,实现句法分析结果的树形显示和可视化操作。其中,预处理模块和句法分析模块的实现是对上节中工具的整合和优化,一体化的设计避免了中间环节转换或操作的错误,比分别使用这些工具更加高效。结果验证模块的实现是本文的重点研究工作。平台的模块划分和总体架构如图1所示:

图1

	Figure Option ViewDownloadNew Window
	图1 平台功能模块和总体架构

预处理的任务是为句法分析器提供符合句法分析格式要求的文件。本文采用的句法分析器DBParser的格式要求为一行一个句子,每个句子的格式为((word1 (pos1)) (word2 (pos2))... (wordN (posN))),其中word表示单词,pos表示词性^{[ 15]}。因此,预处理模块的目标就是将待处理文本转换成这种格式,比如对于“It’s a beautiful flower”这个句子,经过预处理需要得到((It (PRP)) (’s (VBP)) (a (DT)) ( beautiful (JJ)) (flower (NN)))形式的结果。

英文预处理模块包括断句、断词、词性标注和格式转换,中文预处理模块包括断句、分词、词性标注和格式转换,这些功能基本是通过对2.1节中工具的整合和调用来实现的,处理流程及对应工具如图2所示:

图2

	Figure Option ViewDownloadNew Window
	图2 预处理模块处理流程图

预处理模块功能是将执行命令依次作为参数传入到指定函数运行实现的。Java中通过Runtime.getRuntime().exec(order)来实现调用本地命令和启动外部进程的功能,其中order是命令行参数。执行完命令后为了防止进程死锁要利用InputStreamReader来清空输入输出缓冲区。比如对中文进行词性标注,调用斯坦福大学的最大熵词性标注器Stanford POS Tagger,则调用命令order的赋值应为:

String order="cmd /c java -mx300m -classpath stanford-postagger.jar edu.stanford.nlp.tagger.maxent.MaxentTagger -model chinese/chinese.tagger -textFile CnSeg.txt > CnPos.txt";

其中,输入CnSeg.txt是分词后的文件,输出CnPos.txt是词性标注要生成的文件。平台将这些命令进行封装,只需点击相应的菜单项即可得到所需的结果。对于句法分析而言,中间的过程都可以忽略,因此平台提供一步执行的命令,即对于导入的文本平台可以一步得到句法分析所需格式的文件。

句法分析模块要实现句法模型训练和句法分析应用两大功能。本文选用的DBParser能够完成这两个任务,并选取中文和英文语言包分别用于实现中文和英文的句法分析任务。句法分析模块的处理流程如图3所示:

图3

	Figure Option ViewDownloadNew Window
	图3 句法分析模块处理流程图

句法模型的训练首先需要准备训练语料:中文方面,选取1998年1月《人民日报》标注语料库^{[ 16]}作为训练语料来源,去除语料编号、词性标记、专有名词标记等无用信息,合并姓氏和名字,经过断句转换成一行一句分词形式的语料,最后去掉长度过短的句子,通过Stanford Parser进行句法分析,最终得到含有42 212个句子的训练语料;英文方面,直接选取宾州英文树库^{[ 17]}02-21部分共39 832个句子作为训练语料。

句法模型训练调用DBParser的danbikel.parser.Trainer类,用法为java -Xms800m -Xmx800m -Dparser.settingsFile= danbikel.parser. Trainer -i -o -od 。其中,尖括号内的参数settings为配置文件,比如英文使用Collins的模拟,则配置文件collins.properties;training file 为训练语料,observed file 和derived data file 为训练的结果文件,observed file为句法模式文件,包含从训练语料中学习到的规则和词典等,derived data file为句法模型文件,用于句法分析。

句法分析调用DBParser的danbikel.parser.Parser类,用法为:java -Xms400m -Xmx400m -Dparser.settingsFile = danbikel.parser. Parser -is -sa 。其中,尖括号内的参数settings和derived data file同Trainer类,sentence input file为符合格式要求的需要进行句法分析的文件。

句法分析结果的形式为(S (NP(PRP It)) (VP(VBZ ’s) (NP(DT a) (JJ beautiful) (NN flower)))),可以看到括号的层级很多,不仅不容易看出句子的句法结构,而且修改起来很容易出错,因此有必要对该结果进行分析,并通过树形图显示和操作,直观地修改该结果。

结果验证模块是平台的核心模块,也是本文的重点工作,结果指的是从训练语料学习得到的句法模式文件和句法分析结果,前者操作主要是对模式文件的编辑和编译,处理流程如图4所示;后者操作包括对句法分析结果的树形显示、可视化操作和结果更新等功能,处理流程如图5所示:

图4

	Figure Option ViewDownloadNew Window
	图4 结果验证模块处理流程(1)

图5

	Figure Option ViewDownloadNew Window
	图5 结果验证模块处理流程(2)

(1)模式文件编辑与编译

句法模式文件编辑包括对模式文件的打开、修改和保存等操作,相当于一个文本编辑工具的功能。利用FileDialog对话框得到用户选择文件路径,通过字节数组输出流ByteArrayOutputStream将文件内容读取到平台的显示控件jTextArea上,用户即可进行编辑,编辑完成后用户点击保存,通过FileWriter将内容写入到新的文件中。

句法模式文件不能直接应用,需要对其进行编译,生成可用于句法分析的句法模型文件。该编译过程需要调用DBParser的danbikel.parser.Trainer类,用法为:java -Xms400m -Xmx400m -Dparser.settingsFile= danbikel.parser. Trainer -it -l -od 。

(2)树形显示及操作

树形显示和操作功能实现的基础是从句法分析后的结果获取所需的信息,包括节点编号ID、节点名称Label、节点深度Depth、节点高度Height、父节点Parent、子节点Child、兄弟节点Brother、节点类型Type(包含非终结符NT、词性标记POS和单词节点WD)和单词节点在句中位置Pos。除了Label定义为String,其余变量定义为Int,节点类型定义为全局静态变量。

获取这些信息的原理是利用句法分析结果中括号的对称性和层级性规律,通过括号的匹配,经过入栈、出栈、递归和回溯等处理,最终得到选定句子串中各个节点的信息,并存储在PTNode类中。限于篇幅,这里只给出分析句子串的部分代码,如下所示:

for (int i=0; i

if (ptString.charAt(i)== "("){ //如果遇到左括号

if(j==0) j = i+1;//遇到第一个左括号,设置j为1

else{

String lb = ptString.substring(j,i).trim();//lb为两左括号间内容

if (lb.trim().length() !=0){//向PTNode添加节点信息

PTNode nt = new PTNode(nodeList.size(),lb,cdep,PTNode.NT);

nodeList.add(nt);

}

cdep++;//深度加1

j = i+1;//j变为当前左括号位置加1

}

}

if (ptString.charAt(i) == ")"){//如果遇到右括号

String lb = ptString.substring(j,i).trim();

if (lb.contains(" ")){

String[] slw = lb.split(" ");//以空格为分隔符

if (slw.length == 2){//slw数组长度为2为词性和单词节点

PTNode pos = new PTNode(nodeList.size(),slw[0],cdep,PTNode.POS);

nodeList.add(pos);

PTNode wd = new PTNode(nodeList.size(),slw[1],cdep+1,PTNode.WD);

wd.setPos(pos_in_sen);//单词在句子中的位置

pos_in_sen++;

nodeList.add(wd);

pos.setChild(wd.getID());//设置子节点

wd.setParent(pos.getID());//设置父节点

}

}

else......//遇到右括号的其他情况

j = i + 1;//j变为当前右括号位置加1

cdep--;//深度减1

}

}

根据获取的节点信息,通过回溯和递归确定节点自上而下的层级位置,设定起始坐标,利用绘图机制绘制节点并画线,得到树形。树形显示及操作用到的是开源的、兼容Swing的纯Java开发的基于MVC体系结构图形组件JGraph^{[ 18]}。JGraph具有相当高的交互性和自动性,对图的操作包括图显示、图交互、图布局和图分析等,包括5个基本Swing组件^{[ 19]},平台用到的是基本的Graph结构和org.jgraph.graph组件。DefaultGraphCell和DefaultEdge用来定义图形中的节点和边,边通过setSource和setTarget来设置源和目标节点。通过树形操作来改变句法分析结果的功能是依据树形图中节点的位置和存储在PTNode中节点的序号ID的映射来实现的。对图形的操作实际上是记录改变节点的位置,然后根据PTNode中信息映射到括号形式的句法分析结果,执行操作命令该结果。最后对改变后的句子串重新进行分析,获取新的节点信息,并根据这些信息重新绘制图形,面板会显示新的图形。