近年来,国内外涌现出多种可行的信息提取方法,其中基于包装器进行抽取是比较实用的。李宏伟等人针对网页结构的不确定性和易变性,设计了一种基于预定义模式的Web包装器进行信息抽取^{[ 3]}。这种方法采用预定义的方式,其缺点是采用手工操作,比较复杂。针对这种不足,有学者提出一种包装器产生系统和基于激发学习的框架,通过设计一个用户交互接口来实现信息的半自动抽取^{[ 4]},也有人提出通过基于模式发现的方法来实现抽取的全自动化^{[ 5]}。刘桂峰等人则提出了一种基于DOM树的Web数据对象自动抽取方法。该方法首先将网页解析为DOM树,然后将结构相似的子树抽取出来作为侯选数据对象,再计算候选数据对象的内容相似度,内容相似度低的则为数据对象^{[ 6]}。刘云中等人也提出了一种基于隐马尔可夫模型的文本信息抽取方法,利用文本排版格式、分隔符等信息进行文本信息抽取^{[ 7]}。此外,还有一些学者利用开源信息抽取工具,在其基础上进行改进来实现信息抽取。陈俊彬等人以Heritrix为基础,结合HTMLParser的信息抽取,提出一种基于Heritrix的精确抽取方法,并实现对论坛信息的精确抽取^{[ 8]}。徐健等人则通过在Nutch基础之上进行多种扩展和改进,提出基于Nutch的Web网站定向采集系统^{[ 9]}。

前人通过各种方法实现了Web信息抽取,但仍无法满足现实工作中的应用需求。由于现实中人们的信息抽取任务和抽取需求具有多变性,加之Web信息的多变性,开发出一种性能好、应用广的抽取系统十分困难。因此,本文尝试设计一种信息抽取系统,既可以实现信息的精确抽取,又具有较强的通用性。

在开源信息抽取工具Web-Harvest的基础上,参考前人采用包装器抽取信息的思想,设计基于Web-Harvest的Web信息抽取系统。特别针对Web-Harvest本身在抽取过程管理、数据集成等方面的不足,进行了功能上的拓展和改进。在系统设计中,采用松耦合结构架构,将信息抽取各过程与抽取过程管理控制独立并分别设计,使系统具有较好的可拓展性,有利于信息抽取的后续应用。

整个Web信息抽取可分为抽取和集成两个过程。可利用Web-Harvest来实现抽取的过程,以实现抽取的灵活性;集成过程则采用自编的中介器(Mediator)进行数据集成与存储。针对Web-Harvest开源软件本身没有信息抽取过程管理的不足,本系统设计了任务调度器,对信息抽取过程进行合理的调度和控制。Web信息抽取过程如图1所示:

图1

	Figure Option ViewDownloadNew Window
	图1 Web信息抽取过程

(1)抽取过程:包含预定义阶段和抽取阶段。

①预定义阶段:需要对所抽取的网页集进行分析,预先定义好抽取规则、抽取字段等相关信息。通常情况下,根据实际所要抽取的主题信息,按照需求对少量的且有典型性的网页源代码进行分析,由此得到具体信息来预定义配置文件。在定义配置文件时,要充分考虑利用Web-Harvest定义的处理器来抽取信息,采用如XSLT、XQuery和正则表达式等操作Text/XML 的相关技术来配置抽取规则。需要注意的是,Web-Harvest配置文件各个处理器需要由固定语法来书写。

②抽取阶段:Web-Harvest抽取程序读取预定义的配置信息,按照配置文件中的执行步骤进行相关处理,将抽取结果存放在中间的信息文件。

(2)集成过程:包含配置阶段和抽取阶段。

①配置阶段:用户需要自定义元数据存储配置文件,用于数据的集成。可定义存储的具体关系数据库URL,数据表名和表的模式,信息文件各字段与数据表字段的对应关系等。同时,由于Web数据具有类型不明显、表示多样性的特点,需要对各字段指定唯一的数据类型和默认值。在对某个主题进行信息抽取时,由于各抽取源不统一,信息文件间可能出现语义不一致的情况,如度量单位不统一,也可以对该字段指定单位转化关系。此外,还必须规定转换出现异常的处理方式,以保证集成程序的健壮性。

②抽取阶段:中介器根据元数据存储配置文件,对信息文件进行处理,并将记录存储到指定的数据表中。

(3)过程管理:将Web-Harvest和中介器封装成独立的外部服务,并由任务调度器进行调度与控制。

由于Web信息更新快,现实中的信息抽取工作往往是周期性的、重复的。因此,将信息抽取工作分为三个层次进行调度管理:计划,任务和服务。

①服务是最基本的单位,它表示对应的外部程序实体(如Web-Harvest和中介器等),可以直接运行。定义一个服务的过程如图2所示:

图2

	Figure Option ViewDownloadNew Window
	图2 定义服务的过程

服务的运行需要服务规则的支持,而不同的服务使用的规则不相同,因此,定义规则要有两层的过程, 如图3所示:

图3

	Figure Option ViewDownloadNew Window
	图3 定义服务规则的过程

②任务(即处理)是对服务组合的包装。用户可以选择服务(包含抽取服务、集成服务)的任意组合并设置运行顺序。因此可在服务和服务规则定义完成后,定义一个任务(处理)。定义的任务如图4所示:

图4

	Figure Option ViewDownloadNew Window
	图4 定义任务的过程

③计划可由一系列的任务来组成,是最高的调度单位,运行时间点和运行周期等信息均在计划中定义。定义一个计划的过程如图5所示:

图5

	Figure Option ViewDownloadNew Window
	图5 定义计划的过程

因此,整个调度过程如图6所示:

图6

	Figure Option ViewDownloadNew Window
	图6 任务调度的过程

用户可以自定义抽取计划,定时执行或者周期性地运行抽取任务。在抽取任务中,用户可以选择服务(包含抽取服务、集成服务)的任意组合。抽取服务和集成服务的运行需要输入相应的配置信息。用户可以按照需要对抽取和集成阶段进行相关配置。系统提供了对抽取和集成阶段需要的配置文件进行动态管理的功能,以方便用户信息抽取的操作。

将Web-Harvest和中介器封装成外部服务进行管理,对服务执行所需的配置信息也进行管理,使得系统具有较强的可扩展性,方便后续应用的添加。

信息抽取的系统流程设计如图7所示:

图7

	Figure Option ViewDownloadNew Window
	图7 信息抽取的流程

(1)定制抽取计划:用户定制抽取任务的运行周期数以及运行的时间点等相关信息,写入到抽取计划信息表中。

(2)新建抽取任务:用户选择一个服务或者多个服务组合的任务。系统首先读取服务信息表中所有的服务条目,供用户添加服务。用户设置服务运行先后顺序等信息后,写入到抽取任务信息表中。

(3)服务配置:用户在新建抽取任务时,需要为添加的服务指定服务需要的配置参数等信息。系统首先读取服务配置信息表中原有的配置记录,供用户选择原有的配置信息;用户也可按照需要,新建配置信息。用户配置完毕后,写入到服务配置信息表中。

(4)信息抽取调度器读取抽取计划信息表,根据计划信息和当前时间点判断是否启动抽取任务。

(5)当某一计划到达时间点时,信息抽取调度器执行该计划。首先,信息抽取调度器读取抽取任务信息和服务信息,为下一步线程的启动做准备。在线程启动前,调度器判断当前系统资源(CPU和内存等)的使用情况,并根据实际情况对线程调度进行控制。

(6)在系统资源运行允许的条件下,调度器按照任务信息启动对应的服务线程。

①Web-Harvest服务线程启动,并读取对应的配置信息,进行信息抽取。

②数据集成服务线程启动,读取对应的配置信息,对抽取得到的文件进行数据集成。在调度过程中,系统记录线程运行的各种状态。

经分析,系统设计的数据表主要包括用户表、计划表、任务表、服务表和配置表。采用Visio工具对系统主要数据表进行建模,如图8所示:

图8

	Figure Option ViewDownloadNew Window
	图8 数据表设计图

在当前系统实现中,服务信息记录中仅包括Web-Harvest服务和中介器服务,服务配置信息也仅仅包含上面两个程序相关的配置。服务信息表中,记录了服务ID、服务的名称、程序调用的接口、服务描述等信息。服务配置信息中,记录了配置信息ID、配置信息描述、所属服务ID、配置文件路径、相关描述等信息。

当系统添加后续服务功能时,除了独立开发服务程序,仅仅需要在服务表中添加一个数据记录,填写服务的名称和服务调用接口。如果新增的服务有输入和输出参数,则需要提供对应的配置文件,然后在配置表中添加相应的数据记录。