DNET的开发和运行都体现了分布式的特点。

从其开发团队的组织看,在项目管理单位Universität Göttingen组织下,负责架构的整体设计和服务调度管理的意大利国家研究中心(Consiglio Nazionale Delle Ricerche),负责数据收割和聚合的德国Bielefeld大学(Universität Bielefeld)、负责架构用户界面设计的雅典国立与卡珀得斯兰大学(National and Kapodistrian University of Athens),负责服务的认证和授权的波兰华沙大学(Uniwesytet Warszawski)协同工作。

从其运行方式看,DRIVER的运行依托于9个主节点、25个功能服务、36个服务实体,而这些服务分布于不同地方的服务器。DRIVER涉及欧盟31个国家的250个仓储^{[ 5]},并且正在扩大其国际影响,与日本的数字仓储联盟和中国科学院的数字仓储网络合作。

DNET收割的每个仓储有不同的内容政策^{[ 6]};其仓储平台多样,包括DSpace, Eprints, OPUS, Fedora, Own等;其内容多样,包括学术文章全文及其元数据,支持数据、图像,用增强出版物模型支持复杂对象,揭示复杂数字对象的结构和关系;内容标准多样,包括MODS、METS、DIDL、MARC、QDC、Unquifiled DC等元数据;即便对于同一个字段,不同的仓储也有不同的处理方式,例如对于语言字段,英语的标识就有EN、ENG、en-US、en、en-CA、English、English (United States)。为了解决这些异构性的互操作问题,DRIVER采用对遵循OAI-PMH的数字仓储的登记、格式验证、基于数据清洗和转换的聚合等方式降低互操作的复杂性,其中DRIVER指南起到了至关重要的作用。

DRIVER指南基于欧盟多个研究项目的经验,其编辑者来自法国的HAL, 荷兰的DARE,德国的DINI和BASE,英国的SHERPA等,DRIVER指南主要用于指导数据提供者定义其本地数据管理政策,用OAI-PMH方式开放数据;帮助数据提供者、数字仓储管理者采取措施改进数据质量,帮助数字仓储服务开发者增加新的功能^{[ 7]}。DRIVER 指南从资源集合、全文、元数据标识符、OAI-PMH的实施、最佳实践、字典和主题分类等方面为数字仓储建设提供了详细指南。它要求元数据采用Unqualified Dublin Core (ISO 15836:2003) ,也可以使用MODS、并提供了OAI-DC的各个字段的详细使用说明,以及采用MPEG-21 DIDL封装复合数字对象的指南,并对OAI-PMH实施细节进行了规范。遵循DRIVER指南的数据将被收割并聚合到信息空间,并提供集中的检索、浏览、推荐等服务;经过基于网络用户界面的元数据验证工具,可以为仓储管理者提供元数据质量的分析报告,帮助仓储管理者改进元数据质量。

从DNET运行环境看,呈现出异构和多样性特点。由于DNET依赖于对多机构开发的服务的统一调度来实现功能,尽管各项服务均运行于Ubuntu操作系统上,但其不同服务的运行所依赖的应用服务器环境不同。比如,驱动层服务采用了Jetty6应用服务器,收割聚合服务、存储、索引服务和功能层的服务采用了Tomcat5.5服务器。在数据库方面也不同,比如存储索引服务采用了PostgreSQL 8.2,在驱动层又采用了eXistXML数据库和My SQL数据库。

DRIVER不同于其他的数字仓储登记聚合系统(Repository Aggregating System,RAS),比如OAIste ,ROAR^{[ 9]},OpenDOAR^{[ 10]},Scientific Commons^{[ 11]},BASE^{[ 12]}的重要特点在于DNET基于服务的架构。

它们的共同点为通过仓储注册,从OAI-PMH仓储中收割聚合信息,提供OA仓储列表和仓储内容统计功能,并提供统一的检索、浏览界面等。

RAS一般由一个机构开发,其功能和服务运行于某个机构的服务器上,满足某个领域或者定制应用的需求,其提供的功能和服务的重用性较差,软硬件扩展会有一定的难度^{[ 13]}。

DNET基于服务的架构,由多个机构协同开发,提供的服务运行在网上不同的站点,每个服务组件提供特定的功能,每个服务组件可以被不同的服务提供者提供,并被不同的应用共享,通过服务的注册通知和订阅机制,在系统驱动层的服务调度管理下,根据系统要求实时提供所需要的功能,同时服务可以在任何时间加入或者离开系统。这种架构可以提高软件的开放性、可重用性和扩展性^{[ 14]}。目前DNET的核心服务已经被重用于欧洲数字电影网关^{[ 15]}、西班牙国家数字仓储联盟^{[ 16]}、比利时国家数字仓储联盟^{[ 17]}等应用中,并将在欧盟资助的D4Sceince、OpenAIRE等项目中得到进一步扩展。

综上所述,DNET需要解决的核心问题包括:

(1)如何从异构、分布的数据提供者处收割数据,并提供集中检索呈现的平台。

(2)如何对异构分布的服务通过统一调度来实现特定功能。

本文将通过对其信息空间和对象模型、基于服务的架构,尤其是对其驱动层服务的剖析,来说明DNET如何解决这两个核心问题。

DNET的架构就是把异构的内容聚合起来形成一个统一的信息空间^{[ 18]}。DRIVER信息空间 (DRIVER Information Space, DIS) 物理上是由一系列存储单元(MDStore资源)组成的。一个MDStore资源保存着被聚合服务从一个特定的仓储服务中定期收割来的符合特定元数据格式的元数据记录。在这个信息空间(DIS)里,从OAI-PMH仓储中搜集到的元数据被转换成DRIVER的元数据格式(DMF),DMF有多个,并在不同站点运行,DRIVER管理员服务负责从指定的仓储的Set集合中收割记录并定义元数据映射规则,将原始的元数据转换成DMF,装入DIS。

DRIVER的对象模型如图1所示:

图1

	Figure Option ViewDownloadNew Window
	图1 DRIVER的对象模型[ 19]

根据这个模型,任何一个数字仓储中的对象,也就是所谓的C-Object,可以被搜集并导入到DRIVER信息空间,被封装成对应的DRIVER对象。DRIVER对象的元数据格式DMF包括两部分:

(1)DRIVER描述性元数据格式(DRIVER Descriptive Metadata Format, DDF),它概括了描述、结构和C-Object的内容。

(2)DRIVER来源元数据格式(DRIVER Provenance Metadata Format, DPF),它记录了C-Object是从哪个仓储中搜集来的。

DRIVER的元数据记录还包括一些头信息来说明C-Object的来源历史、DRIVER对象的唯一标识符和C-Object被从原始仓储中收割的日期等。

DRIVER信息空间的使用者是最终用户和应用。DRIVER信息空间提供了对异构的C-Object的统一描述,终端应用就可以在DMF记录中进行高级查询操作。DRIVER信息空间也开放基于OAI-PMH的接口,这样其他应用也可以连接到DRIVER OAI-Publishing 服务来收割某段时间里DRIVER收割来的C-Object元数据。

DRIVER服务框架如图2所示:

图2

	Figure Option ViewDownloadNew Window
	图2 DRIVER的服务框架[ 19]

根据实现的功能不同,DNET的服务可以分成三层:

(1)数据层服务

①聚合服务:处理数据收割和聚合。收割过程从外部仓储中收集数据,聚合过程实现收割来数据的转换和清洗。

②数据存储服务:收割来数据以DRIVER对象形式被存储在MDStore数据结构资源中。

③索引服务:DMF记录、存储到MDStore中的记录,必须被索引数据结构资源索引,由索引服务创建。

④专题服务:自动生成某个主题的数据集合。专题是DRIVER对象的虚拟集合,通过对DMF字段的预先查询获得。

⑤浏览服务:提供按照语种、仓储、文献类型、出版日期、音序等的浏览。

⑥OAI-PMH服务:DRIVER 支持对外部出版的OAI发布服务,因此它支持发布UDC格式、OAI Sets、单独的条目收割,同时也可以发布DMF格式,被收割的原始格式、具有DPF的格式^{[ 20]}。

⑦数据验证服务:检查数据提供者提供的元数据是否符合DRIVER指南,保证数据质量。

⑧文本引擎服务:提供语言探测和文本抽取功能,保证收割数据的语种和其他格式的标准规范。

(2)功能层服务

①用户接口服务:最终用户和其他应用与DRIVER信息空间交互的交互服务。

②推荐服务:用户可以注册并描述自己的兴趣,从而获得特定主题新内容的推荐,为注册用户提供其所感兴趣的最新信息的通知。

③用户群服务:允许定义某个专题集合为一个用户群,这样注册用户可以订阅该专题集合。

④检索服务:为用户提供在DRIVER信息空间的检索功能。

(3)驱动层服务

①信息服务:跟踪注册到系统中的所有服务,并对这些服务提供与之相关的其他服务和资源状态的预订及通知功能。

②管理员服务:为了最大化系统服务质量,可以调度和监测加入系统的服务。

③授权和认证服务:提供了保证被授权用户和服务使用的安全机制。

④记录集服务:负责管理记录集资源。记录集合可以被许多服务创建和共享,是服务间互相交换数据的工具。

DNET的数据器服务负责数据收割和数据聚合过程。

(1)数据收割过程收割实体包括数据提供者仓储、主MDStore、其他MDStore、映射规则等。与一个仓储相关的收割活动包括:

①一个注册到DRIVER的数据提供者仓储指定了其想要发布的元数据格式列表,也就是说用listMetadataFormats 方法列出的记录子集,这个列表必须包括DC。

②系统创建一个与该仓储的收割相关的实体,要达到这个目标,系统为该仓储发布的每一种元数据创建一个MDStore来存放DC元数据,作为收割实体的主MDStore。

③收割实体被分配给一个聚合服务,它的配置由聚合器管理者指定映射规则、收割频率和收割开始时间来完成。收割总是从主MDStroe的DC元数据开始,然后开始其他格式元数据的收割。

(2)数据聚合过程聚合过程在把收割来的记录加到MDStore前清洗和改善收割来的记录。清洗过程调整收割来的记录并保存其原始的元数据格式,定义映射规则,完成基于词典的dc:type、dc:date、dc:language数据规范化,实现语言侦测、抽取文档链接等任务^{[ 21]}。这一过程的结果是感兴趣的应用可以通过连到DRIVER,收割原始仓储服务的内容,过滤和提高其质量。

改善过程将DRIVER字段与收割来的记录关联起来,以便使它们成为一个对象的一部分。对于DC记录,定义对象的DDF记录,任何被清洗的记录都通过负责的聚合服务被附加上DRIVER元数据的唯一标识符(dr:recordIdentifier)、OAI条目的唯一标识符(dr:itemIdentifier)、元数据被收割的日期(dr:dateOfCollection)、DRIVER对象的唯一标识符(dr:objectIdentifier)。聚合服务对主MDStore进行特别的处理,MDStore专门用于存储DC格式,用于在物理层展现DRIVER对象,被清洗的DC记录又被加上有关C-Object内容、结构和描述的DDF字段。

经过收割、聚合清洗调整后的数据,被存储服务存储到MDStore中,并以此为基础通过驱动层调度相应服务实现DNET的其他功能。

由此可知,DNET的信息空间和对象模型为DNET从异构数据仓储中收割数据打下基础,而DNET的聚合服务实现了从异构数据仓储中的数据收割,同时DRIVER指南为DNET从异构系统中收割数据降低了互操作的成本。

由于DNET的各项服务分别位于不同机构的不同服务器中,为了指挥调度相关的服务完成特定的需求,作为驱动层的服务起到了核心控制中心的作用。驱动层的服务根据系统要求的功能发现可获得的服务、指挥调度相关的服务合作协同,这对于异构分布式服务的实时运行和服务质量保障提供了重要的支持。以下将详细剖析驱动层的实现原理^{[ 3]}。

(1)资源模型允许松散耦合的服务之间合作的重要特征是发现服务及相关资源的能力,它保证了任何需要与另一个服务的交互,以便实现期望的功能。为了达到在动态分布的环境中发现和调度相关的可获得的服务和资源,DRIVER采用了如下思想:把相关的服务和数据结构定义为可用的资源,包括服务资源和数据结构资源,通过注册、订阅\通知机制,基于调度协议来发现和指挥可用的资源,以达到系统要求的功能。服务资源包括4.1节中提到的所有服务,代表运行网络服务的实例,它只能通过系统管理员来增加或者删除,而数据结构资源由服务根据相应的系统要求来创建、移除、更新数据结构,它们是被动的资源,受相关服务资源管理;系统通过调度(Ochestration) 协议——Blackboard协议来交互。

服务资源描述是DRIVER的资源在注册时提供的基本信息,可以在运行中实时更新。其目的是:代表资源的存在和可获得性;支持资源发现、存储;帮助系统正确处理资源以最大化服务质量的信息。

数据结构资源描述提供了相关资源的描述,与服务资源描述不同,它是由服务资源自己处理的。数据结构描述向负责数据结构的服务资源开放并被它处理。

(2)信息服务

在DRIVER架构中,资源可以实时地被增加或者移除。信息服务(Information Service,IS)的角色提供在实时更新的系统架构中资源的组成途径和各个资源的运行状态情况。事实上,资源无论何时被加到系统中,IS都会收到该资源的描述(Profile),并注册登记。一个描述文档包括关于资源类型以及该资源实体特定属性的信息,它代表资源的存在,支持它的发现。同样,如果资源被从系统中删除或被修改,进入信息服务的描述文档也必须被删除或做相应的修改。这样信息服务就在资源注册方面扮演了非常重要的作用,资源可以查找其他与特定类型和行为属性相关的资源,在IS的描述文档中查找并确定哪个是所需要的服务。此外,系统也通过预订/通知工具支持资源得到某些与其他系统资源相关的事件(包括资源描述的删除、改变和创建)的通知。

(3)管理服务

管理服务是DNET架构的指挥中心,这是为了在系统资源创建、更新和删除的过程中保证服务质量而设计的。为了达到这个目的,管理服务必须能发现可得的服务资源,并发给它们要完成操作的指令。在DRIVER中,管理服务和服务资源的通信是通过调度协议来实现的,这个协议采用了信息服务的订阅和通知机制。因此,管理服务可以订阅并及时得到任何信息服务中可能的事件的变化。这种通知的频率可以定制,并根据可获得服务的情况,采取不同的响应行动。例如,在DRIVER中引入一个新的仓储的活动包括以下步骤:

①管理系统在信息服务中查找是否有可以获得的MDStore服务来创建MDStore;

②根据订阅的信息服务中空闲的相关服务的状态,确定与一个空闲的MDStore服务进行交互,并创建MDStore;

③从信息服务中查找一个可以进行仓储聚合的聚合服务;

④命令聚合服务管理仓储收割,并存入所创建的MDStore中。

(4)调度协议

调度(Ochestration)协议是一个简单的两步协议,规定了在管理服务和服务实体之间管理信息的交换,它基于以下设想:①用“黑板”(Blackboard)的方式显示管理服务信息;②服务只要一注册,就将它的描述预订到自己的描述黑板的更新部分;③管理服务预订了所有服务的描述黑板的更新信息。该协议定义了服务的几种状态:已分配任务(Assigened), 任务进行中(Ongoing), 任务完成(Done),任务失败(Failure)。Ochestration协议的步骤如图3所示:

图3

	Figure Option ViewDownloadNew Window
	图3调度协议的工作过程[ 19]

当管理服务决定与一个服务通信时,它发出信息以更新IS中相应的描述黑板(Step A),相应的服务得到通知告知IS有改变,Step B基于该信息中所包括的服务描述,解释该服务的功能、状态。

通过这种机制,管理服务也可以操作数据结构资源。例如,系统需要为一个上载了新的元数据的MDStore更新其索引数据,系统首先查找负责索引的索引服务,与之通信并在给定的索引上进行刷新索引的功能。当服务完成了被请求的操作后,它必须用一个确认信息更新它们的描述黑板,这个响应允许管理服务来检查原有的操作成功或失败,并在必要的情况下激活一个补救操作。

(5)授权和认证服务

DRIVER的认证和授权服务提供了利用认证和授权机制加强系统安全性的功能。该服务的架构基于eXtensible Access Control Markup Language (XACML),XACML处理分布的异构企业级系统的认证和授权。

DNET的设计目标是构建分布式的、异构的、动态的知识架构,其服务实体可能分布在互联网上不同的地方,通过驱动层调度这些具有不同功能的资源和服务,实现特定的功能。因而DNET比较适合于大规模的、需要在异地部署不同服务、强调通过动态调度符合需要的可获得的资源和服务,以实现特定功能的大规模行业或者国家级数字仓储联盟。

尽管DNET1.2将提供对不同的数字仓储开放的不同元数据格式向OAI-DC的映射,但标准化在对个体数字仓储数据的收割聚合中的重要性依然不能忽视。在DRIVER实施运行中,DRIVER指南起到了非常关键的作用,它提供了对于元数据格式、开放元数据格式的实施细则,并对一些语义和结构信息进行了详细的规范。在数字仓储及仓储联盟建设实施过程中,无论采用什么样的软件平台,都必须遵循国际通用的标准,对标准的扩展也应该采取慎重而合乎标准要求的做法,否则必定将会造成与外部数据交换的障碍,提高数据收割聚合的复杂度和仓储联盟建设的成本。

仓储联盟可提供的服务是其得以存在的基本理由。只有当它能够提供不可替代的服务的时候,其存在才具有合理性。从DNET当前的服务来看,主要提供集中检索、浏览、按主题浏览、按特定需求推荐订阅等基本功能,但DNET的后期版本将提供引用分析、增强出版物、可视化分析等服务,这将会提高其吸引力。

(致谢:本文受国家留学基金和国家科学图书馆骨干人员提升计划支持,并得到DRIVER项目承担者德国哥廷根大学图书馆、Bielefeld大学、意大利国家研究中心(CNR)的大力支持。在此感谢Dr. Norber Lausso, Dr. Dale Peter的帮助。)