(1) 元数据转换

为了把MARC格式的书目数据转换成RDF格式的关联数据, 首先需要将这些书目数据对应的元数据格式转换成本体表示的结构, 即构造和MARC格式相应的本体模式来描述书目数据中的语义信息。目前国内外已有一些描述书目数据的本体, 如欧盟DERI (Digital Enterprise Research Institute) 创建的MarcOnt Ontology^{[ 22]}, 用于不同格式的书目描述间的转换。D’ Arcus & Giasson等人开发的基于RDF的书目本体Bibiliographic Ontology Specification^{[ 23]}, 可以作为其他书目数据源交换的通用词汇基础。NSTL书目本体^{[ 24]}作为将数据库中的书目数据转换成关联数据的本体参照。Kvision本体^[25]利用书目数据自动构建本体辅助对网络信息资源的组织和利用。这些本体和知识组织都部分地实现了MARC格式向RDF数据及本体模式之间的转换。

MODS (Metadata Object Description Schema) 是由美国国会图书馆2002年制定的一个基于XML的文献描述Schema^{[ 26]}, 用于融合MARC和DC中的元数据描述, 能够和现有的数据资源描述高度兼容, 而且更加适应互联网环境。SIMILE^{[ 27]}项目是由W3C、麻省理工大学图书馆和麻省理工大学科学和人工智能实验室联合研制开发的, 主要关注数字资源的互操作性。在SIMILE项目中, 由Stefano Mazzocchi开发研制的本体RDF Ontology for MODS V3.1^{[ 28]}将MODS V3.1中的要素 (Element) 描述成本体中的类和属性, 以便对相关的数字资源进行转换和交换。

考虑到MODS承启了MARC格式中元数据的描述, 和其他图书情报领域的受控词表互为补充, 并在领域内有较强的权威性, 笔者在书目数据的转换中采用RDF Ontology for MODS V3.1作为书目数据转换的参照本体, 用于描述书目数据的元数据属性。RDF Ontology for MODS V3.1共定义了40个类和62个属性, 其中不包含子类的有11个类, 包含子类的有5个类;属性则分为6大类, 分别是General Properties、Item Properties、Name Properties、Item Relationships、Record Properties和Roles。

RDF Ontology for MODS V3.1各个类的名称和包含子类个数如表1所示。RDF Ontology for MODS V3.1的Subject Type中类和子类间继承关系如图3所示。

通过参照RDF Ontology for MODS V3.1, 笔者可以将书目数据转换成RDF的描述格式。

表1

表1

表1 RDF Ontology for MODS V3.1分类 类名 所属类别 包含子类个数 Record Classes 0 Date Classes 0 Classification Classes 0 Audience Classes 0 Genre Classes 0 Language Classes 0 Description Classes 0 Form Classes 0 Publisher Classes 0 Conference Classes 0 Corporation Classes 0 Title Title Type 4 Name Name Type 3 Item Item Type 12 Subject Subject Type 6

表1 RDF Ontology for MODS V3.1分类

图3

	Figure Option ViewDownloadNew Window
	图3 Subject Type中类和子类间继承关系

(2) 书目数据转换

笔者从Project Gutenberg Australia (PGA) 项目^{[ 29]}中下载1 281条MARC格式的书目数据。Project Gutenberg Australia网站是Choat在2001年创立的对澳大利亚的知识产权已经到期的电子书和电子文档进行免费共享的一个组织。为了对多种书目数据进行关联, 笔者从code4rda (Software for the Resource Description and Access (RDA) Library Standard) 项目中^{[ 30]}下载了155兆的美国国家图书馆发布的NT格式的RDA数据。RDA格式^{[ 31]}是图书馆资源描述的新方式, 和传统的FRBR方式相比, 它更适合对网络上的互联数据进行描述, 并且非常适合由关联数据的格式进行表达。NT格式是RDF数据格式的一种, 无需做数据转换即可和其他的网上数据资源进行关联匹配。笔者对PGA中下载的MARC格式数据进行转换, 如图4所示:

图4

	Figure Option ViewDownloadNew Window
	图4 书目数据转换

图4的上半部分是一段由MARC格式标记的书目数据, 包含相关的元数据信息和具体的书目信息。经过转换后生成的RDF文件保存了MARC数据中所应有的元数据信息, 同时把相关的书目数据实例转换成一个RDF资源实体的实例 (<role:creator rdf:resource=“http://simile.mit.edu/2006/01/Entity#Cather_Willa_18731947”/>) 。这个实例由URI标签唯一指定, 发布后可以在浏览器中直接浏览。对于书目数据中的作者数据, 转换后的RDF数据把作者作为一个实体 (Entity) 的实例 (<rdf:Description rdf:about=“http://simile.mit.edu/2006/01/Entity#Cather_Willa_18731947”>) , 并通过本体中定义的Person类型对作者这个实例进行数据类型的约束 (<rdf:type rdf:resource=“http://simile.mit.edu/2006/01/ontologies/mods3#Person”/>) 。作者的生卒年月 (<modsrdf:dates>1873-1947</modsrdf:dates>) 和全名 (<modsrdf:fullName>Cather, Willa.</modsrdf:fullName>) 是这个作者实例的属性, 和作者相关的作品被定义成本体中的文本类型 (<rdf:type rdf:resource=“http://simile.mit.edu/2006/01/ontologies/mods3#Text”/>) , 作品的标题 (<modsrdf:value>Death Comes for the Archbishop</modsrdf:value>) 标记为Title标签 (<modsrdf:title>) 。为了方便在互联网上进行信息共享, 转换后的RDF数据采用RDF/XML格式, 方便被其他的网络应用程序访问和处理。

为了最大化地防止信息丢失, 在MARC数据向RDF本体实例进行转换中保存了大部分的MARC数据物理格式和语言信息, 分别由标签modsrdf:dateIssued、modsrdf:language、modsrdf:physicalDescription等进行描述。而与原始MARC数据相关的项目信息也被保留在生成的RDF本体实例数据中, 由标签modsrdf:note进行标识。

通过对比RDF本体实例数据和MARC格式的书目数据, 可以看出RDF本体实例数据对语义关系和实体属性的描述更加精确, 依照本体定义的实体属性关系对数据进行层次化的定义和描述, 不仅仅是平面化的、简单的数据描述。本体实例的方式对书目数据中的各个不同的部分进行描述, 可以灵活地对这些数据进行有机的组织和阐释, 也符合语义网的命名规范和关联数据原则^{[ 32]}, 适用于现在广为接受的网络信息传播方式。

为了把图书馆的书目数据和其他关联数据集连接起来, 并成为开放关联数据社区的一部分, 笔者主要把MARC格式的书目数据和两类数据互相关联:其他格式的书目数据资源和开放关联数据社区中的非书目数据资源。通过把不同的出版机构之间的书目数据资源互相关联, 用户可以对相同的作者、主题、作品等有全面的认识, 从而进行全面和系统的查找和理解。另一方面, 通过把书目数据和开放关联数据社区中的非书目数据资源相互连接, 可以使图书馆的数据信息真正融入关联数据社区, 为图书馆的语义服务提供数据资源和语义关系, 对关联社区进行有效的扩展和补充。由于人名数据在书目数据中出现频次较高, 且有较高的辨识度, 不易发生歧义, 本文对关联数据的匹配主要从作者人名方面进行实现。

(1) MapReduce模型实现

为了实现数据关联匹配任务, 笔者使用开源软件Hadoop, 并应用分布式编程模型MapReduce来进行任务部署。Map过程先对数据进行处理, 然后将它们发给Reduce过程。Reduce过程接受到Map过程发来的文件后再进行详细的比较, 将有<owl:sameas>关系的关系对进行输出。这一过程的伪码如下所示:

Map (K, v) :

//K: document name

//v: target field

For each v:

V=Sort (v) ;

在Map过程中, 笔者将有相似的带比较字段的文件归并到一起。比如对文件中的人名字段进行比较, 可以把人名字段中姓的首字母相同的文件都放到同一个数据组中, 然后将这些有相似的带比较字段的文件发送给同一个Reduce过程进行处理。这一过程的伪码如下所示:

Reduce (K, V) :

//K: the similar target field value

//V: a array of the document D with the similar target field

L = null;

L ← V;

For each L (d_i, v_i) and L (d_j, v_j) :

If d_i<>d_j

Then Compare (L (d_i, v_i) , L (d_j, v_j) ) ;

Reduce过程接受来自Map过程的中间数据, 对于被比较字段相似的两个文件, 如果它们不是同一个文件, 就执行比较程序Compare () , 找到并输出两个文件之间的关联关系。通过MapReduce模型, 笔者可以在Map过程中对数据进行预处理, 从而在Reduce过程中只需对被比较字段相似的文件做比较, 从而避免了对所有输入的文件做笛卡尔映射来找到两两相似的关系。同时, 由于MapReduce任务可以同时在多台计算机上并行运行, 可以有效地提高数据处理的效率。

(2) 书目数据间的关联匹配

在书目数据和书目数据的相互匹配中, 笔者使用由PGA项目提供的MARC数据和XML数据转换成的RDF/XML格式的数据, 见图4。另外, 还采用code4rda项目中的RDA形式的NT格式的书目数据, NT格式是以RDF三元组的形式来表示。图5所示的代码显示了书目的名称和作者关系, 包括书名“In a sunburned country”和作者“Bill Bryson”。

图5

	Figure Option ViewDownloadNew Window
	图5 RDA形式的NT格式书目数据

为了找出两种书目数据之间的关系, 在进行关联比较的Compare () 部分笔者使用了开源的关联数据连接工具SILK^{[ 33]}, 用SILK-LSI来查找并构建两个书目数据集间的数据关联如图6所示:

图6

	Figure Option ViewDownloadNew Window
	图6 SILK-LSI语义关联发现

SILK使用一种专有的连接语言Link Specificaiton

Language (SILK-LSI) 来完成对两个关联数据资源间的语义关联发现, SILK-LSI以XML的形式表现。由于两个书目数据都较易获取, 为了提高匹配效率, 笔者采用将数据源下载到本地进行匹配的方式。在SILK-LSI文件中使用<DataSources>对读取的数据源位置进行指定。如果需要在读取数据源时采用访问SPARQL Endpoint的方式, 只需要在<DataSources>标签中指明endpointURI即可。代码如下所示:

<DataSource id="dbpedia" type="sparqlEndpoint">

<Param name="endpointURI" value="/sparql" />

<Param name="retryCount" value="100" />

</DataSource>

其中, type="sparqlEndpoint"表明使用的是SPARQL Endpoint的方式进行访问, 对于一个返回数据的链接retryCount, 返回数据的数量是100个, 即value="100"。

对于两个关联数据源, 可以通过<Interlinks>标签来标注要进行匹配的关联信息, 并通过<Interlink>标签命名和解释每一个关联信息。图6显示了两个书目数据间的关联连接RdaLibrary, 它连接的源数据是RDF/XML格式数据中的Person类型, 目标数据是RDA数据中的purl:Person类型, 关系的类型是owl:sameAs关系。

在RDA数据中, 人名取用的preferredNameForThePerson标签的值 (value) , 而在RDF/XML格式数据中取的modsrdf:fullName的值。由于在不同的数据集中, 同一数据的表示形式可能会有区别, 如“Zane, Grey”在另一个数据集中的表现方式可能是“Grey Zane”。因此, 在进行匹配时, 去掉了数据中的标点和空格等没有意义的符号, 并把大小写不一致的数据全部转化为小写数据。这一步骤通过<TransformInput>中的函数来完成。经过转换后的两个字符串通过笔者定义的条件即相等关系equality来进行比较, 并给拥有此关系的关系组赋予权值1, 通过语句<Compare metric="equality" required="false" weight="1">来实现。对于owl:sameAs关系, 当两个进行匹配的关联实体间的最小相似度大于0.8的时候, 即认为这组实体关系为equality, 并对这组关联关系进行输出, 通过标签<Output>来完成。

通过对两组书目数据进程匹配, 可以得到两个数据源中关于作者的关联关系共56条。RDF/XML数据和RDA数据间owl:sameAs关系中的一个例子如图7所示, 描述了RDF/XML数据中的一个数据资源实体“Entity#Allen_Grant_18481899”和RDA数据中的数据资源“person/00006568-1”间的关联关系。

图7

	Figure Option ViewDownloadNew Window
	图7 RDF/XML数据和RDA数据间owl:sameAs关系

通过找到这些数据集之间的“owl:sameAs”关系, 笔者可以将RDF/XML数据和RDA数据互相联系起来, 通过RDF/XML数据中的内容可以直接查找到RDA数据与之相对应的部分, 如相同作者的不同出版物、作品等, 反之通过RDA数据也可以有效查找到RDF/XML数据中的相关内容。

(3) 书目数据和DBpedia之间的关联匹配

对于开放关联数据社区中的数据, 笔者选用DBpedia来获取和书目数据间的关联关系。首先从网上获取DBpedia的相关数据227兆^{[ 34]}, 并把它和RDA书目数据以及RDF/XML书目数据进行匹配。DBpedia的数据格式如图8所示, 包含人名信息“Attila the Hun”, 类型是“foaf/0.1/Person”, 以及相关描述“Khan of the Huns from 434 until his death”。

图8

	Figure Option ViewDownloadNew Window
	图8 DBpedia数据

在DBpedia数据中关于人名的解释使用FOAF中定义的Person格式, 这种方式将人名分成了“surName”和“lastName”两部分来进行组织。因此, 笔者在做匹配的时候需要将这两部分组合起来以适应统一的人名匹配模式。

通过将DBpedia的数据和RDF/XML数据进行匹配, 得到两组数据间相关的连接共134条, 如图9所示, 关联连接把RDF/XML书目数据中作者和DBpedia中的人物联系起来。用户可以通过这些连接来查看作者在DBpedia中的相关生平和事迹, 也可以通过DBpedia中的人物来查询图书馆书目数据中与其相关的作品和出版物。

图9

	Figure Option ViewDownloadNew Window
	图9 DBpedia和RDF/XML数据间的owl:sameAs关系

同样, 对DBpedia和RDA数据中有语义关联的数据进行查找, 共发现两者间的owl:sameAs关系1 279条, 其关联关系如图10所示, 通过对不同数据源之间进行关联匹配, 可以找到其中相同的部分并建立语义连接, 从而方便读者进行信息浏览和知识发现。

图10

	Figure Option ViewDownloadNew Window
	图10 DBpedia和RDA数据间的owl:sameAs关系