语义Web力图实现所有网络数据的无缝连接,并使数据能被计算机自动处理和理解,最终目标是使计算机能够在海量信息中找到真正满足需要的任何信息。语义Web技术能够在任何微小网络数据之间建立连接,同时能够帮助人们更精确地描述数据的含义^{[ 3]}。关联数据技术是实现数据网络的最佳实践,通过在语义Web中使用URI和RDF发布、分享、连接各类数据、信息和知识,从而可以通过HTTP协议揭示并获取数据,同时强调数据的相互关联以及有益于人机理解的语境信息^{[ 4]}。关联数据为实现语义Web奠定了坚实基础。Metaweb公司充分利用关联数据和语义Web的理论和方法,于2007年3月在线发布了语义数据库项目Freebase。2010年9月的LOD数据云图显示Freebase和DBpedia是整个LOD数据云图的数据中枢,如图1所示：

图1

	Figure Option ViewDownloadNew Window
	图1 2010年9月的LOD数据云图[ 5]

朝乐门等^{[ 6]}介绍了DBpedia的6个特征,同时总结出DBpedia存在的一些问题,如数据结构化程度低、数据不一致以及数据质量低、数据权威性和规范性不高、对Wikipedia数据的更新存在滞后性等。Freebase与DBpedia是非常相似的项目^{[ 7]},它们都从维基抽取结构化数据并发布成RDF。但Freebase是完全结构化的数据库,且数据来源不局限于维基,更导入了数量众多的专业数据集,并提供先进的数据查询和录入机制,相比DBpedia数据更全面,功能更为强大。Freebase与DBpedia的数据在2008年11月通过内置OWL属性owl：sameAs进行互联,使这两个数据集关联更密切。

自底向上（Bottom-up）地建设语义Web,即从简单关联大量开放数据集开始,逐渐积累并丰富其语义,已经获得越来越多的共识。这种方式通过发布W3C支持的标准（如RDF,OWL）来定义资源和语义关联,技术有效且功能强大。缺点是对人类阅读和创立知识来说显得较为复杂和困难,且缺乏W3C支持的通用本体。目前许多社区和机构通过协作来构建大型语义知识库,数据由各领域专家手动贡献或由数据集建立者使用工具自动添加,再由程序或人工为数据进行语义分析。

Freebase从多个角度来集成数据：

（1）提供一个AJAX页面,用户可以通过编辑数据云中的单个节点添加或修改数据;

（2）提供开放的API工具MQL给专家级用户或数据集拥有者,方便他们把已存在的数据集集成到Freebase数据云中;

（3）通过数据萃取工具（如Yahoo Pipes, Dapper）对HTML页面进行数据萃取,通过MQL导入到数据云中;

（4）对数据进行建模操作的用户可以通过MQL直接将数据集成到数据云中。

MQL包含了对数据读写和查询等各方面的功能,通过MQL进入数据云中的数据已具备语义,用户可以使用RDF API对数据云中的数据进行读取并发布到页面中,应用程序开发者可以直接使用MQL对数据进行读取和使用。Freebase数据的导入和使用都需遵守Creative Commons Attribution License^{[ 8]}。

相比DBpedia只从Wikipedia抽取数据,Freebase数据来自多种多样的数据集。一些数据由Freebase的Data Pipeline自动数据导入任务程序定时导入,如Wikipedia的数据每两周自动导入,Netflix的数据每一周执行自动导入。另一些由Freebase数据小组或社区成员使用MQL或其他数据导入工具批量导入,另外还有个人用户通过页面逐条手工编辑来增加数据。

Freebase的许可协议要求贡献者只能提供与Freebase许可条款兼容的数据,目前Freebase已经集成的一些知名数据源^{[ 9]},如表1所示：

表1

表1

表1 Freebase已经集成的部分知名数据集 数据源名称 数据内容 Wikipedia 维基的文章提供了Freebase核心的条目 Wikipedia Commons 与维基文章关联的图像 EDGAR 美国证券交易委员会的数据,包括了在 美国上市公司信息 Open Library Project 图书及作者信息 Stanford University Library 斯坦福大学图书馆数据 TVRage 电视剧集信息 ISFDB 科幻小说数据信息 MusicBrainz 开放的音乐百科全书,收集提供音乐元数据 National Register of Historic Places 美国官方文化资源列表 OurAirports 全球机场信息 ITIS 动植物分类 World of Spectrum 互联网在线游戏中心信息 CrunchBase 科技公司、个人、投资者、金融机构信息 Library of Congress 国会图书馆数据

表1 Freebase已经集成的部分知名数据集

此外,还有很多如足球运动员数据库、地理名称信息系统、美国国家医疗数据库、美国教育统计信息等符合Freebase许可协议的数据在不断地被导入。随着人们对关联数据的研究越来越深入,更多的信息中心,包括政府、机构、各种组织开始使用语义Web技术和关联数据组织发布他们的信息和数据^{[ 10]}。未来Freebase数据源将无限扩展,Freebase建立全球信息中心的理想将逐步变成现实。

Freebase后台数据库（Graphd）以节点和节点间关系的图状结构来组织数据,与传统关系数据库以表的方式组织数据完全不同^{[ 11]}。Freebase服务器与Graphd紧密绑定,通过二进制数据存储块来储存图节点和节点关系,以哈希表的方式存储组织数据,在用户上传、下载数据时起到临时数据缓冲作用,在对数据进行检验处理后再保存到Graphd中^{[ 12]}。Graphd的图结构由一系列节点和反映节点间关系的有向连线组成。图中每个节点记录与自身相关的信息,数据库中所有相关数据都以记录节点间关系的方式组织数据进行存储。Graphd以数组的方式对节点和其关系的元数据进行建模,以表格形式存储。表格中的每条数据对应一个节点关系数组,数组由源节点、属性、目标节点、源节点值组成。属性是节点间的关系,系统不以已存在的节点关系对新关系进行预定义。新属性表示一种新关系,可以在用户需要时被定义。在图中,属性也可以是节点,当属性为节点时,它将保存在数组表中的源节点列中,并与自身产生关系。Graphd中定义了一些必要属性作为架构中最基础的部分,如“/type/object/name”属性支持节点定义可读性较强的名称。基础属性为其他用户定义的属性规定了基本行为,数据库本身也依赖这些行为。

Graphd的图是有向图,节点关系的方向从源节点指向目标节点。虽然关系是有向的,但执行数据查询时,Graphd可以向前和向后遍历所有有向连线来获取查询结果。因为Graphd会按不同方向遍历连线,所以可以将节点间连线看作具有双向性。在属性定义时,可以将一个方向的属性定义为“主属性”,反向上定义为“逆属性”,这两个属性也称为“互惠属性”。在Graphd中,可以通过“/type/property/reverse_property”属性标注主属性和逆属性,从而实现关系的双向遍历。具体而言,当用户输入问题时,数据库引擎会分析用户输入的问题,得到问题的主体和可能所处的领域,在“源节点”列和主属性“属性”列中进行检索,然后将所有匹配的“目标节点”列中的值反馈给用户。也会反向在“目标节点”列和逆属性“属性”列中检索,也将所有相匹配的“源节点”列中的值反馈给用户,这样可以将所有用户想知道的信息呈现给用户。这种架构设计有效地保障了数据的查全率。

Freebase的图存储结构是一种可扩展元组存储,包含内置的查询规划和性能优化,允许快速和深入地构建数据,使查询能够被高效执行。这使得在数据查询方面没有特别技巧的用户借助Freebase数据也能构建高性能的系统和算法,为用户开发应用程序提供了性能保障。数据存储整合了反转机制（Revision）,支持所有数据编辑的反转（Undo）,因此允许大规模复杂操作回转到任何阶段。图存储支持所有数据属性的细粒操作,这些特性使得数据在面对恶意攻击时也能保证其安全性。

基于Freebase数据库架构的特点,可以把数据库想象成由一个个数据节点构成的庞大的数据云图。为了对如此多的数据进行表示和组织,Freebase使用了一个轻量级分类系统（Type System）。这套分类系统是一个结构化机制和约定的松散集,而不是本体和陈述固定的系统^{[ 13]}。分类系统支持协作创建数据分类和属性,不会将世界上所有知识固定在条框之内。用户对同一知识不同的理解和观点可以通过为数据条目添加不同的分类和属性来表示。例如对Arnold Schwarzenegger,可以为其添加多个Type（如Person,Actor等）来表示他不同的身份^{[ 14]}。不同分类的元数据定义了各自的属性（Property）,通过众多属性值来全面揭示Arnold Schwarzenegger的信息。需要注意的是,Arnold Schwarzenegger作为一个数据条目（Topic）在Freebase系统里是唯一的,表示且仅表示现实世界中唯一的一个实体或概念,也就是说在Freebase数据云中,对应现实世界中Arnold Schwarzenegger这个人的只有唯一一个节点。

Freebase的分类系统包含很简洁的核心概念（Topic,Type,Property,Schema）,如此设计是为了能够与其他系统的本体结构实现简单方便的映射。在Freebase中每条信息称为一个条目（Topic）,一个条目是特定且具有明确意义的数据（如人物Arnold Schwarzenegger）,也可以是一个抽象概念（如数学中的圆周率PI,基督教）。类型（Type）给条目分类,一个条目可以有多个类型,并且条目的类型可以随时添加或删除。与条目类似,一个类型仅表示唯一的一个意义,但Freebase允许为类型起别名,方便在不同的上下文语境中使用。类型不存在继承机制,而是通过在需要时创建来丰富。这是因为每一个类型元数据定义了不同的属性,例如类型“Film Actor”不会从“Person”继承,因为有些演员不一定是人（如动物）,但两者可能会有相同的属性（如参演的电影Films）。通过为现实世界中实体定义类型并定义类型元数据,就能全面描述实体。属性（Property）是Freebase中最重要的概念,表示节点间关系。属性值可以是一个字面量,也可以是与其他条目之间的关系（如is a parent of）。每一个属性值会要求一个期望类型（Expected Type）,意思是当填写一个属性值时需要填写的是一个类型还是一个条目或者是一个字面量等。当一个属性的期望类型是一个条目的时候,就会将两个条目连接起来,相当于把数据云中的两个节点连接起来,从而形成整个数据云。每一个类型是零个或多个属性集合,这被称为这个类型的模式（Schema）,模式本质上是定义了一个类型的元数据,也可以理解为语义Web中的本体。

Freebase还设计了其他一些相关概念,如命名空间（Namespace）、域（Domain）、Key、ID等^{[ 15]},这是为了帮助组织类型元数据,赋予条目可读性比较强的URI。通过一些很简洁的概念设计,Freebase很好地实现了知识表示和组织,不仅实现了语义Web和关联数据的技术要求,而且使数据的浏览和使用更为方便和简单。这种简单的体系设计使之与其他基于本体结构数据集的本体映射与数据融合较为容易。Freebase提供模式查看工具^{[ 16]}来帮助用户了解知识组织的体系。图2显示了域Library的模式。

图2

	Figure Option ViewDownloadNew Window
	图2 域Library的模式可视化