云计算是一种基于因特网的超级计算模式,它包括以下几个层次的服务:基础设施即服务(Infrastructure as a Service,IaaS)、平台即服务(Platform as a Service,PaaS)和软件即服务(Software as a Service,SaaS)。

IaaS也称基础设施云,是指消费者通过Internet可以从完善的计算机基础设施获得服务^{[ 1]}。它是云计算的最底层,也是最重要的一层。

本文将一个典型的基础设施云解构为5个子系统,分别是:虚拟化运行环境子系统;云存储子系统;虚拟网络子系统;模块互联子系统;用户管理子系统。其中云存储系统是基础设施云中不可或缺的一部分,它可以通过两种方式为用户保存数据:用户可以将数据存储在虚拟磁盘存储系统提供的虚拟磁盘中;用户可以将数据写入文件,然后上传文件至在线存储系统。本文设计并实现了基础设施云存储子系统中的在线存储系统。

在基础设施云的研究方面,国外起步比较早,其技术更为先进成熟。国内起步较晚,可供参考的研究比较少。本文考察了多种开源的基础设施云,分析了其中的存储系统。

(1)Eucalyptus^{[ 2]}是一个开源的云计算平台。它通过一组面向用户的接口和亚马逊的EC2、S3服务标准兼容。作为一个典型的模块化系统,Eucalyptus是一种属于IaaS的私有云和混合云,将基础设施资源(如计算资源、存储资源和网络资源)通过单一的接口提供给用户访问。Eucalyptus中的组件Walrus是一种基于对象的存储,实现了亚马逊S3接口,以取出(GET)和放入(PUT)的方式提供对虚拟机镜像的一致性存储,并对用户数据提供访问控制机制。而存储控制节点SC是一种块级的网络存储资源。它实现了亚马逊的 S3 接口,通过网络文件传输协议,实现弹性存储,为虚拟机提供数据的保存。SC 与 Walrus 联合工作,用于存储和访问虚拟机映像、内核映像、RAM 磁盘映像和用户数据。

(2)OpenStack^{[ 3, 4, 5]}是由RackSpace和NASA提出的一个云计算项目,旨在让任何人都可以自行建立和提供云端运算服务。OpenStack中的子项目Swift 提供对象存储。

(3)Scalr^{[ 6]}是一种开源的基于Web的云计算管理平台,用它来管理亚马逊弹性计算云,由Scalr公司开发。Scalr可以创建和管理超规模的基础设施,提供并配置从缓存到数据库的所有东西,来处理需求高峰。

(4)Nimbus^{[ 7]}是一个开源工具集,提供“基础设施即服务”(IaaS)的云计算解决方案,得到了Ocean Observatories Initiative(OOI)、Future Grid Project、NSF SDCI Missing Links Project、NSF CSR Virtual Playgrounds Project、DOE SciDAC CEDPS Project的支持。Nimbus包括云存储服务,称为Cumulus,它与亚马逊网络服务S3的REST API及其他中央服务兼容(如配额管理)。

(5)Enomalism^{[ 8, 9, 10]}是一个开源的基于网络的虚拟基础设施平台,它提供了一个功能类似于EC2的基础设施云。Enomalism基于Linux,支持Xen、KVM和VMware虚拟机管理器。而它的不同之处在于,Enomalism 提供了基于 TurboGears Web 应用程序框架和 Python 的软件栈。

在线存储系统是基础设施云中的重要组成部分,用户可以通过以太网访问该系统。系统主要包括文件的上传、下载、删除、设置访问权限等操作。这些操作会根据不同用户呈现出不同形式。该系统总共包括16个功能原语:访问控制列表管理、创建Bucket、删除Bucket、Bucket的版本控制信息管理、查询用户Bucket信息、上传Object、下载Object、删除Object,镜像文件的绑定、上传、注册、注销、下载以及快照保存、删除、下载。

在线存储系统中的每个Bucket和Object都绑定一个访问控制列表(Access Control List, ACL)信息。ACL定义了不同用户或组对Bucket和Object的访问权限。例如,用户A创建了一个Bucket,名为bucketA,如果定义的ACL列表中授权用户B对该Bucket具有写权限,那么用户B就可以在该Bucket中上传Object。当用户B上传Object时,系统需要验证该用户是否对bucketA具有写权限,验证通过后,执行上传文件操作,否则返回Access Deny的错误通知。当用户创建Bucket或上传Object时,系统会为用户创建一个默认的ACL,使该用户对该Bucket或Object具有完全访问权限。

使用ACL的实际用途体现在:对于个人而言,可以通过设置某个Bucket或Object为对所有人可读,表明该文件为公开,可以向所有人分享;也可以设置指定用户的读写权限,表明只向这些人公开;也可以设置某些隐私文件只有自己具有读写权限。对于一个公司或组织而言,可以设置Bucket或Object为所有人可读,表明文件为公用;也可以设置某个Object对某个组用户为可读可写,表明该文件为某个部门所管理。但需要说明的是,对于Admin用户而言,ACL是失效的,也就是说管理员可以查看所有普通用户的Bucket和Object。用户访问带有ACL的Object对象的过程如图2所示:

图2

	Figure Option ViewDownloadNew Window
	图2 用户授权访问流程

ACL的权限可分为5种:FULL_CONTROL, WRITE, WRITE_ACP, READ, READ_ACP,权限解释如表1所示:

表1

表1

表1 ACL权限说明 权限 在Bucket上设置权限 在Object上设置权限 设置值 READ 允许被授权者列出该Bucket的所有Object 允许被授权者读取Object数据和Object的Metadata信息 globalRead= true WRITE 允许被授权者在该Bucket创建、覆盖、删除任何此Bucket中的Object 无 globalWrite= true READ_ACP 允许被授权者读取该Bucket的ACL信息 允许被授权者读取该Object的ACL信息 globalReadACP= true WRITE_ACP 允许被授权者向该Bucket写ACL信息 允许被授权者向该Object写ACL信息 globalWriteACP= true FULL_CONTROL 允许被授权者对该Bucket拥有READ、WRITE、READ_ ACP、WRITE_ACP 权限 允许被授权者对该Object拥有READ、READ_ACP、WRITE_ACP、WRITE权限 globalRead= globalReadACP= globalWrite= globalWriteACP= true

表1 ACL权限说明

下面将以上传Object功能的实现为例进行详细的阐述。

用户上传Object时,上传的数据流保存在HttpRequest中,服务器获得上传的数据流后,对其进行分块并保存在一个数据块队列中。这里需要使用多线程机制并保证线程安全(如果多线程每次运行的结果和单线程运行的结果是一样的,而且其他的变量值也和预期是一样的,就是线程安全的)。当同时有多个用户或单个用户上传多个文件时,上传数据都不会互相干扰。其主要流程包括:

(1)数据库中查找上传Object所在的Bucket;

(2)判断Bucket的Versioning属性是否设置为Enabled,如果为Enabled,则产生一个全局唯一随机数赋给Object的VersionId,否则其VersionId为null;

(3)获得上传文件的数据块队列;

(4)在Bucket中写入上传的Object文件。

文件上传与下载时与数据库的交互过程如下:

(1)用户上传test.ppt,向在线存储系统发送上传文件请求PUT Bucket/test.ppt,请求转到Manager.java。

(2)调用Manager.java的putObject方法,在Bucket下创建test.ppt文件,其文件名object_name为使用UUID生成的全局随机码。

(3)向数据库发送commit操作,将该Object的ObjectInfo条目保存在数据库中,test.ppt作为object_key保存在ObjectInfo中。

(4)用户下载test.ppt,向在线存储系统发送下载文件请求GET Bucket/test.ppt。

(5)调用Manager.java的getObject方法,到数据库中查找用户所需下载文件。

(6)通过以下代码在数据库中查询用户请求下载的文件:

//以bucketName(Bucket)和objectKey(test.ppt)为参数,实例化一个ObjectInfo

ObjectInfo searchObjectInfo = new ObjectInfo(bucketName, objectKey);

searchObjectInfo.setVersionId(request.getVersionId());

//设置VersionId

searchObjectInfo.setDeleted(false);

//设置Delete标识为false

if(request.getVersionId() = null)

searchObjectInfo.setLast(true);

//设置Last为true

//在数据库中查询满足上面条件的searchObjectInfo,保存在List objectInfos中

ListobjectInfos=dbObject.query(searchObjectInfo);

ObjectInfo objectInfo = objectInfos.get(0);

//得到用户需要下载的objectInfo

(7)找到文件后,通过cURL的HTTP数据传输将test.ppt下载到用户本地。

具体过程如图3所示:

图3

	Figure Option ViewDownloadNew Window
	图3 用户上传下载文件时与数据库的交互

在线存储系统界面如图4所示,左边为折叠目录,点击“云存储空间”的“云端目录”会显示系统的界面。后面为系统的显示区,系统的功能有“创建目录”、“删除目录”、“刷新目录”、“上传文件”、“下载文件”、“删除文件”,点击相应的按钮可以完成相应的功能。上半部分显示上传的目录名称和创建的时间,下半部分显示所选目录包含的文件名称。

图4

	Figure Option ViewDownloadNew Window
	图4 在线存储系统界面

本系统实现了目录的创建、删除、刷新,文件的上传、下载与删除功能。如:点击“创建目录”按钮,在系统弹出的对话框中输入目录的名字,目录创建成功,可以在系统右半部分查看已创建的目录,如图5所示:

图5

	Figure Option ViewDownloadNew Window
	图5 创建目录

要在test目录下上传文件,则用鼠标选中test目录,然后点击上传文件,等待文件上传成功后,则可以在右半部分查看已上传的文件。图6为上传文件后的系统图。

图6

	Figure Option ViewDownloadNew Window
	图6 上传文件

基础设施云是云计算平台最基础的部分。文章设计研究了基础设施云中云存储子系统的在线存储系统,进行了系统的设计并实现了目录的创建、删除、刷新,文件的上传、下载与删除功能。系统满足用户对存储的需求,扩展了存储空间,提高了存储效率。本系统是实现一个完整的云平台的重要部分。未来将继续完善该系统的功能,提高其安全性,使其更加贴合用户的需求。