数字图像管理系统模型设计与实现
张军亮, 朱学芳
南京大学信息管理系、多媒体信息处理研究所 南京 210093
摘要

从用户角度出发,设计一个面向大众用户的,集数字图像采集、处理、存储和检索等功能于一体的数字图像管理系统模型,并研究标注词的数量对于语义检索的准确率和召回率的影响。实验表明,本系统模型能够满足大众用户对于数字图像管理的需求。

关键词: 数字图像; 管理系统模型; 系统构建
中图分类号:TP393
Model Design and Implementation of Digital Image Management System
Zhang Junliang, Zhu Xuefang
Department of Information Management, Institute of Multimedia Information Processing,Nanjing University, Nanjing 210093, China
Abstract

From the view of users, the article designs and implements an image management system model involving the function of acquisition, processing, storage and retrieval of digital images for the public users. It also discusses the effect of the number of marked words for the precision and recall of semantic retrieval. The experiments show that the system model can meet the needs of the public users for digital image management.

Keyword: Digital image; Management system model; System construction
1 引 言

随着信息化技术的飞速发展,数字图像被越来越广泛地应用于人们的日常生产和生活,普通的信息用户也需要对一些数字图像信息资源进行管理。国内外已经对数字图像管理进行了一些较为深入的研究。

(1)在数字图书馆建设和管理方面,主要研究成果包括:中英文图书数字化国际合作计划[ 1](CADAL)项目中设计了基于内容和语义方式的数字图像检索功能,其中的语义标注由系统管理者添加;敦煌学数字图书馆专门针对该馆的图像资源特性,开发了数字图像采集、管理以及存储系统[ 2],但主要是针对该馆的数字图像,不能满足通用性的要求。

(2)在医学和地理信息领域,主要就医学图像管理和地理信息图像管理展开研究:Marcos 等[ 3]讨论了基于网络的医药和临床试验的医药图像管理系统;罗瑞芝等[ 4] 则利用基于C/S架构的超声图像处理系统来提高传统超声诊断仪的性能;张健等[ 5]利用分布式存储来对医学图像进行存储管理。

(3)相关数字图像处理工具开发方面, OpenSourcePACS[ 6] 是一套开源的医学图像存档和通信的管理系统;Esri公司的ArcGIS[ 7]和北京超图的SuperMap[ 8]专业地理系统管理软件都有对地理信息相关图像进行处理的能力;而个人数字图像资源管理软件ACDSee[ 9]主要用于存储、浏览多种格式的图像等。

(4)数字图像的元数据标准对于数字图像管理也非常重要。朱学芳等[ 10]研究了数字图像的元数据格式以及如何对其进行管理;张春红等[ 11]则从元数据加工标准及其规范、文件命名规则与数字对象唯一标识符等方面探讨了数字图像资源的加工标准和应用,以指导数字图像资源加工工作;国家科技图书文献中心等单位联合研制的《数字图书馆标准与规范建设》则可以用于指导数字图书馆中的数字图像元数据建设。

现有的数字图像管理的研究主要从某一专业领域出发,有针对性地在图像采集、处理或检索等方面入手,且大都面向单一用户,没有形成普遍适用的、面向大众用户的统一管理平台。本文在分析用户需求的基础上,设计并实现了集数据采集、处理、标注和检索为一体的数字图像管理系统模型。

2 数字图像管理系统模型逻辑设计
2.1 用户需求

从用户需求的角度出发,数字图像管理系统应该能够自动地获取所有类型设备采集的数字图像,并对这些图像进行简单的处理,采集和处理结果需利于检索、并能在检索和传输的过程中保护特殊图像的版权。基于此,本系统模型的设计要点为:可自动采集不同类型的数字图像;具备简单的图像处理功能;用户可依据个人知识对图像进行解释标注;能够在数字图像中加入版权信息;在存储数字图像的元数据和用户主观的描述信息时应该对用户透明;提供多种方便的查询方式;各子系统间有比较松散的关联并且相互独立。

2.2 逻辑设计

(1)系统模型的组成

根据用户的基本需求,可以将本文的数字图像管理系统分为采集、处理、保护、标注、存储以及检索等子系统,各子系统之间是相互独立的,所以系统模型中的数据流不是单向的,用户可以根据数字图像在系统模型中的状态选择处理方式。系统模型框架如图1所示。

图1 数字图像管理系统模型框架

(2)数字图像采集子系统

该子系统把不同数据源的数据转换成计算机能够处理的数据格式,包括信息采集和数据转化两个部分,采集流程如图2所示。在信息采集部分,由于不同的设备工作机理和生成方式不同(数字图像采集设备的相关技术参考文献[12-13])使得获取的图像数据格式不同,从而系统模型不能采用单一的方式采集图像数据,本文仿照DirectShow系统Filter Graph的模型[ 14]进行采集过程设计。数据转换部分是将不同设备的数据格式转换成其他子系统能够直接处理的数据格式。

图2 数字图像数据采集子系统设计[ 15]

(3)数字图像版权保护子系统

该子系统在数字图像中嵌入水印来保护生产者的利益和合法权益,主要包括水印嵌入和提取两个部分,如图3所示:

图 3 数字图像版权保护子系统[ 16]

其中,密钥选择需要用户设置,另外系统模型中采用的水印信号为具有标志意义的二值图像。关于数字水印的相关原理可以参考文献[16-17]。

(4)数字图像标注子系统

该子系统对数字图像的元数据属性和内容进行标注和描述,以便用户能够更全面、方便地对数字图像内容进行检索。

数字图像元数据描述的信息包括图像的生成、颜色、纹理等客观信息。内容描述部分是用户对图像的主观认识的描述,该部分信息的生成利用了Web2.0的特性,在管理员的授权下,每个用户都可以通过网络对图像进行标注。

(5)数字图像存储子系统

该子系统存储数字图像及其元数据和所有与之相关的描述性信息,其逻辑过程对用户是透明的,包括存储管理接口、存储引擎、存储空间管理,如图4所示:

图4 数字图像存储子系统

存储管理接口用于与其他子系统之间进行数据通信;存储引擎是系统对输入的数据进行解析的部分,能够自动地识别出数字图像的类型,并自动选择存储空间管理方式;存储空间管理是利用数据库技术、文档管理技术对数字图像信息进行存储管理,其中包括多种类型图像,如医学、摄影和遥感图像等的存储管理方式。

(6)数字图像检索子系统

该子系统为用户提供检索方法和界面。数字图像的检索是数字图像管理系统中一个极其重要的环节[ 18],本子系统是一个综合多种检索方式为一体的检索系统。

3 数字图像管理系统模型的实现

系统模型采用B/S架构,使用Java EE进行跨平台系统开发,利用MySQL关系数据库和XML文件系统对图像进行存储管理。数字图像处理子系统使用ImageJ[ 19] JAR包及其相关的JAR包进行数字图像处理;利用Java Applet技术实现采集;采用JDOM[ 20]对XML文件进行读写操作;在基于内容检索过程中,应用XQEngine[ 26]引擎管理XML文件。

3.1 采集子系统中Pin的结构及Filter的设计

在DirectShow中,每一个处理过程都通过一个Filter的COM对象来实现,并且每个Filter都有与其他Filter连接的Pin,用户可以根据自己的需求设计Filter。本系统模型依据DirectShow的Filter设计理念,设计一个图像采集的Filter类,其中包括一个其他子系统获取图像信息的Pin类,每一类图像采集设备对应一个Filter。

(1)Pin类

Pin类是和其他子系统进行通信的数据接口,其中主要包含了从采集设备获取的数字图像的属性值,其设计结构如下:

class Pin{

size;// 图像大小,图像的长、宽、高(二维图像高设置为1)

scanning;//扫描方式

media_type;//图像类型,如CT、超声波、扫描仪、遥感、卫星等

channel;//通道,频带数

depth;//像素深度

dimension;//维度,主要是二维的平面图像

color;//颜色标准, RGB, YUV等

......

data;//数据}

(2)Filter类设计

Filter类主要获取设备采集的数字图像信息,利用采集设备驱动程序产生的数据对Pin类中的属性进行设置,来获取数字图像数据。由于本系统模型采用B/S结构,用户的浏览器中没有安装数据采集的应用程序,所以Filter类就采用了Java Applet技术设计。Filter类在页面中嵌入为:

< APPLET CODE=“Filter类” >

本文以满足TWAINTWAIN指TWAIN协议,是应用软件从计算机外设获取静态图像的国际标准,是一项重要的接口标准,为软件开发商和硬件设备生产厂商之间提供了一个统一的规范,以有效地避免系统及设备之间的不兼容问题。 数据源管理程序(DSM) 工业标准协议的扫描仪为例进行实验,实验效果如图5所示。

图5 TWAIN标准的扫描仪图像采集示意图

3.2 嵌入数字水印

已有学者对在数字图像中嵌入水印的方式进行了研究[ 21],本系统模型采用在DCT域中进行水印嵌入的方法[ 22]

设保护原图像为I,水印图像为WI(为二值图像),选择嵌入水印的频域的起始位置为(m, n),水印置乱次数为sn,嵌入的强度为α。水印嵌入的过程代码如下:

I_DCT=DCT(I);//原图像DCT变换

WI_S=chaos(WI,sn);//置乱水印图像(参考文献[23])

for (int i=0;i

for (int j=0;j

I_DCT(i+m,j+n)+= α* WI_S(i,j);

I_W=IDCT(I_DCT);//嵌入水印图像

本系统模型水印嵌入的流程实例如图6所示:

图 6 基于DCT域中嵌入水印实例

3.3 数字图像标注

数字图像标注是抽取描述图像信息的过程,图像信息主要包括图像的客观特征和用户对图像内容的理解两方面。

(1)数字图像客观特征

本系统模型中主要获取数字图像的直方图和纹理特征。直方图直接利用ImageJ的直方图函数提取;纹理特征则是利用灰度共生矩阵特征提取与匹配,主要依赖于能量、熵等参数(参考文献[24])。设原图像为I,灰度共生矩阵为GI,以下是灰度共生矩阵、纹理能量、纹理熵实现的过程:

GI=graycomatrix(I);//获得图像的灰度共生矩阵

//能量power

for(int i=0;i

for(int i=0;i

power=power+GI(i,j)* GI(i,j);

//熵entropy

HGI=histogram(GI);//灰度共生矩阵的直方图

for(int i=0;i

entropy=entropy-i*log(HGI[i]);

(2)基于Web2.0的标注

Web2.0是一种新的互联网方式,它让用户参与到信息资源内容的建设中,已经广泛地应用于博客、百科全书、微博中。本系统模型采用Web2.0构建了用户标注模块,用户还可以利用互联网对图像内容进行描述,如图7所示:

图 7 数字图像标注实例图

其实现过程参考Flickr[ 25]图像的社会标注。描述标注包括用户手动标注和利用机器学习的方式自动标注,本系统模型没有涉及自动标注。

3.4 存储技术

数字图像存储主要是利用MySQL和JDOM的XML操作实现。过程如下:

根据Pin类中的图像类型选择相应的存储引擎,然后对数字图像文件进行存储,同时把Pin类中图像的属性保存到数据库中,并且生成ID,最后将图像的元数据属性和用户描述信息加入到XML文件中。每幅图像的XML记录格式为:

< image id=数据库中ID >

< attribute_meta >

< histogram >数字图像直方图数值

< power >灰度共生矩阵能量

< entropy >灰度共生矩阵熵

……

< attribute_user >

< description time=描述时间 user=用户名 >描述内容

……

image节点的id属性值是为关联数据库中图像数据记录;attribute_meta节点的子节点记录图像的客观属性,通过数字图像标注系统的客观特征抽取自动获得,如histogram是直方图节点,数据格式为(频带1 像素值1:数量1,像素值2:数量2,……,像素值n:数量n;……;频带m 像素值1:数量1,像素值2:数量2,……,像素值n:数量n);attribute_user节点的子节点是用户的描述信息,该节点还包括用户的描述时间和用户名两项属性,这两项属性用于跟踪用户的评价行为,以便对用户进行管理。

图像信息的存储主要调用数据库的SQL语句和JDOM JAR对XML文件的操作函数来实现图像信息的插入、更新和删除。

3.5 数字图像检索技术

本系统模型设计实现了基于语义的图像检索和基于实例的图像检索功能。

(1)基于语义的检索

用户输入检索词后,利用XQEngine[ 26]引擎对XML文件中的attribute_user节点进行检索,获得含检索词的图像ID;最后通过ID从数据库中获得图像信息,并输出图像。

(2)基于实例的检索

读入检索图像后,利用抽取图像标注系统客观特征的方法,计算图像直方图特征和纹理特征;再计算检索图像和数据库中图像的特征值之间的欧式距离;最后输出高于阈值的相关图像。其流程如图8所示:

图 8 基于实例检索的流程图

4 系统模型实验分析

实验过程采用两台PC机作为服务器,分别是Web发布服务器和数字图像信息资源存储服务器。

在图像检索的实验中,图像信息资源的数据集包括爱如生[ 27]的数字化文本图像、网络图像、以及通过扫描仪和数码相机获取的图像和用户对图像的语义标注信息。基于语义检索的实例如图9所示:

图 9 基于语义检索的实例

基于实例检索的实例如图10所示:

图 10 基于实例检索的实例

关于标注词数量对于检索结果的影响,在图像库中每幅图像的平均标注词数量的不同情况下,测试了基于语义的检索的正确率和召回率,结果如图11所示:

图 11 标注词数量和召回率、准确率关系图

可以看出,图像的标注信息越多,检索的正确率和召回率越高。通过Web2.0技术,可以让大量的用户参与到图像的描述中,能够有效地改善图像检索的正确率和召回率,因此本系统设计的检索功能是高效可行的。

5 结 语

本文设计了集采集、处理、标注、版权保护和检索为一体的数字图像管理系统模型。与已有的研究不同,本系统的设计与实现不是立足于某一个特定的专业领域,而是力求建立一个普遍适用的、面向大众用户应用的统一管理平台。

(1)系统模型采用系统自动处理和用户利用参数设置调节系统运行相结合的方式,在提高系统自动化程度的同时,加入了用户参与的功能。

(2)系统模型具有自适应处理来自不同类型数字采集设备数据的功能,具有透明、可调控、灵活等特点。

(3)系统具备了保护数字图像版权的功能。

(4)系统模型采用Web2.0技术设计标注子系统,可以使用户在浏览图像的过程中对其进行标注,提高了效率、发挥了用户的主观能动性、提高了检索准确率。

实验表明,本系统模型能够有效地满足普通用户对图像资源的采集、处理、标注、版权保护、检索等方面的需求,且利用Web2.0标注提高了检索性能。在接下来的研究中,笔者会继续探索,完善系统功能,例如可以加入图像信息资源自动标注,从而减轻标注工作量。

The authors have declared that no competing interests exist.

作者已声明无竞争性利益关系。

参考文献
[1] 高等学校中英文图书数字化国际合作计划[EB/OL]. [2011-07-12]. http://www.cadal.zju.edu.cn/IM/IM.htm. [本文引用:1]
[2] 万毅荣, 蒙应杰, 赵雅洁, . 敦煌学数字图书馆中数字图像的处理及存储[J]. 情报科学, 2005, 23(8): 1229-1232. [本文引用:1]
[3] Marcos E, Acuña C J, Vela B, et al. A Database for Medical Image Management[J]. Computer Methods and Programs in Biomedicine, 2007, 86(3): 255-269. [本文引用:1] [JCR: 1.555]
[4] 罗瑞芝, 杨浩. 超声影像管理系统的研究与应用[J]. 重庆大学学报: 自然科学版, 2006, 29(8): 102-105. [本文引用:1]
[5] 张健, 池峰, 高新波, . 基于DICOM 标准的大型医学影像分布式存储系统研究[J]. 计算机应用研究, 2004, 21(4): 85-87. [本文引用:1]
[6] Bui A A T, Morioka C, Dionisio J D N, et al. OpenSourcePACS: An Extensible Infrastructure for Medical Image Management[J]. IEEE Transactions on Information Technology in Biomedicine, 2007, 11(1): 94-109. [本文引用:1] [JCR: 1.978]
[7] ArcGIS[EB/OL]. [2011-07-12]. http://www.arcgis.com/home/. [本文引用:1]
[8] SuperMap [EB/OL]. [2011-07-12]. http://www.supermap.com.cn. [本文引用:1]
[9] ACDSee[EB/OL]. [2011-07-12]. http://cn.acdsee.com/. [本文引用:1]
[10] 朱学芳. 数字图像信息资源开发及管理[J]. 中国图书馆学报, 2002, 28(6): 36-38. [本文引用:1]
[11] 张春红, 唐勇, 邵珂. 图像资源数字加工标准及其应用[J]. 现代图书情报技术, 2010(12): 9-14. [本文引用:1]
[12] 晏磊, 张伯旭, 常炳国. CCD图像传感器及其数字相机技术——信息记录材料在成像领域的技术进展(四)[J]. 信息记录材料, 2002, 3(1): 45-49. [本文引用:1]
[13] 晏磊, 周雅, 张飞舟. 数字成像技术的历史、现状与展望——数学成像技术进展(一)[J]. 影像技术, 2001(3): 1-6. [本文引用:1]
[14] DirectShow[EB/OL]. [2011-07-12]. http://msdn.microsoft.com/en-us/library/dd375454(v=vs.85).aspx. [本文引用:1]
[15] DirectShow System Overview[EB/OL]. [2011-09-27]. http://msdn.microsoft.com/en-us/library/dd375470.aspx. [本文引用:1]
[16] Voyatzis G, Pitas I. The Use of Watermarks in the Protection of Digital Multimedia Products[J]. Proceedings of the IEEE, 1999, 87(7): 1197-1207. [本文引用:1] [JCR: 6.911]
[17] 吴金海, 林福宗. 基于数字水印的图像认证技术[J]. 计算机学报, 2004, 27(9): 1153-1161. [本文引用:1]
[18] 常哲, 侯榆青, 李明俐, . 综合颜色和纹理特征的图像检索[J]. 小型微型计算机系统, 2011, 32(1): 161-164. [本文引用:1]
[19] ImageJ[EB/OL]. [2011-08-23]. http://rsbweb.nih.gov/ij. [本文引用:1]
[20] JDOM[EB/OL]. [2011-09-27]. http://www.jdom.org/. [本文引用:1]
[21] 尹浩, 林闯, 邱锋, . 数字水印技术综述[J]. 计算机研究与发展, 2005, 42(7): 1093-1099. [本文引用:1]
[22] 张伟, 陈新龙, 詹斌. 基于DCT的图像水印算法研究与实现[J]. 计算机技术与发展, 2009, 19(9): 157-159, 176. [本文引用:1]
[23] 张军亮, 朱学芳. 基于二值图像水印的古籍数字化图像版权保护及其实现[J]. 现代图书情报技术, 2010(9): 79-83. [本文引用:1]
[24] 拉斐尔 C 冈萨雷斯, 理查德E 伍兹. 数字图像处理[M]. 阮秋琦, 阮宇智译. 2版. 北京: 电子工业出版社. 2003. [本文引用:1]
[25] Flickr[DB/OL]. [2011-08-30]. http://www.flickr.com/. [本文引用:1]
[26] XQEngine[EB/OL]. [2011-09-27]. http://xqengine.sourceforge.net/. [本文引用:2]
[27] 爱如生[EB/OL]. [2011-08-30]. http://er07.com/. [本文引用:1]