国内外图书馆监控方面实践主要集中在机房、服务器以及图书馆环境上。如机房的温度湿度的监控、对图书馆整个应用环境的视频监控、服务器性能监控等。这些实践取得了较好的效果,解决了不少图书馆监控问题,如机房安全、服务器安全等^{[ 4, 5]}。但是它们监控侧重图书馆的设备和物理环境,对软件系统的监控关注较少,对监控结果的充分利用的关注则更少。本文侧重研究图书馆应用系统的监控,同时也重点考虑对监控结果的充分利用。

稍具规模的图书馆拥有十几台应用服务器、十几个应用系统,传统人工应用系统监控维护时需要逐个登录服务,工作量相当大。而且这种监控维护方式十分依赖于时间点,完全可能错过排除故障的最好时机^{[ 6]}。本系统采用分布式处理方式,对所有应用系统及其应用环境进行多角度全天候监控,通过对监控结果分析实现故障预警和故障报警功能。

当系统故障发生时,维护人员常常会从错误现象逐个查找错误来源,而不能快速定位应用系统故障的真正来源。因为错误可能是应用系统本身故障;也可能是应用服务器出现问题,如磁盘空间已满;还可能是底层数据库故障。因此,本系统在实现应用系统监控时,其中一个重点是监控应用系统的应用环境,包括操作系统数据库环境。

监控系统以应用服务器、应用系统和数据库的实时状态为研究对象,通过预先设定的监控点,监控应用服务器、应用系统和数据库的实时状态。利用应用服务器、应用系统、数据库管理技术和C/C++编程语言技术,采用管理命令、过滤日志文件等方式收集监控点的实时状态,对监控点实时状态定性分析后进行日志记载和实施故障预警、故障报警决策。

实现监控系统将建立监控项目表、用户表和监控日志表。

(1)监控项目表

将应用服务器、应用系统和数据库的监控点称为监控项目。监控项目的描述字段主要包括监控名称、所属类型、监控分析规则、警报级别、预警阈值和报警阈值。具体监控项目表结构如表1所示:

表1

表1

表1 监控项目表 字段 名称 说明 监控名称 Name 监控名称如CPU、内存和磁盘空间等 所属类型 Type 区别不同的报警来源,以便发生预警或报警时发送给相应的维护人员 分析规则 Rule 区分分析采集结果时所需要选择的分析规则 警报级别 Level 用来将报警信息提交给相应级别的用户 预警阈值 Warning 预警阈值是发送预警参照值,一般需要关注而不需要即时处理 报警阈值 Error 报警阈值是发送报警参照值,需要及时处理

表1 监控项目表

为减少对数据库的依赖,监控项目表采用文件形式存储。

(2)用户表

用户表用来保存接收预警和报警的人员信息。系统约定通过E-mail接收预警信息,手机接收报警信息。用户信息包括:用户名、E-mail、手机以及用户级别等信息。基于需要设置的用户并不多,同时为减少对数据库的依赖,用户表采用XML文件存储,格式如下:

{

用户名

E-mail

用户级别

手机

}

(3)监控日志表

实时监控信息表(real_info)用来保存实时的监控项目的当前状态信息。根据可设置的监控项目设置表字段,如表2所示:

表2

表2

表2 实时监控信息表 字段名称 含义 备注 Recno 记录标识 Machine 机器名 RecTime 记录时间 AlertType 报警类型 00:无报警; A1、B1:CPU报警 CPU CPU使用率 Mem 内存使用率 Space1-Space5 磁盘空间使用率 实际为5个字段 User1-User5 用户空间进程数 实际为5个字段 String1-String5 包含关键字进程数 实际为5个字段 IO1-IO5 磁盘IO率 实际为5个字段 DBStat 数据库监控 File 过滤文件

表2 实时监控信息表

监控系统采用分布式的结构设计,由信息采集服务、信息分析服务、警报服务、日志服务4部分组成。信息采集服务负责采集服务器、数据库以及应用系统相关信息;信息分析服务对采集信息进行分析,判别是否到达故障预警或故障报警条件;警报服务实现达到故障预警或故障报警条件的监控项目按预先设定的警报途径报警;日志服务用来记录和统计监控项目的状态。

为支持多个应用系统、服务器等监控,监控系统可以配置一个或者多个信息采集服务。服务与服务之间采用Socket方式通信。监控系统架构如图1所示:

图1

	Figure Option ViewDownloadNew Window
	图1 监控系统架构

(1)信息采集

信息采集利用操作系统、数据库等管理技术,采用统一定时时钟,运行管理命令形成监控项目当前状态信息的临时结果文件,从结果文件汇总采集结果。采用逐项采集、统一提交的方式实施信息采集。信息采集通过信息采集服务实现。

将信息采集范围按采集对象不同分为三类,服务器状态、数据库状态和应用系统状态。不同的监控项目采取不同的采集命令。服务器状态参数如CPU、内存、磁盘等在AIX操作系统平台上有很多管理命令。如监控项目包含关键字进程数(“String”)的监控,使用管理命令ps。详细的采集代码如下:

sFile.Format("/tmp/aix_string%d",Str_num); //指定临时结果文件

sprintf(szTmp,"ps-aef |grep-i %s |wc |awk '{print $1}' > %s",_status.str_name[i],sFile()); //形成采集命令

system(szTmp); //执行采集命令

sData.GetFromFile(sFile()); //从采集文件获得采集信息

数据库和应用系统的部分监控通过服务器运行状态的监控项目(如磁盘监控和进程监控)实现。因此数据库和应用系统状态监控主要依赖于数据库和应用系统的错误日志文件,通过过滤日志文件的特定字符串实现监控。在Oracle中,约定通过过滤“ORA-”字符串查找错误。监控采集的代码如下:

sFile1.Format("/tmp/aix_ora%d",cur_num); //指定临时结果文件

sFile2.Format("/tmp/aix_ora%d",last_num);

sFile.Format("/tmp/aix_ora");

sprintf(szTmp,"grep-n %s %s > %s",_status.str_name[i],_status.file_name[i],sFile1); //形成采集命令

system(szTmp); //执行采集命令

sprintf(szTmp,"diff %s %s > %s",sFile1,sFile2,sFile); //形成采集命令

system(szTmp); //执行采集命令

sData.GetFromFile(sFile()); //从采集文件获得采集信息

(2)信息分析

信息分析是利用信息采集服务采集的当前状态信息和系统约定监控项目的分析规则进行信息分析。一方面将分析结果提交日志服务;另一方面根据监控项目配置中的预警和报警阈值判定是否预警和报警。

监控系统按采集结果的不同格式设置两种信息分析规则:数值比较法和字符描述法。数值比较法如监控项目CPU使用率、内存使用率等比较采集值与设定值即可。字符描述法则不是简单的数值比较,而是采集错误以及错误描述信息。如监控项目数据库监控DBStat,采集的信息如:“ORA-1652: unable to extend temp segment by 128 in tablespace SerbibM”,分析时将分别提取错误码“ORA-1652”和错误描述“unable to extend temp segment by 128 in tablespace SerbibM”。

对不同分析规则分析产生的结果报警决策也不一样。数值比较法的分析结果将综合前面最近的两次分析结果,如果三次结果均达到预警或报警才实施预警和报警;而字符描述法则直接报警。

(3)警报

警报是根据信息分析服务提供的警报类型、警报级别和详细信息以及监控系统中设置的报警用户按类型和级别进行报警。监控系统的报警根据报警的轻重缓急设置有三类:警报日志、E-mail报警和短信报警。系统约定采用字符描述法分析规则分析采集结果的监控项目,直接使用短信方式报警。

报警服务流程如图2所示:

图2

	Figure Option ViewDownloadNew Window
	图2 报警流程图

警报日志作为所有报警的事务简单记录,采用文件形式记载。日志文件内容格式如下:

【时间】【机器名】【报警类型】【报警内容】。例如服务器P690在2009-12-01T16:32:33时CPU利用率达到92%时的报警日志:【2009-12-01 16:32:33】【P690a】【SMS】【CPU:92%】。

E-mail报警根据警报级别和用户级别,分别发送E-mail,其内容格式与日志文件内容相同。实现代码如下:

for( i = 0; i < iCurUserNum;i ++)

{

if(iClass >= user[i].iClass) //判断用户是否需要提交报警

{

sprintf(sMailFile,"/tmp/tempmail_%d_%d",iDateTime,i);

sMailContent.PutToFile(sMailFile);

sprintf(sCommand,"sendmail %s < %s",user[i].Email,sMailFile);

system(sCommand); //发送E-mail

}

}

短信报警处理方式与E-mail报警处理类似。不同的是,短信报警没有直接使用SMS通信协议发送短信,而是通过Socket协议与深圳图书馆短信平台接入短信服务。

(4)日志系统

日志系统使用从信息分析服务发送来的分析结果组成SQL语句,保存到监控日志表Real_Info中。具体代码为:

sSql.Format("insert into real_info values

(real_info_sequence.nextval,'%s',……'%s') ",sMachine, ……,sdILAS);

if(_stm.executeUpdate(sSql())) ……

在日志系统后台数据库出现故障时,并不影响整个监控系统的运行,日志系统自动启用临时日志文件形式保存,等数据库恢复正常后,自动从临时日志文件中补齐故障时间内的日志。

日志系统利用监控日志表提供多种统计、决策功能。如:磁盘增长速度、CPU使用率、报警故障分析等。

一段时间内CPU使用率分析的关键代码如下:

sSql.Format("select sum(CPU)/count(CPU) from real_info "

"where RecTime between '%s' and '%s' ",iStartTime,iEndTime);

if(_stm.executeUpdate(sSql())) ……