为提高对数字资源访问的统计效率, 程序将所有需要计算的数据调入内存中, 设计合理的数字资源的存储结构对系统的性能影响很大^[7]。本系统采用链表的形式存储数字资源的相关信息, 如图3所示:

图3

	Figure Option ViewDownloadNew Window
	图3 数字资源链表结构

对于构建数字资源的链表, 虽然Linux操作系统有现成的API函数, 但是由于数字资源链表中含有两个子链表, 所以在构建这样一个复杂链表时, 使用系统开放链表函数使代码更加复杂, 逻辑更加不清晰, 并且在实际测试时发现其性能也不够理想^[8]。本系统采用自行设计的链表结构, 主要体现对链表查询功能的优化。链表的元素定义如下:

typedef struct iplist /* IP链表结构* /

{

uint32_t ipaddr; /* IP地址* /

struct iplist * next; /* 链表指针* /

}IPINFO;

typedef struct ipon /* 在线IP链表* /

{

uint32_t ipaddr; /* IP地址* /

unsigned long percount; /* 周期访问次数* /

time_t time; /* 最近一次访问时间* /

struct ipon * next; /* 链表指针* /

}IPONLINE;

typedef struct erinfo /* 数字资源信息* /

{

char name[50]; /* 资源名称* /

unsigned long downCount; /* 下载次数* /

unsigned long accessCount; /* 访问次数* /

int threshold; /* 限制阈值* /

IPINFO iplist; /* 数字资源IP链表* /

IPONLINE iponline; /* 在线访问IP链表* /

struct erinfo * next; /* 链表指针* /

}ERINFO;

其中, ERINFO链表记录所有数字资源的基本信息, 包括数字资源的使用情况和IP地址, 因为IP地址众多, 所以使用子链表IPINFO存储。ERINFO链表中比较关键的是IPONLINE子链表, 该子链表记录有哪些客户端访问了该数字资源, 其中ipaddr是读者使用机器的IP地址, percount表明单位时间内对该数字资源的访问计数, time是单位时间的开始值, 每过一个单位时间就更新该值。程序主要依赖于IPONLINE中的信息检查单位时间内, 该客户端对此数字资源的访问是否超过数字资源下载的上限阈值。

数据包捕获模块运行于网络旁路监听服务器上, 监听服务器的网卡设置为混杂模式, 这样能保证所有到达该服务器的数据包能被系统读取。通过Linux内核的Netfilter框架捕获到达混杂模式网卡的所有网络包, 通过Netlink套接字的方式发送给用户空间的数据包分析模块进行分析。

Netfilter框架在Linux内核模块程序至少包括两个函数, 一个是init_module在模块插入内核时调用, 另外一个是cleanup_module在模块被移出时调用。本系统在内核模块初始化的过程中, 注册了Netfilter的NF_IP_PRE_ROUTING检察点的钩子函数。NF_IP_ PRE_ROUTING是Netfilter框架中最靠前段的检查点, 所有到达网卡的网络数据帧必定首次接受该检查点的检查, 所以在该处设置钩子函数, 可以比较完整全面地获取到达网卡的网络帧^[9]。钩子函数如下:

/* 注册的hook函数的实现* /

unsigned int hook_func(unsigned int hooknum,

struct sk_buff * * skb,

const struct net_device * in,

const struct net_device * out,

int (* okfn)(struct sk_buff * ))

{

/* 其中sk_buff就是网络帧* /

send_to_user(sk_buff); /* 将数据帧发送给用户空间* /

return NF_DROP Or NF_ACCEPT; /* 丢弃或者返回数据包* /

}

在数字资源监控系统中, 内核需要将sk_buff数据帧通过Netlink的套接字方式发送到用户空间, 以上代码段中的send_to_user函数就是套接字的回调处理函数, 向用户空间发送数据。

数据包分析模块接受到数据包捕获模块发送来的数据包后, 对数字资源的IP数据包进行分析。分析用户要访问的信息属于哪个数字资源, 并对访问次数进行计数。数据包分析模块由两个部分组成: 数据包过滤和网址匹配。数据包过滤将捕获的非数字资源的数据包丢弃掉, 然后提取数字资源的IP数据包交给网址匹配处理。网址匹配将读者请求的IP地址和数字资源列表中的IP地址进行比对, 分析统计数字资源的访问情况。该模块流程如图4所示。

网址匹配采用优化的算法将用户IP数据包中的目的IP地址与系统内存中的数字资源IP列表逐一比对。如果发现用户IP包中的目的地址在数字资源IP链表中, 则沟通监控模块判断访问是否合法。在3.1节中介绍了本系统设计数字资源链表的数据结构, 链表中IP的存储类型为32位无符号整型, 为了更好地提高网址匹配工作效率, 对于数字资源链表中的IP地址链表在构建时进行索引, 并利用折半查找算法对IP地址与链表中的IP进行对比, 以提高查询效率。

图4

	Figure Option ViewDownloadNew Window
	图4 数据包过滤流程图

监控模块是要实时监测读者对数字资源的访问情况, 当有需要检测的数据包的时候, 遍历数字资源链表, 比较是否是哪个数字资源的IP地址, 如果是就表明访问数字资源一次。然后查看HTTP协议头中的Content-Type字段中是否含有数字资源下载文件的扩展名, 如pdf、nk、caj等, 如果是的话则表明下载一次。将新的访问计数和下载计数更新于数字资源的链表中。该模块流程图如图5所示:

图5

	Figure Option ViewDownloadNew Window
	图5 监控模块流程

对于下载阈值的监控需要依赖于每次下载时间的记录和下载次数的记录。如果新下载时间与上次下载时间跨度大于单位时间(例如设置1分钟下载不超过10篇, 则单位时间为1分钟), 则将下载时间更新为当前时间, 并且查看计数是否超过下载阈值。如果超过阈值, 则通知警告提醒模块进行读者警告提醒。如果未超过阈值, 则计数器清零。如果新下载时间与上次下载时间跨度不大于单位时间, 则只进行计数累加的处理, 不进行更新时间的处理。

监控模块实时监控到用户对数字资源的访问超过限制阈值时, 由警告提醒模块对用户的访问进行拦截。由于系统是基于旁路监听的架构并不能直接进行读者访问数据的拦截, 所以采用的拦截原理是向过量下载的用户发送伪装的HTTP响应报文, 伪造报文先于正常报文到达读者浏览器, 因此使用户浏览器显示警告提醒的网页。在系统设置的屏蔽期内, 该读者对受限电子资源的访问一直是伪数据报文的内容, 屏蔽期过后自动解除。

警告提醒报文实际上是完整的HTTP响应报文, 只是并不是数字资源服务器填充响应的报文, 而是数字资源监控系统中填充形成的完整报文, 呈现在用户面前的就是监控系统所发出的警告网页。警告提醒模块所发送的HTTP伪数据包利用其中的200响应代码, 具体响应报文内容如下:

HTTP/1.1 200 OK\r\n

Content-Type: text/html; charset=iso-8859-1\r\n

Content-length: 13\r\n

\r\n

< html>

< head>

< title>

大连理工大学图书馆数字资源访问警告

< /title>

< /head>

< body>

< br> < br> < br> < br>

< p align=center> < font size=18 color=red> 警告信息！

< /font> < /p>

< p align=center> 你对【* * * * 数字资源】的下载过快, 请稍后

再试！< /p>

< /body>

< /html>

发送伪数据包包括IP层的首部填充和TCP协议的首部填充。正常情况下操作系统API能够自动填写TCP/IP协议的首部, 而本系统要自主填写协议首部。参照正常响应报文填写伪数据包并不困难, 但要根据伪报文的情况填写正确的IP首部长度以及TCP首部的序号和确认号, 最后通过具体的报文内容计算正确的校验和^[10]。

协议首部填充完后, 将其按照TCP/IP协议的封装顺序发送到缓存中, 准备通过Socket套接字发送给读者浏览器。Linux操作系统网络编程使用Socket实例, 利用原始套接字设置套接字选项IP_HDRINCL实现, 最后通过sendto()函数将缓存区的内容发送给用户浏览器, 该函数的原型为int sendto(socket s, const void * msg, int len, unsigned int flags, const struct sockaddr * to, int tolen), 其中msg参数设置为笔者构建的数据包。

用户对数字资源的访问记录完整保存在数据库中, 设计B/S架构的程序进行数据的查询分析。主要是设计合理的SQL查询语句, 对读者访问数字资源的情况进行查询统计, 作为系统对读者进行警告提醒的事实依据。还可以查询一段时间以来警告提醒的统计数据, 对约束了的读者或者数字资源有总体的把握。另外, 通过系统日志库的查询, 还可以了解数字资源的下载排序、点击排序以及一段时间内读者的访问情况排序, 并统计分析出各个数据库的利用率、下载量和利用热门时间段以及读者的下载行为分析等。具体分析页面如图6所示:

图6

	Figure Option ViewDownloadNew Window
	图6 数据库的查询分析页面