新浪微博登录后、完全展示所有内容前,历经多次JavaScript页面跳转,以UTF-8编码,具有多个Frame网页元素。鉴于此,本文先获取网页文档对象,再对该对象进行操作,以获取微博“@我”、“评论”及指定“敏感词”、“热词”等内容。算法描述如下:

输入:打开新浪微博的IE内核浏览器句柄。

输出:新浪微博数据。

①使用IE内核浏览器打开新浪微博并登录;

②枚举浏览器顶级窗口子句柄,筛选出类名为Internet Explorer_Server(IES)的子句柄;

③操作IES句柄,取网页文档对象。易语言核心代码如下:

消息值 ＝ RegisterWindowMessageA (“WM_HTML_GETOBJECT”)

SendMessageTimeout (浏览器窗口顶级句柄, 消息值, 0, 0, 2, 1000, 资源编号)

结果 ＝ ObjectFromLresult (资源编号, { 32, 197, 111, 98, 30, 164, 207, 17, 167, 49, 0, 160, 201, 8, 38, 55 }, 0, 参考变量_文档对象);

④判断各FRAME元素跳转网址是否均已就绪;

⑤读网页文档对象的对象型属性,取回网页文本。易语言核心代码为:网页文档对象.读对象型属性 (“documentElement”, ).读文本属性 (“innerText”, );

⑥使用正则表达式获取如“@我”、“评论”、含指定“敏感词”、“热词”等的微博内容。

对取回的微博数据,首先要分析语句含义,与西文可方便地利用空格等作为分词依据相比,中文分词相对复杂,目前多使用“机械性分词”、“基于理解分词”以及“基于统计分词”三种方法。本文在考察“庖丁解牛分词”、“LingPipe”、“JE分词”、“LibMMSeg”、“IKAnalyzer”等基础上,采用中国科学院计算技术研究所研发的ICTCLAS汉语分词系统,其分词速度为500KB/s左右,分词精度98.45%^{[ 14]}。鉴于新浪微博最长仅支持140字,本文通过操作ICTCLAS演示版网页^{[ 15]}进行分词。算法描述如下:

输入:待分词文本。

输出:分词后文本。

①将以GB2312-80编码的文本转为以UTF-8编码;
②使用InternetOpenA、InternetConnectA、HttpOpenRequestA、HttpSendRequestA、InternetReadFile等API,对http://ictclas.org/ictclas_demo.html附带信息执行http访问;

③使用正则表达式取分词结果。

本文将中文分词功能封装于Dll中供主程序调用,运行效果如图2所示:

图2

	Figure Option ViewDownloadNew Window
	图2 封装中文分词功能的Dll界面

目前新浪微博桌面版最新版本为2012Beta,使用了迅雷研发的Bolt界面引擎^{[ 16]}。Bolt属于DirectUI技术的一种,类似界面引擎最早由微软应用于MSN,国内使用此技术的金山卫士已全部开放源码^{[ 17]}。DirectUI即将所有控件绘制在一个窗口中,控件的逻辑和绘制方式均需开发者自行编写,使用传统窗体探测工具如SPY++等找不到子句柄。本文通过模拟按键方式实现DirectUI窗口的置焦点、置文本、点击等操作,算法描述如下:

输入:DirectUI窗口。

输出:模拟按键法操作DirectUI窗口。

①激活DirectUI窗口句柄hwnd,使用GetWindowRect计算hwnd在屏幕中的坐标;

②使用SPY++等工具取指定控件在屏幕中的绝对位置;

③计算执行模拟按键的坐标(x,y);

④使用SendMessageA、keybd_event、PostMessageA等对相应控件进行模拟按键操作。

设计数据表字段时设置多个检索点,方便准确、全面、快速检索。“新书推介”子库数据源自山东师范大学V5.0书目检索系统;知识库搜集整理自笔者负责的QQ实时咨询、CALIS虚拟参考咨询常见问答及图书馆微博事务等。

使用快照命令将长篇文字转化为图片,再调用桌面版新浪微博发布^{[ 18]}。