同行评议专家智能遴选系统分为三个层次,自上而下分别是:表现层、应用层、数据层。上层是下层的客户,下层是上层的服务提供者,如图1所示:

图1

	Figure Option ViewDownloadNew Window
	图1 同行评议专家智能遴选系统的体系结构

(1)表现层包括项目管理、专家管理、专家遴选及相关数据展示等主要功能模块。模块之间相互独立,根据用户使用特点和角色的不同,形成个性化的应用界面,并通过对事件和消息的处理传输构成一个完整的申请书评审流程。

(2)应用层包括专家信息动态更新、专家智能遴选、专家信息表示、项目信息表示等功能模块,提供个性化定制模块,帮助用户表示、管理、组织和查询相关的信息。

(3)数据层包括专家信息、项目信息、分词词典、信息索引库等,数据的获取可以通过手工录入,也可以利用元搜索实现自动采集。

同行评议专家智能遴选系统的功能如图2所示:

图2

	Figure Option ViewDownloadNew Window
	图2 同行评议专家智能遴选系统的功能结构

(1)专家管理:支持结构化、非结构化(主要指专家的论文获奖情况等) 专家信息的录入、删除、修改等。目前中国机械工业联合会的同行评议专家智能遴选系统已建立了光机电一体化技术、电子与信息技术、新能源与高效节能技术、新材料技术、资源与环境、高分子等技术领域专家信息。

(2)专家遴选:支持结构化信息与非结构化信息的综合检索,基于待评审申请书内容与专家非结构化信息的向量空间检索,可以精确查找专家信息。

(3)系统管理:维护科技项目行业分类信息,包括行业分类信息的录入、删除、修改等,行业分类信息的统计与查询。目前中国机械工业联合会的同行评议专家智能遴选系统已涉及纺织机械、测试设备、轻工行业设备、包装机械、机床、印刷机械、通用机械、矿山机械、工程机械、自动化、塑料机械、农业机械、印刷机械等行业。

(4)项目管理:维护申请书信息,包括项目申请书信息的录入、删除、修改等,通过抽取术语、关键词等进行项目申请书信息的统计与查询。

专家信息库中的专家信息由结构化数据和非结构化数据组成。结构化数据涉及专家的基本信息,包含28个字段,即编号、姓名、性别、身份证、年龄、学历、学位、职务、职称、单位性质、单位名称、通讯地址、邮编、主管部门、所在省市、办公电话、传真、电子信箱、移动电话、专家类别、上网能力、简历、社会兼职、单位意见、技术领域等。非结构化数据涉及专家学术成果信息,包含专家的研究方向(与所属领域不同)、发表论文的标题和摘要、参加项目等,以XML的格式存储。本系统中专家遴选主要依据非结构化数据(包括已发表的论文、项目摘要等)与项目申请书的相关度。

项目信息库保存项目申请书,在申请书库的基础上,对申请书构建统计模型,即通过计算检索申请书中的各个检索词在整个申请书中出现的概率,为申请书中的每一个检索词分配权重,进而表示项目申请书。

一个项目申请书由很多词(Term)组成,不同的Term对于项目申请书的重要性不同,越重要的词权重越大,对项目申请书语义的贡献也越大。词的权重利用tf*idf方法衡量^{[ 13]}:

w_t,d=tf_t,d*log(N/df_t)

其中,w_t,d是词t在文档d中的权重,tf_t,d是词t在文档d中的出现频率,N是文档集中的总文档数,df_t是文档集中包含词t的文档数。

这样,一篇项目申请书可以表示为一个向量:

Document Vector = {weight₁, weight₂, …… ,weight_N}

其中,weight_i为词i在项目申请书中的权重。

类似地,专家也可以表示为一个向量:

Expert Vector = {weight₁, weight₂, …… ,weight_N}

其中,weight_i为词i在专家描述文档中的权重。

专家信息与科研项目申请书的相似度计算的有效性,决定着是否能遴选出合适的专家,同时也需兼顾系统的速度。本系统利用向量空间检索实现相似度计算。

向量空间检索模块首先将项目申请书和评审专家分别构建为一个向量,通过项目申请书向量q与评审专家信息向量d之间的相似度大小,得到与项目申请书最为相似的专家列表。相似度计算公式为^{[ 14]}:

Sim(q,d)= tf(t in d)·idf(t)·boost(t.field in d)

·lengthNorm(t.field in d)

其中,q为项目申请书,t为q中的一个关键词,tf为项目申请书中出现t的频率,idf为t在倒排文档中出现的频率,boost为域的加权因子,它的值在索引过程中进行设置,lengthNorm为域的标准化值,即在某一域中所有项的个数,本系统只设定三个域,即科研项目申请书的标题、关键词、摘要,其默认权值依次递减,也可由用户指定。

专家信息和项目申请书中通常涉及大量专有领域的学术名词,而通用的分词程序并不能正确地识别这些术语名词。在通过关键词匹配计算相似度的检索系统中,分词错误将极大地影响到专家与项目申请书的相关度,最终导致系统准确率的下降。因此,在本系统中应用术语抽取技术十分必要。

本系统主要参考贺敏等^{[ 15]}的方法,并在此基础上增加了候选术语串互信息的计算,在申请书库语料的基础上实现术语抽取。对申请书语料经过粗分词后,采用后缀数组抽取重复串,对于频次大于阈值的重复串作为候选术语,通过统计算法计算互信息、左右邻信息、成词概率来过滤垃圾串,生成术语。

术语是由多个词或者字组合生成的字符串,所以首先需要将频繁共现的字符串抽取出来作为候选术语,本文采用后缀数组统计字符串的频率,抽取重复串作为候选术语。对于抽取的候选术语,大部分是垃圾串,经过分析发现主要有两类:

(1)术语中的子串:如“氨基”、“丙二”、“传动”;

(2)频繁共现的非术语:如“这是”、 “对环境”。

针对垃圾串,本文采用的处理算法如下:

(1)计算候选串的互信息。互信息可以衡量词语间的相互依赖程度,也可用来衡量词语的组合和搭配关系,本文将互信息用来衡量候选串的内部稳定度。计算公式如下^{[ 16]}:

MI(w₁,w₂,w₃)=log

其中,w_i为候选串中的词,N为在语料库中出现的次数,如果候选串的互信息太低,即认为该候选串不是术语而过滤掉。

(2)计算候选串的左右邻信息。候选串能够成为新词除了要内部稳定,还要外部松散,即该候选串的上文和下文环境都满足一定的多样性,本文采用左邻和右邻集合来描述,计算公式如下^{[ 15]}:

P_left(S)=|V_l(S)|, P_right(S)=|V_r(S)|

其中,S为候选串,V_l(S)、V_r(S)分别为S在语料库中的左邻集合和右邻集合,即出现S左边或右边的字、词等语言单位,P_left(S)、P_right(S)分别为左邻集合和右邻集合中的元素个数。如果P_left(S)或P_right(S)太低,说明该字串是术语中的字串,可以过滤掉。

(3)计算位置成词概率。汉语中的每个汉字有特有的构词法,并非所有汉字都可以出现在词首、词中或词尾。本文采用位置成词概率来描述这一特点,计算公式如下^{[ 15]}:

P_word(c,pos)=

其中,c为汉字,pos为汉字在候选串中的位置(取值为0、1,表示词首和词尾),N为在语料库中的出现次数。若某个字的位置成词概率太低,认为该汉字不能作为词首或词尾出现,即可作为第二类垃圾串过滤掉。

该算法对申请书语料库进行术语抽取,得到的抽取性能如表1所示:

表1

表1

表1 术语抽取效果 词频 f(W)≥5 1≤f(W)<5 Total 申请书语料库中的术语个数 444 1 169 1 613 算法抽取到的术语个数 582 1 418 2 000 算法准确抽取的术语个数 431 1 125 1 556 Precision 0.741 0.793 0.778 Recall 0.971 0.962 0.965 F-measure 0.840 0.870 0.861

表1 术语抽取效果

专家遴选除了考虑与项目申请书的相似度,还需要考虑专家自身的合适度,因此需要对专家进行评价。在实际应用中,对专家的评估涉及到诸多因素,除上述的成果及基本信息限制外,本系统通过问卷调查和总结中国机械工业联合会组织项目评审过程中的经验积累,建立了专家评价指标体系,如图3所示:

图3

	Figure Option ViewDownloadNew Window
	图3 专家评价指标体系

其中,静态评价指标中职业道德一票否决;学术论文、科研成果、发明专利按领域、数量、等级等进行归一化处理。

评审能力是指专家在过往评审记录中,该专家的意见同项目最终评审意见的一致程度。假设专家曾评审过n个项目,则其评审能力AC为:

AC= (x_i= )

h指数是指在一定期间内一名科研人员发表的论文至少有h篇的被引频次不低于h次。为了保证专家发表论文和引用论文的质量,本系统只取SCI、EI、SSCI、CSSCI 等大型引文索引数据库可以收集到同行评议专家发表的所有文章及这些文章的被引次数,且只取近5年内发表的论文。

同行评议专家的评价可表述为根据评价指标的计算值,对同行评议专家进行排序。评价问题中的关键是:评价指标的权重w=(w₁,w₂,…,w_n)^T和评价矩阵X=|x_ij|。这里,w_i为评价指标C_i的权重,x_ij为同行评专家e_i针对指标C_j的评价值。本文中的指标权重w_i采用层次分析法计算得到。

(1)计算指标权重值。根据层次分析法的判别标准,首先由中国机械工业联合会给出不同指标的重要性程度,然后构造两两比较矩阵,最后得到指标的权重值w_i。具体步骤参考文献[17]和文献[18]。

(2)归一化处理。为了便于计算和比较,将指标评价值归一化为:x_ij = x_ij /∑x_ij。

(3)计算同行评议专家的评价值。根据评价矩阵和权重,本文采用加权计算法得出同行评议专家的评价值v=w*X^T。

(4)按照评价值对被选专家进行排序,并标示在本次评审中已选中的次数。

结合申请书相似度和专家评价指标综合得出的专家检索结果示例(其中灰色部分是由于涉及到专家个人信息,故此隐去),如图4所示:

图4

	Figure Option ViewDownloadNew Window
	图4专家检索结果示例

同行评议专家智能遴选系统在运行期间积累了1 200名机械行业专家的信息,从项目信息库中随机选取了200项申请书测试本系统的专家遴选效果。在测试数据中,首先由人工为200项申请书分配了评审专家,作为评测的标准答案。

评价指标采用R-Precision和P@10,其中R-Precision是检索出与申请书相关的专家的准确率,即系统检索出的专家与人工分配的专家的匹配度;P@10是系统返回的前10个专家的准确率,P@10常常能有效地反映系统在真实应用环境下所表现的性能。

中国机械工业联合会之前采用的专家遴选系统是以数据库搜索为主,即根据科研项目申请书的学科领域与专家的研究领域的匹配度进行遴选。为了对比本系统的性能,将原专家遴选系统(简称“原系统”)作为基线,并将测试数据分为5组。本系统与原系统的P@10比较和 R-Precision比较如表2和表3所示:

表2

表2

表2 本系统比原系统的5组数据P@10比较 P@10 Task1 Task2 Task3 Task4 Task5 AVR 本系统 0.605 357 0.594 643 0.589 286 0.589 286 0.480 357 0.571 786 原系统 0.191 071 0.133 929 0.108 929 0.167 857 0.096 429 0.139 643

表2 本系统比原系统的5组数据P@10比较

表3

表3

表3 本系统比原系统的5组数据R-Precision比较 R-Precision Task1 Task2 Task3 Task4 Task5 AVR 本系统 0.522 008 0.516 968 0.503 314 0.503 314 0.578 57 0.524 835 原系统 0.126 606 0.086 727 0.070 642 0.097 156 0.054 092 0.087 045

表3 本系统比原系统的5组数据R-Precision比较

从表2和表3可以看出,本系统比原系统平均P@10提高43.21%,R-Precision提高43.78%。