本文选取乙型肝炎相关论文的摘要作为实验数据。从互联网上获得一般停用词^{[ 14]};通过阅读50篇论文摘要,人工确定与该领域相关的停用词,同时剔除一些与该领域无关的一般停用词。由于医学文献的特殊性,有大量缩写和其他非中文字符,因此本文也将字母和阿拉伯数字作为停用词使用。

本文采用的候选术语抽取算法基于以下假设:某篇专业领域文档中重复出现的字符串很有可能是该领域的专业术语^{[ 7]}。比如在一篇有关乙型肝炎的摘要中,“乙型肝炎病毒”一词多次出现。本文采用的候选术语抽取算法说明如下:

候选术语抽取算法的过程类似于寻找最大频繁项集的过程。若将文本看作字符串str=a₁a₂…a_n(n≥2),其中a_i(1≤i≤n)表示字符串中的一个字符,则候选术语抽取即是在字符串str中寻找出现频次满足阈值的最长子串substr=a_i…a_j(1≤i≤j≤n)。最长子串的概念如下:若某满足阈值要求的子串与相邻字符合并得到的子串不能满足阈值要求,则称其为最长子串。结合本问题的特殊约束条件,可将问题转化为寻找最大频繁项集(相应于最长字串的概念,与通常意义上的最大频繁项集有所差异)的过程如下:.

设t={a₁,a₂,…a_n}表示文本,a_i项表示字符串中的字符,t中的任何连续项{a_i,…a_j}(1≤i≤j≤n)构成一个项集。将项集{a_i,…a_j}的支持度设为其在t中的出现频次,即support({a_i…a_j}) = freq({a_i…a_j}),若support({a_i…a_j}) ≥σ,则称项集{a_i,…a_j}为频繁项集,其中σ是设定的阈值,即重复的频次。候选术语抽取即转换为在t中寻找满足support({a_i…a_j})≥σ的最大频繁项集。在算法实现上可参考Apriori算法。

值得注意的是该算法会提取出现频次大于其父串的重复子串。例如,若重复子串“乙型肝炎病毒”在文本中的出现频次大于父重复子串“慢性乙型肝炎病毒”的出现频次,则两者都将被提取,否则,仅提取“慢性乙型肝炎病毒”。因此,该算法可以提取嵌套术语。

由于术语词性构成规则很难总结,并且几乎每种规则都会产生噪音。因此,本文采取逆向的方法,利用候选术语的词性将一些明显不能作为术语的候选术语过滤掉。先采用中国科学院计算技术研究所的汉语词法分析系统ICTCLAS对候选术语进行分词及词性标注;再对经过分词及词性标注的候选术语总结明显不能作为术语的语言学规则,如表1所示:

表1

表1

表1 非术语词性构成规则 编号 规则描述 1 结尾是数词(m)、方位词(f)、介词(p)和连接词(k) 2 单个词,且非名词 3 包含分隔符(w)

表1 非术语词性构成规则

候选术语中一般包括有普通词语搭配、无意义的字串和术语,要从中选择出正确的术语,简单的有频次排序选择法^{[ 9]},该方法虽简单易行,但是仅考虑候选术语的出现频次而没有考虑候选术语的长度以及文档频率;使用领域相减^{[ 2]}的方法可以过滤掉一般词语,但需要一个对照语料库,且存在一般词语识别能力不足等问题;基于TF-IDF方法及其变形形式的术语选择也是常用的方法^{[ 11]}。以上方法都没有考虑到嵌套术语和候选术语长度的问题。

相比之下,C-value方法虽然考虑了术语长度和嵌套术语,但也存在一些问题。目前,已有不少人从不同的角度对C-value方法进行改进。许德山等^{[ 15]}结合上下文环境在C-value基础上进行改进,提出V-value方法,在一定程度上提高了术语识别的准确率。还有人将领域类别信息^{[ 16]}、文档频率^{[ 17]}等融入C-value值计算中。以上改进方法没有考虑到逆文档频率、公共破碎子串以及提高长术语发现能力的特殊意义。

本文从逆文档频率、公共破碎子串和术语长度三个方面改进C-value方法,具体说明如下:

(1)C-value方法不能有效过滤一些出现频次很高的普通词汇。按C-value方法计算术语度,则出现频次高的普通词汇会获得较高的C-value值,而无法得到有效过滤,因此本文在C-value值计算中融入逆文档频率,降低高频次普通词汇的术语度值。

(2)C-value方法不能很好地区别公共破碎子串与嵌套术语。例如,“病毒性肝炎肝衰竭”与“病毒性乙型肝炎”都是词串“病毒性”的父串,“病毒性”为公共破碎子串,而并非嵌套术语。“细胞免疫”的父串有“细胞免疫应答”、“细胞免疫功能”等,“细胞免疫”为术语。事实上,若某一子串是公共破碎子串,就不应该独立出现;而若某一子串是术语,就应该会独立出现。因此,为了有效区分公共破碎子串(如“病毒性”)与术语(如“细胞免疫”),在计算中将C-value中的f(a)－

(3)短术语多为如细胞、基因、乙肝、血清和病毒的术语,在领域内具有相对普遍的意义。该类术语可以与其他词组合成更具针对性的长术语,比如淋巴细胞、肝炎病毒等。长术语一般具有更为特定的含意,因此提高长术语的发现能力很有意义。为此可增加候选术语长度在术语度值中的权重,因此本文认为用代替更为妥当。

综上所述,IC-value计算公式如下:

其中,a表示候选术语,IC-value(a)指候选术语a的IC-value值,|a|表示候选术语a的长度,即候选术语包含的字数,f(x)表示x(x取a或b)在文档集中出现的频次,g(a)表示候选术语a的文档频率,b是候选术语a的嵌套候选术语,T_a表示候选术语a的嵌套候选术语集合。需要注意的是,在计算f(b)时较短的嵌套候选术语的频次要扣除嵌套它的候选术语的频次。举例来说,“细胞”的嵌套词语有“细胞免疫”、“细胞免疫应答”、“细胞免疫功能”等。在计算细胞的嵌套候选术语的总频次 b∈T_af(b)时,“细胞免疫”的f(b)值应为“细胞免疫”的词频减去“细胞免疫应答”和“细胞免疫功能”的词频。

根据公式(1)计算得到每个候选术语的IC-value值,其值越高,成为术语的可能性就越大。

本文选取2007年到2011年共1 000篇有关乙型肝炎相关论文的摘要,并以此进行术语抽取实验。

(1)利用停用词对摘要进行预处理,并采用基于串频统计的候选术语抽取算法从预处理文本中抽取候选术语,将阈值设置为2,并且抽取长度大于1的候选术语,共得到3 916个候选术语。

(2)对抽取的候选术语集进行分词及词性标注之后,使用非术语语言学规则进行过滤,将明显不能作为术语的候选术语过滤掉。同时发现候选术语集中包含一些地名,本文利用候选术语是否包含“省”、“市”、“县”将地名过滤。经过以上处理,最终得到3 270个候选术语。

(3)对于最终得到的3 270个候选术语,计算其TF-IDF、C-value和IC-value值,同时为了与文献[15]的方法比较,也计算V-value值(由于在此仅用文献摘要,因此在计算V-value时没有使用加权TF-IDF)。然后分别按照TF-IDF、C-value、V-value和IC-value值大小进行排序,并按照排序结果选取Top500。人工判定3 270个候选术语是否为术语,并以此来判定Top500中的术语是否正确,从而计算出不同方法的Top500术语选择的正确率。同时,从1 000篇摘要中随机抽取50篇摘要,人工识别出其中的术语,共计265个,来检验不同方法Top500的召回率。其中,准确率和召回率的计算公式如下:
准确率=正确的术语数抽取出的术语总数×100% (2)
召回率=

表2

表2

表2 TF-IDF、C-value、V-value和IC-value方法 Top500术语选择的准确率 方法 准确率 Top100 Top200 Top300 Top400 Top500 TF-IDF 57.00% 60.00% 63.00% 62.00% 64.80% C-value 68.00% 71.50% 72.00% 73.25% 73.60% V-value 57.00% 63.50% 68.00% 67.50% 69.00% IC-value 80.00% 80.50% 78.00% 78.50% 77.80%

表2 TF-IDF、C-value、V-value和IC-value方法 Top500术语选择的准确率

表3

表3

表3 TF-IDF、C-value、V-value和IC-value方法 Top500术语选择的召回率 方法 召回率 Top100 Top200 Top300 Top400 Top500 TF-IDF 9.81% 12.83% 17.74% 20.38% 23.40% C-value 11.70% 16.60% 20.38% 23.40% 25.28% V-value 10.57% 15.09% 20.75% 24.15% 27.55% IC-value 10.94% 19.62% 23.02% 27.55% 29.81%

表3 TF-IDF、C-value、V-value和IC-value方法 Top500术语选择的召回率

由表2可以看出,IC-value方法的Top500术语抽取的准确率要比其他三种方法高。在抽取的Top100术语中,IC-value方法要比TF-IDF和V-value方法高出23%,比C-value方法高出12%。基于C-value改进的V-value方法抽取术语的准确率远不如IC-value方法,甚至不如C-value方法,但比TF-IDF方法略好。由此可见,IC-value方法有效提高了术语抽取的准确率,效果优于V-value方法。

由表3可以看出,针对随机选取的50篇摘要中的265个术语,IC-value方法的Top500术语抽取召回率比C-value、TF-IDF和V-value效果略好,但是,4种方法Top500的召回率都在30%以下,召回率普遍较低。分析50篇摘要中的265个术语,发现其中共有62个术语在整个文档集中的出现频次为1,本文方法无法抽取。并且265个术语中在文档集出现频次少于等于10的术语共148个,而其中被TF-IDF、C-value、V-value和IC-value方法识别的术语都不足10个,分别为0、8、4和8,说明4种方法对低频术语的识别能力较差。由此可见召回率偏低的主要原因是低频术语较难抽取。

为了更好地评价抽取结果,对4种方法的Top500进行更为深入的分析。在对Top500中正确抽取的术语分析后发现,IC-value、 C-value、V-value和TF-IDF方法得到的长度大于2的术语分别为335、320、254和196个。可见IC-value发现长术语的能力比C-value方法稍优,远优于V-value和TF-IDF方法。

另外,在由TF-IDF和C-value方法得到的Top500中有许多没有意义的破碎子串,比如“慢性乙”、“夫定”、“荧光定”、“慢性肝”等。统计4种方法Top500中破碎子串的个数如表4所示。

可以发现IC-value方法能有效地区分破碎子串和术语。主要原因是在TF-IDF、C-value和V-value的
表4

表4

表4

表4 TF-IDF、C-value、V-value和IC-value方法 Top500中破碎子串的数量 TF-IDF C-value V-value IC-value 破碎子串数 36 21 41 1

表4 TF-IDF、C-value、V-value和IC-value方法 Top500中破碎子串的数量

计算公式中没有考虑到破碎子串的问题,在计算相应值时不按其破碎子串独立出现的次数计算,导致其对应值较高。而IC-value方法使用f(a)－b∈T_af(b)(子串独立出现的频次)计算术语度值。