条件随机场(Conditional Random Fields, CRFs)是一种统计模型。最早由Lafferty等^[10]于2001年提出。CRFs提出的时间晚于最大熵模型(ME)、隐马尔可夫模型(HMM)。在借鉴两个模型优点的基础上, CRFs克服了隐马尔可夫模型强独立性假设条件的约束, 具有容纳上下文信息的能力, 而且其采用的全局归一化方法, 有效克服了最大熵马尔可夫模型的标记偏置问题。CRFs是目前能够有效解决序列化数据分割与标注问题最好的机器学习模型之一, 在分词和命名实体识别等问题上已经得到了广泛的应用。

术语抽取任务是指当给定输入集合X={x₁, x₂, · · · , x_n}, 经过模型处理可得到输出集合T={T₁, T₂, · · · , T_m}, 集合X可数, 集合T是有穷集合且它的元素为抽取的术语。术语T_i是词的集合T_i={x_i, x_i+1, · · · , x_j}(i=1, 2, · · · , n, j=1, 2, · · · , n且i≤ j)。

序列标注是指对给定的可数输入序列X₁, X₂, X₃· · · X_n, 经过模型处理得到有穷输出序列y₁, y₂, · · · , y_n。其中, y_i是对应于x_i的标记。

本文采用BIO组块表达法来标记术语。其中B表示术语的开头, I表示术语的其他部分, O表示不相关部分, 即通过上文的定义将术语抽取问题转化为基于CRFs的序列标注问题。例如: 根据序列标注结果“ 与/O 质子/B 交换/I 膜/I 结合/O” 就可以得到术语为“ 质子交换膜” 。

本模型的处理步骤如下:

(1) 获取专利文献, 对文献进行去噪、去重、分词、词性标注和依存句法分析等预处理操作;

(2) 选取合适的特征, 利用CRFs训练模型;

(3) 利用测试语料测试模型, 修正参数;

(4) 分析实验结果。

语言云(语言技术平台云LTP-Cloud)是由哈尔滨工业大学社会计算与信息检索研究中心研发的云端自然语言处理服务平台。后端依托于语言技术平台, 语言云为用户提供了包括分词、词性标注、依存句法分析、命名实体识别、语义角色标注在内的丰富高效的自然语言处理服务^[11]。

依存句法(Dependency Parsing, DP)通过分析语言单位内成分之间的依存关系揭示其句法结构^[11]。简而言之, 就是可以通过句法分析识别出句子中的谓语、宾语、定语等成分, 通过这些依存关系即可清晰地看出词语与词语之间的关系。语言云平台提供了14种依存关系, 如表4所示:

表4

表4

表4 依存关系 关系类型 标注 关系类型 标注 主谓关系 SBV 动补结构 CMP 动宾关系 VOB 并列关系 COO 间宾关系 IOB 介宾关系 POB 前置宾语 FOB 左附加关系 LAD 兼 语 DBL 右附加关系 RAD 定中关系 ATT 独立结构 IS 状中结构 ADV 核心关系 HED

表4 依存关系

特征的选取对CRFs模型非常关键, 特征选择的好坏将直接影响系统的性能。针对任务的不同应该选择具有代表性的特征。为了最大限度地利用已经发现的语言学规律, 可以通过不同的特征模板来筛选特征。模型中的模板可以把特定位置的上下文信息、词、词性、依存句法关系等信息综合考虑。在避免特征的碎片化的同时还可以最大程度地集成知识源, 这样可以将尽可能多的知识统一在特征模板中, 通过不同特征的组合达到识别效果的最大化。本文首先使用当前词、词性、词长、词典位置这4个特征, 然后通过分析新能源领域专业术语的统计特征和语言学特征提出停用词和依存句法关系这两个新特征。为了使用这些特征, 窗口大小设定为两个词, 即向上向下滑动两个词的距离。经过多次实验最终确定本文所使用的特征模板。

CRFs模型的特征一般分为三类: 原子特征、复合特征以及全局变量特征。原子特征是单独的一项特征, 如Word。复合特征为两项或两项以上特征复合, 如Word_i/POS_i就是复合特征, 表示当前词本身和它的词性的组合。本文没有使用CRFs的全局变量特征。

下面介绍本文用到的6个特征:

(1) 词本身Word

根据领域术语的统计信息可知, 有些词只出现在该领域内。所以, 词本身包含了候选词是否作为领域术语的很多信息, 因此使用词本身作为特征。例如“ 极片” 这个词一般只在作为领域术语时出现。

(2) 词性POS

分析新能源汽车领域中文术语的词性组合情况后发现, 术语主要由名词短语构成。从表5可以看出, 虽然构成术语的词性组合模式很多, 但是术语词性变化不大, 词性主要为名词、动名词这两种, 共占47.16%。因此, 可以通过词性过滤掉很多标注为虚词或其他词性的词语和一些词性组合明显不是术语的词。

表5

表5

表5 术语词性序列 词性序列 比例 n n n n 2.07% n n vn n 2.29% n n vn n 2.29% n 4.33% n n n 7.73% n vn n 8.63% n n 19.82% 其他 52.84%

表5 术语词性序列

(3) 词典位置DicPos

本文用到的术语词典中有9 644个术语, 其中有2 305个词。由上述数据可知, 一些词不仅出现在一个术语中。根据统计复杂术语占83.57%, 单词在词典中的出现位置可以作为一项特征^[12]。经统计, 单词在词典中的出现位置有以下7种情况, 如表6所示:

表6

表6

表6 词典位置比例与取值[12] 词典位置 比例 特征值 单词型术语 2.35% OS 术语首词 18.75% DB 术语中部 3.95% DI 术语尾词 14.94% DE 位置不固定 43.03% OD 构成复杂术语和单词型术语 16.98% DS 非词典词 0% O

表6 词典位置比例与取值[12]

根据以上分析, 单词在词典中的位置可以记为“ OS、DS、DB、DI、DE、OD、O” , 其中O表示当前词不在词典中。

(4) 依存句法分析Rel

术语虽然结构复杂, 但是通过统计分析发现, 术语内部词语与词语之间的依存关系存在一定的规律。从表3可以看出词语之间的依存关系主要是定中关系、介宾关系、主谓关系、动宾关系。通过过滤不可能组成术语的依存关系, 可以提高识别术语的效果。术语词与词之间的关系可以使用依存句法关系的标注来表示。例如“ 一/ATT 种/ATT 用于/ATT 混合/VOB 动力/ATT汽车/VOB” 其中术语为“ 混合动力汽车” 。“ 混合/VOB” 表示“ 混合” 是“ 用于” 的宾语, 那么“ 用于” 就不是混合的一部分。“ 动力/ATT” 表示“ 动力” 是“ 汽车” 的定语, “ 汽车/VOB” 表示“ 混合” 的宾语。

(5) 词长Length

由于术语中有很多词是未登录词, 所以分词工具会将这类术语切分为单个字。比如, “ 串/v 励/g直流电/n 机/g” 。因此, 可以通过当前词的长度判断当前词是否为术语的组成部分。

(6) 是否为停用词isStop

由于CRFs标注过程中会出现错误地扩大术语的前后边界, 通过统计术语前后边界出现的错误信息, 可以提取停用词表。通过停用词可以提高抽取的正确率。如果当前词是停用词记为1, 否则记为0。停用词的提取规则为:

①术语前出现的数量词、介词, 如“ 一个、一种、和” 等。

②术语后出现的部分语气词、动词、数词、介词、方位词, 如“ 了、输出、一个、在、左边” 等。

实验语料是某专利公司的415篇专利文献共计25MB, 其中20MB(343篇)作为训练语料, 5MB(72篇)作为测试语料。将PDF格式的专利文献转换为纯文本文件, 并去除转换过程中产生的乱码, 生成的文本内容作为语料。本文将语料按照比例分配后, 使用ICTCLAS分词工具对语料进行分词和词性标注处理, 再使用语言云平台提供的依存句法分析服务对已经分词的语料进行依存句法分析, 抽取得到语料中词与词之间的依存关系, 将依存关系标注作为CRFs训练的一项特征。最后, 按照CRFs模型所要求的格式加入各项特征。训练语料中有术语2 415个(不重复), 重复术语共计118 517个; 测试语料中有术语1 074个(不重复), 重复术语共计22 796个。训练语料中的术语长度的分布情况如表7所示:

表7

表7

表7 训练语料中各长度的术语所占比例 词长 百分比 1 16.85% 2 46.46% 3 24.72% 4 8.41% 其他 3.56%

表7 训练语料中各长度的术语所占比例

为了方便标注, 以手工提取的9 644个术语为基础, 自动标注专利文献中的相同词语。然后, 手动校对该词语在上下文信息中表示的是否是与新能源汽车相关的意义, 如果不相关就手工修改该标注。

标注方法如下:

(1) 由于新能源汽车领域的术语难以避免会出现一些汽车、化学等其他领域中的常见术语, 因此将部分与新能源汽车领域相关的术语也定义为新能源汽车中的常用术语。如“ 坡道起步能力” 、“ 电催化剂” 等术语。

(2) 语料中有一部分术语是表达一些系统或结构, 这些术语是与新能源汽车相关的系统、结构和对应的英文缩写。所以, 这些术语也被视为新能源汽车领域的术语。如“ 燃料电池发电系统” 、“ 膜电极组件” 和“ MEA” 。

(3) 术语是领域知识的总结和概括, 所以标注的术语应遵循尽量完整和详细的原则。如“ 电源输出的动态响应特性” 、“ 最高车速(1km)” 。

(4) 描述汽车品牌和型号的词不作为领域术语。

(5) 专利文献中如果存在中英文术语同时出现的情况, 视为两个术语进行识别。如“ 质子交换膜(PEM)” 标注为两个术语, 分别为“ 质子交换膜” 和“ PEM” 。

采用正确率(P)、召回率(R)、以及F-Value作为评价指标(术语数包含重复的个数), 计算方法如下:

使用6个特征进行领域术语抽取, 为了验证特征的有效性, 将各组特征分别加入到特征模板中进行测试, 选取实验结果最好的组合作为最终的特征模板。实验结果如表8所示：

表8

表8

表8 不同特征组合的实验结果 编号 特征 P R F-Value 1 Word POS 85.39% 83.53% 84.45% 2 Word POS Length 90.88% 88.59% 89.72% 3 Word POS Length Rel 93.12% 90.47% 91.78% 4 Word POS Length Rel DicPos 92.99% 89.66% 91.29% 5 Word POS Length isStop 93.30% 87.95% 90.55% 6 Word POS Length Rel DicPos isStop 91.47% 88.88% 90.16%

表8 不同特征组合的实验结果

从表8可以看出, 特征组合5使用当前词、词性、词长、停用词时正确率最高, 达到93.30%; 特征组合3使用当前词、词性、词长、依存句法关系时F-Value最高, 达到91.78%, 正确率略有降低。当加入停用词特征时召回率略有下降, 分析原因是停用词造成识别结果中长术语数量减少, 短术语正确数量增多进而使得召回率下降。分析实验数据可以看出, 特征组合3在加入依存句法关系特征后的正确率比特征组合2的正确率提高了2.24%。

表9中的百分比是指在表8采用特征组合3的特征模板情况下正确识别的术语(包含重复术语)占测试语料中该长度术语数的百分比。从表9可以看出简单术语的识别结果最好, 其他(5个以及5个词以上的术语)术语的识别结果最差。分析其原因可以发现, 模型中的原子模板对术语识别的作用最好, 复合模板的组合情况仍需要继续研究。

表9

表9

表9 不同长度术语的识别结果 词长 P 1 87.53% 2 83.02% 3 71.31% 4 59.83% 其他 19.39%

表9 不同长度术语的识别结果

在选取依存句法关系特征时, 主要考虑的是词与词之间的依赖关系, 从依赖关系入手, 分析术语的首词和中心词之间的关系, 术语内部词汇之间的关系, 经过统计分析发现术语内部词汇之间的关系具有统计规律。在实验中通过尝试原子模板和复合模板, 找到一种利用依赖关系的方式即将当前词、词性、当前词的依存句法关系标注三者复合在一起的模板对术语的抽取效果最好。经过实验证明依存句法关系可以作为一种特征来提高术语识别结果的正确率和召回率。

分析实验结果发现识别的错误举例:

(1) 由于分词错误导致的识别错误

由于术语“ 双极片” 应该是一个词, 但是分词工具有时将它分为两个词“ 双/m 极片/n” , 有时分为三个词“ 双/q 极/d 片/g” , 导致识别错误。

(2) 识别术语不全

例如术语“ 二次锂离子电池” , 没有识别出“ 二次” ; “ 负极片” 只识别出了“ 负极” 。术语的识别应该尽量详尽, 所以上述识别的术语是错误的。

(3) 错误识别其他领域的术语

例如“ 纳米” 是其他领域的术语, 但不是新能源汽车领域的术语。

文献^[7]在统计领域术语的词性组合概率基础上使用当前词和词性为特征模板识别领域术语, 正确率是89.03%, F-Value是88.759%。本文将文献^[7]的方法作为BaseLine在本实验语料上进行实验。选取的特征与文献^[7]相同, 实验结果如表10所示:

表1

表1

表10 本文特征组合3的实验结果与BaseLine的比较 指标 P R F-Value BaseLine 85.39% 83.53% 84.45% 特征组合3 93.12% 90.47% 91.78%

表10 本文特征组合3的实验结果与BaseLine的比较

实验结果表明, 在新能源汽车领域, 通过选取有效的特征, 建立了有效的术语抽取模型。