从20世纪50年代起, 自然语言处理就伴随着图灵机的提出而成为学者的关注对象。自然语言处理的研究范围主要包括: 机器翻译、自动分词、词性标注、语法解析、名词实体识别以及实体关系识别等。随着计算机技术的快速发展, 中文信息处理得到长足发展, 其中现代汉语文本信息处理已经取得丰富的成果^[1,2], 但针对古代汉语文本信息处理的研究则相对较少。

古文信息处理研究相对滞后主要有三方面原因^[3]。

(1) 古汉语文本的信息化程度较低。虽然国家已设立重大项目将古籍资料转换成电子版, 但仍有大量古籍没有完成数字化, 很多疑难汉字甚至都没有对应的计算机编码。

(2) 当前的社会生活中古汉语使用率低。在互联网时代, 很少有人在生活和工作中需要使用古汉语, 古文信息处理研究所能带来的商业价值较低, 因此缺乏吸引力。

(3) 古汉语研究与信息处理技术缺乏有机结合。大部分古汉语语言学家在信息技术方面有所欠缺, 另一方面从事古文信息处理的计算机工作者则亟需古汉语语言学家提供大量的语料库以及语言学角度下的知识和方法。

词性标注是自然语言处理的重要内容之一, 也是其他信息处理技术的基础。在各种自然语言处理过程中, 均有词性标注阶段。词性标注的正确率直接影响到后续的分析处理结果。因此, 词性标注一直是自然语言处理的重要内容。

在古汉语文本处理方面, 蒋建洪等结合基于词典分词法和基于统计分词法的优点, 将MMSEG分词算法和互信息算法应用于分词处理过程中, 得到的分词模型能够较好地解决分词速度和效率问题^[4]。王嘉灵以《汉书》为语料, 对比三大类词表在分词上的效果, 发现注疏词表和专名词表是最优的分词词表组合^[5]。石民等采用基于CRF的分词标注一体化方法, 与两步方法相比, 分词、标注性能均有明显提高, 开放测试的F值分别达到94.60%和89.65%^[6]。留金腾等以《淮南子》为文本, 采用自动分词与词性标注并结合人工校正的方法构建语料库, 其中自动分词和标注过程使用领域适应方法优化标注模型, 在分词和词性标注上均显著提升了标注性能^[7]。钱智勇等利用隐马尔可夫模型对《楚辞》进行自动分词标注实验, 通过比较分词后的标注词性概率, 取最大概率作为最后的分词和词性标注结果, 并在其中使用全切分和加值平滑算法。经过实验调整分词标注程序模块和参数, 最终得到一个分词标注辅助软件^[8]。姜维等针对词性标注主要面临的兼类词消歧以及未知词标注的难题, 引入条件随机域建立词性标注模型, 易于融合新的特征, 并能解决标注偏置的问题, 此外还引入长距离特征有效地标注复杂兼类词, 以及应用后缀词与命名实体识别等方法提高未知词的标注精度^[9]。张颖杰等采用《汉语大词典2.0》作为知识来源, 将其词条释义作为义类, 每个义项的例句作为训练语料, 使用基于支持向量机(Support Vector Machine, SVM)的半指导方法对《左传》进行全文词义标注, 提高古汉语语义标注的正确率^[10]。

在命名实体抽取方面, 根据机器学习方法的不同, 可以分为无监督及有监督方法。有监督方法主要通过挖掘能表征命名实体的有用特征来提高抽取效果, 但是对于不同的数据集往往需要训练不同的参数。有监督方法中, 代表性的工作有Turney提出的GenEx^[11]以及Frank等的KEA系统^[12]。无监督方法一般利用文档词本身的统计信息实现命名实体的抽取, 适用范围广。无监督方法中目前的主流方法可归纳为三种: 基于TF-IDF统计特征的关键词抽取、基于主题模型的关键词抽取和基于词图模型的关键词抽取方法。其中词图模型又以TextRank算法为典型代表^[13]。牛萍等针对候选词的选取, 提出一种连续单字未登录词识别和多词短语识别的方法, 改进TF-IDF公式, 将识别准确率提高了5%左右^[14]。徐文海等提出一种基于向量空间模型和TF-IDF方法的中文关键词抽取算法, 用TF-IDF方法对文献空间中的每个词进行权重计算, 然后根据计算结果抽取关键词, 该算法对中文科技文献的关键词自动抽取成效显著^[15]。李鹏等为提高网页关键词抽取质量, 提出利用社会化标签(Tag)进行关键词抽取的框架, 并给出一种具体的实现方法Tag-TextRank, 实验表明Tag-TextRank在各项评价指标上均优于经典的抽取方法TextRank^[16]。谢玮等设计基于TextRank图算法思想的论文推荐系统, 通过加入词与词之间的影响力计算以及多文档集中逆文档频率IDF, 并基于余弦向量值对抽取出的关键词进行相似度匹配, 实现论文的推荐^[17]。蒲梅等以新闻事件要素分析为基础, 利用TextRank算法对事件句构建关系图模型, 引入位置关系、句子相似度和关键词覆盖率三个影响因子, 提出一种新的新闻事件主题句提取算法, 其效果优于基于TF-IDF和Title的关键事件主题句抽取方法^[18]。宁建飞等将Word2Vec与TextRank有效融合, 对TextRank算法进行改进, 文档集中的词关系有助于修正单文档内部的词关系, 提升单文档的关键词抽取准确性^[19]。夏天基于TextRank基本思想, 构建候选关键词图, 计算词语之间的影响力概率转移矩阵, 通过迭代法实现候选关键词分值计算, 结果表明, 对词语未知加权的TextRank方法优于传统TextRank方法和基于LDA主题模型的关键词抽取方法^[20]。魏赟等提出一种综合TF-IDF、TextRank、统计学知识抽取关键短语和利用候选关键短语逆文档频率排序的方法, 相比于经典TextRank模型, 该模型准确率、召回率和F值分别提高了2%、4.5%和3.4%^[21]。

目前比较权威的词性标记集有南京师范大学先秦汉语词类标注基本集、北京大学汉语文本词性标记集、中国科学院计算技术研究所(简称“中科院计算所”)汉语词性标记集以及教育部出版的现代汉语词类标记规范。鉴于不同标记集对于典籍实体抽取结果有不同的影响, 本文以南京师范大学先秦汉语词类标注基本集为主, 通过其他版本词性标记集对其进行补充或合并, 形成不同大小的新的词性标记集。采用条件随机场模型对不同词性标记集标注后的语料进行实体抽取实验, 探究不同词性标记集合在典籍实体抽取上的差异性, 以找出性能较好的词性标记集。

(1) CRFs模型概述

条件随机场模型(Conditional Random Fields, CRFs)是Lafferty等在最大熵模型和隐马尔可夫模型的基础上提出的一种无向图学习模型, 是一种用于标注和切分有序数据的条件概率模型^[23]。给定一组数据序列随机变量X, CRFs根据标注结果序列的随机变量Y给出条件概率分布P(Y|X), 通过训练以使条件概率P(Y|X)最大。CRFs最简单的形式是线性CRFs, 其中各节点间可以形成线性结构。线性CRFs对应一个有限的状态机, 适用于线性数据序列的标注。本文默认使用的CRFs为线性CRFs。

无向图模型亦称为马尔可夫随机场或马尔可夫网络, 由Pearl提出^[24]。无向图G(V,E)表示概率分布, 其中V是节点, 表示随机变量; E是边, 表示随机变量之间的依赖关系。设v∈V是无向图G中的任意一个节点, W是与v有边连接的所有节点, 随机变量Y_v对应于v, 随机变量Y_W对应于W。若由随机变量Y构成一个可以用G(V,E)表示的马尔可夫随机场, 即$\text{P}({{Y}_{\text{v}}}|X,{{Y}_{\text{W}}},W\ne v)=P({{Y}_{\text{v}}}|X,{{Y}_{\text{W}}},W\sim v)$, 对任意节点v成立, 则条件概率分布P(Y|X)为条件随机场。其中, W~v表示图G中与节点v有边连接的所有节点W, W≠v表示节点v以外的所有节点。Y_v和Y_W为节点。

若$\text{P(}{{\text{Y}}_{\text{i}}}\text{ }\!\!|\!\!\text{ X,}{{\text{Y}}_{\text{1}}}\text{,}\cdot \cdot \cdot \text{,}{{\text{Y}}_{\text{i-1}}}\text{,}{{\text{Y}}_{\text{i+1}}}\text{,}\cdot \cdot \cdot \text{,}{{\text{Y}}_{\text{n}}}\text{)=P(}{{\text{Y}}_{\text{i}}}\text{ }\!\!|\!\!\text{ X,}{{\text{Y}}_{\text{i-1}}}\text{,}{{\text{Y}}_{\text{i+1}}}\text{)}$, 则P(Y|X)为条件随机场(线性链条件随机场), 如图1所示。

(2) CRFs模型的优点

条件随机场在应用中具有两个优点。一是对观测值不存在严格的独立性假设, 观测值的所有属性都可以为决策任意顶点上状态变量的取值提供依据。二是建立整个标记序列的联合概率, 这样不仅能够避免如最大熵、隐马尔可夫模型的标记偏置问题, 同时通过对所有特征进行全局归一化处理, 得到表达特征在全局条件下的重要程度, 使模型充分利用特征信息。鉴于此, 本文运用CRFs模型, 结合古汉语词汇的语言学规则构建特征模板, 探究CRFs模型在古汉语词性标注中的应用。

(3) 特征模板

如何针对词性标注为CRFs模型选择合适的特征模板, 是CRFs模型在词性标注中能否发挥作用的关键。特征模板指针对条件随机场模型的训练过程结合所需要识别序列单位的长度、前后字(词)、语音、相关搭配以及作为字词组合的概率等信息集合^[25]。

特征模板可以根据是否需要结合特征知识分为简单特征模板和组合特征模板等。古代汉语文本词性标注主要涉及到的特征是词, 其中又以单字词为主。本文使用的简单特征模板如表6所示。简单特征模板作为Baseline, 之后的特征知识模板在此基础上产生。

本文在古代汉语文本词性标记集和实体抽取领域进行了探索。基于条件随机场模型, 通过观察词性、词长、虚词等特征, 使用《左传》作为训练语料, 得到三种不同词性标记集的实体抽取模型并在《国语》上进行验证, 从实验结果可以看出利用标记集3构建的实体抽取模型实验效果最好, F值为84.07%。

本文主要研究局限在于实验特征选取有待进一步改善, 训练结果还有提升空间, 下一步工作将会根据古汉语的具体特征对词性标记集进行增加或修改部分词性, 从先秦语料库中挖掘更多的特征知识添加到命名实体抽取的特征模板中, 进一步提高实体抽取的精确率和召回率。