目前, 海量专利信息的处理面临着巨大的挑战, 信息的快速检索和充分利用成为必然, 专利文本分词是研究专利相似的基础和重要部分。词是能够独立使用的最小语言单元, 但中文文本和西语存在很大不同: 汉语中词与词之间没有明显的类似于空格的显式边界。因此, 中文分词成为计算机处理的重要工作, 中文分词的难点是切分歧义的消除和未登录词的识别^{[ 1]}。

虽然中文分词研究取得了丰硕成果, 但针对中文专利文献分词的研究并不多, 本文结合中文专利权利要求书的分割子串规则和术语抽取规则, 构建特定领域词典, 在初分词的基础上, 提出一种基于规则和领域词典的组合分词方法。

中文分词算法很多, 大致可归纳为: 词典分词方法、统计分词方法、理解分词方法和组合分词算法^{[ 2]}。

基于词典的分词方法也称作基于字符串的机械分词方法^{[ 3]}, 其主要思想是: 按照一定的匹配规则将文本中的字符串和事先构建好的词典中的词语进行逐一

匹配, 若匹配成功则切分出来。常用的几种词典分词方法有正向最大匹配法、逆向最大匹配法、双向最大匹配法和最少切分等^{[ 2]}。莫建文等^{[ 4]}提出改进的基于词典中文分词方法, 该方法结合双字哈希结构, 并利用改进的正向最大匹配分词算法进行中文分词。李玲^{[ 5]}构造了标准词典、临时词典和临时高频词表组成的双词典机制作为分词基础, 应用正向最大匹配法和逆向最大匹配法进行分词, 提出基于双词典机制的歧义处理方法。何国斌等^{[ 6]}采用哈希法和二分法进行分词匹配, 并针对机械分词算法的特点, 提出一种基于最大匹配的分词概率算法。梁桢等^{[ 7]}设计能够记录词长的 Hash 结构尾字词典, 提出一种逆向回溯最大匹配算法, 该改进算法采用的回溯机制能够有效消除分词中可能存在的一些歧义问题。

目前来看, 词典分词方法的研究主要围绕词典结构、设计Hash表提高分词性能。词典分词方法的缺陷在于切分准确率依赖于词典规模, 需要权衡时间开销和空间开销。

基于统计的中文分词方法, 其思想是: 词是稳定的汉字的组合, 利用已有的文本语料库作为切分资源, 文本中相邻字之间共现的概率能够很好地反映字之间成词的可信度, 再通过训练语料的迭代, 最后形成统计模型进行分词。常用的是互信息方法、隐马尔科夫模型(HMM)、N元语言模型和最大熵模型等^{[ 2]}。田思虑等^{[ 8]}提出一种改进的基于二元统计的HMM分词算法, 计算出二元统计粗分模型有向边的权值, 运用最短路径法求出分词结果。冯永等^{[ 9]}提出一种基于自适应中文分词和近似SVM的文本分类算法, 利用近似支持向量机进行文本分类。赵秦怡等^{[ 10]}在互信息原理的基础上提出一种基于统计的中文文本分词方法, 该方法对经过预处理后每一个串中的任意可能长度串均判断其成词的可能性。刘丹等^{[ 11]}提出基于贝叶斯网络的中文分词模型, 使用性能更好的平滑算法, 提高了分词效率。

但是, 基于统计的方法往往依赖于大规模的标注训练语料, 不同专业领域的语料存在很大的差异, 分词的准确率与其密切相关。若训练语料过大, 也可能出现数据稀疏的问题。

基于理解的中文分词方法, 基本思想是: 分词同时进行句法、语义分析, 利用句法信息和语义信息处理歧义现象, 理解分词方法需要使用大量语言知识和信息, 常用的人工智能技术包括专家系统、神经网络和生成-测试法三种^{[ 2]}。王彩荣^{[ 12]}设计了分词专家系统的框架, 用知识推理与语法分析替代传统的“词典匹配分词+歧义校正”的过程。尹锋^{[ 13]}利用 BP 神经网络设计了一个分词系统, 进行大量仿真实验, 取得不错的分词效果。来斯惟等^{[ 14]}提出一种基于表示学习的中文分词方法从大规模语料中无监督地学习中文字的语义向量, 将字的语义向量应用于基于神经网络的有监督中文分词。王靖等^{[ 15]}通过对条件随机场机器学习模型的改进, 增加模型导出功能和使其支持预定Tag, 降低了机器学习的代价。

组合的分词方法, 在实际分词过程中往往需要组合几种分词方法利用各自优势, 以更好地解决分词难题。佟晓筠等^{[ 16]}设计了N-最短路径自动分词和词性自动标注一体化处理的模型。蒋建洪等^{[ 17]}提出一种将词典与统计方法结合的中文分词模型, 分析特定领域的文本数据的特点, 设计并实现了一个快速、准确度高的分词模型。张梅山等^{[ 18]}提出一种将统计与词典相结合的领域自适应中文分词方法, 通过将词典信息以特征的方式融入到统计分词模型中实现领域自适应性。

在中文分词研究中, 针对专利文献的讨论并不多。张桂平等^{[ 19]}提出一种基于统计和规则相结合的多策略分词方法, 结合文献的上下文信息进行最大概率分词。岳金媛等^{[ 20]}采用基于领域词典与统计相结合的方法探讨专利文献的中文分词, 使用条件随机场模型提高专业术语的识别率。宋立峰^{[ 21]}对比分析基于词类的错误驱动学习方法、条件随机场方法和期望最大值方法在中文分词方面的应用, 结果显示基于词类的错误驱动学习方法具有较高的适应性, 有更好的分词效果。

目前, 成熟的中文分词系统是中国科学院计算技术研究所开发的ICTCLAS中文分词系统^{[ 22]}。该系统采用多层隐马尔科夫模型, 扩展原有的隐马尔科夫模型, 分词精度和速度都有很大提高。

专利文献中存在大量未登录专业术语, 关系到分词准确性。而ICTCLAS系统是针对普通文本设计的, 对专利文献的分词效果并不理想。因此, 本文根据中文专利权利要求书的结构特点, 提出一种基于规则和领域词典的组合分词方法, 在ICTCLAS系统初分词的基础上, 构建分词规则和领域词典进行再分词, 以期解决要求书分词的问题, 提高要求书分词效果, 同时也为专利文献相似研究提供基础。

我国专利法规定专利权利要求书应当以说明书为依据, 一项发明或者实用新型应当只有一项独立权利要求书, 并且写在同一发明或者实用新型的从属要求书之前, 并且专利权利要求书与一般的文本不同, 专利权利要求书具有一定的格式要求^{[ 23]}。

一项权利要求一般用一句话表示, 以期强调句子意思的完整性和独立性, 但可以用顿号、逗号和分号等来分割。权利要求书开头不用写明专利名称, 可以直接撰写第一项权利要求项, 即独立要求项。从属要求项紧接着独立要求, 若有两项以上独立要求, 各自的从属权利要求对应写在独立权利要求之后。

独立权利要求一般分为两部分撰写: 前序部分和特征部分。独立权利要求的前序部分和特征部分应当包含发明的全部必要技术特征, 共同构成一个完整的技术解决方案, 同时限定发明或实用新型的保护范围。前序部分: 写明发明或实用新型的要求保护的主题名称, 与该项发明或者实用新型最接近的现有技术共有的必要技术特征。特征部分: 写明发明或实用新型区别于现有技术的技术特征, 这是权利要求的核心内容。该部分紧接前序部分, 并且用“其特征是…”、“其特征在于…”等类似短语与前序部分相连。

从属权利要求也应分两部分撰写: 引用部分和限定部分。引用部分: 写明被引用的权利要求书的编号及发明或实用新型主题名称。限定部分: 写明发明或者实用新型附加的技术特征, 是对独立要求的补充和对引用部分的技术特征的进一步限定。同样, 也以“其特征是…”、“其特征在于…”等类似短语与引用部分相连。

综上所述, 中文专利权利要求书存在明显的结构特点, 属于半结构化文本。因此可以根据这些结构信息提高要求书分词效果。

中文分词的研究取得了丰硕成果, 但目前针对中文专利文献分词的研究并不多, 本文根据中文专利权利要求书的结构特点, 提出一种基于规则和领域词典的组合分词方法, 在ICTCLAS系统初分词的基础上, 构建分词规则和领域词典进行再分词。实验结果表明, 要求书分词的准确率、召回率和F值都有较大的提高。

本文提出的方法对中文专利权利要求书的分词效果有很好的改善, 但由于领域词典的庞大, 也使得大规模分词的效率降低。因此, 下一步通过对基于理解的分词方法研究, 进行语义分析, 构造新的分词模型, 进一步提高中文专利权利要求书的分词性能。

EBSCO宣布支持NISO开放发现倡议

EBSCO信息服务公司(EBSCO)宣布将完全支持NISO开放发现倡议(Open Discovery Initiative, ODI)工作组所制定的最终版推荐准则, 这一准则给出了发现服务的最佳实践。EBSCO是ODI委员会的一员, 因此, EBSCO有关元数据共享和供应商合作的开放政策与工作组制定的推荐准则是一致的。

ODI列出的多个目标涵盖了很多方面, 包括: 元数据共享、链向出版商内容、使用数据提供等。其中, 元数据共享方面, ODI呼吁内容提供商为发现服务提供商提供更多的元数据, 包括相应的全文或是原始内容, 供发现服务商进行索引。

ODI认为, 下一步将会在这个领域进行更加深入的研究, 以确定具体需要关注的问题, 并研究内容提供商和发现服务提供商会如何解决这些问题。EBSCO在其元数据共享政策第三部分已经明确指出将会支持对该问题的进一步研究。

NISO执行董事Todd Carpenter认为EBSCO支持ODI推荐准则有着重要的意义: “EBSCO一直以来都非常支持NISO的标准制定和标准实施工作, 我们非常感激EBSCO员工的积极奉献, 感谢他们在NISO各项倡议, 包括此次的ODI倡议中发挥的先锋作用。EBSCO最近发布的元数据共享政策与ODI的目标是一致的, 这一举动标示着双方将进行更深入的合作, 为所有图书馆读者谋福利。”

EBSCO计划继续与潜在的合作伙伴进行讨论, 以确保EBSCO内容在第三方发现服务解决方案中的可用性, 并寻求就OPAC功能无缝整合到发现服务中进行合作的可能性。

EBSCO高级副总裁兼ODI委员Scott Bernier认为ODI委员会所做的工作将会令整个图书馆界受益良多: “我们很高兴能够看到这些进步, 也期待能够与业界进行更多的合作, 共同协作执行ODI推荐准则, 为图书馆界谋福利。我们会不定期地分享ODI推荐准则的最新进展。”

(编译自: http://www.ebscohost.com/newsroom/stories/ebsco-announces-support-for-open-discovery-initiative-recommendations)

(本刊讯)