日益增强的人类活动导致全球约60%的生态系统处于退化或者不可持续状态,荒漠化、水土流失、石漠化等退化土地已经至少占全球土地面积的四分之一。20世纪早期开始,美国、德国等发达国家启动大批生态保护项目,并从中积累了数量众多的生态治理技术,这些技术也从以单一目标为主演化为兼顾生态、经济、民生等多目标的复合模式^[1]。中国是生态退化最为严重的国家之一,存在荒漠化、水土流失、石漠化、森林生态系统退化等问题的区域占国土面积的22%左右^[2]。针对这些问题,中国自20世纪50年代起实施生态保护工程,同时对西北干旱区生态恢复、黄土高原水土流失综合治理、南方喀斯特区石漠化生态恢复等技术开展机理与示范研究,形成了多种生态治理模式和修复技术。

如果能从大量文本中抽取出生态治理技术名称、实施时间、实施的地理位置、实施地生态环境情况等内容,将其结构化存储并进行关联分析,将有利于把握生态治理技术发展演化的脉络和特征,对生态治理技术领域的情报分析有重要意义。在资源环境领域,开展资源环境相关的实体、属性、关系等的自动抽取和分析方法、技术的研究,也有利于促进大数据环境下基于文本挖掘的资源环境情报分析技术方法的研究和应用。

当前文本挖掘模型的研究主要在机器学习及其相关应用领域。深度学习是机器学习的扩展,但针对更深的语言表示层。深度学习模型效率高,因为需要的特征工程量不大。长短期记忆网络(Long Short-Term Memory,LSTM)和条件随机场(Conditional Random Field, CRF)大大提高了命名实体识别的效率^[3,4,5]。Huang等^[6]提出使用循环神经网络（Recurrent Neural Network）作为文本建模工具,提出LSTM-CRF模型和Bi-LSTM+CRF模型,将双向长短期记忆神经网络模型（Bi-directional Long Short-Term Memory）结合CRF层的Bi-LSTM+CRF模型用于命名实体识别任务中。为解决Bi-LSTM模型无法充分利用硬件设备导致训练速度较慢的问题,Strubell等^[7]提出使用迭代膨胀卷积神经网络（Iterated Dilated Convolutional Neural Networks,ID-CNNs)）替代Bi-LSTM,与CRF层结合组成IDCNN-CRF模型,在提高训练速度的同时获得更好的性能表现。徐飞等^[8]采用CRF、RNN、Bi-LSTM和Bi-LSTM+CRF等传统机器学习模型与深度学习模型对食品安全事件文本进行词性自动标注。还有一些用于文本挖掘任务,比如关系抽取^[9]和问答系统^[10]方面的基于深度学习的模型。深度学习需要大量的训练数据^[11],而科学文本挖掘任务中,大规模训练语料的构建成本很高,需要依赖相关学科领域的专家;由于只能获得小规模训练语料,大多数科学文本挖掘模型不能充分利用深度学习技术。许多研究人员基于多任务模型^[12]、Word2Vec^[13]解决缺乏训练语料的问题。Bi-LSTM+CRF在脆弱生态治理技术相关实体抽取方面适应性和效率如何,有待本研究去探索。

近年来,文本挖掘技术在资源环境相关学科的结构化数据库建设、知识图谱建设、文献内容分析等方面的应用已经兴起。Wang 等^[14]从地球科学中文文献中抽取信息,构建了一个地质学知识图谱。Peters等^[15,16]利用自然语言处理技术从几百万个文档中抽取结构化的古生物信息,并开发古生物学数据库^①(①http://paleobiodb.org.)。Holden等^[17]开发了地质文献分析系统GeoDocA,利用文本挖掘技术对地质勘探报告进行可视化分析。Qiu等^[18]提出一种基于本体和增强型嵌入词从地球科学文献中自动提取关键词的方法。

从大量地球科学和资源环境相关领域的文献中抽取结构化信息,并从科学文本数据中发现知识是地球科学和资源环境相关领域逐步开始重视的一个主题,采用有效的方法从地球科学和资源环境相关文献中抽取命名实体和关系,将会促进基于内容的资源环境相关情报分析向自动化和细粒度发展。

（1）对生态治理技术领域的时间、地名和生态治理技术名称等命名实体的特点和分类进行分析,并在此基础上构建相应的命名实体知识库,作为神经网络模型和词向量的训练语料,以获得质量更高的Word2Vec词向量,从而提升整体识别和抽取的效果。

（2）构建基于Bi-LSTM+CRF的命名实体抽取框架,并结合该框架开展生态治理技术相关命名实体的抽取实验。

（3）开展抽取效果评价。使用Bi-LSTM+CRF神经网络中的随机初始词向量进行命名实体识别模型的训练,作为基准方法;然后分别尝试将Word2Vec训练的两个未标注文本集合的词向量结果替换随机初始词向量,扩大训练语料方法,对比使用不同要素所产生的实验结果;最后评价Bi-LSTM+CRF用于生态治理技术相关命名实体抽取的可行性和效果。

针对本文设计的基于Bi-LSTM与CRF的方法,研究框架主要包括模型构建阶段和后处理阶段,如图1所示。模型构建阶段主要包括语料预处理、词向量的训练。后处理阶段主要包括将测试语料放入模型进行识别,并对识别结果进行处理。

Bi-LSTM+CRF模型结构主要包括三个层次：输入层（Word Embedding）、双向LSTM层（其中包括Tanh层）和CRF层,如图2所示。整体结构确定的情况下,每个层次都需要考虑一些更细致的问题：

（1）输入层的信息,初始词向量的来源、处理工具和维度等内容;

（2）双向LSTM层,包括单元数、网络层数、迭代次数、最大耐心值（即在开发集上的表现累计max_patience次没有提升时,训练即终止）等;

（3）CRF层,承担整个神经网络结构中分类器作用。

根据图2所示,单层圆圈代表Word Embedding输入层,菱形代表学习输入的决定性方程,双层圆圈代表随机变量。信息流将输入层的Word Embedding送到双向LSTM,l(i)代表word(i)和从左边传入的历史信号,r(i)代表word(i)以及从右边传入的未来信号,用c(i)连接这两个向量的信息,代表词word(i)。

在Word Embedding层,对语料进行处理,使用Word2Vec对语料的词进行嵌入,词嵌入的表示可以是纯粹预训练的,也可以在训练模型的时候进行微调,效果更好。在Bi-LSTM层,采用LSTM中的三个门控制送入Memory Cell的输入信息,以及遗忘之前阶段信息的比例,再对Cell状态进行更新,最后用Tanh方程对更新后的细胞状态再做处理,与Sigmoid叠加相乘作为最终输出。在CRF层,将深度神经网络最后学习的结果作为特征,用CRF模型连接起来。

（1） 实验数据集

选用生态治理技术相关中文文献作为实验数据集,通过训练得到的模型,测试和验证Bi-LSTM+CRF神经网络模型的有效性,测评任务是识别和抽取中文文献中的时间、地名和生态治理技术名称实体。

随机选取CNKI数据库1978年-2017年荒漠化、石漠化和水土流失治理领域收录的文献为研究语料,随机抽取率为10%,得到634篇文献,将得到的数据集按照6∶2∶2的比例切分为训练集、验证/开发集、测试集。训练集用于训练最初模型,验证/开发集用于参数调整,测试集用于测试模型性能。三个集合均对需识别的三类命名实体进行标注,所有文档以TXT格式存储,如表1所示。

用于Word2Vec训练的两个未标注文本集合如表2所示。

（2） 运行环境与编程语言

Bi-LSTM+CRF模型的实现采用TensorFlow深度学习框架,编程语言为Python,服务器运行环境为X shell平台（Ubuntu14.04.5 LTS,GNU/Linux 3.13.0-24-generic x86_64）。词向量训练阶段使用Word2Vec^[19]工具,采用Java实现。

研究每种命名实体的特点和分类,并构建相应的命名实体知识库,作为神经网络模型和词向量的训练语料,从而提升整体识别和抽取的效果。

（1） 生态治理技术名称特点和分类

本文研究的生态治理技术主要是荒漠化、石漠化和水土流失等方面生态退化问题的治理技术。生态治理技术作为资源环境领域命名实体中一种特别的命名实体,具有一般资源环境领域命名实体的特点和独有特点,比如资源环境命名实体通常命名方式过长,命名实体存在嵌套等形式,这些特性增加了对其识别的难度。在中文文本中,生态治理技术名称描述有以下特点：

①生态治理技术名称描述中可能包含地名实体

技术名称中经常包含技术实施的地理位置信息,且以地名实体的形式嵌套在技术名称中,如“高寒干旱沙地杨树深栽造林”等。

②生态治理技术名称描述中可能包含生态系统或生态区类型

部分技术名称以实施的生态区、或生态区和地名的组合进行命名,如“绿洲农林间作”、“黄土高原梯田技术”等。

③生态治理技术名称描述中可能包含生态退化类型

技术名称对技术的描述通常与生态退化的类型相结合,指示适用于某退化类型的技术,如“荒漠化综合治理技术”等。

④生态治理技术名称描述中可能包含触发词汇

文本中会出现“技术”、“措施”、“工程”等后缀,以及“实施”、“开展”、“采用”等左边界词,用于指示文本中的技术名称。

⑤生态治理技术名称的指代和省略现象

技术名称可能在上下文中以指代形式出现,如“此次治理过程中,……”中的“此次”、“该技术……”中的“该技术”等。

⑥生态治理技术名称缺失现象

部分技术,人们通常以触发词汇与退化类型或技术类型进行描述,而没有具体、完整的技术名称,特别是一些技术大类,或者不明确的技术,如“植物措施”、“化学措施”等。

生态治理技术的分类讨论,可以按照治理的退化生态系统类型或退化原因分类,也可以按照治理技术类型分类,还可以按照治理技术的生物和非生物类型分类。

（2）生态治理技术名称知识库和规则库

由于生态治理技术名称中可能含有生态系统类型或生态区、退化类型以及相关触发词等,整理与之相关的知识库作为生态治理技术名称实体的基础。归纳和总结生态治理技术名称的常用词汇及其触发词汇,如表3所示。总结中文文本中生态治理技术名称的抽取规则,部分规则样例如表4所示。

（3）时间实体抽取研究

汉语中的时间信息研究中需要分析时间要素、时间词语构成形式等。根据中文文本中时间表达形式的规律性,形成时间实体抽取的规则。

①基本元素

在精确时间中,表达式“2017年9月10日上午9时30分”可以分解为[2017年][9月][10日][上午][9时][30分]独立的时间元素进行的组合,上下文跨度小。

②时间触发词

时间信息的出现通常与表达时间单位的触发词相结合,如“2017年9月10日上午9时30分”的“年”、“月”、“日”、“时”、“分”等。

③省略现象

在时间表述过程中,出于表达的简洁或连贯性需要,常出现省略现象,因此很多时间的描述可能不完整,如“9月10日”等,没有出现年份。

④随意性和模糊性

在描述时间信息的过程中,人们经常使用相对时间或未指明具体时间长度的段时间来表示时间。如,过去、现在、将来;季度;周末;上午、晚上等。

⑤相同时间的不同表示

相同的时间可能存在不同的时间层次或不同的表示方法,如阳历和阴历对同一天的表示完全不同;“2017年12月25日”、“2017-12-25”、“2017/12/25”与“2017年圣诞节”表示同一天等。

⑤无显性触发词

这类时间信息主要是事件类时间,即通过事件发生或语义内容反映时间。如,“实施治理之后…”等描述中没有显性时间触发词,但表达了时序关系。

（4）地名实体抽取研究

地名实体的研究主要侧重于两个方面：一是文本中地名实体的识别（Geo-Parsing）,二是将识别的地名实体映射为地图上的坐标,即地理编码过程（Geo-Coding）。总结中文文本中地名信息的抽取规则,部分规则样例如表5所示。

(1) 语料预处理

将文献利用PDFBox^①(①https://pdfbox.apache.org/.)转化为TXT格式。利用Ansj-seg^②(②http://ictclas.nlpir.org/.)进行分词处理,再对分词后文本进行中文分词和标注词性操作,得到待标注实体类型的文本。

①标注文本：本研究使用的分类及标注方法如表6所示。

在对语料进行处理后的文本格式中,第一列为文本中的词语,第二列是该词的词性,第三列表示的是该词在句子中代表的实体,以IOB2标注的实例如表7所示。

②词向量：本研究使用大规模无标注语料训练得到的词向量,替换神经网络模型的初始词向量,使神经网络模型在初始阶段就能够应用词向量中已包含的丰富信息,以提高模型的性能。使用谷歌开源的词向量工具Word2Vec^①(①http://word2vec.googlecode.com/svn/trunk/.)训练词向量。

为比较未标注语料对Word2Vec训练的效果,将上述题录信息语料和实体知识库语料组合成两个未标注集合,模型选择CBOW,词向量的维度设为100维,上下文窗口大小为5,采样的阈值1e-3,开始的Learning Rate为0.025。

(2) 后处理阶段

将预测语料进行文本预处理与清洗,通过分词等将文本整理为已构建模型适用的格式,预测语料输入Bi-LSTM+CRF模型,经过模型输出识别结果,对识别结果进行获取和后处理。

三类实体内容的获取过程如下：

①已训练Bi-LSTM+CRF模型对测试数据进行识别,提取识别后的分类标签,并将相应的标签转化为相应的实体字符串,作为候选实体。

②根据候选实体在文本中的位置确定不同实体之间的关系。

Word2Vec词向量训练过程得到10 976个词的100维词向量,将获得的词向量传给双向的LSTM层,训练模型。其中dev_size表示验证/开发集占训练集的比例（本文中为0.25）;Bi-LSTM单元数设为256;激活函数采用Tanh函数。模型参数如表8所示。

基于Bi-LSTM+CRF的命名实体识别模型训练过程算法如下。

1. 对每次循环有：

2. 对每次循环有：

3. ①Bi-LSTM+CRF模型前向传递：

4. 前—LSTM单元状态信息向前传递

5. 后—LSTM单元状态信息向前传递

6. ②CRF层前向后向传递

7. ③Bi-LSTM+CRF模型向后传递：

8. 前—LSTM单元状态信息向后传递

9. 后—LSTM单元状态信息向后传递

10. ④更新参数

11. 结束循环

12. 结束循环

本研究模型构建的思路主要是融合已有研究显示效果较好的策略,同时进一步提供质量更高的Word2Vec词向量,以及更加精准的训练语料。因此,模型构建待解决的关键问题是：探索质量更高的Word2Vec词向量,使用其替换模型随机初始的词向量;模型的各种个性化需求（实验数据与分类标签映射、网络的层数和单元数等）;Bi-LSTM+CRF模型结构中的参数设置和激活函数的选择。

在方法上的改进：

1）本研究构建了一种基于Bi-LSTM+CRF的神经网络模型,包括如下步骤：使用Word2Vec获得初始词向量;将词向量输入传到双向LSTM神经网络对每个词的上下文信息进行建模;在Bi-LSTM神经网络的输出端,利用连续的条件随机场对句子进行标签解码,并标注句子中的实体。相较于传统的机器学习方法,此方案基于统计概率学,并能够利用词汇上下文依赖关系,应用场景更广泛。

2）优化Word2Vec初始词向量。初始词向量是神经网络模型的重要输入,而词向量的效果与语料的领域和规模密切相关。

对比使用不同词向量和训练语料要素所产生的实验结果,以研究命名实体抽取中不同要素对模型性能的影响,结果如表9所示。

（1） 模型的训练损失变化

Bi-LSTM+CRF在模型训练过程中,5次实验中训练损失的变化如图3所示,呈逐步下降趋势,随着模型在开发集上的表现不再有提升,损失逐步趋于平稳,训练终止。实验1的训练损失整体明显大于后4次实验,因而一个与训练语料相关的初始词向量很重要。

（2） Word2Vec未标注训练语料的影响

相较于随机初始化词向量,未标注文本集合1训练得到的词向量获得较好的效果,P、R、F1分别提升7.57%、34.50%、30.21%。未标注文本集合2训练得到的词向量在未标注文本集合1得到词向量基础上P、R、F1又分别提高0.76%、0.22%、0.43%,两个文本集合都与抽取的领域内容高度相关,但集合2的体量更大。来斯惟^[20]认为训练词向量首先需要选择一个与任务相匹配语料,本研究在其此基础上增加了相关语料的数量。实验证明,对于确定类型的语料,语料规模越大,词向量的性能越好。作为神经网络的关键输入信息,一个好的词向量很重要。

（3） 扩大训练语料的影响

对于表9中实验①、实验②、实验③中训练集和验证/开发集的文本语料,对实体标签识别得到实体数量为53 776个。在实验④中增加训练语料35 843个实体。通过4.2中对实体特征的分析和抽取,将获得的7 703个实体添加到训练语料,进行实验⑤。训练语料中实体情况如表10所示。

以每6 000个实体为一个节点,递增进行模型的训练,观察语料的增加对系统性能的影响。训练语料增加对准确率P和F1值的影响如图4所示。

从上述结果可知,相对于原始训练语料提供的53 776个实体而言,增加43 546个实体后,准确率P值提升3.35%,F1值提升5.95%。曲线趋势稳定上升,并未达到平滑,训练语料的数量增加依然还有进一步上升的空间。

为验证Bi-LSTM+CRF模型学习效果,同时采用CRF++^①(①http://crfpp.sourceforge.net.)工具包对上述语料进行训练和测试,结果如表11所示。

本研究中使用的Bi-LSTM+CRF神经网络模型方法比单独使用CRF方法获得更好的P值和F1值,而R值相对稍弱,但差距不大。本研究优势和局限性如下：

（1） 优 势

①采用语义相关度较高、体量较大的未标注语料,投入Word2Vec训练,获得效果更好的词向量,在源头上保证了模型输入词向量的优质性。②较大量新增的训练语料。在使用新增语料进行训练后,F1值从62.86%提升至68.81%,P值从70.99%提升至74.34%,说明训练语料的增加对系统性能影响显著。

（2） 局限性

①未融合先验知识。只利用了部分实体词典,大量的资源和先验知识（如人工选取的特征）未被利用,将其与深度学习模型结合能极大推动深度学习的效果。②未使用句法信息。③本研究的结果一定程度上依赖于分词软件的效果。

（1）设计并实现了基于Bi-LSTM+CRF神经网络模型抽取中文文献中时间、地名和生态治理技术的方法,并进行了实验。

（2）提出并验证了优化的词向量对改进模型的效果。相关领域语料训练的词向量,训练语料规模越大,词向量的性能越好。加入知识资源的模型训练语料,训练语料规模越大,命名实体识别模型性能越好。

随着命名实体识别研究的不断推进,ELMo^[21]和BERT^[22]证明了从更深的结构（比如双向语言模型）获得上下文表示的有效和高效性。为减少因分词错误带来的影响,笔者已经开展基于字嵌入的命名实体抽取实验,并尝试使用BERT在专门领域命名实体识别上进行实验,希望通过融合海量的多源异构数据和已有的先验知识,更好地对数据和知识进行表示、抽取实体之间的关系等。

本研究所采用的方法抽取出文本中生态治理技术名称、生态治理技术的实施时间等内容,将其结构化存储后进行关联分析,有利于把握生态治理技术发展演化的脉络和特征,这将对生态治理技术领域的情报分析工作有重要意义。