基于引文细粒度情感量化的学术评价研究*

doi:10.11925/infotech.2096-3467.2019.0967

基于引文细粒度情感量化的学术评价研究*

姜霖^,^,¹^,², 张麒麟³

¹南通大学经济与管理学院南通 226019

²江苏省数据工程与知识服务重点实验室南京 210023

³西南大学图书馆重庆 400715

Research on Academic Evaluation Based on Fine-Grain Citation Sentimental Quantification

Jiang Lin^,^,¹^,², Zhang Qilin³

¹School of Economics and Management, Nantong University, Nantong 226019, China

²Jiangsu Key Laboratory of Data Engineering and Knowledge Service, Nanjing University, Nanjing 210023, China

³Southwest University Library, Chongqing 400715, China

通讯作者: 姜霖,ORCID:0000-0003-3211-7783,E-mail:Jianglin@ntu.edu.cn。

收稿日期: 2019-08-26 网络出版日期: 2020-06-25

基金资助:

*本文系国家社会科学基金项目“大数据环境下学术成果真实价值与影响的实时预测及长期评价研究”的研究成果之一. 19BTQ062

Received: 2019-08-26 Online: 2020-06-25

摘要

【目的】 利用情感分析技术对引用内容中包含的引用情感进行深层次地发掘和量化,为学术文献内在价值的发现提供更加科学的理论依据和数据支撑。【方法】 以知网中检索到的期刊论文为例,通过对施引文献中引用内容的细粒度情感分析和量化,对被引文献的内在学术价值进行深度挖掘,并提出基于引用情感量化的学术评价指标。【结果】 实验表明,基于引用情感的学术评价方法比传统的基于被引频次的方法,离散系数高0.12,斯皮尔曼相关系数达到0.981。【局限】 由于国内没有完整的全引文数据库,造成数据获取困难,实验样本量较小。【结论】 基于细粒度引用情感量化的学术评价方法具有较高的区分度,能更加有效地衡量文献的内在学术价值。

关键词： 引用内容 ; 细粒度情感分析 ; 情感量化 ; 学术评价

Abstract

[Objective] This paper uses sentiment analysis technology to deeply excavate and quantify the cited sentiment contained in the cited content, to provide a more scientific theoretical basis and data support for the discovery of the intrinsic value of academic literature. [Methods] Taking the journal papers retrieved in CNKI as an example, through the fine-grained sentiment analysis and sentiment quantification of the citation content in the citing literature, the intrinsic academic value of the cited literature was deeply explored and a new academic evaluation method was proposed. [Results] Experiments showed that the dispersion coefficient based on citation sentiment method was 0.12 higher than the traditional method based on cited frequency, and the Spearman correlation coefficient reached 0.981. [Limitations] Because there is no full text citation database in China, it is difficult to obtain experimental data. The sample size in the experiment is small. [Conclusions] The academic evaluation method based on fine-grained citation sentiment quantification has a higher degree of discrimination and can more effectively measure the intrinsic academic value of the literature.

Keywords： Citation Content ; Fine-Grained Sentiment Analysis ; Sentimental Quantification ; Academic Evaluation

PDF (868KB) 元数据多维度评价相关文章导出 EndNote| Ris| Bibtex 收藏本文

本文引用格式

姜霖, 张麒麟. 基于引文细粒度情感量化的学术评价研究*. 数据分析与知识发现[J], 2020, 4(6): 129-138 doi:10.11925/infotech.2096-3467.2019.0967

Jiang Lin. Research on Academic Evaluation Based on Fine-Grain Citation Sentimental Quantification. Data Analysis and Knowledge Discovery[J], 2020, 4(6): 129-138 doi:10.11925/infotech.2096-3467.2019.0967

1 引言

学术论文是科研成果的重要载体,是衡量科研工作者学术水平和科研能力的重要体现。发表论文的质量更反映出科研工作者学术成果被认同和接受的程度。如何客观、公正、合理地评判一篇论文的学术影响?当前主流的方法有两种：同行专家评议和引文分析。

（1）同行专家评议是传统的文献评价方法之一,主要指通过领域内专家,以评阅的方式考察论文的内在学术价值,这种方法结论较为准确,但主观性较强,并且由于专家的选择和人数限制,导致得出的结论具有一定的片面性^[1];

（2）引文分析一直是文献计量学中的重要研究方法,它主要是依据论文的被引次数、他引次数等统计指标,评判一篇论文学术影响力的高低,具有相对客观和易实现的特点,因此也被广泛采用。但是,引文分析存在一定的缺陷,如常常拘泥于文献的被引频次,将所有被引等同起来,忽略了引用内容中反映的引用动机、引用情感等深层次信息,而这些信息往往更能体现文献的内在价值。

因此,本文从引文内容出发,通过对引文内容中引用情感的细粒度发掘和量化,对文献的内在价值进行深入探讨,并以此提出更科学、合理、有效的文献价值判别方法,为学术检索中重要文献的析出、推荐等提供数据支撑和理论依据。

2 相关研究

2.1 引文内容分析

引文内容信息一般可以分为三类,分别是引用位置、引用频次和引用内容文本^[2],其中引用内容文本是指施引文献引用参考文献时所使用的文本内容,通常包含一句话或几句话^[3]。关于引用内容的分析研究,早在20世纪70年代,Moravcsik等^[4]就通过对引文内容及其上下文中引用情感倾向、引用作用以及重要程度的分析,阐明了基于引文内容的引文分析的必要性。2014年,Ding等^[5]提出基于引文内容的分析研究框架,并指出基于引文内容的引文分析可能成为未来引文分析的一个重要发展方向。2014年,祝清松等^[6]以碳纳米管纤维研究领域的高被引论文为研究对象,对引文内容进行抽取,并提出引文内容分析可以有效揭示作者的引用动机,是对传统基于被引次数的引文分析方法的重要补充。赵蓉英等^[7]也认为引文内容分析是引文分析新的发展方向,对科学计量学的发展大有裨益,并在此基础上,结合引文内容分析方法,提出基于位置的共被引分析框架,证明了结合引文内容分析的共被引分析方法要优于传统共被引分析方法。

2.2 引文情感识别

引用内容中的引用情感表明了施引文献作者对所引用参考文献的情感态度^[8]。在引用情感的识别方面,Teufel等^[9]提出一种基于监督学习的引用情感自动分类方法,利用情感分析技术对引用情感进行分类（分为正向、中性和负向）,并指出利用情感分析技术能准确、有效地识别引用情感。Ikram等^[10]将引用情感的提取分为两个层次,首先使用规则方法提取施引文献中的作者观点,再采用分类方法对引用情感进行分类。Yousif等^[11]提出一种基于混合神经模型的方法,对引文中蕴含的情感进行分类,取得了很好的效果。Catalini等^[12]则着重探寻了负面引用对论文质量评价带来的显著影响。在国内研究中,刘盛博等^[13]提出一种基于语义结构与特征词判断引用内容中情感倾向的方法,并以此为基础构建了一个引文评价平台。耿树青等^[14]通过对不同类型的引用情感赋予不同的权重来评价论文的学术影响力,实验表明该方法对文献学术影响力的评价更加全面,并且区分能力也更强。

综上所述,关于引文内容的情感分析研究已经受到一定程度的关注,并且一些学者已将其运用到学术评价中,但由于缺乏专业的结构化中文全引文数据库,导致当前研究关注的重点多集中在外文文献。而且,在引文内容的情感分析研究中,多为粗粒度情感分析,未对情感强度进行量化处理,只区分了情感极性。如果能从更细的粒度对引用内容中蕴含的引用情感进行量化,并将其运用到学术评价中,不仅可以提高引文分析的质量,更是对传统单一依靠被引次数进行学术评价的良好补充和辅助。

3 研究思路

本文选取学术检索平台上的学术文献作为数据来源,利用网络爬虫获取相关文献被引信息,建立基于引用情感的学术评价模型,并通过实验检验模型的有效性。具体的研究思路如图1所示,主要包括5个步骤。

图1

新窗口打开| 下载原图ZIP| 生成PPT

图1 研究思路示意图

Fig.1 Schematic Diagram of Research

（1）数据准备,获取文献被引数据;

（2）引用内容提取,对同一被引文献的引用文本内容进行上下文提取;

（3）引用分类,通过分类方法将情感性引用和综述性引用分离;

（4）引用情感量化,实现引用内容中组合语义单元的抽取和引用情感的极性量化;

（5）指标计算,根据引用内容中情感元素的量化结果,结合综述性引用的情感量化结果,计算单篇文献的综合引用情感评价值。

4 基于引文细粒度情感量化的评价方法

基于引文细粒度情感量化的评价方法认为,一篇论文的学术影响力会由引用它的论文进行传递,但这种影响力传递会在传播过程中根据引用情感的强弱有所区别。根据引证过程中作者的动机,大致可将引文分为4类：①综述性引用,也称为罗列式引用,作者通过引文列举出当前的研究现状,但并不表达自己的观点;②学术观点的引用,即继承式引用,指作者对该观点持有赞同意见并在论文中进行表述;③学术启发式引用,作者赞同此观点,并且该观点对作者新思想的形成具有启发式意义;④批评性引用,也称为否定性引用,作者引用文献的目的是批评和否定,继而提出自己的观点^[15]。以上4类引用中,除综述性引用外,其他三类引用无论赞同还是批评,都掺杂作者的个人情感,因此文中统一将其归纳为情感性引用。

具体实验中利用分类算法先将引文内容进行二元分类（综述性引用和情感性引用）,这样既可以提高识别准确率,又可以弥补自动构建的学术引用情感词表存在不完善的缺陷。在分类方法上,本文选择朴素贝叶斯方法,其过程较为简单,并且情感性引用中会含有较多的情感词,使得该方法能获得较好的分类效果^[16]。本文采用五折交叉检验对分类器的使用效果进行检验,实验中将采集到的500句引用文本平均分为5份,4份作为训练集,1份作为测试集,情感性引用的具体识别结果如表1所示。可见,朴素贝叶斯分类器具有较高的准确率和召回率,能够很好地完成情感性引用和综述性引用的区分工作。

表1 情感性引用识别结果

Table 1 The Result of Sentimental Citation Recognition

实验序号	准确率	召回率	F₁
1	93.10%	84.38%	88.53%
2	87.10%	90.00%	88.53%
3	86.20%	89.29%	87.72%
4	90.90%	85.71%	88.23%
5	84.85%	87.50%	86.15%
平均	88.43%	87.38%	87.73%

新窗口打开| 下载CSV

综述性引用不包含作者的主观情感,但引证行为本身表明了该研究的价值,因此赋予其基础学术影响力值。在情感性引用中,其学术影响力由引文内容中包含的各个组合语义单元的情感量化结果综合决定。

具体的引用情感评价值计算方法如公式（1）所示。

（1）

D_{i} = \sum_{i = 1}^{m} B + \sum_{i = 1}^{n} (B + \sum S o_{t})

其中, $D_{i}$ 表示论文i的引用情感评价值;m表示综述性引用的频次;B表示基础学术影响力值,实验中具体取值为1;n表示情感性引用的频次; $S o_{t}$ 表示情感性引用中第t个组合语义单元的引用情感量化值。

4.1 综述性引用中的情感量化

引用文本内容需要预先进行文字预处理,包括切分句子、分词以及去除停用词等。在后续实验中整理的351篇施引文献中共采集到416句引用上下文,其中综述性引用和情感性引用的分类结果如表2所示。

表2 引用情感分类结果

Table 2 The Result of Sentimental Citation Classification

引用情感	数量	占比
综述性引用	283	68.03%
情感性引用	133	31.97%
总计	416	100.00%

新窗口打开| 下载CSV

可以发现,虽然科技文献中大部分的引用为综述性引用,但情感性引用的占比达到30%左右,说明情感性引用在引用中占有相当重要的地位,尽管因研究领域和学科的差异,这个占比会有所波动。

在引文细粒度情感量化评价中,考虑到综述性引用虽然不表达作者的主观观点,但也体现了文献的内在价值,所以综合考虑,赋予综述性引用基础学术影响力值B。

4.2 情感性引用中组合语义单元的情感量化

在引用文本中,作者常会在一个句子中就多个引用主题表达出不同的情感态度,例如“这种方法通用性较好,但实验过程较为复杂。”同一引用句中却传达出褒贬不同的两种态度。这使得粗颗粒度即句子级情感分析中,难以对具体的情感倾向进行判断,所以本文将从更细的颗粒度,也就是针对引用中具体的评价特征（如方法通用性、实验过程等）,对作者表达的引用情感进行量化分析。

在特征级情感分析中,情感修饰词以及它们与情感词之间的组合关系,即组合语义单元,具体表现为一组非连续性的词语通过相互作用,共同表现出某种情感倾向^[17]。在组合语义单元中,情感修饰词通常指情感词周围的副词,主要为程度副词和否定词^[18]。本文通过为组合语义单元中程度副词和否定词设置修正系数,对组合语义单元进行情感极性强度的量化,具体量化方法如公式（2）所示。

（2）

S o_{t} = α_{t} β_{t} Wor d_{t}

其中, $S o_{t}$ 表示情感性引用中第t个组合语义单元的引用情感量化值; $α_{t}$ 为程度副词修正系数; $β_{t}$ 为否定词修正系数; $Wor d_{t}$ 表示基础情感词的情感量化值。针对不同特征的语义单元组配特点,本文将复合情感组配问题分为三类^[19]。

①否定词+情感词,如“不理想”。引用情感强度通过基础情感词的情感量化值与否定词修正系数相乘得到。

②程度副词+情感词,如“较为理想”。引用情感强度通过基础情感词的情感量化值与程度副词修正系数相乘得到。

③否定词+程度副词+情感词,或程度副词+否定词+情感词,如“不是很理想”和“很不理想”。在这类语义组配单元中,否定词和程度副词的位置排序不同,导致表达的情感强度存在差异,所以需要根据具体情况,重新设定否定词的修正系数。

（1）基础引用情感词的情感量化

在学术引用情感词的识别和量化方法上,本文借鉴了图传播算法^[20]计算情感词的情感倾向及强度^[21]。图传播算法将预处理过后的文本构建成词共现矩阵。如训练文本：{“召回率”,“降低”,“差”},{“召回率”,“降低”},{“召回率”,“差”},{“准确率”,“高”,“大大提高”},{“准确率”,“高”},{“准确率”,“大大提高”}。

将训练文本集中的所有词构建一个共现矩阵,如表3所示。

表3 词共现矩阵

Table 3 Word Co-occurrence Matrix

	召回率	降低	准确率	高	差	大大提高
召回率	0	2	0	0	2	0
降低	2	0	0	0	1	0
准确率	0	0	0	2	0	2
高	0	0	2	0	0	1
差	2	1	0	0	0	0
大大提高	0	0	2	1	0	0

新窗口打开| 下载CSV

根据词共现矩阵,将矩阵中的每行（或列）作为该词的特征属性,构建词向量空间模型,利用余弦相似度计算方法,计算每两个词之间的语义相似度,并将得到的计算结果应于在后续算法中表示两个词之间的图距离,每个词与它本身之间的距离为1。样例中每两个词之间的余弦相似度距离矩阵如表4所示(精确到小数点后两位)。

表4 词相似度距离矩阵

Table 4 Word Similarity Distance Matrix

	召回率	降低	准确率	高	差	大大提高
召回率	1.00	0.32	0.00	0.00	0.32	0.00
降低	0.32	1.00	0.00	0.00	0.80	0.00
准确率	0.00	0.00	1.00	0.32	0.00	0.32
高	0.00	0.00	0.32	1.00	0.00	0.80
差	0.32	0.80	0.00	0.00	1.00	0.00
大大提高	0.00	0.00	0.32	0.80	0.00	1.00

新窗口打开| 下载CSV

情感词表自动构建时,需分别向正向种子词集和负向种子词集中添加该极性类别中表达程度最深的词。例如,在上述训练文本中存在词“召回率,降低,准确率,高,差,大大提高”,可向正向种子词集中添加“大大提高”,向负向种子词集中添加“差”。根据图传播算法的具体求解步骤,求出每个词的极性值。词极性值的具体求解步骤如下。

输入：假设输入为无向边加权图 $G = (V, E)$ ,其中 $w_{i, j} \in [0,1]$ 是边的权重 $(v_{i}, v_{j}) \in E$ ,V表示包含在情感词典中的候选词集,G表示节点之间的语义相似性。 $P, N, γ \in R, T \in N$ （P代表正向情感种子集,N代表负向情感种子集, $γ$ 代表阈值,当词极性绝对值小于该阈值时,认为该词的词性为中性,T代表候选词集中的词总数

输出： $pol \in R^{| v |}$ （ $pol$ 代表词的极性）

参数初始化：设置对于所有的词i, $po l_{i} = po l_{i}^{+} = po l_{i}^{-} = 0$ ,其中正向词集中的向量 $v_{i} \in P$ ,设置 $po l_{i}^{+} = 1$ ,其中负向词集中的向量 $v_{i} \in N$ ,设置 $po l_{i}^{-} = - 1$ 。

①对于两个不相同的词（ $i \neq j$ ）,设置初始的词距离 $α_{ij} = 0$ 。

②对于所有向量 $v_{i} \in P, F = {v_{i}}$

③对于词t（t的范围为 $1 \dots T$ ）

④对于所有的向量 $(v_{k}, v_{j}) \in E$ ,其中 $v_{k} \in F$

⑤计算 $α_{ij} = \max {α_{ij}, α_{ik} \cdot ω_{kj}}, F = F ⋃ {v_{j}}$

⑥对于词向量 $v_{j} \in V$

⑦ $po l_{j}^{+} = \sum_{v_{i} \in P} α_{ij}$

⑧重复上面的步骤1-步骤7,计算词负极性 $po l^{-}$

⑨ $β = \sum_{i} po l_{i}^{+} / \sum_{i} po l_{i}^{-}$

⑩对于词i的极性值 $po l_{i} = po l_{i}^{+} - βpo l_{i}^{-}$

⑪如果对于词i,极性值 $| po l_{i} | < γ$ ,设置 $po l_{i} = 0$

通过编程语言实现后,示例中每个词的极性值如图2所示。

图2

新窗口打开| 下载原图ZIP| 生成PPT

图2 词极性示意图

Fig.2 Schematic Diagram of Word Polarity

利用图传播算法,获取引用内容中每个词的极性和强度,通过阈值的设定去除其中的中性词,可以较为准确地识别出细粒度条件下句中包含的引用情感词及强度。但由于学术评价的复杂性和特殊性,如“训练时间长”“大量人工参与”等语义单元中,单个词并不具有明显的情感倾向,如“训练时间”“长”“大量”“人工参与”,只有变成语义单元组配时,才能体现出在引用情感上的变化,所以本文利用添加外部词表的方式,在分词时将这些特殊的语义组配单元视为一个整体,整体识别出语义单元的情感倾向和强度。

（2）情感修饰词的修正系数设定

情感修饰词会对引用内容中表达的情感产生重要影响。根据蔺璜等^[22]的研究,可以将程度副词分为极量、高量、中量和低量4个强度级别,本文借鉴这种方法,将引用内容中常用的程度副词划分为4个级别,如表5所示。

表5 程度副词分级层次

Table 5 The Levels of Adverbs Hierarchy

分级	举例
极量	太极为极其极度最最为过过于分外
高量	很挺非常特别相当十分好不颇甚为颇为异常深为满蛮够大为何等多么格外何其尤其无比不胜更更加更为更其越越发越加备加愈愈发愈加
中量	不太不大不甚不够较比较较为还相对
低量	有点有些稍稍稍稍微稍许略微略为些许多少

新窗口打开| 下载CSV

除程度副词外,在语义情感的识别研究中,还常会涉及否定词。否定词的使用会使文本表达的情感发生逆转,常用的否定词有：不、没、无、莫、非、否、没有、并不、不是、否定。

徐琳宏等^[23]在对语义文本的情感倾向性研究中,通过对每个级别的程度副词设置不同的修正系数,来区别情感表达的强度。本文借鉴了这种方法,4个级别程度副词的修正系数 $α$ 分别设定为2、1.5、0.75和0.5。

否定词会对表达的情感起到一定的弱化作用,如“不好”可以表达对“实验效果”的否定含义,但并不传达“差”这样强烈的否定情绪,所以常用的处理方法是将原修正系数除以2再进行逆向转换,将否定副词的修正系数 $β$ 设为-0.5^[24]。考虑到程度副词和否定词的特殊组配问题,当程度副词位于否定词的左侧时,如“很不好”,否定词的修正系数 $β$ 设为-1;当程度副词位于否定词的右侧时,如“不是很好”,否定词的修正系数 $β$ 设为-0.25^[25]。

5 实验与结果分析

5.1 数据来源

本文选用的引文数据集来自中国知网(CNKI)。截止到2019年7月25日,以“信息抽取”为主题词,共检索到学术期刊论文1 359篇,其中包含被引记录的论文1 105篇,占数据总量的81.3%。这些期刊论文总被引频次为17 076次,篇均被引量为12.57次。从上述数据中不难发现,引用现象在科技文献中十分普遍,因此从学术引用角度出发,对论文的学术影响力进行评价具有可行性。

在获取的有被引记录的1 105篇论文中,随机挑选40篇作为具体研究对象,由于施引文献中不同期刊以及学位论文在排版样式、数据存储格式上存在不一致现象,因此根据知网提供的引用线索,利用手工方式对351篇施引文献中的引用上下文进行抽取和整理。

5.2 数据分析

通过细粒度引用情感量化,本文对选取的论文进行综合学术影响力评价值的计算,并将之与单纯依靠被引频次进行学术影响力评估的方法进行比较,将得到的结果按照论文被引频次降序排列,绘制基于被引频次评价和引用情感评价的变化趋势折线图,如图3所示。

图3

新窗口打开| 下载原图ZIP| 生成PPT

图3 基于被引频次和引用情感评价值的变化趋势

Fig.3 The Trend of the Methods Based on Citation Sentiment and Cited Frequency

为进一步比较和分析被引频次和引用情感指标间的差异,利用SPSS统计分析软件对两项指标的计算结果进行斯皮尔曼秩相关分析。秩相关系数,也称为“等级相关系数”,是常用的反映相关程度的统计分析指标^[26,27],当两项指标高度相关时,说明引用情感评价指数作为被引频次指标的补充和辅助具有合理性。此外,本文还采用离散系数对指标的显著性进行评估,一般而言,离散系数越高,说明数据变化越显著,数据之间的差异越明显,评价指标的区分度也就越高、越合理。实验得到的斯皮尔曼相关系数与离散系数具体如表6所示。

表6 被引次数和引用情感指标的比较

Table 6 Citation Count and Citation Sentiment Index

指标	斯皮尔曼相关系数	离散系数
被引频次	0.981**	1.319 054
引用情感评价值	0.981**	1.439 410

(注：**表示在0.01水平上显著相关。)

新窗口打开| 下载CSV

通过以上的计算结果和数据分析,可以得出以下结论。

（1）基于引用情感量化的学术评价指标能将引用内容中蕴含的引用情感考虑在内,从而更真实地反映文献的内在价值。从图3可以发现,基于引用情感量化的学术评价指标在总体变化趋势上与基于被引频次的统计指标保持一致,并围绕其上下波动。刘盛博等^[28]通过实验发现,在文献引用中超过80%的引用为中性引用,这也使得基于引用情感的学术评价指标总体与被引频次指标趋于一致。在高被引部分,引用情感评价值往往高于被引频次;而在低被引部分,引用情感评价值常围绕被引频次上下波动。总体看来,基于引用情感量化的学术评价指标更符合实际的引用规律,对于高被引论文,其表达的观点多已被研究领域内普遍认同,总体意见也趋于一致,具有很高的学术影响力和参考价值,所以引用情感值往往偏高。而对于低被引论文,在学术界尚未形成统一的观点,会更多地存在一些意见不一致的现象,从而导致引用情感围绕被引频次上下波动。这正说明了基于引用情感量化的学术评价指标能更客观、细致地反映出学术文献在其研究领域内被认可和接受的程度。

为了能够更直观地体现基于引用情感量化的评价指标对文献内在价值的刻画程度,本文回溯到具体的引用内容中,将图3中导致引用情感与被引频次指标有明显差异的具体引用内容示例罗列出来,如表7所示。

表7 引用内容示例

Table 7 The Examples of Citation Content

被引文献编号	施引文献	引用内容	情感量化结果
1	基于Ontology的中文信息抽取系统的研究与实现	由于它是基于Ontology的抽取,因此这种方法对文档的结构没有依赖性。从理论上讲,只要领域Ontology足够强大,它就能在该领域的信息抽取中达到很高的抽取精确率和召回率。	（-0.5）×（-0.87）+1.5×0.76=1.575
3	基于深度学习的图像检索	相比较一般的多层神经网络来说,深度信念网络DBN利用它的基本结构RBM来给网络赋了一个比较好的初值,预防了整个网络陷入局部最小值,而且结构简单,易于扩展。	0.75×0.84+0.74+0.73=2.1
3	领域文本句子基本概念结构抽取研究	用深度学习处理文本并提取文本信息及文本之间的隐含关系,可以明显提高分析的效率,发现一些隐秘却有价值的有用信息。	0.85=0.85
9	基于领域词库的新闻提取技术的研究及应用	这种抽取方式大多都是通过人工制定规则,很难用计算机自动发现规则,特别是如今网络流行语千奇百怪更难发现其规则性,所以十分困难。	1.5×（-0.67）+1.5×（-0.67）+1.5×（-0.71）=-3.075
9	支持DOM模板可视化配置的网页抽取方法	手动配置对专业要求较高,需要了解网页结构、正则表达式等知识;又因其配置过程复杂且需手动输入而使效率低下且容易出错。	（-0.67）+(-0.63)+(-0.73)+(-0.57)=- 2.6
26	基于Web数据挖掘的多因素科技专家信息提取方法	但该文并没有区分 Table 标签的两种不同作用,对于结构复杂、噪音较多的网页会留下较多的噪音信息。	0.75×(-0.62)=- 0.465
31	基于混合机器学习模型的多文档自动摘要	如张晗、赵玉虹提出了基于语义图的医学多文档摘要模型,能够有效识别文本中的核心内容。	0.68=0.68

新窗口打开| 下载CSV

从图3和表7可以明显地发现,文献3虽然被引频次低于文献2,但其研究方法的优越性使其广受好评,对其他研究者有很好的启示作用。所以文献3综合引用情感值远高于文献2。文献9虽然被引频次较高,但其研究方法存在显著缺陷,所以实际参考价值并不突出。综上所述,通过对引用情感的量化,能更准确地定位施引文献对被引文献的态度,从而更好地衡量被引文献的内在价值。

（2）基于引用情感的学术评价指标较被引频次指标更具区分性。从图3和表6可以发现,基于引用情感的评价指标与被引频次之间虽然趋势一致并且高度相关,但基于引用情感的评价指标的离散系数要高于被引频次,并且在图3中数值曲线也更为曲折。这充分说明通过将引用情感融入到学术评价体系中,能提高文献之间的区分度,从而可以更好地识别文献的内在价值,是对传统的基于被引频次进行学术评价体系的良好辅助和补充。

（3）从数据来源考虑,由于施引文献的作者多为研究领域内的专家,所以引用文本内容具有很高的参考价值,是极其重要和丰富的学术资源。如果能将这些隐藏的资源善加利用,一定能为科研工作的展开提供更广泛的帮助。

6 结语

本文从引用内容入手,通过细粒度情感分析对引用内容中作者表达的情感观点进行极性划分和强度量化,并将其与基于被引频次统计的学术评价手段融合,实现了基于引用情感量化的学术评价模型的构建。

通过实验,利用知网上采集的引用数据对基于引用情感的学术评价方法进行可行性和合理性验证。实验结果表明：

（1）基于引用情感的学术评价指标是对单纯依靠被引频次等统计方法进行学术评价方法的良好补充,对学术论文的影响力评价也更为全面。

（2）通过对引用情感的细致量化,基于引用情感的评价方法使得不同类型引用之间的区分更加明显,也使得数据整体更加离散,从而使该方法具有更好的区分度。

（3）将细粒度的情感分析方法引入到引文内容分析中,能够更充分地利用学术资源,或者为国内引文分析研究和学术评价研究提供新方法和思路。

本文实验中选取的数据,其来源学科具有局限性,样本数据量也有待进一步提高,但实验验证了基于引用情感量化的新文献学术影响力评价方法具有巨大的应用潜力,值得期待。

作者贡献声明

姜霖：提出研究思路,设计研究方案,实验分析以及论文撰写;

张麒麟：数据清洗以及论文修改。

利益冲突声明

所有作者声明不存在利益冲突关系。

支撑数据:

支撑数据由作者自存储,E-mail:18205185622@163.com。

[1] 姜霖. SentimentAnalysis.rar. 朴素贝叶斯分类和引用情感细粒度量化程序代码.

[2] 姜霖. CitationContent.rar. 实验引文内容语料.

[3] 姜霖. CitationCorpus.rar. 实验中引用网络资料数据.

参考文献

原文顺序

文献年度倒序

文中引用次数倒序

被引期刊影响因子

[1]

何春建

单篇论文学术影响力评价指标构建

[J]. 图书情报工作, 2017,61(4):98-107.