利用知识图谱技术, 利用机构、学者、期刊、项目、基金等数据规范库和知识抽取技术对汇聚的数据进行规范化与实体化, 实现对论文、专利、学者、项目等10类科研实体的抽取、语义组织和实体关联, 并利用数据采集、数据解析和数据融合技术借助其他来源的数据对科研实体进行数据丰富化与数据增值, 构建全领域学术知识图谱。

以知识图谱为核心搜索引擎, 以ElasticSearch^[6]分布式集群作为大数据索引技术支撑, 形成知识图谱索引的解决方案, 实现对知识图谱的多维索引。构建科技大数据知识发现服务平台, 提供对上述10类科研实体的快速关联发现, 并利用自然语言处理与机器学习技术实现海量文献数据资源的智能语义检索、科研综述和主题聚合探索分析等知识发现与情报决策分析服务, 打破过去单一的文献知识资源类型检索发现模式, 以满足新知识服务时代用户的新需求。

科技大数据知识发现平台的总体建设架构如图1所示, 以分布式大数据基础平台作为支撑, 利用大数据深度挖掘计算工具, 完成对存储资源的数据抽取、数据规范和数据丰富化计算。并通过对科研实体的规范、科研实体标注和多维关系计算, 完成了学术知识图谱的构建。本文基于构建的学术知识图谱, 通过知识图谱索引、语义智能检索、科研综述智能生成和主题聚合探索分析4项关键技术的研发, 突破了传统基于关键词的文献检索方式, 实现文献检索到知识检索的转型升级, 支持海量数据的挖掘计算、智能语义搜索、科研实体搜索和实体关联导航。

通过对知识图谱进行索引实现对海量数据的快速存储、搜索和分析。目前最为流行的知识图谱存储和索引工具是基于RDF三元组的Virtuoso数据库, 尽管Virtuoso数据库本身提供全文检索功能, 但在数据规模较大的情况下, 其检索性能并不理想, 不能很好地支持对海量数据的存储和实时检索。

本文选用ElasticSearch进行大规模知识图谱的存储和索引工作, 完成了ElasticSearch分布式集群的搭建, 构建了一个稳定可靠的分布式多用户能力的全文搜索引擎, 并主要从以下三个方面对ElasticSearch进行性能优化:

(1) 索引字段的设计

由于ElasticSearch的join查询功能的较弱, 通常情况下, 每个文档都包含大量字段, 有些字段用来检索过滤, 有些字段仅仅用来存储数据。因而在设计索引的时候, 对于无需检索的字段设置enable= false, 这样只存储不索引, 可以提高索引速度。

(2) 多线程数据写入

单线程发送bulk请求无法最大化ElasticSearch集群写入的吞吐量。如果利用集群的所有资源, 就需要使用多线程并发将数据bulk写入集群中。为了更好地利用集群的资源, 使用多线程并发写入, 从而可以减少每次底层磁盘fsync的次数和开销。

(3) 预索引数据

为了提高检索和聚合的速度, 可以对某些字段进行预分组。如项目经费字段经常需要按照经费金额区间进行检索或聚合, 这种情况下, 可以在每个文档 增加经费金额区间这个字段, 大大提高检索和聚合的速度。

本文基于构建的知识图谱索引建立语义搜索模型, 通过提供精准、高效的关键词和实体标注主题的匹配、对实体进行主题标注三个方面实现对科研实体的语义检索、智能排序和相关推荐功能。实现流程如图2所示。

首先利用STKOS^[7,8]语义知识库和数据挖掘算法获取关键词的语义主题集合作为候选词, 并使用余弦相似度算法计算候选词可以组成的研究概念, 最后根据相关度排序推荐相关概念, 帮助用户找出其最想表达的含义, 并为用户提供更多相关方向的关键词。在知识图谱索引构建过程中, 已利用STKOS语义知识库和数据挖掘算法完成了科研实体的主题标注, 利用Word2Vec^[9]将实体主题标注和搜索关键词的语义主题集合都映射为语义标签向量, 通过余弦相似度算法计算搜索关键词语义标签向量和实体语义标签向量的相似度, 根据检索排序规则返回实体检索结果。

本文涉及的10类科研实体均可依据时间、相关度等单一维度进行排序, 由于论文质量参差不齐, 数据超载现象日益严重, 用户输入关键词后得到的检索结果不仅数量大, 而且其中充斥着不重要的信息, 这严重干扰了文献的选择与获取。因此将以下三个因素融入到排序算法中: 时间因素、期刊影响因子和文献被引频次, 计算公式为:

SCORE =W_t C/(C-T(time))×W_ifIF×W_frFR

其中, C为当前时间戳, T(time)表示论文发表时间戳, IF代表期刊影响因子, FR代表论文被引频次, W代表各因素所占权重。可见, 期刊影响因子与论文被引频次与排序得分正相关, 而论文发表时间与排序得分负相关。

利用研发的语义智能检索技术, 智能识别用户检索的真正意图, 准确地向用户返回最符合其需求的搜索结果, 进而利用智能排序算法将近期发表的高质量论文优先推荐给用户。从用户反馈的角度来看, 在考虑时间因素、论文被引频次和期刊影响因子后, 能很好地对文献检索结果进行排序, 有利于减轻信息冗余现象, 提高文献检索效率。

科研综述智能生成技术可以快速提取多篇文档的文摘内容并以少数句子展示关键信息, 让用户可以在几分钟内了解整个话题, 为用户节省大量时间和精力。图3展示了本文科研综述生成的实现流程。

首先对搜索结果进行重要度排序, 选取前50篇文献的摘要形成文本集, 然后对文本集进行分句、分词、去停用词等预处理操作, 通过Word2Vec利用训练好的词向量库将文本集中所有词汇进行向量表征, 这样就可以定量地度量词与词之间的关系, 挖掘词之间的联系。

CBOW和Skip-gram都是在Word2Vec中用于文本向量表示的实现方法。在CBOW方法中是利用周围词预测中心词, 进而以中心词的预测结果、使用GradientDesent方法, 不断调整周围词的向量。当训练完成之后, 每个词都会作为中心词, 对周围词的词向量进行调整, 这样即获得整个文本中所有词的词向量。可以看到, CBOW预测行为的次数与整个文本的词数几乎是相等的。而Skip-gram是用中心词预测周围的词。在Skip-gram中, 利用周围词的预测结果、使用GradientDecent不断调整中心词的词向量, 最终遍历完毕所有文本, 即得到文本所有词的词向量。可以看出, Skip-gram进行预测的次数要多于CBOW: 因为每个词在作为中心词时, 都要使用周围词预测一次。这样相当于比CBOW的方法多进行K次(假设K为窗口大小), 因此时间复杂度为O(KV), 训练时间要比CBOW长。因此, 本文选取CBOW模型对文本进行 训练。

对文档集中的句子选取最大维数, 利用建好的词向量生成句向量Sent2Vec, 然后利用余弦相似度算法, 得到句子间两两相似度, 构建句子相似度矩阵, 进而利用TextRank^[10-11] 算法迭代计算, 当迭代计算相邻两次的计算结果差异较小时, 则停止迭代计算, 即迭代计算结果已经收敛。在收敛之后, 对所有句子节点的当前权重降序排列, 选取Top(N)个句子作为文档集的科研综述进行输出。

上述科研综述智能生成技术, 可以从大量文章中快速且有效地获取话题内容, 满足现代人快餐式地获取各种信息的需求。

利用本文构建的语义搜索引擎, 支撑科研用户、企业用户从主题的研究视角, 深度探索主题的发展趋势、研究热点、热门期刊、研究学者、研究机构和研究论文等。

为了更全面地检索到与某一主题相关的资源, 利用STKOS获取与该主题相关主题或子主题, 利用本文构建的主题搜索引擎找到与主题密切相关的科技论文、学者、机构、期刊等资源, 由于一词多义等因素可能导致检索结果与目标主题内容偏离, 因此需要噪声数据去除这一校验环节, 以免对主题聚 合结果造成影响。主题聚合分析的实现方法如图4 所示。

噪声数据去除是主题聚合部分的重要环节, 也是本文重点攻克的技术难点, 基于4.1节实体主题标注结果判断实体之间的相似性, 可通过Word2Vec对实体之间的主题进行向量化, 再利用欧氏距离或者余弦相似性进行求解, 不过这种方法有着致命的缺陷, 即无法从实体整体上考虑相似性, 仅仅是基于词会造成很大的信息缺失问题, 因此本文采用词移距离(WMD)计算方法, 从整体上考虑两个实体之间的相似性。在科技论文、学者、机构等众多资源实体中, 科技论文包含的内容较多, 因此相似性过滤过程最为复杂, 以科技论文为例, 阐述词移距离计算方法的具体应用 过程。

Word2Vec将词映射为一个词向量, 在这个向量空间中, 语义相似的词之间距离会比较小, Word2Vec得到的词向量可以反映词与词之间的语义差别。本文将实体距离建模成两个实体中主题语义距离的一个组合, 比如对两个文档的词向量求欧氏距离再加权求和, 计算公式为: $\sum\nolimits_{i,j=1}^{n}{{{T}_{ij}}c(i,j)}$, 其中c(i,j)为i,j两个词所对应的词向量的欧氏距离, T代表加权矩阵, 权值由词频进行计算, $\sum\nolimits_{i,j=1}^{n}{{{T}_{ij}}c(i,j)}$能体现主题迁移所需付出的总代价, 将这种代价求得下界即最小化之后, 可得实体之间主题转移的最短总距离, 代表两个实体之间的相似度。本文定义原目标主题词搜索出的论文集合为X, 语义主题搜索出的论文集合为Y, 首先通过X集合计算词移距离的平均值aver, 从X中任选一个实体分别与Y中的各个实体计算词移距离, 并与aver进行比较, 如果偏差超过aver一倍, 则认为该实体的核心内容与目标主题偏差较大, 进而舍弃该实体, 继续计算剩余实体。

通过对噪声数据过滤后的结果集的研究论文、研究机构、研究学者、研究热点、研究主题等指标体系进行可视化态势分析, 获得研究主题的科研发展历程和发展趋势, 从而实现海量科技大数据与主题相关知识的智能聚合。

基于知识图谱建立的知识网络, 打破了原有基于关键词的文献获取单一模式, 转型升级到“文献+互联网+专业数据集+科研实体”的多维度立体知识检索发现服务模式。建设效果如图5所示。

集成STKOS全领域超级语义知识网络, 利用科研综述智能生成技术可以快速地对多篇文档进行提炼总结, 用户只需阅读短短十几句或几十句的总结便可以了解相关信息, 实现了从浅层文献篇章获取模式转型升级到深度的知识挖掘、组织、发现模式。建设效果如图6所示。

利用自然语言处理与深度学习技术, 实现海量学术科技大数据的主题标注与主题相关知识的智能聚合, 支撑科研用户、企业用户从主题的研究视 角, 深度探索主题构成与发展演化。建设效果如图7所示。

基于构建的知识图谱和对学者画像、科研机构画像的信息抽取与丰富化计算, 提取学者和科研机构的描述信息, 分析学者和科研机构的研究兴趣、合作关系网络, 从而更好地面向学术界提供学者信息、科研机构信息、评估学者和科研机构的研究成果、学术影响力、介绍科学研究进展、展示学术发展动态等。实现效果如图8所示。