1 引 言

在科技飞速发展的今天, 创新是企业生存与发展的关键。创新设计是一种由问题驱动, 综合运用大量知识与经验的复杂的创造性实践活动。专利文本蕴含丰富的各种领域问题的解决方案, 对创新设计具有重要的借鉴意义。有效的专利文本分析能够判断领域技术热点、识别领域核心技术、预测领域技术发展趋势, 帮助研发人员从中获得启发与借鉴, 从而缩短创新设计时间、节约创新设计经费。因此, 专利文本分析具有重要的研究意义。

传统的专利文本分析方法通常使用专利文本中的词语直接作为主题或概念, 进而利用主题或概念建模, 分析领域技术状况^[1,2,3,4,5]。然而, 专利作为一种被保护的文献, 专利申请者为了扩大所申请专利的保护范围和提高专利授权的可能性, 往往会使用一些模糊或者抽象的表达。因此, 从专利文本所表达的潜在语义层面理解专利文本, 才能得到更好的专利文本分析效果。不同于传统的专利文本分析方法, 主题模型通过分析文本集合中词语共现的概率分布, 挖掘文本隐含的语义信息, 因而被广泛应用于文本分析之中, 并取得较好的效果。随着主题模型的逐步完善, 研究者开始尝试将主题模型应用于专利文本分析之中, 以揭示专利文本深层次知识结构^{[3, 6-14]}。

虽然主题模型可有效地挖掘专利文本中隐含的语义信息, 并取得了较好的分析效果, 然而, 在主题学习过程中, 学习得到的主题分布向高频词倾斜。这些词通常是一些出现频率高但无实际意义的停用词, 不能很好地刻画主题特征, 如中文的“的”、“是”, 英文的“of”、“the”等词。在生成主题模型的迭代过程中, 由于这些高频词频繁出现在多个主题中, 导致主题分布摇摆不停, 不能明显区别各个主题, 收敛速度变慢。研究表明文本中的高频词对主题模型会产生负面的影响^[15]。为了避免这种情况, 通常在构建专利文本主题模型之前借助停用词表, 预先删除停用词这种高频词。但是, 这种方法并不能完全过滤掉表意性较差的词语。以专利文本分析为例, 专利文本中常出现“方法”、“包含”、“发明”等非停用词, 这些词通过主题建模, 出现在多个主题之中, 使得主题间的区分度低, 不能很好地表示专利文本的语义信息。

专利文本主题模型同等地对待每个词, 假设每个词都是同等重要的。然而, 无论是从信息论还是从语言学来看, 该假设与现实并不吻合。因此, 本文提出一种加权专利文本主题模型。该模型根据每个词在每个专利文本中的重要程度, 为专利中的每个词分配不同的权重, 然后将其融入专利文本主题模型之中, 形成加权专利文本主题模型, 改变专利主题模型生成词的概率, 以更好地区分专利文本主题。

2 相关研究

近年来, 研究者尝试将主题模型应用于专利文本分析之中, 以挖掘专利文本深层次知识结构。但主题模型采用词袋形式表示文本, 学习得到的主题向高频词倾斜, 导致能够代表专利主题的词被高频词所淹没, 降低了模型对专利文本信息的描述能力。为此, 通常借助停用词表或其他人工预先编写好的单词表, 去掉这些高频词。如, 吴菲菲等^[12]为揭示专利文本中隐含的主题演化, 首先对专利文本进行预处理, 去除停用词、专利描述常用词(如“comprise”、“include”、“claim”等)以及学术词汇(如“method”、“advantage”等)。Chen等^[8]使用主题模型评估大量专利权力要求书中隐藏的主题。在主题模型建模之前, 使用三个模块移除专利集中常见单词。首先, 使用斯坦福大学的停用词列表, 移除停用词; 利用维基百科相关信息移除专利权力要求书中高频单词(如“claimed”、“comprising”、“invention”等); 使用诺丁汉大学提供的通用学术单词列表, 去除使用最频繁的100个学术单词(如“research”、“approach”等)。Kim等^[3]使用主题模型进行专利文本分析之前, 排除如“this”、“method”、“invention”、“part”等不相关词语。

主题模型采用词袋形式表示文本, 假设词袋中的每个词语都是同等重要的。然而, 从信息论或语言学来看, 不同词语对文本贡献程度不同。加权主题模型在一些非专利文本问题中得到研究。如, Wilson和Chew^[16]根据信息理论, 认为词语的贡献与其出现频率成反比, 根据词语所属种类的不同, 提出使用词语的点互信息来度量词语对文档的贡献。巴志超等^[17]采用点互信息词加权方法对不同文献单元上的关键词赋予不同的权值, 并扩展至主题模型。唐晓波等^[18]提出微博热度的概念, 并将其引入到主题模型的热点挖掘中, 构建基于微博热度的主题模型。李湘东等^[19]为改善图书和期刊的分类性能, 综合考虑图书书目文本信息不同要素差异并构造复合权值, 将特征加权扩展至主题模型之中, 使获取的特征词不局限于高频词而更能代表书目的文本信息。郝洁等^[20]针对现有情感分析方法主题间区分较低的问题, 提出一种词加权主题模型算法, 实现无监督的主题提取和情感分析。Yu等^[21]结合文本和社交网络关注关系, 提出主题模型, 利用基于用户的相似性度量作为权重策略, 以识别社交网络中的领域专家。

由此可见, 针对专利文本分析中主题模型向高频词倾斜、区分度低的问题, 通常采用去除停用词或者手工去除高频词完成, 效果不尽理想。而由于专利文本的特殊性, 其他领域中的加权主题模型不能直接应用于专利文本主题模型建模之中。因此, 本文探索用于专利文本分析的加权专利文本主题模型。

3 加权专利文本主题模型

针对主题模型学习得到的主题分布向高频词倾斜的问题, 本文基于传统的专利文本主题模型, 提出加权专利文本主题模型。该模型包括三个步骤: 专利文本预处理、专利文本词权重计算和加权专利文本主题模型建模, 如图1所示。

显示原图| 下载原图ZIP| 生成PPT

图1   基于加权专利文本主题模型总流程

   

(1) 将专利数据库检索得到的专利文本集进行预处理, 主要包括分词和去停用词两个部分。分词将一个句子按照其词的含义进行切分。去停用词将根据停用词表, 删除文本内容识别意义不大、但出现频率很高的停用词。

(2) 专利文本词权重计算根据每个词在每个专利文本中的重要程度, 为专利文本中的每个词分配不同的权重。

(3) 加权专利文本主题模型建模将词的权重信息融入到基本专利文本主题模型之中, 形成加权专利文本主题模型, 提高专利文本主题模型主题之间的区分度。

3.1 专利文本词权重计算

本文将专利文本词权重计算分解为两个部分, 一部分是局部权重, 记作LW(i, j), 表示词w_i在专利文本d_j中的重要程度; 另一部分是全局权重, 记作GW(i), 表示词w_i在专利文本集中区分文本语义的能力。因此, 将词权重W(i, j)表示为公式(1)所示。

$W(i,j)=LW(i,j)\times GW(i)$ (1)

(1) 局部权重

局部权重强调某一词语在某一文本中的重要性, 最简单的方法是将词频TF作为局部权重。词频指某一词语在该文本中出现的频率。对每个文本的词频作归一化处理, 即文本d_j中词w_i出现的词频tf (i, j)除以该文本中所有词的词频之和。基于词频的局部权重计算如公式(2)^[22]所示。

$L{{W}_{TF}}(i,d)=\frac{tf(i,j)}{\sum\nolimits_{w\in {{d}_{j}}}{tf(w,j)}}$ (2)

在专利文本中, 不同位置出现的词往往具有不同的重要性, 如在专利标题中出现的词通常更能有效地表示专利的主要内容。为了区别专利文本中不同位置词语的贡献程度, 本文假设在专利文本中出现越早的词语越重要。考虑词语的位置信息因素, 每个词的贡献程度与其出现的位置成反比。因此, 定义词w_i在文本d_j中贡献度C(i, j)为该词在文本中出现位置倒数之和。例如, 如果一个词分别出现在一个文本的第2、5和10位置, 则它对该文本的贡献度C=$\frac{1}{2}+\frac{1}{5}+\frac{1}{10}=$ $0.8$。对每个文本作归一化处理, 得到位置局部权重。本文对基于词频的局部权重进行改进, 提出基于位置的局部权重, 计算如公式(3)所示。

$L{{W}_{P}}(i,j)=\frac{C(i,j)}{\sum\nolimits_{w\in {{d}_{j}}}{C(w,j)}}$ (3)

(2) 全局权重

全局权重强调某一词语在整个文本集中的重要性。词全局权重一般通过统计方法计算获得。最有代表性的是IDF。IDF权重认为文本集包含某词语的文档数目越多, 该词语对文本的贡献越小, 这样的词语需要受到抑制; 相反, 文本集中包含某词语的文本数目越少, 则该特征对文本的贡献越大, 这样的词语需要被放大。基于IDF的全局权重定义如公式(4)^[22]所示。

$G{{W}_{IDF}}(i)={{\log }_{2}}(\frac{M}{{{M}_{i}}}+0.01)$ (4)

其中, M为语料中文本数量; M_i表示出现词w_i的文本数量。

然而, IDF仅关注词在文本中是否出现, 而忽略词在文本中的频率信息。词在文本中出现具有一定的不确定性。当词在文本间分布不均匀时, 表示词能够表达的信息较多。若词在部分文本中大量出现, 则表示该词具有代表性, 区分文本能力越强, 全局权重应当越高; 反之, 若词在大部分文本中均匀出现, 则表示该词不具有代表性, 区分文本能力越弱, 全局权重应当越低。这种不均匀性可以用特征词的信息熵度量。信息熵是信息论中重要的概念, 用来度量信息的不确定程度。词w_i的信息熵E(i)的计算如公式(5)^[23]所示。

$E(i)=-\sum\nolimits_{{{d}_{j}}}{\frac{tf(i,j)}{tf(i)}\times {{\log }_{2}}\frac{tf(i,j)}{tf(i)}}$ (5)

其中,$tf(i,j)$表示在文档d_j中词语w_i的频次,$tf(i)$表示词w_i在文本集中出现的总频次。当词只出现在单个文本中时, 它的区分力最大, 信息熵E(i)最小, 为0。当特征词在所有文本中均匀分布时, 它的区分力最小, 而信息熵E(i)达到最大值E_max。通过归一化处理, 得到基于信息熵的全局词权重。本文对信息熵进行归一化处理, 提出基于信息熵的全局词权重, 其计算如公式(6)所示。显然有0≤GW_E (i)≤1.0。

$G{{W}_{E}}(i)=1-\frac{E(i)}{{{E}_{\max }}+0.01}$ (6)

3.2 加权专利文本主题模型建模

(1) 基本专利主题模型

LDA(Latent Dirichlet Allocation)模型^[24]是一种常用的主题模型, 由于其参数简单, 不产生过拟合现象, 逐渐成为主题模型的研究热点。因此本文使用LDA模型对专利文本进行建模。LDA是一个三层贝叶斯概率模型, 由词、主题和文本三层构成。该模型假设每个文本包含若干隐含主题, 每个主题包含特定的词。文本和词间的关系通过隐含主题体现。隐含主题之间是相互独立的, 这些主题被文本集中所有文本共享, 而每个文本有一个特定的主题分布。模型通常采用Gibbs采样方法估计主题的后验分布, 计算如公式(7)^[25]所示。

$p({{z}_{ij}}=k|{{z}^{_{-ij}}},w,\alpha ,\beta \propto \frac{n_{i(\cdot )k}^{-ij}+\beta }{n_{(\cdot )(\cdot )k}^{-ij}+V\beta }\times \frac{n_{(\cdot )jk}^{-ij}+\alpha }{n_{(\cdot )j(\cdot )}^{-ij}+K\alpha }$(7)

其中, z_ij表示文本d_j中词w_i的主题变量; -ij表示排除文本d_j中的词w_i; n_ijk表示文档d_j中的词w_i分配给主题k的次数; (·)表示对应维度(词语、文本、主题)所有次数之和, β表示词的Dirichlet先验分布, $\alpha $表示主题的Dirichlet先验分布, K表示主题数, V表示集合中总的词语数。一旦获得每个文本中每个词的主题, 就可以得到LDA模型中θ和φ的后验估计值, 计算如公式(8)^[25]和公式(9)^[25]所示。

${{\theta }_{jk}}=\frac{{{n}_{(\cdot )jk}}+\alpha }{{{n}_{(\cdot )j(\cdot )}}+K\alpha }$ (8)

${{\varphi }_{ki}}=\frac{{{n}_{i(\cdot )k}}+\beta }{{{n}_{(\cdot )(\cdot )k}}+V\beta }$ (9)

其中, θ_jk表示文本d_j包含主题k的概率; φ_ki表示主题k中词语w_i的概率。

由此可见, Gibbs采样的基本思想是利用已经采样得到的所有主题在词上的分布和文本在主题上的分布推断当前采样词所属的主题, 反复迭代得到所有隐变量的过程。分配一个词到一个主题受两个概率影响: 一个是词在主题中的概率, 另一个是词所在文本拥有的主题概率。由于高频词在主题和文本中所占的比例都比较大, 从而导致主题的分配向高频词主题倾斜。

(2) 加权专利文本主题模型

主题模型同等地对待每个词, 假设每个词都是同等重要的。然而, 无论是从信息论还是从语言学来看, 该假设与现实并不吻合。因此, 将3.1节计算得到的词权重与Gibbs采样公式相结合, 给不同的词分配不同的权重, 改变生成模型生成词的概率, 使得Gibbs 采样公式变为公式(10)。

$\begin{align} & p({{z}_{ij}}=k|{{z}^{_{-ij}}},\alpha ,\beta \\ & \propto \frac{\sum\nolimits_{j=1}^{M}{W(i,j)n_{ijk}^{-ij}}+\beta }{\sum\nolimits_{i=1}^{V}{\sum\nolimits_{j=1}^{M}{W(i,j)n_{ijk}^{-ij}}}+V\beta }\times \frac{\sum\nolimits_{i=1}^{V}{W(i,j)n_{ijk}^{-ij}}+\alpha }{\sum\nolimits_{k=1}^{K}{\sum\nolimits_{i=1}^{V}{W(i,j)n_{ijk}^{-ij}}}+K\alpha } \\ \end{align}$ (10)

因此, 整个模型的文档-主题分布θ和主题-词汇分布φ分别如公式(11)和公式(12)所示。

${{\theta }_{jk}}=\frac{\sum\nolimits_{i=1}^{V}{W(i,j)}{{n}_{ijk}}+\alpha }{\sum\nolimits_{k=1}^{K}{\sum\nolimits_{i=1}^{V}{W(i,j){{n}_{ijk}}}}+K\alpha }$ (11)

${{\varphi }_{ki}}=\frac{\sum\nolimits_{j=1}^{M}{W(i,j){{n}_{ijk}}}+\beta }{\sum\nolimits_{i=1}^{V}{\sum\nolimits_{j=1}^{M}{W(i,j){{n}_{ijk}}}}+V\beta }$ (12)

此时, 专利主题模型不再仅仅是根据词出现频次累加1的n_ijk值, 而是累加词权重W(i, j)。通过这种方法, 可以降低专利文本中意义不大的词的贡献, 从而提高专利主题之间的区分度。

4 实 验

4.1 数据集

为了验证该模型的有效性, 分别选取3D打印与智能语音相关专利文本进行实验。3D打印是一项新兴制造技术, 其在某种程度上颠覆了传统制造业的生产方式, 带来制造业数字化和智能化的革命, 因而受到各国学术界和产业界的广泛关注, 在近年来取得快速发展。智能语音是人机交互模式的新选择。借助于移动互联网、机器学习领域中深度学习技术以及大数据语料库的积累, 智能语音技术的实用化发展突飞猛进, 在电信、金融、汽车电子、家电、教育、玩具、智能手机、移动互联网等领域已得到广泛应用。

本文选取中国国家知识产权局专利数据库, 分别以“3D打印 or 快速成型 or 增材制造 or 三维打印 or 增量制造 or 添加制造 or 智能制造 or 数字化制造”和“智能语音 or 语音识别 or 语音合成 or 自然语言理解 or 语音交互 or 语音技术 or 语音控制”作为检索式, 检索2013年1月1日至2017年8月1日(检索日期)相关专利文献。通过数据清洗、去重后, 最终分别将7 790条3D打印、5 272条智能语音发明公开专利标题和摘要作为待分析的专利文本。

采用中国科学院计算技术研究所的ICTCLAS分词系统进行分词, 采用哈尔滨工业大学的停用词表对专利文本进行停用词筛选。在LDA建模过程中, 参数估计采用Gibbs采样算法。根据经验设置$\alpha =50\text{/K}$、β=0.01, Gibbs采样迭代次数为2 000, 保存迭代参数为1 000。主题数K的选取通过计算基本专利主题模型(3.2节)的困惑度选取最优值, 采用五折交叉验证。根据计算, 实验设定3D打印数据集的主题数K=15、智能语音数据集的主题数K=10。

4.2 评估标准

实验借助主题与主题的平均KL(Kullback-Leribler)距离定量描述主题的区分性。KL距离常用来衡量两个概率分布的距离。平均KL距离avg_KL的定义如公式(13)所示。

$avg\_KL=\frac{\sum\nolimits_{i=1}^{K}{\sum\nolimits_{j=1}^{K}{KL({{\varphi }_{i}}||{{\varphi }_{j}})}}}{{{K}^{2}}}$ (13)

其中, $\text{KL}({{\varphi }_{i}}||{{\varphi }_{j}})=\sum\nolimits_{v=1}^{V}{{{\varphi }_{iv}}\log \frac{{{\varphi }_{iv}}}{{{\varphi }_{jv}}}}$。由于KL距离是不对称的, 但是${{\varphi }_{i}}$和${{\varphi }_{j}}$相似性度量是对称的, 故将公式进行调整, 采用对称的Jensen-Shannon距离度量两个主题词分布的相似性, 具体计算如公式(14)所示。

$JS({{\varphi }_{i}},{{\varphi }_{j}})=\frac{KL({{\varphi }_{i}},{{\varphi }_{j}})+KL({{\varphi }_{j}},{{\varphi }_{i}})}{2}$ (14)

此时, avg_KL值越大, 表明主题与主题之间的距离越远, 主题的可区分性越高。

4.3 实验结果

(1) 加权算法对比

为了比较提出的加权主题模型在专利文本分析中的有效性, 本文对专利文本进行预处理, 即, 分词和移除停用词后, 分别采用如下LDA模型进行比较:

①LDA: 不考虑权重的LDA模型;

②TF-IDF-LDA: 局部权重使用TF方法LW_TF, 全局权重使用IDF方法GW_IDF;

③P-IDF-LDA: 局部权重使用位置感知的方法LW_P, 全局权重采用IDF方法GW_IDF;

④TF-E-LDA: 局部权重使用TF方法LW_TF, 全局权重采用基于信息熵的词加权策略GW_E;

⑤P-E-LDA: 局部权重采用位置感知词权重LW_P, 全局权重采用基于信息熵词的加权策略GW_E。

实验中分别使用上述5种方式生成的主题模型。实验结果如图2和图3所示。

显示原图| 下载原图ZIP| 生成PPT

图2   不同加权LDA模型在3D打印专利文本中平均KL距离比较

   

显示原图| 下载原图ZIP| 生成PPT

图3   不同加权LDA模型在智能语音专利文本中平均KL距离比较

   

图1和图2显示, 在3D打印专利文本和智能语音专利文本主题建模中, 使用4种词权重的LDA方法(TF-IDF-LDA、P-IDF-LDA、TF-E-LDA、P-E-LDA)得到的平均KL距离均高于标准的LDA模型。这表明使用合适的加权策略比不采用加权策略的主题模型能够更好地区分主题。这是由于词权重能够将不同贡献的词区分对待, 从而提升主题建模效果。在4种词加权主题建模方法中, P-IDF-LDA、TF-E-LDA、P-E-LDA模型主题间的平均KL距离均高于TF-IDF-LDA模型, 特别地, P-E-LDA模型取得了最高平均KL距离。这表明使用信息熵方法优于IDF权重方法, 能够更好地区分词语的全局权重, 同时考虑词在专利文本中的位置, 优于词频局部权重方法, 能够进一步提高主题的建模效果, 获得更好的主题区分能力, 使得各个主题更具有代表性和区分性。

为了直观比较加权方法的主题分布, 分别给出使用传统LDA和P-E-LDA模型在3D打印专利文本和在智能语音专利文本模型每个主题中的前5个词分布。结果如表1和表2所示。可见, 在LDA主题模型中, 常出现一些表意性较差的词(用粗体表示), 如“发明”、“包括”、“技术”、“方法”等。相比于传统LDA方法, P-E-LDA模型通过降低这些词的权重, 从而区分不同的主题, 使得主题一致性较强, 更易于理解。

(2) 保留停用词

实验进一步地比较删除停用词和保留停用词情况下的P-E-LDA模型的主题区分能力。仍然采用上述3D打印、智能语音专利文本。实验环境与前面相同, 并将传统LDA在不去除停用词的原始数据上的结果作为参照。实验结果如图4和图5所示。

显示原图| 下载原图ZIP| 生成PPT

图4   保留停用词和删除停用词加权主题模型在3D打印专利文本中比较

   

显示原图| 下载原图ZIP| 生成PPT

图5   保留停用词和删除停用词加权主题模型在智能语音专利文本中比较

   

图4、图5表明在两个数据集的实验中, 在不删除停用词使用原始数据情况下进行P-E词加权主题建模, 主题间平均KL距离得到了和删除停用词相似的结果, 这表明即使在预处理步骤中不删除停用词, 通过P-E-LDA加权主题模型, 降低了高频词在各个主题中高概率的分布影响, 也能得到较好的性能, 使得各主题更具代表性和可区分性。

表3列出3D打印和智能语音数据集前10个高频词, 其中停用词使用粗体表示。

表4、表5分别列出基本LDA模型和P-E-LDA模型在不删除停用词的原始数据集上每个主题的前5个词分布。可见, 由于数据集没有去除停用词, LDA模型生成的主题中的前5个词中包含一些高频停用词(使用粗体表示), 造成主题之间语义区分度低; 而P-E-LDA模型能够根据词在专利文本中的重要性赋予词不同的权重, 使得P-E-LDA在原始数据上生成的主题中的前5个词并没有出现停用词, 从而获得较好的区分度。

5 结 语

本文针对专利文本分析中主题模型学习得到的主题分布向高频词倾斜, 使得主题间区分度低的问题, 提出词权重计算方法, 并将该词权重融入传统的主题模型, 形成加权主题模型。实验表明通过该方法可以有效地提高中文专利文本分析中主题模型的主题间的区分度, 从而更好地表示中文专利文本的语义信息。在将来的工作中, 尝试将加权专利文本主题模型应用于英文专利之中, 以提高英文专利文本主题模型的主题区分度, 更好地表示英文专利文本的语义信息。

作者贡献声明

俞琰: 设计并实现算法, 采集数据, 撰写论文;

赵乃瑄: 提供研究思路, 分析实验结果, 修改论文。

利益冲突声明

所有作者声明不存在利益冲突关系。

支撑数据

支撑数据由作者自存储, E-mail: yuyanyuyan2004@126.com。

[1] 俞琰. 3D打印专利文本集.xls. 测试数据.

[2] 俞琰. 智能语音专利文本集.xls. 测试数据.

[3] 俞琰. 哈尔滨工业大学停用词表.txt. 预处理数据.

[4] 俞琰. 实验结果对比.xls. 实验运行结果数据.

参考文献

文献选项

• 原文顺序
• 文献年度倒序
• 文中引用次数倒序
• 被引期刊影响因子