TF-IDF^{[ 8]} (词频率-逆文档频率) 的主要思想是:特征词在文档中的权重为特征词在文档中出现的频数反比于包含该特征词的文档数目。TF表示特征词m在文档D中出现的频率, IDF表示所有文档中出现特征词m的文档数目。

常用的计算方法如下:

其中, N为总文档数, n为包含某项特征词的文档总数。

TF-IDF是信息检索领域常用的方法, 其涵义是如果一个特征词在某个文档中多次出现, 且其他的文档包含该特征词较少, 则该特征词能够很好地表示该文档。TF为某一特征值在文档中出现的频数, 反映文档的内部特征, IDF为某一特征值在整个文档集合中的分布情况, 反映文档间的特征。

TF-IDF将文档集作为整体处理, 特别是IDF的计算, 在文本分类中存在明显的缺陷:在公式 (2) 中令n=n₁+n₂, n₁表示c_i中包含特征词m的文档数目, n₂表示其他类中包含特征词m的文档数目。当n₁>>n₂时, 在总的文档数N一定的情况下, IDF的值很小。然而实际情况是特征值m在类c_i中出现的频率远远大于在其他类中出现的频率, 特征词m应该有很好的区分能力, 而这里却与期望的结果恰好相反。

表1

表1

表1 m1、m2的特征分布 类别 m1 m2 C1 9 5 C2 1 5

表1 m1、m2的特征分布

现有待分文档类别的集合S={C₁, C₂, …, C_j}, 在C_i (C_i∈S) 中有文档集合D={d₁, d₂, d₃, …, d_n}, n为文档数目。特征词的集合为M={m₁, m₂, m₃, …, m_k}, k为C_i中所有出现的词语个数。针对3.1节提出的问题, 在计算IDF时可以用特征值在类间出现的概率比代替特征值在类间出现的次数比来解决。根据大数定律^{[ 9]}的特性, 假定某类文档的作者在书写该类文档时用到哪些词组是一个随机事件, 因此可以用P (m_k) 表示词组m_k在类C_i中出现的概率, count (m_k) 表示词组m_k在C_i中出现的次数。则:

一个类的文档的特征词应该有很好的代表该类文档的特征信息, 用P (m_k) 表示词组m_k在类C_i中出现的概率, P (m_k) ′表示词组m_k在S中除了C_i以外的类中出现的概率之和。令:

根据公式 (4) 再次计算表1中特征值m₁, m₂的IDF。IDF_m1c1=log (1+9/141/6) =0.552, IDF_m2c1=log (1+5/145/6) =0.155, IDF_m1c1>IDF_m2c1, 表明词组m₁的分类效果好于m₂, 这与事实相符。

用改进后的TF-IDF方法来提取训练文档集中每个类的特征词, 并把特征词按照所计算的TF-IDF值从大到小的顺序排列。从有序的特征词集合中选择前m个TF-IDF值较大的特征值词组成特征向量。对于每一个文档d_i, 先进行切词处理, 统计文档d_i中每个词组出现的次数。对照d_i所属的类c_i的特征向量进行标记。如果d_i中的词组word₁在特征向量中出现, 则标记为1, 没有出现则标记为0。

例如文档集合类c_i的特征词组成的特征向量为{汽车、前窗、奥迪}, 文档d_i分词后的结果为:“汽车, 玻璃, 前窗, 汽车, 颜色, 轮胎”, 则文本文档d_i表示为“101100”的字符串。

文本分类的方法很多, 分类器实现的复杂程度各不相同。为了追求计算的高效性并验证特征词提取的准确性, 本文使用文档与文档所属的类的相似度进行分类。文档d_i与类c_k之间的相似度S (d_i, c_k) 计算公式如下:

当文档d_i和类c_k的相似度值大于d_i与其他类的相似度值时, 文档d_i被划分到类c_k, 例如文本文档d₁相对于文档类别c₁, c₂, c₃的表示字符串向量依次为:c₁:111001, c₂:100100, c₃:000100, 按照公式 (5) 就有:
S (d₁, c₁) =1+1+1+0+0+1=4
S (d₁, c₂) =1+0+0+1+0+0=2
S (d₁, c₃) =0+0+0+1+0+0=1

d₁与c₁的相似度最大, 证明它们的相似程度最高, 因此d₁被划分到c₁。

对于文本分类系统的性能评估测试, 国际上有通用的评估指标, 包括查全率 (Recall) 、查准率 (Precision) 和 F1评估值三项^{[ 10]}。本实验是为了测试改进的TF-IDF方法对文本分类精度影响, 因此, 采用查准率作为评价改进后的TF-IDF方法提取特征值好坏程度的指标。另外, 错误率为查准率的互补, 用来检验程序是否正常运行, 查准率和错误率之和等于1。

数据集来自自编爬虫下载的新闻网页, 首先去掉网页中标记, 然后按类别储存。数据集一共有6个文本类, 每类有4 000篇文章, 依次为汽车、文化、医药、军事、体育和经济。随机在每个类中挑取100篇文章作为测试集, 其他3 900篇文章作为训练集。采用的分词系统是中国科学院计算技术研究所的ICTCLAS^{[ 11]}。实验采用Java自编程序实现, Java的JDK为JDK7, 运行硬件为装有XP系统、主频为3.3GHz、内存为4GB的联想台式机。经过多次实验测得, 选取每个类中使用改进后的TF-IDF方法所计算的特征值按从大到小排序后的前200个特征词组成该类的特征向量时, 分类效果最佳, 具体实验结果如表2所示:

表2

表2

表2 不同个数特征词对应的整体查准率 特征词个数 查准率 100 92.67% 150 94.67% 200 95.5% 250 95.16%

表2 不同个数特征词对应的整体查准率

为了证明改进后的TF-IDF方法的有效性, 本文把对TF-IDF具有相似改进思想的文献[12]提出的方法用于该数据集, 实验结果如表3所示:

表3

表3

表3 改进TF-IDF实验结果和文献[12]方法实验结果对比 类别 指标 汽车 文化 医药 军事 体育 经济 查准率 86% 98% 98% 96% 98% 97% 查准率 85% 87% 92% 96% 90% 92% 错误率 14% 2% 2% 4% 2% 3% 错误率 15% 13% 8% 4% 10% 8% 耗时 1 026毫秒/600篇 耗时 1 038毫秒/600篇

表3 改进TF-IDF实验结果和文献[12]方法实验结果对比

表3中颜色较深的行显示的是本文提出的改进IF-IDF方法的实验结果, 颜色较浅的行显示的是文献[12]提出方法的实验结果。结果表明用基于概率的TF-IDF方法在进行网页文本特征词提取后, 在进行汽车、军事文档分类时分类的准确率与文献[12]的方法相当, 在进行文化、医药、体育、经济类文档分类时分类准确性均优于文献[12]的方法。在对相同的600篇文档分类测试中, 本文提出的改进方法耗时较短。