目录
0 前言
前面介绍了词向量的One-Hot模型以及词袋模型,这都是为了将离散符号表示的文本转换成数字表示,以提供给后续机器学习算法的使用。
词向量之One-Hot编码详解
词向量之词袋模型(BOW)详解
本文主要介绍另一种词向量的表示方法:TF-IDF。
1 TF-IDF模型
现有一个问题,怎么表示一个词在文档中的重要性?
首先想的是文档中出现越多的词对文章来说就越重要,也就是说词在文档中的频率越大越重要,这里用TF(term frequency)来表示。但是又出现了另一个问题,“的”,“了”,“吗”这种词出现在文档中的频率一般也很高,但是它们又不带有实际意义,所以为了降低这些词的重要性,引入了IDF(inverse document frequency),若一个词在语料库中的很多文档中都出现,那么就让这个词的重要性降低一些。由此便产生了TF-IDF模型。
1.1 TF-IDF数学形式
-
TF:单词在某一篇文章中的词频,一个词在文章中出现的频率,此处文章可以是一个句子,也可以是一整篇文章。
T F ( d , w ) = N ( w ) N ( d ) TF(d,w)=\frac{N(w)}{N(d)} TF(d,w)=N(d)N(w)
其中 N ( w ) N(w) N(w)表示 d d d这篇文章中词 w w w的总数, N ( d ) N(d) N(d)表示文档 d d d中的词的总数。
除此之外还有其他计算方式:- 二值:如果词出现在一篇文档中,则 N ( w ) N(w) N(w)为1,否则为0
- 对数化: T F ( d , w ) = log ( 1 + N ( w ) ) TF(d,w)=\log{(1+N(w))} TF(d,w)=log(1+N(w))
- 双重标准化0.5:让词的频数除以该篇文档中最高频词的频数 T F ( d , w ) = 0.5 + 0.5 × N ( w ) max w N ( w ) TF(d,w)=0.5+0.5\times\frac{N(w)}{\max\limits_wN(w)} TF(d,w)=0.5+0.5×wmaxN(w)N(w),这样做是为了避免偏向语料库中的长文档。
- 双重标准化K:将上面方法中的0.5更换成 K ∈ [ 0 , 1 ] K\in [0,1] K∈[0,1],则 T F ( d , w ) = K + ( 1 − K ) × N ( w ) max w N ( w ) TF(d,w)=K+(1-K)\times\frac{N(w)}{\max\limits_wN(w)} TF(d,w)=K+(1−K)×wmaxN(w)N(w)
-
IDF:逆文档频率,指的是含有这个单词的文章占语料库中所有文章总数的比例的倒数。
I D F ( w ) = log N N ( w ) IDF(w)=\log{\frac{N}{N(w)}} IDF(w)=log
286



被折叠的 条评论
为什么被折叠?



