词向量之TF-IDF模型详解

【NLP】文本表示之TF-IDF介绍 本文主要介绍了自然语言处理领域中文本表示的一个重要算法:TF-IDF算法。包括其基本概念,以及简单的Python代码实现。 阅读详情
AI摘要

本文深入探讨了TF-IDF模型的概念及其在衡量文本中词汇重要性方面的应用,详细解析了TF-IDF的数学形式,并提供了三种不同的Python实现方式,包括手动实现、使用Gensim库和Sklearn库。

0 前言

前面介绍了词向量的One-Hot模型以及词袋模型,这都是为了将离散符号表示的文本转换成数字表示,以提供给后续机器学习算法的使用。
词向量之One-Hot编码详解
词向量之词袋模型(BOW)详解
本文主要介绍另一种词向量的表示方法:TF-IDF。

1 TF-IDF模型

  现有一个问题,怎么表示一个词在文档中的重要性?
  首先想的是文档中出现越多的词对文章来说就越重要,也就是说词在文档中的频率越大越重要,这里用TF(term frequency)来表示。但是又出现了另一个问题,“的”,“了”,“吗”这种词出现在文档中的频率一般也很高,但是它们又不带有实际意义,所以为了降低这些词的重要性,引入了IDF(inverse document frequency),若一个词在语料库中的很多文档中都出现,那么就让这个词的重要性降低一些。由此便产生了TF-IDF模型。

1.1 TF-IDF数学形式

  • TF:单词在某一篇文章中的词频,一个词在文章中出现的频率,此处文章可以是一个句子,也可以是一整篇文章。
    T F ( d , w ) = N ( w ) N ( d ) TF(d,w)=\frac{N(w)}{N(d)} TF(d,w)=N(d)N(w)​
    其中 N ( w ) N(w) N(w)表示 d d d这篇文章中词 w w w的总数, N ( d ) N(d) N(d)表示文档 d d d中的词的总数。
    除此之外还有其他计算方式:

    • 二值:如果词出现在一篇文档中,则 N ( w ) N(w) N(w)为1,否则为0
    • 对数化: T F ( d , w ) = log ⁡ ( 1 + N ( w ) ) TF(d,w)=\log{(1+N(w))} TF(d,w)=log(1+N(w))
    • 双重标准化0.5:让词的频数除以该篇文档中最高频词的频数 T F ( d , w ) = 0.5 + 0.5 × N ( w ) max ⁡ w N ( w ) TF(d,w)=0.5+0.5\times\frac{N(w)}{\max\limits_wN(w)} TF(d,w)=0.5+0.5×wmax​N(w)N(w)​,这样做是为了避免偏向语料库中的长文档。
    • 双重标准化K:将上面方法中的0.5更换成 K ∈ [ 0 , 1 ] K\in [0,1] K∈[0,1],则 T F ( d , w ) = K + ( 1 − K ) × N ( w ) max ⁡ w N ( w ) TF(d,w)=K+(1-K)\times\frac{N(w)}{\max\limits_wN(w)} TF(d,w)=K+(1−K)×wmax​N(w)N(w)​
  • IDF:逆文档频率,指的是含有这个单词的文章占语料库中所有文章总数的比例的倒数。
    I D F ( w ) = log ⁡ N N ( w ) IDF(w)=\log{\frac{N}{N(w)}} IDF(w)=log

解析TF-IDF模型公式、应用、优缺点及实战 其实就是一个很简单的公式。解析TF-IDF模型公式、应用、优缺点及实战。 阅读详情

相关推荐

感知机情感分类实战:从词向量到决策边界的完整实现

感知机是NLP情感分析中最基础的线性分类模型,其核心由输入向量、可学习权重与偏置项构成,通过线性组合加阈值判断完成二分类任务。它虽无注意力或深层非线性结构,却以高度透明性支撑调试与可解释性——你能直接观察‘差’‘惊艳’等词的权重差异,定位模型在否定句或中性表达上的失效根源。技术价值在于轻量、可控、低资源依赖,特别适合小样本新领域(如医疗问诊、游戏论坛)的快速验证。典型应用场景包括电商评论实时过滤、客服工单情绪初筛等对响应延迟和决策归因有强要求的生产环境。本文聚焦感知机结构、词向量映射与二分类决策边界三大热词

weixin_32903229的博客 286

TF-IDF原理详解以及python实践

TF-IDF(termfrequency–inverse document frequency)是一种用于资讯检索与资讯探勘的常用加权技术。TF-IDF是一种统计方法,用以评估一字词对于一个文件集或一个语料库中的其中一份文件的重要程度。字词的重要性随着它在文件中出现的次数成正比增加,但同时会随着它在语料库中出现的频率成反比下降。TF-IDF加权的各种形式常被搜寻引擎应用,作为文件与用户查询之间相关

自然语言处理技术 9620

基于TF-IDF+KMeans聚类算法构建中文文本分类模型(附案例实战)

TF-IDF(Term Frequency-Inverse Document Frequency, 词频-逆文件频率)是一种用于资讯检索与资讯探勘的常用加权技术。TF-IDF是一种统计方法,用以评估一字词对于一个文件集或一个语料库中的其中一份文件的重要程度。字词的重要性随着它在文件中出现的次数成正比增加,但同时会随着它在语料库中出现的频率成反比下降。简单来说就是:一个词语在一篇文章中出现次数越多, 同时在所有文档中出现次数越少, 越能够代表该文章。这也就是TF-IDF的含义。

m0_64336780的博客 1万+

中文歌词数据库NLP实践:语料清洗、情感分析与词向量训练

自然语言处理任务的效果往往不取决于模型复杂度,而取决于语料质量与清洗策略。中文歌词数据库作为一类富含情绪表达与意象语义的文本资源,在文本分类、情感分析和词向量训练中具有独特价值。其半口语化、强抒情的文体特征,恰好补充了通用新闻语料的不足。通过字段统计、歌词清洗、标签构造与特征工程,可以将原始歌词转化为可训练的结构化样本,并借助TF-IDF、逻辑回归等经典方法快速建立基线。进一步利用Word2Vec在歌词语料上自训练领域词向量,可提升意象词汇的语义表征能力,用于歌词相似度检索与下游模型初始化。本文围绕中文歌词

weixin_29039773的博客 335

Word2Vec+SVM电商评论情感分析:从词向量到分类落地全指南

情感分析是文本分类在电商场景中的典型应用,传统词袋和TF-IDF因稀疏向量与语义鸿沟,难以捕捉“不经用”“推卸责任”等组合语义。Word2Vec通过无监督训练将词语映射为稠密向量,让语义相近的词在空间中聚拢,配合SVM分类器即可构建可解释、可复现的情感分类基线。整套方案无需GPU与预训练大模型,普通笔记本即可完成从数据清洗、分词、词向量训练到模型保存的端到端流程,适合课程设计与小规模评论数据的快速验证。围绕词向量训练中的参数调优、句子向量池化、类别不平衡处理、模型版本兼容等工程瓶颈,结合可运行的Python

weixin_29061821的博客 312

Python MLP虚假新闻检测器:从TF-IDF到PyTorch实战

文本分类是自然语言处理的基础任务,通过将文本转换为数值向量并训练分类模型,可实现对海量内容的自动判别。TF-IDF作为经典特征工程方法,能有效提取关键词权重,结合多层感知机(MLP)可构建轻量级分类器。在内容审核场景中,基于Python和PyTorch实现的虚假新闻检测器,利用TF-IDF向量化与MLP分类,能快速识别可疑文本,提升审核效率。本文以虚假新闻检测为例,详解从数据预处理、模型搭建到评估可视化的全流程,涵盖python数据分析与可视化、python基础语法等热词,帮助读者掌握文本分类的核心技术。

weixin_29057065的博客 281

SVM+LSTM双模型情感分析毕设实战指南

情感分析是自然语言处理的基础任务,其核心在于从非结构化文本中识别用户主观态度。传统单模型(如纯LSTM或纯SVM)易受短文本噪声、长句语义转折及中文编码异常干扰,导致线上推理不稳定。SVM凭借TF-IDF特征与线性核实现快速、可解释的基线判别,LSTM则通过预训练词向量与序列建模捕捉上下文依赖,二者并行投票显著提升鲁棒性。该方案特别适用于电商评论等真实场景,支持无GPU环境训练,并通过PyQt5轻量GUI封装为即开即用的演示系统,兼顾工程落地性与答辩展示性。

weixin_29061509的博客 312

Unity采样器过多导致URP默认的Lit.Shader报错(shader error in ‘universal render pipeline/lit’: maximum ps_4_0 samp)

Shader中多个Sample Texture2D,Sample Texture3D或者类似节点的使用,该类节点都需要一个采样器,如果Shader使用超过了16个纹理采样器,如多个Base Color,Normal Map等,就容易超出。是因为每种Shader Model和GPU都有一个对纹理采样器数量的限制,是因为每个采样器都需要在显卡占用一个独立的寄存器,而寄存器的数量是有限的,当超过限制,显卡无法分配更多的寄存器给新的采样器,因此会导致编译错误。2.什么原因导致纹理采样器超出16个?

qq_41884036的博客 4237

Linux V4L2驱动开发实战:手把手教你用I2C摄像头Sensor注册一个v4l2_subdev

本文详细解析了Linux V4L2驱动开发中I2C摄像头Sensor注册v4l2_subdev的全流程,包括初始化、操作集填充、异步匹配等关键环节。通过实战案例和代码示例,帮助开发者掌握V4L2子系统下的摄像头驱动开发技巧,提升嵌入式Linux系统开发能力。

weixin_30328063的博客 423

量化回测框架三选一:Backtrader、Zipline、PyAlgoTrade,新手到底该跟谁学?

本文对比分析了三大量化回测框架Backtrader、Zipline和PyAlgoTrade,帮助新手选择最适合的入门工具。从安装配置、策略编写到文档查阅,详细解析各框架的特点和适用场景,为量化交易初学者提供实用指南。

weixin_28745309的博客 269

聚类技术:发展历史、主要分类与重要论文解析

在数据挖掘和机器学习的广袤领域中,聚类作为一种强大的无监督学习技术,一直扮演着至关重要的角色。它能够帮助我们从海量的数据中发现隐藏的模式和结构,将相似的数据对象归为一类,从而为进一步的分析和决策提供有价值的信息。

qq_48131648的博客 2635

保姆级教程:用SSC Tool 5.13为先楫HPM6E00EVK生成8轴EtherCAT从站代码(含XML配置详解)

本文详细介绍了如何使用SSC Tool 5.13为先楫HPM6E00EVK开发板配置8轴EtherCAT从站,包括XML文件深度配置、代码生成与工程整合、烧录与调试技巧。教程涵盖从环境准备到性能优化的全流程,帮助开发者快速实现符合CIA402标准的8轴控制。

weixin_30352645的博客 266

一文让你轻松理解Wi-Fi理论速率计算方式

如上所示,在使用FDM的802.11协议上,最小子载波带宽为312.5KHz,那一个信道频宽为20MHz的信道可以分成64个子载波,但是由于技术原因,有效使用的是52个子载波,实际用于数据传输的只有48个,有4个子载波充当导频载波。载波:交流信号或者直流信号本身不具备数据传输能力,但是如果信号发生很小的波动或者变化,从而实现数据的收发。所谓子载波,就是将信号划为为很多的小信道,这些小信道可以实现数据的并发传输,子载波我们英文称为subcarrier,也称为音调(tone)。Symbol time如下所示。

1042484520@qq.com(邮箱) 3463

AI测试:手把手教你用AI做桌面自动化「喂饭教程」

本文介绍了基于MCP协议的DesktopCommanderMCP自动化工具,通过自然语言指令实现桌面操作。系统采用客户端-服务器架构,支持应用程序管理、文件操作、屏幕控制等功能。详细说明了环境搭建步骤,包括Python和Node.js依赖安装、API密钥配置及MCP服务部署。通过实战案例展示了文件整理、批量截图等典型应用场景,并分享了任务描述优化、权限控制等最佳实践。该方案能显著提升重复性桌面操作的效率,让AI成为智能办公助手。

blues_C的博客 861

Microsoft Dynamics 365软件二次开发:Dynamics365部署与版本控制策略

在Microsoft Dynamics 365中,自定义实体允许开发者扩展系统以满足特定业务需求。自定义实体可以包含字段、选项集、关系和其他属性,与标准实体类似,但完全由用户定义。1. 登录到Dynamics 365环境。2. 转到“解决方案”区域,选择“自定义”。3. 在“自定义”菜单中,选择“实体”。4. 点击“新建”,输入实体名称,例如“客户反馈”。5. 添加字段,如“反馈类型”、“反馈日期”、“描述”等。6. 设置主键和唯一标识符。7. 定义关系,如与“客户”实体的关联。

kkchenjj的博客 2210

ssm框架搭建

这个是一个在idea上成功跑起来的ssm框架项目,保存在这里方便以后使用直接下载

精雕软件(JDpaint) 5.5 绿色版

精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版

Data-Structures-and-Algorithm-Analysis-in-Java.pdf

作者: Weiss, Mark A. 出版社: Addison Wesley Data Structures and Algorithm Analysis in Java is an “advanced algorithms” book that fits between traditional CS2 and Algorithms Analysis courses. In the old ACM Curriculum Guidelines, this course was known as CS7. This text is for readers who want to learn good programming and algorithm analysis skills simultaneously so that they can develop such programs with the maximum amo...

win10 跳过U8环境检测的IE WebControls.rar

win10 安装u8的时候 提示IE WebControls 不通过,这个工具可以欺骗u8的检查。 跳过U8环境检测的IE WebControls。提示导入失败后,重新检测通过。

上一篇: Windows 10 环境下的pycharm安装
下一篇: 词向量之Word2Vec数学原理以及源代码详解
Elenstone
博客等级 码龄8年 81粉丝 34原创
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值
⌂ 换网址