词向量之词袋模型(BOW)详解

【AI知识点】词袋模型(Bag-of-Words,BOW) 词袋模型(Bag-of-Words,简称BOW)是一种用于文本表示的简单且常用的方法,尤其在自然语言处理(NLP)和信息检索领域中广泛应用。词袋模型的核心思想是将文本表示为一个词频统计的集合,而不考虑词的顺序和语法结构。每个词在文本中出现的频率被用来表示文本的特征。 阅读详情
AI摘要

本文深入探讨词袋模型在自然语言处理中的应用,包括模型的基本原理、实现方法及其优缺点。词袋模型能将文本转化为向量,便于机器学习算法处理,但忽略了词序和语法,可能造成相似文本的误判。

前言

  自然语言处理面临的文本数据往往是非结构化杂乱无章的文本数据,而机器学习算法处理的数据往往是固定长度的输入和输出。因而机器学习并不能直接处理原始的文本数据。必须把文本数据转换成数字,比如向量。

在Neural Network Methods in Natural Language Processing, 2017一书65页有一句话:
在语言处理中,往往使用向量x来表示文本的大量语言学特性。
这个过程就叫做特征提取或者特征编码。一种流行并且简单的特征提取方法就是词袋模型。
  在自然语言处理和文本分析的问题中,词袋模型和词向量(Word Embedding)是两种最常用的模型。更准确地说,词向量只能表征单个词,如果要表示文本,需要做一些额外的处理。下面详细聊一聊词袋模型。

词袋模型

  词袋模型(Bag-of-Words model,BOW)BoW(Bag of Words)词袋模型最初被用在文本分类中,将文档表示成特征矢量。它的基本思想是假定对于一个文本,忽略其词序和语法、句法,仅仅将其看做是一些词汇的集合,而文本中的每个词汇都是独立的。简单说就是讲每篇文档都看成一个袋子(因为里面装的都是词汇,所以称为词袋,Bag of words即因此而来),然后看这个袋子里装的都是些什么词汇,将其分类。如果文档中猪、马、牛、羊、山谷、土地、拖拉机这样的词汇多些,而银行、大厦、汽车、公园这样的词汇少些,我们就倾向于判断它是一篇描绘乡村的文档,而不是描述城镇的。

例如三个句子如下:

句子1:小孩喜欢吃零食。
句子2:小孩喜欢玩游戏,不喜欢运动。
句子3 :大人不喜欢吃零食,喜欢运动。

  首先根据语料中出现的句子分词,然后构建词袋(每一个出现的词都加进来)。计算机不认识字,只认识数字,那在计算机中怎么表示词袋模型呢?其实很简单,给每个词一个位置索引就可以了。小孩放在第一个位置,喜欢放在第二个位置,以此类推。

{“小孩”:1,“喜欢”:2,“吃”:3,“零食”:4,“玩”:5,“游戏”:6,“大人”:7,“不”:8,“运动”:9}

其中key为词,value为词的索引,预料中共有9个单词, 那么每个文本我们就可以使用一个9维的向量来表示。
如果文本中含有的一个词出现了一次,就让那个词的位置置为1,词出现几次就置为几,那么上述文本可以表示为:

句子1:[1,1,1,1,0,0,0,0,0]
句子2:[1,2,0,0,1,1,0,1,1]
句子3:[0,2,1,1,0,0,1,1,1]

该向量与原来文本中单词出现的顺序没有关系,仅仅是词典中每个单词在文本中出现的频率。
  与词袋模型非常类似的一个模型是词集模型(Set of Words,简称SoW),和词袋模型唯一的不同是它仅仅考虑词是否在文本中出现,而不考虑词频。也就是一个词在文本在文本中出现1次和多次特征处理是一样的。在大多数时候,我们使用词袋模型。

词袋模型的作用

  将两篇文本通过词袋模型变为向量模型,通过计算向量的余弦距离来计算两个文本间的相似度。
词袋模型的缺点:

  • 词袋模型最重要的是构造词库,需要维护一个很大的词库。
  • 词袋模型严重缺乏相似词之间的表达。
    • “我喜欢北京”“我不喜欢北京”其实这两个文本是严重不相似的。但词袋模型会判为高度相似。
    • “我喜欢北京”与“我爱北京”其实表达的意思是非常非常的接近的,但词袋模型不能表示“喜欢”和“爱”之间严重的相似关系。(当然词袋模型也能给这两句话很高的相似度,但是注意我想表达的含义)
  • 向量稀疏

为了让词袋模型能够表达更多语义,尝试使用n元语法来构建词袋模型。n表示聚合的词个数,比如2就表示2个2个聚合在一起,叫做2元模型。
例如:

“我,喜欢”
“喜欢,北京”
...

n元模型比词袋模型在某些任务上表现得更好,比如文档分类,但也会带来麻烦。

词袋模型的实现

  对于中文来说,词袋模型首先会进行分词,在分词之后,通过统计每个词在文本中出现的次数,我们就可以得到该文本基于词的特征,如果将各个文本样本的这些词与对应的词频放在一起,就是我们常说的向量化。向量化完毕后一般也会使用TF-IDF进行特征的权重修正,再将特征进行标准化。 再进行一些其他的特征工程后,就可以将数据带入机器学习算法进行分类聚类了。

为了实现方便,本文使用英文来介绍怎么实现。

#  操作词袋模型:
# CountVectorizer:对语料库中出现的词汇进行词频统计,相当于词袋模型。
# 操作方式:将语料库当中出现的词汇作为特征,将词汇在当前文档中出现的频率(次数)作为特征值。
import numpy as np
from sklearn.feature_extraction.text import CountVectorizer
count = CountVectorizer()

# 语料库
docs = np.array([
    "Where there is a will, there is a way.",
    "There is no royal road to learning.",
])
# bag是一个稀疏的矩阵。因为词袋模型就是一种稀疏的表示。
bag = count.fit_transform(docs)
# 输出单词与编号的映射关系。
print(count.vocabulary_)
# 调用稀疏矩阵的toarray方法,将稀疏矩阵转换为ndarray对象。
print(bag)
print(bag.toarray())

# where映射为编号8  there映射为编号5······
# 编号也是bag.toarray转换来的ndarray数组的索引
词袋模型(Bag of Words) 词袋模型是自然语言处理和信息检索中的一种常用文本表示方法,它将文本表示为一个词的集合,忽略词语的顺序和语法结构,只关注词语的出现频率。本文详细介绍了词袋模型的基本原理、构建步骤、实践方法,并提供了相应的Python代码示例。 阅读详情

相关推荐

深度探索:机器学习中的词袋模型BoW(朴素却实用的文本表示方法)原理及其应用

词袋模型作为一种简洁、实用的文本表示方法,尽管存在忽视语序、语义关联等局限性,但其简单性、高效性以及对硬件资源的低要求,使其在诸多NLP任务中仍保持着重要的地位。未来,词袋模型有望与深度学习、图神经网络等先进技术结合,通过引入上下文信息、词汇关系等高级特征,进一步提升模型性能。同时,词袋模型的理念和方法将继续启发新的文本表示技术,为自然语言处理领域的研究与应用注入活力。

qq_51320133的博客 2762

BoW(词袋)模型详细介绍

最近学习BoW模型,将自己网上看到的资料及对论文的理解,将BoW模型总结如下! BoW模型 Bag-of-words model (BoW model) 最早出现在自然语言处理(Natural Language Processing)和信息检索(Information Retrieval)领域.。该模型忽略掉文本的语法和语序等要素,将其仅仅看作是若干个词汇的集合,文档中每个单词

SwiftlyFly 5万+

NLP_BoW(词袋)模型介绍

BoW模型 Bag-of-words model (BoW model) 最早出现在自然语言处理(Natural Language Processing)和信息检索(Information Retrieval)领域.。该模型忽略掉文本的语法和语序等要素,将其仅仅看作是若干个词汇的集合,文档中每个单词的出现都是独立的。BoW使用一组无序的单词(words)来表达一段文字或一个文档.。近年来,BoW模...

沐埜专栏 4020

词袋(Bag of Words, BoW)

词袋模型是一种简单且有效的文本表示方法,常用于文本分类、文本聚类等任务中。通过sklearn中的,可以轻松实现词袋模型,并将文档转化为机器学习模型所需的特征向量。

Python领域优质萌新学习笔记 1233

别再死记硬背公式了!用PyTorch手把手实现一个前馈网络,搞定NLP文本分类

本文详细介绍了如何使用PyTorch构建前馈网络(Feedforward Network)进行NLP文本分类任务。通过IMDb电影评论数据集实战,从数据加载、文本向量化到模型构建与训练,手把手教你实现一个高效的文本分类器,避免死记硬背公式,真正掌握神经网络应用技巧。

weixin_30399821的博客 274

SLAM笔记(七)回环检测中的词袋BOW

1.词频 (摘自阮一峰博客,参见附录参考) 如果某个词很重要,它应该在这篇文章中多次出现。于是,我们进行”词频”(Term Frequency,缩写为TF)统计。考虑到文章有长短之分,为了便于不同文章的比较,进行”词频”标准化。即词的数目除以文章中所有字的数目 对于一篇《中国的蜜蜂养殖》 但 出现次数最多的词—-“的”、”是”、”在”—-这一类最常用的词。它们叫做”停用词”(stop ...

一只飞鱼的博客 6913

8.词袋和词向量模型

文本数据(非结构化数据)转换成计算机能够计算的数据。有两种常用的模型:词袋和词向量模型。

人生是一场修行 3350

词袋模型(BOW,bag of words)和词向量模型(Word Embedding)理解

Word2vec 向量空间模型在信息检索中是众所周知的,其中每个文档被表示为向量。矢量分量表示文档中每个单词的权重或重要性。使用余弦相似性度量计算两个文档之间的相似性。 尽管对单词使用矢量表示的想法也已经存在了一段时间,但是对于嵌入单词的技术,将单词映射到向量的技术,最近一直在飙升。其中一个驱动因素是TomášMikolov的Word2vec算法,该算法使用大量文本来创建高维(50到300维)的单...

qq_36134437的博客 4127

ORB-SLAM3中的词袋模型BoW

作者丨卢涛@知乎来源丨https://zhuanlan.zhihu.com/p/354616831编辑丨3D视觉工坊非完整版注释:https://github.com/smilefaceh...

3D视觉工坊 1950

从DMD芯片到3D视觉革命:揭秘DLP工业投影光机的核心技术

本文深入解析了DMD芯片在DLP工业投影光机中的核心技术应用,揭示了其如何通过3D结构光技术实现微米级精度。从DMD芯片的机械设计到工业级光机的特殊优化,再到光固化3D打印和系统集成,展现了DLP技术在工业自动化和智能制造中的革命性作用。

weixin_29048775的博客 524

用C#和MQTTnet在WinForm里做个简易物联网监控后台(附完整源码)

本文详细介绍了如何使用C#和MQTTnet库在WinForm中构建一个简易物联网监控后台。通过实战案例,包括环境配置、MQTT服务端实现、客户端监控功能及高级优化技巧,帮助开发者快速搭建高效的物联网监控系统,适用于工业自动化和智能家居场景。

weixin_29540599的博客 394

词袋模型(BOW,bag of words)和词向量模型(Word Embedding)概念介绍

词袋模型(BOW,bag of words)和词向量模型(Word Embedding)概念介绍 例句: Jane wants to go to Shenzhen. Bob wants to go to Shanghai. 一、词袋模型 BOW,bag of words 将所有词语装进一个袋子里,不考虑其词法和语序的问题,即每个词语都是独立的。例如上面2个例句,就可以构成一个词袋,袋子里包括Ja...

机器学习初学者必看,关注我,一起了解机器学习 704

ESP8266+ITR8307实战:如何用反射式光电管实现5cm远距离检测(附避坑指南)

本文详细介绍了如何利用ESP8266的ADC功能与ITR8307反射式光电管,通过调制解调、硬件电路优化及软件同步采样策略,实现5cm稳定远距离检测。文章提供了完整的硬件设计、代码实现与调优避坑指南,有效解决了环境光干扰与信号衰减难题,适用于智能车、自动化等需要可靠非接触检测的项目。

rgv234567的博客 269

NLP概念:词袋模型(BOW)和词向量模型(Word Embedding)介绍

例句: James wants to go to Shenzhen. Bill wants to go to Shanghai. 一、词袋模型 所谓词袋,就是将所有词语装进一个"袋子"里,不考虑其词法和语序的问题,即每个词语都是独立的。例如上面2个例句,就可以构成一个词袋,袋子里包括James、wants、to、go、Shenzhen、Bill、Shanghai。假设建立一个数组(或词典)用于映射匹配。 1 [Jane, wants, to, go, Shenzhen, Bob, Shanghai] 那

weixin_43485035的博客 1777

保姆级教学:从0搭建微信小程序SpringBoot+Vue(一)

目标:实现一个微信小程序从后端数据库MySQL获取的商品展示页。 框架:后端采用SpringBoot,前端采用Vue,数据库MySQL。 部署工具:IntelliJ IDEA 2024.2专业版+HbuilderX+Node+微信开发者工具,jdk1.8已安装

weixin_44545610的博客 4935

目标检测 | R-CNN、Fast R-CNN与Faster R-CNN理论讲解

目标检测:R-CNN、Fast R-CNN与Faster R-CNN理论讲解,根据B站up霹雳吧啦Wz总结。此文章包含R-CNN算法原理讲解、Fast R-CNN算法原理讲解、Faster R-CNN原理讲解、目标检测评价指标介绍与特征金字塔网络FPN讲解。

houjingchuan的博客 9579

tf-idf词向量和bow_使用词袋Bow和TF IDF进行多标签分类

tf-idf词向量和bow 1.加载数据 (1. Load the data) For this study, we are using Kaggle data for Toxic Comment Classification Challenge. Lets load and inspect the data. This is a multilabel classification problem...

weixin_26756255的博客 1391

YOLO26训练教程,训练自己的数据集教学,从源码下载,配置虚拟环境,准备数据集、训练、验证、推理测试 。实现0到1的完整教学过程。快速入门必看

本文详细介绍了YOLO26目标检测模型的配置与使用流程:1)下载YOLOv11源码并创建Python3.10虚拟环境;2)安装PyTorch2.5.1及相关依赖库;3)准备数据集并修改配置文件;4)编写训练脚本设置参数(640x640分辨率、500轮次);5)验证模型效果;6)使用训练好的模型进行推理测试;7)生成可视化热力图。整个过程涵盖了从环境搭建到模型应用的全流程,并提供了清华镜像源加速下载。

Ai缝合怪、助力小伙伴高效发论文 5340

词袋模型和TF-IDF

作者|PURVA HUILGOL 编译|VK 来源|Analytics Vidhya 机器理解文本的挑战 “语言是一种极好的交流媒介” 你和我很快就会明白那句话。但机器根本无法处理原始形式的文本数据。他们需要我们将文本分解成一种易于机器阅读的数字格式(自然语言处理背后的理念!)。 这就引入“词袋”(BoW)和TF-IDF。BoW和TF-IDF都是帮助我们将文本句子转换为向量的技术。 在这篇文章中,我将讨论“词袋”和TF-IDF。我们将使用一个直观和一般的例子来详细理解每个概念。 示例 我将用一个流行的例子

TensorFlowNews 3254

多尺度仿真软件:Copasi_(1).Copasi概述

Copasi(Complex Pathway Simulator)是一款开源的多尺度仿真软件,专为生物化学、系统生物学和合成生物学领域的研究人员设计。它不仅能够模拟细胞内和细胞间的生化反应网络,还能处理代谢途径、信号传导途径和基因调控网络等多种复杂系统。Copasi提供了用户友好的图形界面和强大的命令行接口,支持多种仿真算法和分析工具,使用户能够高效地进行模型构建、仿真和分析。Copasi允许用户创建自定义报告,以便生成特定格式的仿真结果。用户可以通过图形界面或命令行创建自定义报告。

kkchenjj的博客 861

CAPL如何设置或修改CANoe TCP/IP协议栈的底层配置

MSS = MTU - tcpHeader - ipHeader,也就是MTU = MSS(1360) + tcpHeader(20) + ipHeader(20) = 1400,说明CAPL是可以动态设置网络底层配置参数的!然后在CAPL中设置此网卡MTU值为1400,然后创建UDP套接字,一次性发送2000个字节,在Trace窗口看看首帧报文二层Data的长度。所以我们还不能用UDP协议来验,应该用TCP协议来验,也就是在TCP三次握手时通过Tester的MSS值推导出自己的MTU值。

jasonj333 997

NLP实践四-----词袋模型 + 词向量 + word2vec

Task4 文本表示:从one-hot到word2vec (2 days) 词袋模型:离散、高维、稀疏。 分布式表示:连续、低维、稠密。word2vec词向量原理并实践,用来表示文本。 参考: word2vec 中的数学原理详解(一)目录和前言 - peghoty - CSDN博客 https://blog.csdn.net/itplus/article/details/37969519 wo...

snailpeople的博客 2567

IEM模型,地表粗糙度模拟

利用微波反演土壤水分时候,利用IEM模型可以实现对随机地表的模拟

词袋模型和词向量模型

本文简要介绍了词袋模型、词向量模型的原理和应用。

万宫玺的专栏 3万+

文档:亲测可用解决vnc灰屏,黑屏,鼠标大黑叉情况

主要解决vnc-viewer灰屏,黑屏,鼠标大黑叉等现象,详细见文档。

廖雪峰Python教程[完整版]

廖雪峰的python教程整理的,已经排好版了,而且还是完整的,适合小白

NLP实践六:词袋模型到word2vec

文章目录一.词袋模型二 wordembeddingone-hot共现矩阵Cocurrence matrixDistributed representationword2vec三 word2vec 的训练两种算法CBOWSkip-gram加速训练方法Hierarchical SoftmaxNegative Sampling 一.词袋模型 来自词袋模型bow和词向量模型word2vec 所谓词袋模型B...

chen_yiwei的博客 2908

Data-Structures-and-Algorithm-Analysis-in-Java.pdf

作者: Weiss, Mark A. 出版社: Addison Wesley Data Structures and Algorithm Analysis in Java is an “advanced algorithms” book that fits between traditional CS2 and Algorithms Analysis courses. In the old ACM Curriculum Guidelines, this course was known as CS7. This text is for readers who want to learn good programming and algorithm analysis skills simultaneously so that they can develop such programs with the maximum amo...

自然语言处理 ❉ 词袋模型(Bag of Words,BoW)

文本分析中的词袋模型(Bag of Words,BoW),也称为词频模型,是一种简单而强大的文本表示方法,常用于自然语言处理和信息检索领域。

weixin_43156294的博客 1672
上一篇: 零基础入门数据挖掘-二手车交易价格预测之特征工程
下一篇: Windows 10 环境下的pycharm安装
Elenstone
博客等级 码龄8年 81粉丝 34原创
评论 4
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值
⌂ 换网址