词向量系列之One-Hot编码详解

词向量(从one-hot到word2vec) 词向量的意思就是通过一个数字组成的向量来表示一个词,这个向量的构成有很多种方法,如one-hot编码、基于共现矩阵的方式、word2vec、动态词向量ELMo等。 一、one-hot向量 优势:简单易懂、稀疏存储 不足:维度灾难、词汇鸿沟(向量之间都是孤立的) 二、基于共现矩阵的方式 上述矩阵是一个n*n的对称矩阵X,矩阵维数随着词典数量n的增大而增大,可以使用奇异值分解SVD将矩阵维度降低... 阅读详情

0.前言

  在回归,分类,聚类等机器学习算法中,各个特征之间的距离(相似度)计算是非常重要的,然而常用的距离计算都是在欧式空间内计算,例如计算余弦相似性。但是在欧式空间内计算相似性要求数据是连续的,有序的。在很多机器学习的任务中,数据都是离散的,例如星期一,星期二,···,星期天,人的性别有男女,祖国有中国,美国,法国等。这些特征值并不是连续的,而是离散的,无序的。
如果要作为机器学习算法的输入,通常我们需要对其进行特征数字化。什么是特征数字化呢?例如:

       性别特征:["男","女"]

       祖国特征:["中国","美国,"法国"]

       运动特征:["足球","篮球","羽毛球","乒乓球"]

怎么将上诉特征数字化呢?有个人他的特征是 [“男”,“中国”,“乒乓球”],怎么表示他呢?

1. 独热编码

  独热编码即 One-Hot Encoding,又称一位有效编码,其方法是使用N位状态寄存器来对N个状态进行编码,每个状态都由他独立的寄存器位,并且在任意时候,其中只有一位有效。one-hot向量将类别变量转换为机器学习算法易于利用的一种形式的过程,这个向量的表示为一项属性的特征向量,也就是同一时间只有一个激活点(不为0),这个向量只有一个特征是不为0的,其他都是0,特别稀疏。

1.1 独热编码例子

例1:
  我们有四个样本,每个样本有三个特征,如图:

特征1特征2特征3
样本1143
样本2232
样本3122
样本4211

上诉样本特征1有两种可能的取值,若代表性别,比如1代表男性2代表女性,特征2有4种,可以代表另一种特征,同样的特征3也可以有他的含义。
独热编码保证每个样本中的单个特征只有1位数字为1,其余全部为0,编码后表示为:

特征1特征2特征3
样本1011000100
样本2100100010
样本3010010010
样本4100001001

对每个特征都使用独热编码表示,特征有2种取值就用两位表示,4种取值就用4位表示
对于前言中的例子,可以将特征与具体的特征对应:

  • 性别特征:[“男”,“女”] (这里只有两个特征,所以 N=2):
    男 => 10
    女 => 01
  • 祖国特征:[“中国”,"美国,“法国”](N=3):
    中国 => 100
    美国 => 010
    法国 => 001
  • 运动特征:[“足球”,“篮球”,“羽毛球”,“乒乓球”](N=4):
    足球 => 1000
    篮球 => 0100
    羽毛球 => 0010
    乒乓球 => 0001
    所以,当一个样本为 [“男”,“中国”,“乒乓球”] 的时候,完整的特征数字化的结果为:
    [1,0,1,0,0,0,0,0,1]
    前两位代表性别,中间三位代表国家,后四位代表运动。

1.2 独热编码的优点

  • 能够处理机器学习算法不好处理的离散特征值。
  • 在一定程度上增加了特征的维度,比如性别本身是一个特征,经过one hot编码以后,就变成了男或女两个特征。
  • 将离散特征的取值扩展到了欧式空间,离散特征的某个取值就对应欧式空间的某个点。将离散型特征使用one-hot编码,可以会让特征之间的距离计算更加合理。

1.3 独热编码的缺点

  • 如果原本的标签编码是有序的,那么one-hot编码就会丢失顺序信息。
  • 如果特征值的数目特别多,就会产生大量冗余的稀疏矩阵
  • 维度(单词)间的关系没有得到体现,每个单词都是一个维度,彼此相互独立,然而每个单词彼此无关这个特点明显不符合现实情况。大量的单词都是有关的。比如:
    • 语义:girl和woman虽然用在不同年龄上,但指的都是女性。
    • 复数:word和words仅仅是复数和单数的差别。
    • 时态:buy和bought表达的都是“买”,但发生的时间不同。
    • 所以用one hot representation的编码方式,上面的特性都没有被考虑到。

1.4 独热编码适用的情况

  • One Hot Encoding用来解决类别数据的离散值问题,如果特征是离散的,并且不用One Hot Encoding就可以很合理的计算出距离,那么就没必要进行One Hot Encoding。
  • 有些基于树的算法在处理变量时,并不是基于向量空间度量,数值只是类别符号,即没有偏序关系,所以不用One Hot Encoding,树模型不太需要One Hot Encoding,对于决策树来说,没有特征大小的概念,只有特征处于哪个部分的概念,One Hot Encoding的本质是增加树的深度。如GBDT处理高维稀疏矩阵的时候效果并不好,即使是低维的稀疏矩阵也未必比SVM好。

2. 独热编码的实现

2.1 python简单实现one-hot编码

import numpy as np
samples = ['I like playing basketball', 'I played football yesterday morning']
token_index = {}
for sample in samples:
    for word in sample.split():
        if word not in token_index:
            token_index[word] = len(token_index)+1

max_length = 10
results = np.zeros(shape=(len(samples),
                          max_length,
                          max(token_index.values())+1))
for i, sample in enumerate(samples):
    for j, word in list(enumerate(sample.split()))[:max_length]:
        print(j)
        index = token_index.get(word)
        results[i, j, index] = 1
print(results)

2.2 sklearn

通过sklearn的OneHotEncoder()来得到独热编码,但是只适用于数值型的数据。OneHotEncoder()的 feature_indices_ 可以知道哪几列对应哪个原来的特征。
使用 numpy.hstack() 将多次结果拼接起来得到变换后的结果
问题:不能直接编码字符串类型数据(LabelEncoder() + OneHotEncoder() 可实现,但需数据格式转换)

from sklearn import preprocessing

enc = OneHotEncoder()
enc.fit([[0, 0, 3], [1, 1, 0], [0, 2, 1],[1, 0, 2]])
print("enc.n_values_ is:",enc.n_values_)
print("enc.feature_indices_ is:",enc.feature_indices_)
print(enc.transform([[0, 1, 1]]).toarray())
print(enc.transform([[1, 1, 1]]).toarray())
print(enc.transform([[1, 2, 1]]).toarray())

输出的结果:

enc.n_values_ is: [2 3 4]          
enc.feature_indices_ is: [0 2 5 9]    #特征坐标
[[1. 0. 0. 1. 0. 0. 1. 0. 0.]]
[[0. 1. 0. 1. 0. 0. 1. 0. 0.]]

enc.n_values_ is :每个特征值的特征数目,第一个特征数目是2,第二个特征数目是3,第三个特征数目是4。
enc.feature_indices_ is :表明每个特征在one-hot向量中的坐标范围,0-2 是第一个特征,2-5就是第二个特征,5-9是第三个特征。
后面三个就是把特征值转换为 one-hot编码,我们可以对比结果看看one-hot差别。

2.3 Keras

from keras.preprocessing.text import Tokenizer
samples = ['I like playing basketball', 'I played football yesterday morning']
tokenizer = Tokenizer(num_words=1000)
tokenizer.fit_on_texts(samples)
sequences = tokenizer.texts_to_sequences(samples)
one_hot_results = tokenizer.text_to_matrix(samples, mode="binary")
word_index = tokenizer.word_index
print('Found %s unique tokens.' % len(word_index))

2.4 tensorflow

官方文档:

tf.one_hot(
    indices,
    depth,
    on_value=None,
    off_value=None,
    axis=None,
    dtype=None,
    name=None
)
Returns a one-hot tensor(返回一个one_hot张量).
 
The locations represented by indices in indices take value on_value, while all other locations take value off_value.
(由indices指定的位置将被on_value填充, 其他位置被off_value填充).
 
on_value and off_value must have matching data types. If dtype is also provided, they must be the same data type as specified by dtype.
(on_value和off_value必须具有相同的数据类型).
 
If on_value is not provided, it will default to the value 1 with type dtype.
 
If off_value is not provided, it will default to the value 0 with type dtype.
 
If the input indices is rank N, the output will have rank N+1. The new axis is created at dimension axis (default: the new axis is appended at the end).
(如果indices是N维张量,那么函数输出将是N+1维张量,默认在最后一维添加新的维度).
 
If indices is a scalar the output shape will be a vector of length depth.
(如果indices是一个标量, 函数输出将是一个长度为depth的向量)
 
If indices is a vector of length features, the output shape will be:
 
  features x depth if axis == -1.
(如果indices是一个长度为features的向量,则默认输出一个features*depth形状的张量)
  depth x features if axis == 0.
(如果indices是一个长度为features的向量,axis=0,则输出一个depth*features形状的张量)
 
If indices is a matrix (batch) with shape [batch, features], the output shape will be:
 
  batch x features x depth if axis == -1
(如果indices是一个形状为[batch, features]的矩阵,axis=-1(默认),则输出一个batch * features * depth形状的张量)
 
  batch x depth x features if axis == 1
(如果indices是一个形状为[batch, features]的矩阵,axis=1,则输出一个batch * depth * features形状的张量)
  depth x batch x features if axis == 0
(如果indices是一个形状为[batch, features]的矩阵,axis=0,则输出一个depth * batch * features形状的张量)

实现:

indices = [0, 1, 2]  #输入数据(是个向量)需要编码的索引是[0,1,2]
depth = 3
tf.one_hot(indices, depth)  # output: [3 x 3]
# [[1., 0., 0.],
#  [0., 1., 0.],
#  [0., 0., 1.]]
 
indices = [0, 2, -1, 1]  #输入数据(是个向量)的需要编码的索引是[0,2,-1,1]
depth = 3
tf.one_hot(indices, depth,
           on_value=5.0, off_value=0.0,
           axis=-1)  # output: [4 x 3]
# [[5.0, 0.0, 0.0],  # one_hot(0)  对位置0处的数据进行one_hot编码
#  [0.0, 0.0, 5.0],  # one_hot(2)  对位置2处的数据进行one_hot编码
#  [0.0, 0.0, 0.0],  # one_hot(-1) 对位置-1处的数据进行one_hot编码
#  [0.0, 5.0, 0.0]]  # one_hot(1)  对位置1处的数据进行one_hot编码
 
indices = [[0, 2], [1, -1]]   #输入数据是个矩阵
depth = 3
tf.one_hot(indices, depth,
           on_value=1.0, off_value=0.0,
           axis=-1)  # output: [2 x 2 x 3]
# [[[1.0, 0.0, 0.0],   # one_hot(0)  对位置(0,0)处的数据进行one_hot编码
#   [0.0, 0.0, 1.0]],  # one_hot(2)  对位置(0,2)处的数据进行one_hot编码
#  [[0.0, 1.0, 0.0],   # one_hot(1)  对位置(1,1)处的数据进行one_hot编码
#   [0.0, 0.0, 0.0]]]  # one_hot(-1) 对位置(1,-1)处的数据进行one_hot编码

3 NLP中的独热表示

独热表示以往在NLP中很流行,但是随着TF-IDF以及词向量的出现,已经渐渐变得不再适用了,主要的缺点:

  • 不考虑词与词之间的顺序(文本中词的顺序信息也是很重要的);
  • 假设词与词相互独立,每个词之间的距离都是 2 \sqrt 2 2 ​。(在大多数情况下,词与词是相互影响的);
  • 它得到的 特征是离散稀疏的,词表多少个单词,向量的维度就是多少。 (这个问题最严重)。
Python文本处理(3)——文本表示之 one-hot 词向量(1)——纯小白都能懂! python 文本处理小结-供自己复习使用 文本表示最基础的怕是最基础的 one-hot 编码,基础的东西有利于我们从源头和本质上进行思考。比如,现在给一堆文本数据给你,你会如何思考将文本信息传递出去并让计算机识别? ——单词作为文本的最小单位,我们自然而然的会想到从单词入手。 的确,自然语言就是一套用来表达含义的系统,在这套系统中,词,就是表义的基本单元。 词向量被用来表示词的向量或表征,也可被... 阅读详情

相关推荐

【机器学习】One-hot向量是什么?如何使用?请详细解释

One-Hot 向量是一种表示离散类别的向量表示方法,在许多机器学习和深度学习任务中被广泛使用,特别是在分类任务中。它的基本思想是将每个类别表示为一个向量,向量的长度等于类别总数,其中只有一个元素为 1,其余元素为 0。这个 1 所在的位置对应于该类别的索引,表示该类别的“热”状态,而其他位置则为 0,表示“冷”状态。One-Hot 向量是一种表示离散类别的编码方式,将每个类别表示为一个向量,其中只有一个元素为 1,其他元素为 0。在分类任务。

wq6qeg88的博客 1606

one_hot函数和permute函数学习记录

1.one_hot函数是torch.nn.functional提供的,可以将输入的张量变成1*n_class的张量(n_class是转变后张量的最大编码长度,默认是原来的张量长度+1,也可以直接传入) # 注意这里只是方便理解!!! import torch.nn.functional as F # 假设现在张量 X = [1,3,4,0 ] n_class = 5 X = F.one_hot(X,n_class) #则生成的X: [0,1,0,0,0], [0,

weixin_44300986的博客 6453

(连载)词向量的理解——one-hot向量

文章均从个人微信公众号“AI牛逼顿”转载,文末扫码,欢迎关注! 自然语言处理目前最火的大杀器要属Google给出的BERT模型了。在慢慢琢磨了原理并使用之后,体会到各种模型的发展都是围绕着解决一个基本问题:词语或者句子的表达。只有把这个基本问题的下限不断提高,才能提升各种自然语言处理任务的上限。 我发现捋顺词向量的演变,能帮助我更好的理解一些模型的细节。这里只是记录一些自己的通俗理解,涉及到...

weixin_43917778的博客 1756

pytorch炼金术-One-Hot 编码

One-Hot 编码 1. F.one_hot pytorch 现在自带的将标签转成one-hot编码方法 import torch.nn.functional as F import torch x=torch.randint(low=0,high=3,size=(2,2))# 随机生成一张2*2的灰度图.一共3个类别数。所以0,1,2 print(x) y=F.one_hot(x)# 如果不加类别数,会默认使用 输入数据中最大值,作为列别数。一般还是会加的 print(y.shape) print(y

wujing1_1的博客 6231

自然语言处理基础:词向量(词的表示One-hot编码、分布式语义)

自然语言处理基础:词向量; one -hot 编码 ; 分布式语义

天涯雨的博客 1057

词向量:从 One-Hot 到 BERT Embedding,NLP 文本表示的核心技术

当通用词向量(如 Google 预训练的 Word2Vec)无法适配特定领域(如医疗、法律)时,需要基于领域语料库训练自定义词向量。以下是使用 Python 的gensim从 One-Hot 编码的 “离散稀疏” 到 Word2Vec/GloVe 的 “静态稠密”,再到 BERT 的 “动态上下文感知”,词向量技术的演进本质是 “让机器更精准地理解人类语言语义” 的过程。语义表示的基础:词向量是所有 NLP 任务的 “输入基石”,无论是文本分类、机器翻译还是情感分析,高质量的词向量都能显著提升模型效果;

fykam的博客 1412

独热编码(One-Hot)及其代码

1. 为什么使用 one-hot 编码? 问题: 在机器学习算法中,我们经常会遇到分类特征,例如:人的性别有男女,祖国有中国,美国,法国等。 这些特征值并不是连续的,而是离散的,无序的。 目的: 如果要作为机器学习算法的输入,通常我们需要对其进行特征数字化。什么是特征数字化呢?例如: 性别特征:["男","女"] 祖国特征:["中国","美国,"法国"] 运动特征:["足球","篮球","羽毛球","乒乓球"] ...

一个很水的计算机研究生的博客 3万+

One-hot编码案例

自然语言处理(NLP)入门,绕不开的第一个概念就是词向量。什么是词向量,这个东西又是做什么用的呢?文字对于计算机来说就仅仅只是一个个符号,计算机无法理解其中含义,更无法处理。因此,NLP第-步就是:将文本数字化。NLP中最早期的文本数字化方法,就是将文本转换为字典序列。如:“阿”是新华字典中第1个单词所以它的字典序列就是 1。比较直观的文本数字化方法是采用上面提到的字典序列。例如,对于一个有三个类别的问题,可以用1、2和3分别表示这三个类别。

2301_76606951的博客 763

【深度学习】NLP基础--词向量(从One-hot到Word2Vec)

在自然语言处理中,面临的首要问题是如何让模型认识我们的文本信息,比如向模型中输入‘我爱北京天安门’,那模型是如何认识文本的?如何表示一个词?词向量(Word embedding),又叫Word嵌入式自然语言处理(NLP)中的一组语言建模和特征学习技术的统称,其中来自词汇表的单词或短语被映射到实数的向量。从概念上讲,它涉及从每个单词一维的空间到具有更低维度的连续向量空间的数学嵌入。具体来讲就是将词映射成向量的形式,将自然语言转换为向量之间的计算。one-hot 表示方法是把每个词表示为一个长向量。

Dong_ZH的博客 1万+

Python实现独热编码(One-Hot Encoding)用于类别变量

因此,我们需要将类别变量转换为数值型数据,以便在模型中使用。独热编码是一种有效的方法,它将每个类别变量的取值扩展到一个独立的二进制特征列,其中只有一个特征为1,表示该样本属于该类别,其他特征为0。需要注意的是,独热编码会增加特征维度,如果数据集中的类别变量较多或类别取值较多,可能会导致特征维度急剧增加,从而增加模型的复杂度和计算开销。每个类别变量都被扩展为多个特征列,其中只有一个特征为1,表示该样本属于该类别。每个特征列表示了对应的类别值是否存在,其中只有一个特征为1,表示该样本属于该类别。

2301_79366332的博客 903

4 种方法识别Linux系统 USB 设备

导读 如果在系统中插入一个设备,尤其是在桌面环境下,比如 USB 设备,它会自动挂载到一个指定目录,一般是在 /media/username/device-label 目录下,之后你就可以进入到该目录下访问那些文件了。然而,在服务器上就不是这么回事了,你必须手动挂载这个设备,并且指定一个挂载点。 查询USB设备 Linux 系统使用 /dev 目录下特定的设备文件来标识插入的

郑帅的博客 1992

一文搞懂one-hot和embedding

在 NLP领域,word embedding 已经成为了众所周知的技术。在现实生活中 word embedding 已经拥有非常广泛的应用:语音助手、机器翻译、情感分析… 因为 word embedding 的特殊性,它几乎覆盖了所有 NLP 的应用。接下来说说 传统的 one-hot 编码开始,阐述其优劣,并延伸至 word embedding 技术和其优点 人类可以很轻易地理解一个单词、词组或者字母,比如「LOVE」,但机器是理解不了的。想要让机器理解单词,就必须要把它变成一串数字(向量)。下面介绍.

Alex的博客 4万+

用PLECS搞定三相逆变器电流环:从传递函数推导到PI参数整定的保姆级教程

本文提供了一份详细的PLECS教程,指导如何从传递函数推导到PI参数整定,实现三相逆变器电流环的闭环控制。通过坐标变换、控制器设计和仿真验证等步骤,帮助工程师快速掌握电流环控制技术,提升电力电子系统的稳定性和可靠性。

weixin_27102543的博客 399

机器学习数据预处理1:独热编码(One-Hot)及其代码

1. 为什么使用 one-hot 编码? 问题: 在机器学习算法中,我们经常会遇到分类特征,例如:人的性别有男女,祖国有中国,美国,法国等。 这些特征值并不是连续的,而是离散的,无序的。 目的: 如果要作为机器学习算法的输入,通常我们需要对其进行特征数字化。什么是特征数字化呢?例如: 性别特征:["男","女"] ...

梦Dancing的博客 5万+

完美解决 mysql 报错ERROR 1524 (HY000): Plugin ‘mysql_native_password‘ is not loaded

mysql 报错ERROR 1524 (HY000): Plugin 'mysql_native_password' is not loaded

xiaohua616的博客 4万+

WebRTC Qos优化杂记

本文是笔者对WebRTC Qos性能研究、优化的一些思考,希望对有兴趣的读者有一些启发。

sonysuqin的专栏 6682

one-hot向量与word2vec

one-hot向量与word2vec one-hot向量 1.1 one-hot编码   什么是one-hot编码?one-hot编码,又称独热编码、一位有效编码。其方法是使用N位状态寄存器来对N个状态进行编码,每个状态都有它独立的寄存器位,并且在任意时候,其中只有一位有效。举个例子,假设我们有四个样本(行),每个样本有三个特征(列),如图:     上图中我们已经对每个特征进行了...

mawenqi0729的博客 1万+

Dify 第 4 篇 Dify 示例:数据库执行Agent

本文介绍了如何在Dify平台创建一个能够执行SQL查询的数据库Agent。通过安装并配置"通义千问"和"数据库"两个插件,实现自然语言到SQL语句的转换和执行。关键步骤包括:1)安装插件并配置API Key;2)设置默认数据库连接(建议使用只读账号);3)准备测试数据表结构。该Agent支持通过工具调用查询表结构、转换自然语言为SQL、执行查询并返回结果,同时提供了CSV查询和HTTP API接口功能。文中还提供了MySQL测试数据表的创建脚本和示例数据。

甘蓝的专栏 1169

NLP中的词向量总结与实战:从one-hot到bert

离散表示 One-hot独热表示法 NLP 中最常用、最传统的词特征表示方式是采用One-Hot 编码,即每一个词特征都被表示成一个很长的向量,其长度等于词表大小,当前词对应位置为1,其他位置为0。 但是这种表示方式存在显而易见的问题: 不同词之间总是正交的,无法衡量不同词之间的相似关系。 只能反映每个词是否出现,但无法突出词之间重要性的区别。 BOW词袋表示法 在One-Hot 表示...

Kaiyuan_sjtu的博客 3410

当SLAM遇上FPGA:打造一个会“硬件加速”的激光雷达SLAM系统

点云数据的运动畸变校正特征点提取与匹配、以及ICP迭代最近点配准。在传统方案中,我们通常用ARM核完成所有计算。但点云配准中的最近邻搜索(KD-Tree)需要大量分支判断,CPU处理起来效率很低;而ICP中的矩阵分解(SVD)虽然计算量大,但非常适合并行化。ZYNQ的特殊之处在于它把ARM(PS端)和FPGA(PL端)集成在同一颗芯片上。ARM擅长跑操作系统、处理复杂逻辑和调度,FPGA擅长做高吞吐量的并行计算。两者之间通过AXI总线高速互联,数据交换延迟只有几十个时钟周期。

QQ_778132974的博客 381

《大数据最全面试题-Offer直通车》目录

做好这些不用担心试用期不通过:程序员入职新公司如何快速上手项目本人遇到大数据面试题和参考答案(超过1万字精华版)大数据面试英文自我介绍参考(万字长文)大数据运维应用场景面试题汇总及参考答案(持续更新)万字数据仓库面试题及参考答案数据仓库数据质量监控和处理方法最佳实践数据仓库建模方法万字详解Doris的3种数据模型详解和数据仓库每一层的模型选用大数据面试临阵磨枪不知看什么?看这份心理就有底了-大数据常用技术栈常见面试100道题最全Hive面试题2024年(2万字详解)Elasticsearch 面试题及参考答

大模型大数据攻城狮的专栏 2659

第N1周:one-hot编码案例

', '但是', ',', '这种', '编码方式', '存在', '一个', '问题', ',', '就是', '模型', '可能', '会', '错误', '地', '认为', '不同', '类别', '之间', '存在', '一些', '顺序', '或', '距离', '关系', ',', '而', '实际上', '这些', '关系', '可能', '是', '不', '存在', '的', '或者', '不', '具有', '实际意义', '的', '。': 6, '好': 7, '。

ck1487921366的博客 1201

【反卷积算法】Richardson-Lucy (RL) :通过不断迭代更新图像估计值

Richardson-Lucy(RL)反卷积算法:是一种基于最大似然估计(Maximum Likelihood Estimation, MLE)的图像去卷积方法,常用于去模糊和图像增强。通过不断地更新图像估计值,来最小化模糊图像和恢复图像之间的误差,逐步消除模糊,最终接近真实的原始图像,每次迭代都会根据当前估计的图像来修正下次迭代的结果。

📷 图像处理践行者 | 传统算法 · 深度学习 · 多模态 | 分享实战经验与技术洞见,探索从像素到智能的无限可能。 3046

第18周:one-hot编码

🍨 本文为 [🔗365天深度学习训练营] 中的学习记录博客🍖 原作者: [K同学啊]说在前面本周任务:了解one-hot编码,并加载.txt文件,使用字典序列方法与one-hot编码进行数字化处理我的环境:Python3.8、Pycharm2020、torch1.12.1+cu113[K同学啊]一、One-hot编码概念自然语言处理(NLP)入门,绕不开的第一个概念就是词向量,文字对于计算机来说就仅仅只是一个个符号,计算机无法理解其中含义,更无法处理——所以,NLP第一步就是将文本数字化。

weixin_46620278的博客 1266

SAP B1中文培訓教材_SDK

公司内部培训资料,对开发工具 ,DIAPI, UIAPI,Add-ON有详细解说

NTscan扫描工具

ntscan是一个扫描器,可以扫描没有密码和弱密码的共享,先到配置文件中填写猜测的用户名和密码,扫描过程中右侧出现的是扫描日志。

word embedding以及one-hot编码的区别及应用

在 NLP领域,word embedding 已经成为了众所周知的技术。 在现实生活中 word embedding 已经拥有非常广泛的应用:语音助手、机器翻译、情感分析… 因为 word embedding 的特殊性,它几乎覆盖了所有 NLP 的应用。 本文将会从传统的 one-hot 编码开始,阐述其优劣,并延伸至 word embedding 技术和其优点 ​一、为什么要让单词变成向量 - ...

秀秀的奇妙旅行 5049

STM32F407中文手册

STM32f407中文手册 本参考手册面向应用开发人员,提供有关使用 STM32F405xx/07xx、STM32F415xx/17xx、 STM32F42xxx 和 STM32F43xxx 微控制器存储器与外设的完整信息。STM32F405xx/07xx、STM32F415xx/17xx、STM32F42xxx 和 STM32F43xxx 构成一个微 控制器系列,各产品具有不同的存储器大小、封装和外设。有关订购信息以及器件的机械与电气特性,请参见数据手册。有关 ARM Cortex™-M4F 内核的信息,请参见《Cortex™-M4F 技术参考手册》。

NLP(1) | 词向量one hot编码词向量编码思想

词向量one hot编码词向量编码思想Word2VecEmbeddingSkip-gram的原理负采样 前言:深度学习网络rnn能解决有序的问题,我们就生活在这样一个有序的世界。比如时间,音乐,说话的句子,甚至一场比赛,比如最近正在举办的俄罗斯世界杯。 one hot编码 我们在做分类任务的时候经常用到one hot编码,如果把自然语言中每个词当做一个...

DrugOne 3854
上一篇: 零基础入门数据挖掘-二手车交易价格预测之数据分析(EDA)
下一篇: Windows 10下的Anaconda安装与使用
Elenstone
博客等级 码龄8年 81粉丝 34原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值
⌂ 换网址