cs224n课程及NLP相关知识记录

CS224n: Natural Language Processing with Deep Learning 笔记、文献及知识点整理(四)词向量(四) 词向量II:GloVe、评估和训练 关键词:全局向量词表示 (GloVe)、内在和外在评估、超参数对类比评估任务的影响、人类判断与词向量距离的相关性、 使用上下文处理单词中的歧义、窗口分类。 本文上一部分请见:CS224n: Natural Language Processing with Deep Learning 笔记、文献及知识点整理 (三)词向量(三)_放肆荒原的博客-CSDN博客 本文先介绍了训练词向量的GloVe模型,然后对词向量(或者称词嵌入)进一步讨论,了解内在和外在的评估方法。 介绍 阅读详情

目录

前言

一.L1(NLP及深度学习)

  1.什么是自然语言处理NLP?

①自然语言处理涉及的几个层次

②自然语言处理应用

③人类语言的特殊之处以及使用深度学习而不是机器学习与NLP结合的原因

2.什么是深度学习?

①为什么需要研究深度学习

②深度学习的应用场景

3.为什么NLP难

4.深度学习和NLP的结合

①NLP表示层次:形态级别

②NLP语义层面的表示

③与传统机器学习应用场景下的实例对比

二.L2(词向量)

1.计算机对词语意思的处理

①discrete representation的问题

②从symbolic representations到distributed representations

③Distributional similarity based representations

④词嵌入Word Embedding和词向量

2.word2vec

①CBOW 模型

②Skipgram(用中间词去预测窗口两侧的词)

③word2vec细节

④Softmax function(归一化处理):从实数空间到概率分布的标准映射方法

⑤损失函数及训练


前言

斯坦福大学CS224N课程是关于NLP的课程,笔者综合网络上出现的各种笔记和整理资料,在学习的过程中从个人的角度对课程知识点进行了如下整理。


一.L1(NLP及深度学习)

  1.什么是自然语言处理NLP?

这是一门计算机科学、人工智能以及语言学的交叉学科。虽然语言只是人工智能的一部分(人工智能还包括计算机视觉等),但它是非常独特的一部分。众多生物中只有人类才拥有这么高级的语言。

自然语言处理的目标是让计算机处理或说“理解”自然语言,以完成有意义的任务。

①自然语言处理涉及的几个层次

作为输入一共有两个来源,语音与文本。所以第一级是语音识别和OCR或分词(事实上,跳过分词虽然理所当然地不能做句法分析,但字符级也可以直接做不少应用)。

下面的是句法分析和语义分析,最后面的在中文中似乎翻译做“对话分析”,需要根据上文语境理解下文。

这门课主要关注画圈的三个部分,其中中间的两个是重中之重,虽然深度学习在语音识别上的发力最大。

②自然语言处理应用

文本分类;文本挖掘;知识图谱;关键词检索;机器翻译;聊天机器人……

③人类语言的特殊之处以及使用深度学习而不是机器学习与NLP结合的原因

与信号处理、数据挖掘不同,自然语言的随机性小而目的性强;语言是用来传输有意义的信息的,这种传输连小孩子都能很快学会。人类语言是离散的、明确的符号系统。但又允许出现各种变种,比如颜文字,随意的错误拼写“I loooove it”。这种自由性可能是因为语言的可靠性(赘余性)。所以说语言文字绝对不是形式逻辑或传统AI的产物。

语言符号有多种形式(声音、手势、书写),在这些不同的形式中,其意义保持不变虽然人类语言是明确的符号系统,但符号传输到大脑的过程是通过连续的声学光学信号,大脑编码似乎是连续的激活值上的模式。另外巨大的词表也导致数据稀疏,不利于机器学习。这构成一种动机,是不是应该用连续的信号而不是离散的符号去处理语言。

2.什么是深度学习?

这是机器学习的一个子集。传统机器学习中,人类需要对专业问题理解非常透彻,才能手工设计特征(人的年龄,职业,居住地,性别……)。然后把特征交给某个机器学习算法,比如线性分类器。机器为这些特征调整找到合适的权值,将误差优化到最小。在这个过程中一直在学习的其实是人类,而不是机器。机器仅仅做了一道数值优化的题目而已。整个机器学习过程中,90%的任务是由人类完成,机器只负责了优化部分,因此与“学习”其实相关不大。

而深度学习是通过机器对样本的训练来自动简历特征,而不是由人类指定。

①为什么需要研究深度学习

  • 手工指定特征耗时耗力,还不易拓展

  • 自动特征学习快,方便拓展

  • 深度学习提供了一种通用的学习框架,可用来表示世界、视觉和语言学信息

  • 深度学习既可以无监督学习,也可以监督学习

②深度学习的应用场景

语音识别+视觉

3.为什么NLP难

人类语言是充满歧义的,不像编程语言那样明确。编程语言中有各种变量名,但人类语言中只有少数几个代词可以用,你得思考到底指代的是谁……

人类语言的解读依赖于现实世界、常识以及上下文。由于说话速度书写速度阅读速度的限制,人类语言非常简练,省略了大量背景知识。

接下来是几个英文的歧义例子,对native speaker而言很有趣。为了完整性只看一个:

The Pope’s baby steps on gays

主要歧义发生在baby上面,可以理解为“教皇的孩子踩了基佬”,也可以理解为“教皇在同性恋问题上裹足不前”。

4.深度学习和NLP的结合

将自然语言处理的思想与表示学习结合起来,用深度学习的手法解决NLP目标。这提高了许多方面的效果:

  • 层次:语音、词汇、语法、语义

  • 工具:词性标注、命名实体识别、句法\语义分析

  • 应用:机器翻译、情感分析、客服系统、问答系统

深度学习的一个魅力之处是,它提供了一套“宇宙通用”的框架解决了各种问题。虽然工具就那么几个,但在各行各业都适用。

①NLP表示层次:形态级别

传统方法在形态级别的表示是词素,词素是比词低一级的单位,词是语言中能够独立运用的最小单位,是指词在句法结构中的地位和作用而言的。深度学习中把词素也作为向量,多个词素向量构成相同纬度语义更丰富的词向量。

②NLP语义层面的表示

传统方法是手写大量的规则函数,叫做Lambda calculus,在深度学习中,每个句子、短语和逻辑表述都是向量。神经网络负责它们的合并。

③与传统机器学习应用场景下的实例对比

在对于句子的情感分析中:

传统方法是请一两百个工人,手工搜集“情感极性词典”在词袋模型上做分类器。

深度学习复用了RNN来解决这个问题,它可以识别“反话”的情感极性。

在QA系统中:

传统方法是手工编写大量的逻辑规则,比如正则表达式之类。

深度学习依然使用了类似的学习框架,把事实储存在向量里:

短信自动回复:

Google的收件箱系统运用深度学习与NLP结合,系统会自动给出几种针对邮件内容的回复内容。

机器翻译:

传统方法在许多层级上做了尝试,词语、语法、语义之类。这类方法试图找到一种世界通用的“国际语”(Interlingua)来作为原文和译文的桥梁。

而Neural Machine Translation将原文映射为向量,由向量构建译文。也许可以说Neural Machine Translation的“国际语”是向量。

综上:深度学习中所有层级的表示都是向量

二.L2(词向量)

1.计算机对词语意思的处理

过去几个世纪里一直用的是分类词典。计算语言学中常见的方式是WordNet那样的词库。比如NLTK中可以通过WordNet查询熊猫的hypernyms (is-a,上位词),得到“食肉动物”“动物”之类的上位词。也可以查询“good”的同义词——“just品格好”“ripe熟了”。

①discrete representation的问题

  • 这种discrete representation(离散表示)虽然是种语言学资源,但丢失了韵味。比如这些同义词的意思实际上还是有微妙的差别:adept, expert, good, practiced, proficient, skillful

  • 缺少新词

  • 主观化

  • 需要耗费大量人力去整理

  • 无法计算准确的词语相似度

无论是规则学派,还是统计学派,绝大多数NLP学家都将词语作为最小单位。事实上,词语只是词表长度的one-hot向量,这是一种localist representation(大概是借用localist“局部”的意项)。在不同的语料中,词表大小不同。Google的1TB语料词汇量是1300万,这个向量太长了。

②从symbolic representations到distributed representations

词语在符号表示上体现不出意义的相似性,比如Dell notebook battery size和Dell laptop battery capacity。而one-hot向量是正交的,无法通过任何运算得到相似度。不同的词语即使意思相近,它们的one-hot向量也并不会体现出任何相关性。因此需要找到一种用向量直接编码含义的方法。

③Distributional similarity based representations

语言学家J. R. Firth提出,通过一个单词的上下文可以得到它的意思。J. R. Firth甚至建议,如果你能把单词放到正确的上下文中去,才说明你掌握了它的意义。这是现代统计自然语言处理最成功的思想之一。

④词嵌入Word Embedding和词向量

第一种一般认为是one-hot表示法,第二种表征方法称之为词嵌入技术。词嵌入的基本想法就是将词汇表中的每个单词表示为一个普通向量,这个向量不像 one-hot 向量那样都是 0或者1,也没有 one-hot 向量那样长,大概就是很普通的向量,比如长这样:[-0.91, 2, 1.8, -.82, 0.65, ...]。这样的一种词汇表征方式就像是将词汇嵌入到了一种数学空间里面,所以叫做词嵌入,也就是一个特征向量。也就是说NLP采用“分布式表示”而不是“离散表示”。

2.word2vec

word2vec 是谷歌于 2013 年提出的一种 NLP 工具,其特点就是将词汇进行向量化,这样我们就可以定量的分析和挖掘词汇之间的联系。因而 word2vec 也是我们上面讲到的词嵌入表征的一种,只不过这种向量化表征需要经过神经网络训练得到。

通过单词和上下文彼此预测,word2vec 训练神经网络得到一个关于输入 X (中心词)和 输出 Y(上下文) 之间的语言模型,我们的关注重点并不是说要把这个模型训练的有多好,而是要获取训练好的神经网络权重,这个权重就是我们要拿来对输入词汇 X 的向量化表示。一旦我们拿到了训练语料所有词汇的词向量,接下来开展 NLP 研究工作就相对容易一些了。

word2vec 通常有两个版本的语言模型。一种是给定上下文词,需要我们来预测中间目标词,这种模型叫做连续词袋模型(Continuous Bag-of-Wods Model,CBOW),另一种是给定一个词语,我们来根据这个词预测它的上下文,这种模型叫做 skip-gram 模型。而且每个模型都有两种策略,本文为了减少篇幅,就介绍每个模型的一种主要策略。下面笔者就分别来详细介绍这两种 word2vec 模型:

两个算法:

  • Skip-grams (SG):通过中心词预测上下文

  • 连续词袋模型Continuous Bag of Words (CBOW):通过上下文预测中心词

两种稍微高效一些的训练方法:

  • Hierarchical softmax

  • Negative sampling

在本门课程中通过最简单也最低效的Naive softmax阐述原理。

①CBOW 模型

CBOW 模型的应用场景是要根据上下文预测中间词,所以我们的输入便是上下文词,当然原始的单词是无法作为输入的,这里的输入仍然是每个词汇的 one-hot 向量,输出 Y 为给定词汇表中每个词作为目标词的概率。

 

普通的基于神经网络的语言模型输出层一般就是利用 softmax 函数进行归一化计算,这种直接 softmax 的做法主要问题在于计算速度。尤其是我们采用了一个较大的词汇表的时候,对大的词汇表做求和运算,softmax 的分母运算会非常慢,直接影响到了模型性能。

②Skipgram(用中间词去预测窗口两侧的词)

skip-gram 模型的应用场景是要根据中间词预测上下文词,所以我们的输入 X 是任意单词,输出 Y 为给定词汇表中每个词作为上下文词的概率。可见 skip-gram 模型结构基本就是 CBOW 模型的翻转,也是一种普通的神经网络结构,同样也包括输入层、中间隐藏层和最后的输出层。继续以输入输出样本(Context(w),w)为例对 skip-gram 模型的三个网络层进行简单说明,其中假设 Context(w) 由 w 前后各 c 个词构成。(同样搬运了 peghoty 的图解内容)。

 

从左到右是one-hot向量,乘以center word的W于是找到词向量,乘以另一个context word的矩阵W'得到对每个词语的“相似度”,对相似度取softmax得到概率,与答案对比计算损失。

根据W和W~两个矩阵,可以发现同一个词有两个词向量,一个是作为中心词center word,一个是上下文context word的时候。

整个模型的参数是θ,即一个包含所有词语对应两个词向量的一个向量,所以n个词语对应的参数维度为2n。

③word2vec细节

目标函数定义为所有位置的预测结果的乘积:

要最大化目标函数。对其取个负对数,得到损失函数——对数似然的相反数:

这些术语都是相同的:Loss function = cost function = objective function。对于softmax来讲,常用的损失函数为交叉熵。

2.目标概率

o是输出的上下文词语中的确切某一个词语的索引,c是选取窗口的中心词的索引。u是对应的上下文词向量,v是词向量。

3.相似程度

一般使用两个词向量的点积来衡量两个向量的相似程度,两个向量越相似,其点积越大。

④Softmax function(归一化处理):从实数空间到概率分布的标准映射方法

指数函数可以把实数映射成正数,然后归一化得到概率。

softmax之所叫softmax,是因为指数函数会导致较大的数变得更大,小数变得微不足道;这种选择作用类似于max函数。

⑤损失函数及训练

两种版本的word2vec模型一般都采用SGD进行训练

我的机器学习入门之路(中)——深度学习(自然语言处理) 继上一篇《我的机器学习入门之路(上)——传统机器学习》,这一篇博客主要记录深度学习(主要是自然语言处理)这一块内容的学习过程。以下均将自然语言处理简称NLP。 这一块内容的学习路线分为三部分:明确NLP的研究问题及传统的方法有哪些、深度学习(NLP)基础及深度学习框架的使用、NLP的深入学习。 一、明确NLP的研究问题及传统的方法有哪些 不像机器学习中研究的问题一般都是直接的分类或... 阅读详情

相关推荐

Stanford CS224N 公开课解读

Stanford CS224N 公开课解读:自然语言处理的前沿技术

互联网架构师笔记 1076

CS224N课程笔记,第一课,词向量的演变

Word vectors, feed-forward networks, recurrent networks, attention, encoder-decoder models, transformers, large pre-trained language models, Word meaning, dependency parsing, machine translation, question answering, Distributional semantics大家好.欢迎来到斯坦福大学的CS

weixin_46866349的博客 1438

NLP学习笔记:斯坦福公开课CS224n和自然语言处理简介

本文介绍了CS224n课程的主要内容,并提供了一些相关的源代码示例,包括n-gram语言模型和文本分类器。CS224n课程介绍了词向量的表示方法,包括基于计数的方法(如词频和共现矩阵)和基于预测的方法(如Word2Vec模型)。斯坦福大学的公开课CS224n(自然语言处理与深度学习)是一个备受推崇的课程,为学习NLP提供了很好的起点。神经网络和深度学习基础:课程从神经网络和深度学习的基本概念开始,讲解了前向传播、反向传播、梯度下降等核心算法,为后续的NLP应用打下了基础。

ZksProlog的博客 543

深度学习与自然语言处理 | 斯坦福CS224n · 课程带学与全套笔记解读(NLP通关指南·完结)

本系列是ShowMeAI组织的斯坦福CS224n《自然语言处理与深度学习》的学习笔记,包含一整套【NLP深度教程】 和【20章课件注释】,是非常TOP的完整学习资料~

ShowMeAI研究中心 1万+

STM32在六轴机械臂实时控制中的选型与分层架构设计

嵌入式实时控制系统中,微控制器的选型直接决定运动控制精度与系统可靠性。其核心在于匹配确定性中断响应、低延迟外设协同与工业协议栈支持等硬性指标。STM32凭借Cortex-M内核的NVIC调度能力、成熟HAL库及CAN FD/高级定时器等专用外设,在机电一体化场景中成为伺服控制中枢的首选。相比ESP32等通用MCU,STM32在硬实时性、EMC认证生态和工业总线兼容性上具备不可替代优势。本文围绕GTB六轴机械臂项目,详解基于STM32F407的硬件抽象层配置、FreeRTOS任务调度、事件队列解耦及闭环控制数

jupi8的博客 759

[Linux]双网卡 CentOS 系统中指定网络请求走特定网卡的配置方法

本文详细介绍了在双网卡CentOS系统中指定特定域名/IP通过指定网卡传输流量的方法。核心步骤包括:1)确认网卡信息(ip addr)和域名IP解析(nslookup);2)添加临时路由(ip route add);3)持久化配置(创建route-eth1文件);4)验证配置(ip route show和curl测试)。文章还提供了网关查询、路由删除等常见问题的解决方法,并区分了不同CentOS版本重启网络服务的命令差异。通过合理配置路由规则,可实现流量的定向传输需求。

wingaso的博客 1578

菜鸟的NLP学习记001 ---------斯坦福公开课CS224n--------自然语言处理简介

本文为学习笔记,供自己复习回顾,分享,交流,如果专家们发现谬误之处欢迎批评与修正。 ---------------------------------------------------------------------------------------------------------------------------- 最近因为有一门叫做text mining的课,并且NLP一直都...

qweqwrfdsf的博客 2274

Zemax非序列模式新手入门:从零搭建一个抛物面反射镜系统(含灯丝光源与探测器设置)

本文详细介绍了如何在Zemax非序列模式下从零搭建抛物面反射镜系统,包括灯丝光源配置、反射镜建模和探测器设置等关键步骤。通过实战指南,帮助光学设计新手快速掌握非序列模式的应用技巧,特别适合处理复杂光线传播场景如反射镜系统和杂散光分析。

weixin_28717431的博客 441

【NLP】CS224n Lecture 01---Introduction and Word Vector

The learning note of CS224n 2021 Lecture 01 --- Introduction and Word Vector

xiaobaiemmm的博客 474

Arduino四足开源机器猫-Opencat(导航贴)

本内容由我和小伙伴共同编写,未经授权,谢绝转载! 1.项目介绍 2.组装调试教程 (一)Opencat-F (1)资料地址(包含程序代码&&3D打印图纸): 链接:https://pan.baidu.com/s/1AcVA5jSiOSzRKqEQAomrTA 提取码:szfx (2) (二)Opencat-B (1)组装调试 (2)组装调试注意事项 (3)添加新技能 3.编程 ...

qqliuzhitong的博客 4175

线性代数——(期末突击)行列式(上)-行列式计算、行列式的性质

简单解释一下:4213原本的顺序应为1234,对于‘4’而言,‘2’、‘1’、‘3’都应该排在它的前面,所以此处记逆序数为3;对于‘2’而言,‘1’应该排在它的前面,而‘3’排在它之后 是合理的,所以此处只有一个逆序数;最后看‘1’,其后面的‘3’排在后面显然也是合理的,故而4213的逆序数为4.一般我们使用这个性质来计算四阶行列式,也就是将其变换成三角行列式,再计算对角线的值;以主对角线为分界线的就为正三角,反之则为反三角行列式。若行列式某一行(列)为0,则该行列式=0.将和的那一行分开,其余行。

li13437542099的博客 1万+

cs224n自然语言处理与深度学习笔记 week1

前言 本次笔记主要针对斯坦福大学CS224N的自然语言处理与深度学习课程所做笔记,将学习过程中的一些重难点进行记录,方便后续复习 什么是自然语言处理 自然语言处理是计算机科学,人工智能和语言学的集合,该技术的目的是为了使计算机能够理解语言. 自然语言处理的一些应用 拼写检查,关键词查询,语法检查,文本分类,对话系统… 什么是深度学习 深度学习是机器学习的一个分之,和传统方法的区别主要在于其端到端的...

hongyesuifeng的博客 349

Unity大世界流式加载:工业级架构与优化秘籍

游戏大厂Unity大世界流式加载框架全景解析:从《原神》《和平精英》等标杆案例出发,深入剖析工业级流式加载的完整技术架构。文章系统介绍了大世界分区块管理、异步加载机制、资源优化策略、多平台适配方案,以及业务联动与团队协作流程。重点阐述了Addressable与AssetBundle应用、空间触发器设计、性能自适应等核心技术,并展望AI预测加载、云游戏等未来方向。全面展现了大厂如何通过流式加载技术实现无缝开放世界体验的技术路径与实践经验。

本博客聚焦游戏开发技巧、创业实战心得及大学热门课程干货。这里既有技术深度,也有思维广度,无论你是开发者、创业者还是高校学子,都能在这里找到适合自己的成长之路! 614

Stanford CS224n 自然语言处理自学指南:从词向量到 Transformer 的 NLP 入门体系

CS224n 是斯坦福大学面向高年级本科生与研究生开设的自然语言处理(NLP)入门课,由 NLP 领域顶尖学者 Chris Manning 领衔主讲,内容覆盖词向量、word2vec、RNN、LSTM、Seq2Seq、机器翻译、注意力机制与 Transformer 等 NLP 核心主题。本指南以 cs-self-learning 仓库中 [docs/深度学习/CS224n.en.md](https

gitblog_00267的博客 227

Sigrity Power SI Model Extraction模式如何提取电源网络的S参数和阻抗操作指导(一)

34. 默认格式是BNP format格式,会被Sigrity识别的S参数文件,在仿真完成后,默认会在文件夹中生成bnp和ckt(MCP)文件,无需这步操作。由于port设置的ref Z是50ohm,实际上电源网络的阻抗是没有这么高的,所以S参数回损曲线是基本上全反射的一个状态。Sigrity PowerSI是频域电磁场仿真工具,以下图为例介绍如果用它观测电源的网络的S参数以及阻抗的频域曲线.42. Spice格式的加载进来图标是橙色的,BNP格式的图标是灰色的。

weixin_54787054的博客 1286

飞牛fnNAS同步微信微信聊天记录

微信聊天记录如何备份到NAS?本文介绍了利用NAS虚拟机和同步工具实现微信记录自动备份的方法。通过在NAS上搭建"云电脑"长期运行微信PC端,并配置微力同步将聊天记录文件夹自动同步到NAS存储,解决了传统电脑备份的安全性问题。操作步骤包括:1)在NAS上安装虚拟机系统;2)登录微信PC端并同步手机记录;3)配置同步工具将微信记录文件夹同步到NAS。该方法尤其适合不常使用PC微信的用户,可实现记录永久保存和远程查看,更换手机时也能快速恢复历史记录。

dgnankai的专栏 4355

CS224N WINTER 2022 (六)前沿问题探讨(QA、NLG、知识集成与检索、Coreference)

吾亦有所顿悟

梦想破三的奔三狗 1万+

C# WinForm 基于DirectShow.dll编写的程序,可边预览边保存视频,音频和图片

基于微软的DirectShow.dll的二次开发1.自动识别连接的摄像头跟麦克风且可以对其进行选择(默认选中第一个)2.可录制wmv和avi两种格式的视频并且都带有音频,avi可以录制的分辨率和帧数进行选择,wmv默认进行了淸晰度优化如不喜欢可去除代码中有相关提示3.可在预览点开之后进行拍照,也可边录制视频边拍照4.添加了视频和音频的压缩功能(酌情使用)这次二次开发发现C#对DirectShow的相关信息太少,这次做完也不敢藏私共享出来,还望大家指正

记录重要的NLP学习资源链接

整理一些NLP学习资源(不止NLP,本人主要关注NLP),如果有更好的,欢迎分享^_^ 1. NLP 中文自然语言处理相关资料 https://github.com/crownpku/Awesome-Chinese-NLP Contents 列表 1.Chinese NLP Toolkits 中文NLP工具 Toolkits 综合NLP工具包 Popular NL...

yaohaishen的专栏 2177

大中型超市收银系统(可直接运行)

光步前台收银系统系统功能:商品销售、商品退货、挂单、收银员权限、会员销售、单品取消、整单取消、商品查询、脱机销售、脱机数据上传,基本资料下载,开钱箱、小票打印、收款结算,支持多币种付款方式(现金、储值卡、礼券、微信等),支持多种促销。运行环境:.net 4.0登陆信息用户名:1001 密码:123456内置商品信息,商品编码可输入00001000 - 00010000,测试效果相关功能键F5 结算 F9挂单 F11商品查询 F8退货 Insert单品取消 Del整单取消 F12开钱箱F2 会员 Ctrl+Z退出系统 Home 锁屏 相关源码待公开

LinePhone3.2.7(android端最新版本) sip客户端

SIP客户端For android:LinePhone3.2.7(最新版本),官网地址:http://www.linphone.org/

2019年CS224N课程笔记-Lecture 1: Introduction and Word Vectors

资源链接:https://www.bilibili.com/video/BV1r4411f7td?p=1(中英文字母版,不过可能由于up主不了解专业术语,许多专业术语翻译的不是很好,不过也要感谢up的辛苦劳作了~) (2019的感觉相对于之前的少了许多类似前言介绍的内容,我在这里将总结一下之前版本的CS224N的本次课程没讲解的内容) 补充的前沿知识: 什么是自然语言处理(NLP)? NLP/Natural Language Processing= computer science + artif.

任萌新的小生活 2134

Devexpress16.2.6破解工具

Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具

基于《CS 自学指南》研读 Stanford CS224w:图神经网络与图机器学习入门全解析

> 本篇指南以计算机自学指南仓库中的 [CS224w 课程条目](https://gitcode.com/GitHub_Trending/cs/cs-self-learning/blob/adce8e13789dc16aa6d1fbe163e9541736defae4/docs/深度学习/CS224w.md?utm_source=gitcode_repo_files)(英文版见 [CS224w.e

gitblog_00006的博客 580

斯坦福CS224n NLP课程【十七】——NLP的问题和可能性架构

人们正在解决语言 深度学习填平了领域鸿沟,许多计算机视觉的泰斗级学者也开始研究起自然语言处理的各种任务。 这里提到的自然语言理解、机器翻译都是较高层次、更难的任务,现有系统做得并不那么好。 未传承下来的志向 早期NLP学者拥有崇高的目标,希望让机器像人一样理解语言;但奈何数据和计算力都有限,使得成效甚微。Manning说今天我们有了海量的数据与强大的计算力,却往往自满于跑个LSTM,而不愿意挑战这个终极目标。 AI的师祖Norvig (1986)的Ph.D.论文The unified the.

桐原因的博客 419

cs224n 笔记15 共指解析

什么是指代消解 简单来说就是代指的问题,在语言中总是会用代词、名词或者一些名词性短语来代替其他事物 指代消解的应用 全文理解 机器翻译:比如有的语言不区分男他和女她,在翻译时需要指代消解 文本摘要:使用代词会使行文更加自然 信息提取和QA系统 指代消解的评测 结合聚类的思想,发现指代消解和聚类很像 ...

li_dongchao的博客 1908

CS 自学指南中的 CS224w:斯坦福图机器学习(GNN)课程学习路线与资源详解

> 本文以 cs-self-learning 仓库收录的 [CS224w 课程文档](https://gitcode.com/GitHub_Trending/cs/cs-self-learning/blob/2c591834a1e4101e2e7579dc7f49bdeb4a6153a2/docs/深度学习/CS224w.md?utm_source=gitcode_repo_files) 为主体,

gitblog_00877的博客 408

CS224N WINTER 2022(五)Transformers详解(附Assignment5答案)

潮落

梦想破三的奔三狗 1万+

斯坦福NLP名课带学详解 | CS224n 第11讲 - NLP中的卷积神经网络(NLP通关指南·完结)

NLP课程第11讲介绍了卷积神经网络 (CNN)及模型细节,并讲解CNN和深度CNN在文本分类中的使用,最后介绍了Q-RNN模型。

ShowMeAI研究中心 4126

CS 自学指南 | Stanford CS231n:经典 CNN 计算机视觉入门课程深度导读

本文是 cs-self-learning 仓库深度学习板块中 [Stanford CS231n 课程页](https://gitcode.com/GitHub_Trending/cs/cs-self-learning/blob/adce8e13789dc16aa6d1fbe163e9541736defae4/docs/深度学习/CS231.md?utm_source=gitcode_repo_fi

gitblog_00929的博客 768
上一篇: conda install 和 pip install的区别
下一篇: 线性代数知识点整理
cuguanren
博客等级 码龄5年 324粉丝 47原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值
⌂ 换网址