菜鸟的NLP学习记001 ---------斯坦福公开课CS224n--------自然语言处理简介

自然语言处理 (NLP) 入门教程 本教程介绍了自然语言处理 (NLP) 领域的基本概念和关键技术,包括词嵌入、循环神经网络、Transformer 等模型,以及文本分类、机器翻译、问答系统等应用。希望这能帮助你入门 NLP,并启发你在这个快速发展的领域进行更深入的探索。NLP 领域还在不断发展,新的技术和应用层出不穷。学习和实践是掌握 NLP 的关键。希望你能够通过不断学习和探索,在 NLP 领域取得更大的成就。 阅读详情

本文为学习笔记,供自己复习回顾,分享,交流,如果专家们发现谬误之处欢迎批评与修正。

----------------------------------------------------------------------------------------------------------------------------

最近因为有一门叫做text mining的课,并且NLP一直都很火,想入一下坑试试,所以就开了这一栏,来简单记录下自己的学习。

我NLP学习的是斯坦福公开课 CS224n 的Manning的课,很火,课上有很多人,和我们学校的text mining一样人很多,我看的是中文版的,链接如下,也可以上YouTube或者官网看。

CS224n 斯坦福深度自然语言处理课: http://www.mooc.ai/course/494

相关课程还有:
CS224U: Natural Language Understanding
CS224d: Deep Learning for Natural Language Processing

----------------------------------------------------------------------------------------------------------------------------

1.什么是自然语言处理?

首先一个概念,自然语言处理(NLP)是计算机专家取的名字,在语言学家眼里就是计算语言学(CL),其实他俩差不多,甚至在我们这种外行人眼里可以说是一样的,就是NLP是计算机科学的分支子学科,CL是语言学的分支子学科,和谐一点,咱学计算机的,就叫NLP吧,NLP是一门跨领域交叉学科,包括计算机科学,人工智能,语言学三大类,说白了,就是你得会编程,还得懂算法,之后还得学语言学,所以说这玩意难呢,我前俩还没搞懂呢这。

我们想要做的是让计算机去处理或者说是“理解”自然语言和像人样使用语言进行表达,从而实现一些有意义的工作。例如:

1.执行像预定操作,购买操作等任务。(语言控制)

2.问答答疑,Siri, 小娜等等。

完全理解并表示语言意义是一件十分困难的事情,因为语言是人类所特有的,而且不同语言具有不同的表达方式,所以不可能做到完全理解,这是一个AI-Complete问题,事实上我们能让机器一知半解就很不错了。

语言层次理解

1.首先语音/文本输入处理

2.之后对单词结构进行形态分析(Morphological analysis),也就是了解单词的构成,什么名词动词,过去式现在进行时啥的。

3.之后我们需要理解句子结构,进行句法分析(Syntactic analysis),就是分析主谓宾定状补,从句啥的。

4.之后我们进行语义分析(Semantic Interpretation),解释句子的含义,一般是简单的单词意义和句子含义。

5.但仅仅如此还不行,咱人说话都是有语境上下文的,所以要引入语篇处理(Discourse Processing)的研究。

 

这门课我们主要关注中间那个圈,句法分析和语义分析,稍微讨论下左上角那个圈,句子结构的形态分析。

人类语言有啥特殊的 

1.人类语言是一个专门构建用来为人类传达信息的系统,不仅仅是环境信号,而是经过深思熟虑的交流,有很明确的指向性,虽然语言系统是一个非常复杂的系统,但是一个三四岁的小孩可以很容易学会。

2.语言是一个符号信号系统,我们在于人讨论东西时,实际上是在用符号系统与其他人交流,我们可以联想到东西的样子啥的,而且一丝丝小差别也会表达出不同的意思,不同的说话语境说出来同一样话也表达不同的意思。

e.g.我爱编程!  我爱编程?  我爱编程。   我爱编程!@#¥%……&

但是依赖符号,我们可以非常可靠的进行远距离信息的传输。

3.语言其实就是符号,但符号不只是基于逻辑或这传统AI的发明。当人类进行沟通时。虽然使用符号,但是说一种连续的载体进行信息传递,语言奇妙之处在于,你可以使用不同的连续载体进行相同信息的传递,手语,声音,文字等等。

4.其实我们是在对各种符号进行编码,但在编码背后,似乎都存在一种符号(我理解是,传达相同信息)。但在语言学中词汇特别多,所以容易造成编码稀疏问题。

2.什么是深度学习?

深度学习是机器学习的一个子领域,大多数传统的机器学习方法都能表现的很好,是因为人们审视问题并对于特征的选入和表征的设计,例如,我们会用主观知识(domain knowledge)去影响数据输入,确实这样效果很好。但这样机器学习到什么了么?实际上机器几乎什么都没学到,倒是人类学到了很多,他们仔细研究问题,做了大量的数据分析,机器到底干了啥??说白了,就是干了他最擅长的活,也是最开始发明计算机干的活,数值优化,调参,优化表现。

凡是,我们就仅仅让计算机帮我们数值优化么?

深度学习是表征学习的一个分支,表征学习的理念就是,我们可以只向电脑提供来自世界的原始信号,无论是视觉信号还是语言信号,然后,电脑可以自动得出好的中介表征,来很好的完成任务。所以从某种意义上来说,他是在自己定义特征和过去人类自己定义特征一样。

准确来说,DL真实含义是指你将得到多层习得特征,你可以用这些特征打败其他算法。大多数情况下我们讨论的是神经网络。

深度学习最早在语音上应用之后图片,最后是语言,也就是NLP。

3.为什么语言理解很难?

1.表示,学习,使用的复杂性

语言不局限于单一表达形式,历史,统计,可视化知识,反正就是涉及的东西很多。

2.人类语言是模糊的

在学编程时候,我们只要遵循语言的编写规则就可以了,但人类语言不是这样的,我们时常使用指代词,这个那个的,但只能结合上下文来搞清楚。而且我们还会使用一些省略来提高我们沟通效率。

3.人类语言解释取决于真实世界,共同感,以及上下文知识(语境知识)

我们考虑语言问题时,要结合具体的环境而定,而不是一概而论的。

Deep NLP = Deep Learning + NLP

我们将利用深度学习神经网络的思想以及表征学习的思想,将它们运用到语言理解,自然语言处理等方面的问题上。

e.g.传统上,我们使用词袋模型进行情感分析

使用神经网络改进语义特征,能更好的理解句子中的正面和负面情绪。

 

NLP学习笔记:斯坦福公开课CS224n和自然语言处理简介 本文介绍了CS224n课程的主要内容,并提供了一些相关的源代码示例,包括n-gram语言模型和文本分类器。CS224n课程介绍了词向量的表示方法,包括基于计数的方法(如词频和共现矩阵)和基于预测的方法(如Word2Vec模型)。斯坦福大学的公开课CS224n(自然语言处理与深度学习)是一个备受推崇的课程,为学习NLP提供了很好的起点。神经网络和深度学习基础:课程从神经网络和深度学习的基本概念开始,讲解了前向传播、反向传播、梯度下降等核心算法,为后续的NLP应用打下了基础。 阅读详情

相关推荐

《自然语言处理实战入门》聊天机器人 ---- 初探

自动问答是指利用计算机自动回答用户所提出的问题以满足用户知识需求的任务。问答系统是信息服务的一种高级形式,系统反馈给用户的不再是基于关键词匹配排序的文档列表,而是精准的自然语言答案,这和搜索引擎提供给用户模糊的反馈是不同的。在自然语言理解领域,自动问答和机器翻译、复述和文本摘要一起被认为是验证机器是否具备自然理解能力的四个任务。...

shiter编写程序的艺术 1587

斯坦福大学自然语言处理第六课“文本分类(Text Classification)”

一、课程介绍斯坦福大学于2012年3月在Coursera启动了在线自然语言处理课程,由NLP领域大牛Dan Jurafsky 和 Chirs Manning教授授课:https://class.coursera.org/nlp/以下是本课程的学习笔记,以课程PPT/PDF为主,其他参考资料为辅,融入个人拓展、注解,抛砖引玉,欢迎大家在“我爱公开课”上一起探讨学习。课件汇总下载地址:斯坦福大学自然语...

weixin_34185320的博客 675

cs224d自然语言处理课件(完整版)深度学习

cs224d自然语言处理课件(完整版)深度学习,cs224d自然语言处理课件(完整版)深度学习

NLP超详细新手快速入门上手篇(1)常用函数

自然语言处理(NLP)是机器学习的应用之一,用于分析、理解和生成自然语言,以便人类与计算机,人类与人类更好的交流。自然语言处理按照任务类型可以分为分类、匹配、翻译、结构化预测、与序贯决策过程这五类。本篇参考自TensorFlow官方文档,旨在让大家能够通过简单的代码,快速上手自己的第一个nlp模型。

学习,是熵减的最有效途径。 1737

斯坦福大学自然语言处理公开课课件

斯坦福大学自然语言处理公开课课件,很详细的PPT

cs224n 2018版作业包括解析

cs224n 2018版作业包括解析,附带作业lecture和解答。

免费 | 从通识到核心—自然语言处理专题公开课

2018年,人工智能迎来了大爆发。这一年在NLP历史上的特殊地位,已经毋庸置疑。这一年成为NLP研究的分水岭,各种突破接连不断,ULMFiT、ELMo、最近大热的BERT...

Paper weekly 631

cs224u:斯坦福CS224u的代码

CS224u:自然语言理解 代码。 2021年Spring 讲师 核心组成 setup.ipynb 有关如何进行设置以使用此代码的详细信息。 tutorial_*笔记本 介绍Juypter笔记本,与NumPy和朋友一起进行的科学计算以及PyTorch。 torch_*.py模块 用于GloVe,自动编码器,浅层神经分类器,RNN分类器,树结构网络和扎实的自然语言生成的通用优化类( torch_model_base.py )和子类。 tutorial_pytorch_models.ipynb显示了如何将这些模块用作创建原始系统的通用框架。 np_*.py模块 torch_*.py模型的参考实现,旨在揭示有关优化过程如何工作的更多信息。 vsm_*和hw_wordrelatedness.ipynb 含义的向量空间模型,涵盖了传统方法(如PMI和LSA)以及较新的方法(如Autoen

斯坦福NLP课程来了

Transformer已经成为主流模型,除了其自身的注意力机制外,还有一个优点,在CV中,当模型越来越大后,虽然可以通过残差连接加快模型收敛,但模型的效果提升有限,而Transformer在数据量和计算资源充足的情况下,模型越大效果越好,这也是为什么大公司都在搞军备竞赛一样,动不动就搞出个1000多亿个参数的模型。但这种方式仍然无法保留语义信息。为了捕获整个输入的信息,就有了Seq2Seq模型,本质上是一个编码器和解码器模型,编码器对输入进行编码,保存到隐藏状态中,然后在解码器中使用编码器中的隐藏状态。

计算机视觉大讲堂 737

论文代码复现 | 无人机与卡车联合配送(Python+Gurobi)(The flying sidekick traveling salesman problem)

无人机配送-代码复现The flying sidekick traveling salesman problem-Part 1文献笔记:(无人机配送-代码复现)The flying sidekick traveling salesman problem-Part 1摘要论文主要图标摘录数值实验算例结果参考文献 文献笔记:(无人机配送-代码复现)The flying sidekick traveling salesman problem-Part 1 摘要 Once limited to the milit

HsinglukLiu的博客 3万+

LED单元板驱动(HUB75接口)

开始之前先吐槽一下,搜这个的资料。要么都是Arduino,要么单片机的收费。小小的一个LED单元板,凭什么? 用Arduino是你速度快还是我ST,树莓派不好用?收费更离谱,这点东西还藏私?给你个中指凸。把原理都写出来看你怎么收费。 一、接口定义及原理 如图,有两个RGB通道,共占用6个IO。剩下的ABCDE为地址通道,LAT为行数据锁存通道,CLK为数据时钟,OE为低电平使能LED显示。图片这里没有E,证明它是16扫的,有E就会把B上面的地改为E。这样就是5位,2的5次方32扫。1.

a3748622的博客 3万+

NLP公开课 | 有感情的机器人是如何的诞生的?

日前,由中国中文信息学会 (CIPS)、中国计算机学会 (CCF) 和百度公司联合举办的「2018 机器阅读理解技术竞赛」落下帷幕,Naturali 奇点机智从国内外 8...

CSDN人工智能头条 518

Docker网络冲突?手把手教你解决Dify社区版无法访问172.18.0.0网段的问题

本文详细解析了在部署Dify社区版时,因Docker默认网段与局域网冲突导致无法访问172.18.0.0网段的问题。通过剖析Docker网络原理,提供了修改Docker守护进程默认地址池的根治方案,并介绍了在Compose文件中指定自定义网络等备选方法,帮助用户彻底解决网络冲突,保障服务稳定运行。

p8q9r0的博客 487

微信高级研究员解析深度学习在NLP中的发展和应用 | 公开课笔记

  分享嘉宾 | 张金超 整理 | Just 来源 | AI科技大本营在线公开课   近年来,深度学习方法极大的推动了自然语言处理领域的发展。几乎在所有的 NLP 任务上我们都能看到深度学习技术的应用,并且在很多的任务上,深度学习方法的表现大大超过了传统方法。可以说,深度学习方法给 NLP 带来了一场重要的变革。   我们近期邀请到了微信模式识别中心的高级研究员张金超博士,他毕业...

CSDN人工智能头条 6313

别再死记硬背注意力机制了!用Python+PyTorch从零实现一个HAN(Hierarchical Attention Network)

本文详细介绍了如何使用Python和PyTorch从零实现Hierarchical Attention Network(HAN),通过代码级解析帮助读者深入理解层次注意力机制。文章涵盖词级和句子级注意力层的构建、完整HAN架构的实现、训练技巧及注意力可视化方法,特别适合希望掌握高级NLP技术的开发者。

weixin_28744423的博客 171

浅谈声发射振动复合传感器

浅谈声发射振动复合传感器 随着全球经济和自动化工业的迅速发展,人们对设备故障特别是轴承类的故障诊断也日益重视起来了。 为满足客户对旋转仪器轴承异常的精准诊断,单一的依靠振动信号或声信号分析,是很难兼顾轴承的多种异常情况的。 为此,市面上开始着手研发出了可同时分析机械设备的振动信号和声信号的复合型传感器。 初期的复合型传感器主要有 2 种类型,下面以 A、B 来举例说明。 A 型是在被测物表面不同的 2 个位置分别放置声发射(AE)传感器和加速度(ACC)传感器,它虽能一定程度...

pxtech的博客 1155

菜鸟NLP处理学习(一)NLP概论

What is NLP? Natural Language Processing 自然语言处理 NLP由两部分组成: P = U + G NLU:Natural Language Understading NLG:Natural Language Generation Why NLP is hard? the flexibility of language 语言的灵活性 the multimeaning of language 语言的多义性(Ambiguity 一词多义) the multiways of

weixin_44432993的博客 341

Xilinx PCIe IP核示例工程仿真流程与关键任务解析

本文详细解析了Xilinx PCIe IP核示例工程的仿真流程与关键任务。通过搭建仿真环境、解读初始化日志,并深入剖析TSK_TX_MEMORY_WRITE_32等核心任务的TLP报文生成与交互过程,帮助开发者掌握PCIe IP核的仿真调试方法,为实际硬件设计提供可靠的验证基础。

weixin_28314575的博客 511

NLP快速入门

分词是什么?Tokenizer了解、texts_to_sequences方法了解、 文本为何能序列化?未见过的单词如何处理?序列填充 pad_sequences;打造识别文本情感的模型、循环神经网络、长短期记忆网络(LSTM)、打造一个会写诗的AI

knoka的博客 1940

42、使用mmrotate中k3det进行旋转目标检测,并进行mnn部署和ncnn部署

基本思想:仍然是身份证分割,并进行ncnn和mnn的c++的部署开发

sxj731533730 5719

01-诊断开发流程概述

传送门 ==>> AutoSAR入门和实战系列总目录。

1787

cs224n斯坦福深度学习NLP课程笔记

cs224n斯坦福深度学习NLP课程笔记

dream_home8407的博客 392

STM32F407中文手册

STM32f407中文手册 本参考手册面向应用开发人员,提供有关使用 STM32F405xx/07xx、STM32F415xx/17xx、 STM32F42xxx 和 STM32F43xxx 微控制器存储器与外设的完整信息。STM32F405xx/07xx、STM32F415xx/17xx、STM32F42xxx 和 STM32F43xxx 构成一个微 控制器系列,各产品具有不同的存储器大小、封装和外设。有关订购信息以及器件的机械与电气特性,请参见数据手册。有关 ARM Cortex™-M4F 内核的信息,请参见《Cortex™-M4F 技术参考手册》。

人在斯坦福,刚上CS224n

文 | Jazon大家好,我是Jazon,现在是Stanford计算机硕士项目的一只学生,非常荣幸加入小夕的大家庭!请各路大神多多指教呀。2021年1月12日,又一季Stanford CS...

夕小瑶科技说 1384

ET2012新版免狗免安装绿色软件

ET2012新版免狗免安祖昂绿色软件。,新界面,新视觉,

最新的sdio 4.0 spec 协议标准 带书签 高清完整PDF版

Part-E1-SDIO-Specification-Ver4.00-Final-120220.pdf:最新的sdio 4.0 spec 协议标准 带书签 高清完整PDF版,包括SDIO 接口的外设,SDIO 接口官方协议等。

[推荐]NLP Coursera课程by大牛Michael Collins

Michael Collins教授主页: http://www.cs.columbia.edu/~mcollins/ Michael Collins教授NLP已更新的讲义下载(已打包): http://download.csdn.net/detail/shijing_0214/9503915 Michael Collins教授Coursera课程: https://class.course

Kobe Bryant的专栏 1万+

怀旧版电脑GBC模拟器

再现原版GBC掌机的界面,电脑运行连游戏界面都一样大小,很怀旧,很真实,(英文版)强烈推荐,很小的文件,很难才找到的。

斯坦福CS224n深度学习与NLP课程开放全部课程视频

斯坦福大学CS224n(全称:深度学习与自然语言处理)是自然语言处理领域很受欢迎的课程,由 Chris Manning 和 Richard Socher 主讲。

zchang81的博客 8269

斯坦福大学自然语言处理第四课“语言模型(Language Modeling)”

一、课程介绍 斯坦福大学于2012年3月在Coursera启动了在线自然语言处理课程,由NLP领域大牛Dan Jurafsky 和 Chirs Manning教授授课:https://class.coursera.org/nlp/ 以下是本课程的学习笔记,以课程PPT/PDF为主,其他参考资料为辅,融入个人拓展、注解,抛砖引玉,欢迎大家在“我爱公开课”上一起探讨学习。 课件汇总下载地址:...

weixin_34007886的博客 1170
上一篇: 菜鸟的数据分析学习记005 ---------EB520X--------离散选择模型与联合分析
下一篇: 菜鸟的文本挖掘学习记001 ---------KE520X--------文本挖掘简介
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值
⌂ 换网址