文章目录
-
- 1、spark
-
- 1.1、spark介绍
- 1.2、spark与Hadoop的区别
- 1.3、spark的特点
- 1.4、spark的运行模式
- 1.5、spark-shell
- 1.6、spark-submit
- 1.7、会写Wordcount
- 1.8、rdd是什么
- 1.9、rdd的五大属性
- 1.10、创建rdd的方式
- 1.11、RDD的方法/算子
- 1.12、spark中的checkpoint
- 1.13、持久化和Checkpoint的区别
- 1.14、rdd的依赖关系
- 1.15、DAG
- 1.16、stage的划分
- 1.17、spark程序的运行流程
- 1.18、DataFrame & DataSet
- 1.19、初识dataframe
- 1.20、创建dataframe的几种方式
- 1.21、sparkStreaming的原理
- 1.22、使用updateStateByKey(func)进行累加
- 1.23、reduceByKeyAndWindow
- 1.24、sparkStreaming整合kafka
- 1.25、shuffle
- 1.26、spark性能调优
- 1.27、spark开发常见问题
1、spark
1.1、spark介绍
Apache Spark是用于大规模数据处理的统一分析计算引擎
Spark基于内存计算,提高了在大数据环境下数据处理的实时性,同时保证了高容错性和高可伸缩性,允许用户将Spark部署在大量硬件之上,形成集群。
1.2、spark与Hadoop的区别
尽管Spark相对于Hadoop而言具有较大优势,但Spark并不能完全替代Hadoop,Spark主要用于替代Hadoop中的MapReduce计算模型。存储依然可以使用HDFS,但是中间结果可以存放在内存中;调度可以使用Spark内置的,也可以使用更成熟的调度系统YARN等
实际上,Spark已经很好地融入了Hadoop生态圈,并成为其中的重要一员,它可以借助于YARN实现资源调度管理,借助于HDFS实现分布式存储。
此外,Hadoop可以使用廉价的、异构的机器来做分布式存储与计算,但是,Spark对硬件的要求稍高一些,对内存与CPU有一定的要求。
1.3、spark的特点
-
快
与Hadoop的MapReduce相比,Spark基于内存的运算要快
订阅专栏 解锁全文
311



被折叠的 条评论
为什么被折叠?



