Spark简介:
Apache Spark是专为大规模数据处理而设计的快速通用的计算引擎,Spark拥有Hadoop MapReduce所具有的的所有优点,但不同于MapReduce得是job中间输出结果可以保存在内存中,从而不需要去读取HDFS,因此Spark能更好的适用于数据挖掘于机器学习等需要的迭代的MapReduce的算法,Spark是Scala编写,方便快速编程
spark生态图:
Spark和MapReduce的区别
Spark基于内存,MapReduce基于hdfs.Spark处理数据的能力一般是MapReduce的十倍以上,Spark中除了基于内存计算外,还有DAG有向无环图来切分任务的执行先后顺序
Spark常用运行模式:
Local --本地运行模式
Standalone --是Spark自带的一个资源调度框架,支持完全分布式
Yarn --Hadoop生态圈的一个资源调度框架,Spark也可以基于其来进行计算
核心库 --SparkCore
RDD
概念:
RDD(Resilient Distributed Dateset),弹性分布式数据集
RDD五大特性:
1.RDD是由一系列的partition组成的
2.函数是作用在每一个partition(split)上的
3.RDD之间有一系列的依赖关系
4.分区器是作用在K,V格式的RDD上的
5.RDD提供一系列最佳的计算位置
RDD图解:
要点:
textFile方法底层封装的是读取MR读取文件的方式,读取文件之前先split,默认split大小是一个block块大小
RDD实际上不存储数据,这里为了方便理解,暂时理解为存储数据
如果RDD里面存储的数据都是二元组对象,那么这个RDD我们就叫做K,V格式的RDD
体现RDD的弹性(容错)
--partition数量,大小没有限制
--RDD之间的依赖关系,可以基于上一个RDD重新算出RDD
体现RDD的分布式:
--RDD由partition组成,partition分布在不同的节点上
RDD提供最佳的计算位置,体现了数据本地化,大数据中"计算以东部移动数据"的概念
Spark任务执行原理
以上图中,Driver和Worker式启动在节点上的进程,运行在jvm中的进程
Driver与集群节点之间有频繁的通信
Driver负责任务(tasks)的分发和结果的回收,任务的调度
Worker和Master是Standalone资源调度框架里面资源管理的从节点,也是jvm进程
Transformations转换算子
Transformations算子是延迟执行,也叫懒加载执行
filter:过滤符合条件的记录数,true保留,false过滤
map:将一个RDD中的每一个数据项,通过map中的映射函数变为一个新的元素特点:输入一条,输出一条
flatMap:先map后flat,与map类似,每个输入项可以映射为0-多个输出项
sample:随机抽样算子,根据传进去小数按比例进行又放回或者无放回的抽样
reduceByKey:将相同的key根据相应的逻辑进行处理
sortByKey/sortBy:作用在K,V格式的RDD上,对key进行升降序排序
Action行动算子
Action类算子是触发执行,一个application应用程序中有几个Action类算子执行,就有几个job运行
count:返回数据集中的元素数,会在结果计算完成会受到Driver端
take(n):返回一个包含数据及前n个元素的集合
first:返回数据集中的第一个元素
foreach:循环遍历数据集,运行相应的逻辑
collect:将计算结果会收到Driver端
控制算子
控制算子有三种,cache,persist,checkpoint,以上算子都可以将RDD持久化,持久化单位为partition,cache和persist是懒执行的,必须有一个action类算子触发执行,checkpoint算子不仅仅能将RDD持久化,还能切断RDD之间的依赖关系
cache
默认将RDD的数据持久化到内存中,
persist
可以指定持久化的级别,最常用的是MEMORYONLY和MEMORY_AND_DISK
_2表示副本数持久化级别如下:
cache和persist注意事项;
1.cache和persist都是懒执行,必须要有一个action类算子来触发执行
2.cache和persist算子的返回值可以赋值给一个变量,在其他job中直接使用这个变量就是使用持久化的数据了,持久化单位是partition
3.cache和persist算子后不能立即紧跟action类算子
checkpoint
checkpoint将RDD持久化到磁盘中,还可以切断RDD之间的依赖关系
checkpoint的执行原理:
1.当RDD的job执行完毕之后,会从finalRDD从后往前回溯
2.当回溯到摸一个RDD调用了checkpoint方法,会对当前的RDD做一个标记
3.Spark框架会自动启动一个新的job,重新计算这个RDD的数据,将数据持久化到HDFS中
优化:对RDD执行checkpoint方法之前,最好对这个RDD先执行cache,这样新启动的job只需将内存中的数据拷贝到HDFS上就可以了,省去了重新计算的这一步