一、Transformations转换算子
filter:过滤符合条件的记录数,true的保留、false的过滤
map:将RDD中的数据项,通过map中的函数映射变为一个新的元素(1进1出)
mapPartition:执行结果与map相同,但是可以一次遍历整个patition
mapPartitionWithIndex:类似于mapPartitions,除此之外还会携带分区的索引值
mapToPair:返回(k,v)格式的RDD
flatMap:对RDD中的数据项,先map再flat(1进多出)
flatMapToPair:对RDD中的数据项,先map再flat,在返回(k,v)格式的RDD
reduceByKey:将相同的Key根据逻辑进行处理
sample:抽样,传进一个比例值,可以选择传入参数决定是否有放回的抽样
sortBy/sortByKey:作用在K,V格式的RDD上,对Key进行升序或降序排序
join:作用在K,V格式的RDD上。根据K进行连接,对(K,V)join(K,W)返回(K,(V,W))
leftOuterJoin:作用在K,V格式的RDD上。根据K进行连接,对(K,V)join(K,W)返回(K,(V,W)),左边中的key为主,只显示左边中存在的key值
rightOuterJoin:作用在K,V格式的RDD上。根据K进行连接,对(K,V)join(K,W)返回(K,(V,W)),右边中的key为主,只显示右边中存在的key值
fullOuterJoin:作用在K,V格式的RDD上。根据K进行连接,对(K,V)join(K,W)返回(K,(V,W)),两边的key值都显示
union:合并两个数据集。两个数据集的类型要一致。返回新的RDD的分区数是合并RDD分区数的总和
intersection:交集
subtract:差集
distinct:去重
cogroup:当调用类型(K,V)和(K,W)的数据上时,返回一个数据集(K,(Iterable,Iterable))
repartition:增加或减少分区。会产生shuffle
coalesce:常用来减少分区,第二个参数是减少分区的过程中是否产生shuffle。如果用来增加分区,必须设置为true
groupByKey:作用在K,V格式的RDD上。根据Key进行分组。作用在(K,V),返回(K,Iterable )
zip:将两个RDD中的元素(KV格式/非KV格式)变成一个KV格式的RDD,两个RDD的个数必须相同
zipWithIndex:该函数将RDD中的元素和这个元素在RDD中的索引号(从0开始)组合成(K,V)对。
二、Action触发算子(行动算子)
count:返回数据集中的元素数,会在结果计算完成后返回到Driver端
countByKey: 作用到K,V格式的RDD上,根据Key计数相同Key的数据集元素
countByValue:根据数据集每个元素相同的内容来计数。返回相同内容的元素对应的条数
Collect:将计算结果回收到Driver端
foreach:循环遍历数据集中的元素,运行相应的逻辑
take:返回一个包含数据集前n个元素的集合take(n)
first:返回数据集中的第一个元素first=take(1)
foreachPartition:遍历的是一个patition上的数据