spark常用的ACTION算子有那些 spark action算子

转载

浪人小风光 2024-04-29 20:43:03

文章标签 spark常用的ACTION算子有那些 scala spark big data List 文章分类 Spark 大数据

RDD行动算子

1. RDD行动算子

1.1概述

spark的算子可以分为trans action算子以及 action算子，即变换/转换算子。如果执行一个RDD算子并不触发作业的提交，仅仅只是记录作业中间处理过程，那么这就是trans action算子，相反如果执行这个 RDD 时会触发 Spark Context 提交 Job 作业，那么它就是 action算子及行动算子。总结来说就是在Spark中，转换算子并不会马上进行运算的，即所谓的“惰性运算”，而是在遇到行动算子时才会执行相应的语句的，触发Spark的任务调度并开始进行计算。

1.2 reduce

函数签名

def reduce(f: (T, T) => T): T

函数说明

聚集RDD中的所有元素，先聚合分区内数据，再聚合分区间数据

// 一个应用程序, Driver程序
    val conf = new SparkConf().setMaster("local[*]").setAppName("RDD")
    val sc = new SparkContext(conf)

    // TODO 算子 - 行动
    val rdd = sc.makeRDD(List(1,4,3,2),2)

    // reduce算子
    val i: Int = rdd.reduce(_ + _)
    println(i)

1.3 collect

函数签名

def collect(): Array[T]

函数说明

在驱动程序（Driver）中，以数组Array的形式返回数据集的所有元素
val rdd: RDD[Int] = sc.makeRDD(List(1,2,3,4))

函数实例

package com.gec.demo1
import org.apache.spark.{SparkConf, SparkContext}

object Spark01_RDD_Oper_Action {

  def main(args: Array[String]): Unit = {

    // 一个应用程序, Driver程序
    val conf = new SparkConf().setMaster("local[*]").setAppName("RDD")
    val sc = new SparkContext(conf)

    // TODO 算子 - 行动
    val rdd = sc.makeRDD(List(1,2,3,4))

    // Spark RDD方法分为2大类，其中一个是转换算子，一个为行动算子
    // 行动算子在被调用时，会触发Spark作业的执行
    // collect算子就是行动算子
    // 行动算子执行时，会构建新的作业
    val ints: Array[Int] = rdd.collect()
    ints.foreach(println)
    //rdd.collect() // new job
    sc.stop()
  }

}

1.4 count

函数签名

def count(): Long

函数说明

返回RDD中元素的个数

val rdd: RDD[Int] = sc.makeRDD(List(1,2,3,4))

实例

// 一个应用程序, Driver程序
    val conf = new SparkConf().setMaster("local[*]").setAppName("RDD")
    val sc = new SparkContext(conf)
    // TODO 算子 - 行动
    val rdd = sc.makeRDD(List(1,4,3,2),2)
    val l: Long = rdd.count()
    println(l)

1.5 first

函数签名

def first(): T

函数说明

返回RDD中的第一个元素

val rdd: RDD[Int] = sc.makeRDD(List(1,2,3,4))

实例

// 一个应用程序, Driver程序
    val conf = new SparkConf().setMaster("local[*]").setAppName("RDD")
    val sc = new SparkContext(conf)

    val rdd: RDD[Int] = sc.makeRDD(List(1,2,3,4))
    val firstResult: Int = rdd.first()
    println(firstResult)
    sc.stop()

1.6 take

函数签名

def take(num: Int): Array[T]

函数说明

返回一个由RDD的前n个元素组成的数组

vval rdd: RDD[Int] = sc.makeRDD(List(1,2,3,4))

函数实例

// 返回RDD中元素的个数
val takeResult: Array[Int] = rdd.take(2)
println(takeResult.mkString(",")=)

1.7 takeOrdered

函数签名

def takeOrdered(num: Int)(implicit ord: Ordering[T]): Array[T]

函数说明

返回该RDD排序后的前n个元素组成的数组

val rdd: RDD[Int] = sc.makeRDD(List(1,3,2,4))

函数实例

返回该RDD排序后的前n个元素组成的数组

val rdd: RDD[Int] = sc.makeRDD(List(1,3,2,4))
// 返回RDD中元素的个数
val result: Array[Int] = rdd.takeOrdered(2)

1.8 aggregate

函数签名

def aggregate[U: ClassTag](zeroValue: U)(seqOp: (U, T) => U, combOp: (U, U) => U): U

函数说明
分区的数据通过初始值和分区内的数据进行聚合，然后再和初始值进行分区间的数据聚合
函数实例

// 一个应用程序, Driver程序
        val conf = new SparkConf().setMaster("local[*]").setAppName("RDD")
        val sc = new SparkContext(conf)
        // TODO 算子 - 行动
        val rdd = sc.makeRDD(List(1,4,3,2),2)

        // aggregate & aggregateByKey的区别？
        // 1. 数据格式
        // 2. aggregateByKey是一个转换算子，所以执行后会产生新的RDD
        //    aggregate是一个行动算子，所以执行后会得到结果
        // 3. aggregateByKey执行计算时，初始值只会参与分区内计算
        //    aggregate执行计算时，初始值会参与分区内计算,也会参与分区间的计算
        //  【1，4】，【3，2】
        //  【5，1，4】，【5，3，2】
        // 【10】【10】
        // 【5， 10， 10】
        val i: Int = rdd.aggregate(5)(_ + _, _ + _)
        val j: Int = rdd.fold(5)(_ + _)
        val k: Int = rdd.reduce(_ + _)

1.9 fold

函数签名

def fold(zeroValue: T)(op: (T, T) => T): T

函数说明

折叠操作，aggregate的简化版操作

val rdd: RDD[Int] = sc.makeRDD(List(1, 2, 3, 4))
val foldResult: Int = rdd.fold(0)(_+_)

函数实例

// 一个应用程序, Driver程序
    val conf = new SparkConf().setMaster("local[*]").setAppName("RDD")
    val sc = new SparkContext(conf)

    val rdd: RDD[Int] = sc.makeRDD(List(1, 2, 3, 4), 2)

    val j: Int = rdd.fold(5)(_ + _)

    println(j)

1.10 countByKey

函数签名

def countByKey(): Map[K, Long]

函数说明

统计每种key的个数

val rdd: RDD[(Int, String)] = sc.makeRDD(List((1, "a"), (1, "a"), (1, "a"), (2, "b"), (3, "c"), (3, "c")))

函数实例

// 一个应用程序, Driver程序
    val conf = new SparkConf().setMaster("local[*]").setAppName("RDD")
    val sc = new SparkContext(conf)

    // TODO 算子 - 行动
    val rdd = sc.makeRDD(List(1,4,3,2),2)

    // countByKey算子表示相同key出现的次数
    val rdd1: RDD[(String, Int)] = rdd.map(("a", _))
    // (a, 1), (a, 4), (a, 3), (a, 2)
    // (a, 4) => (a, 1),(a, 1),(a, 1),(a, 1)
    // (a, 10)

    // TODO countByKey算子可以实现 WordCount (7 / 10)
    val map: collection.Map[String, Long] = rdd1.countByKey()
    println(map)

    sc.stop()

1.11 countByValue

函数签名

def countByValue(): Map[K, Long]

函数说明
根据rdd中的元素值相同的个数。返回的类型为Map[K,V], K : 元素的值，V ：元素对应的的个数
函数实例

// 一个应用程序, Driver程序
        val conf = new SparkConf().setMaster("local[*]").setAppName("RDD")
        val sc = new SparkContext(conf)

        // TODO 算子 - 行动
        //val rdd = sc.makeRDD(List(1,1,1,1,2,2,3),2)
        val rdd = sc.makeRDD(List(
            ("a", 2), ("a", 3)
        ),2)

        // countByKey算子表示相同key出现的次数
        //val rdd1: RDD[(String, Int)] = rdd.map(("a", _))

        // countByValue中Value不是KV键值对中的v的意思
        // 单value，双value，K-V
        // TODO countByValue可以实现 WordCount (8 / 10)

        // ("a", 2) => "a", "a"
        // ("a", 3) => "a", "a", "a"

        // ( a, 5 )
        val map = rdd.countByValue()

        println(map)

1.11 save相关算子

函数签名

def saveAsTextFile(path: String): Unit

def saveAsObjectFile(path: String): Unit

def saveAsSequenceFile(
 path: String,
 codec: Option[Class[_ <: CompressionCodec]] = None): Unit

函数说明

将数据保存到不同格式的文件中
// 保存成Text文件
rdd.saveAsTextFile("output")
// 序列化成对象保存到文件
rdd.saveAsObjectFile("output1")
// 保存成Sequencefile文件
rdd.map((_,1)).saveAsSequenceFile("output2")

函数实例

// TODO 算子 - 行动
val rdd = sc.makeRDD(List(
            ("a", 2), ("a", 3)
),2)

rdd.saveAsTextFile("output")
rdd.saveAsObjectFile("output1")
rdd.saveAsSequenceFile("output2")

1.12 foreach

函数签名

def foreach(f: T => Unit): Unit = withScope {

  val cleanF = sc.clean(f)

  sc.runJob(this, (iter: Iterator[T]) => iter.foreach(cleanF))

}

函数说明

分布式遍历RDD中的每一个元素，调用指定函数

val rdd: RDD[Int] = sc.makeRDD(List(1,2,3,4))

函数实例

// 收集后打印

rdd.map(num=>num).collect().foreach(println)

 

println("****************")

 
// 分布式打印

rdd.foreach(println)

本文章为转载内容，我们尊重原作者对文章享有的著作权。如有内容错误或侵权问题，欢迎原作者联系我们进行内容更正或删除文章。

上一篇：compressorMethod压缩图片压缩图片程序

下一篇：bgp公认任意属性有哪些 bgp公认可选属性

提问和评论都可以，用心的回复会被更多人看到评论

发布评论

相关文章

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

spark常用的ACTION算子有那些 spark action算子

spark常用的ACTION算子有那些 spark action算子

RDD行动算子

1. RDD行动算子

1.1概述

1.2 reduce

1.3 collect

1.4 count

1.5 first

1.6 take

1.7 takeOrdered

1.8 aggregate

1.9 fold

1.10 countByKey

1.11 countByValue

1.11 save相关算子

1.12 foreach

51CTO博客