一、RDD 的起源在 RDD 出现之前, 当时 MapReduce 是比较主流的, 而 MapReduce 如何执行流程如下： 多个 MapReduce 任务之间只能通过磁盘来进行传递数据，很明显的效率低下，再来看 RDD 的处理方式： 整个过程是共享内存的, 而不需要将中间结果存放在分布式文件系统中，这种方式可以在保证容错的前提下, 提供更多的灵活, 更快的执行速度。二、RDD 的特点RDD 不
2.RDD 编 程
2.1 编程模型 在 Spark 中，RDD 被表示为对象，通过对象上的方法调用来对 RDD 进行转换。经过一系列的 transformations 定义 RDD 之后，就可以调用 actions 触发 RDD 的计算，action 可以是向应用程序返回结果(count, collect 等)，或者是向存储系统保存数据(saveAsTextFile等)
转载
2023-12-11 09:59:17
30阅读
1.RDD是一个基本的抽象，操作RDD就像操作一个本地集合一样，降低了编程的复杂度RDD的算子分为两类，一类是Transformation（lazy），一类是Action（触发任务执行）RDD不存真正要计算的数据，而是记录了RDD的转换关系（调用了什么方法，传入什么函数）创建RDD有哪些中方
转载
2023-07-31 23:13:39
0阅读
spark基础与java api介绍http://www.cnblogs.com/tovin/p/3832405.html textFile: 可将本地文件或HDFS文件转换成RDD，读取本地文件需要各节点上都存在，或者通过网络共享该文件 JavaRDD lines =
原创
2021-09-02 16:40:31
488阅读
@目录1、什么是RDD1.1、RDD五大核心属性2、RDD转换算子2.1、单value2.2、双value2.3、Key-Value3、RDD行为算子1、什么是RDDRDD（Resilient Distributed Dataset）叫做弹性分布式数据集，是 Spark 中最基本的数据处理模型。代码中是一个抽象类，它代表一个弹性的、不可变、可分区、里面的元素可并行计算的集合。弹性
存储的弹性：内存
转载
2023-06-24 22:09:57
220阅读
spark的rdd算子文章目录spark的rdyBykeys valuescollectAsMaprepartition, coalesce, partit...
原创
2022-11-18 15:57:26
69阅读
spark基础与java api介绍http://www.cnblogs.com/tovin/p/3832405.html textFile: 可将本地文件或HDFS文件转换成RDD，读取本地文件需要各节点上都存在，或者通过网络共享该文件 JavaRDD lines =
原创
2021-09-02 17:16:57
538阅读
RDD算子 深入RDD 需求 给定一个网站的访问记录
原创
2022-09-23 18:08:39
95阅读
本编主要基于B站尚硅谷的视频及文档做出的一些改写和
原创
2022-03-23 10:25:43
262阅读
本质上在Actions算子中通过SparkContext执行提交作业的runJob操作，触发了RDD DAG的执行。 根据Action算子的输出空间将Action算子进行分类：无输出、 HDFS、 Scala集合和数据类型。
无输出
foreach对RDD中的每个元素都应用f函数操作，不返回RDD和Array，而是返回Uint。 图中，foreach算子通过用户自定义函数对每个数据项进行操
转载
2017-01-20 20:48:00
45阅读
RDD的行动算子reducecollectcountfirsttaketakeOrderedaggregatefoldcountByKeysave 相关算子foreach所谓的行动算子就是触发作业执行的方法reduce➢ 函数签名：def reduce(f: (T, T) => T): T➢ 函数说明：聚集 RDD 中的所有元素，先聚合分区内数据，再聚合分区间数据 @Test def reduce(): Unit = { val rdd = sc.makeRDD(List(1.
原创
2022-03-23 10:26:10
139阅读
1. collect算子作用收集一个弹性分布式数据集（RDD）的所有元素到一个数组中，以便观察。collect是Action类型的一个算子，会从远程集群拉去数据到driver端，最后将大量数据汇集到一个driver节点上，将数据用数组存放，占用了jvm堆内存，非常容易造成内存溢出，只用作小型数据的观察2. 弊端首先，由于collect是从各节点将数据拉到driver端，需要重新分区，所以，一次co
转载
2023-09-22 11:40:47
152阅读
目录基本概念算子介绍1. reduce2. collect3. count4. first5. take6. takeOrdered案例实操1-67. aggregate8. fold案例实操7-89. countByKey案例实操10. save相关算子案例实操11. foreach案例实操 基本概念行动算子主要是将在数据集上运行计算后的数值返回到驱动程序，从而触发触发作业（Job）的执行。其
转载
2023-10-26 13:39:19
39阅读
0x00 教程内容0x01 进阶算子操作1. 创建RDD2. 转换算子3. 行动算子0x02 RDD的缓存与持久化1. 缓存与持久化的意义2. 缓存3. 持久化
推荐
原创
2021-06-10 18:17:00
2949阅读
RDD的算子:转换算子和行动算子1.单valuemap,mapPar,mapParIndex,flatMap,glom,groupBy,filter,sample,d
原创
2022-05-26 01:33:22
176阅读
点赞
【代码】RDD转换算子reduceByKey详解。
原创
2023-05-27 00:09:47
83阅读
【代码】RDD转换算子sortByKey详解。
原创
2023-05-27 00:09:51
75阅读
count统计RDD中元素的个数。 @Test def countTest: Unit ={
原创
2022-08-12 10:16:41
102阅读
### 实现“Spark on YARN RDD算子统计广告”
在大数据处理领域，Apache Spark 是一种强大的分布式计算框架。本文将指导你如何在 YARN 集群上使用 RDD 统计广告数据。我们将逐步进行，确保你理解每个步骤的具体内容。
#### 处理流程概述
| 步骤编号 | 步骤描述 | 具体操作
0x00 教程内容0x01 进阶算子操作1. 创建RDD2. 转换算子3. 行动算子0x02 RDD的缓存与持久化1. 缓存与持久化的意义2. 缓存3. 持久化
原创
2022-01-30 09:27:46
624阅读
