1.RDD是spark提供的核心抽象，全称：Resillient Distributed Dataset,即弹性分布式数据集。2.RDD在抽象上来说是一种元素集合，包含了数据。它是被分区的，氛围多个分区，每个分区分布在集群中的不同节点上，从而让RDD中的数据可以并行操作（分布式数据集）3.RDD通常通过Hadoop上的文件来创建。有时也可以通过应用程序中的集合赖床见。4.RDD最重要的特性就是提供
使用parallelize创建RDD 也 可以使用makeRDD来创建RDD。通过查看源码可以发现，makeRDD执行的时候，也是在调用parallelize函数，二者无区别。通过 .textFile 可以通过文件读取项目路径 和 hdfs 文件路径*makeRDD 和 parallelize 第二个参数为处理的并行度数量不给定时，默认值为 通过conf.getInt("spark.default
spark建立在抽象的RDD上，把不同处理的数据的需求转化为RDD，然后对RDD进行一系列的算子运算，从而得到结果。RDD是一个容错的，并行的数据结构，可以将数据存储到磁盘和内存中，并能控制数据分区，并提供了丰富的API来操作数据。1：RDD的定义及五大特性剖析RDD是分布式内存的一个抽象概念，是一种高度受限的共享内存模型，即RDD时只读的记录分区的集合，能跨集群所有节点并行计算，是一种基于工作集
scala
union的特性，去重与不去重集合操作有 并，交，差 ３种运算。 union :得到两个查询结果的并集，并且自动去掉重复行。不会排序 union all:得到两个查询结果的并集，不会去掉重复行。也不会排序 intersect:得到两个查询结果的交集，并且按照结果集的第一个列进行排序 minus:得到两个查询结果的减集，以第一列进行排序 例子： 下面是两个表：一个主修课程表，一个选修课程
Spark SQL Join原理分析
Copyright © 2005-2025 51CTO.COM 版权所有 京ICP证060544号
