RDD的五大特征

  • 了解RDD
  • 1、分区列表
  • 2、每个分区都有一个计算函数
  • 3、依赖于其他RDD
  • 4、(Key,Value)数据类型的RDD分区器
  • 5、每个分区都有一个优先位置列表


了解RDD

传统的MapReduce虽然具有自动容错、平衡负载和可拓展性强的优点，但是其最大缺点是采用非循环式的数据流模型，使得在迭代计算时要进行大量的磁盘I/O操作。Spark中的RDD可以分号地解决这一缺点。RDD是Spark提供的最重要的抽象概念 ，可以将RDD理解为一个分布式存储在集群中的大型数据集合，不同RDD之间可以通过转换操作形成依赖关系实现管道化，从而避免了中间结果的I/O操作，提高数据处理的速度和性能。

1、分区列表

每个RDD被分为多个分区（Partitions），这些分区运行在集群中的不同节点，每个分区都会被一个计算任务处理，分区数决定了并行计算的数量，创建RDD时可以指定RDD分区的个数。如果不指定分区数量，当RDD从集合创建时，默认分区数量为该程序所分配到的资源的CPU核数（每个Core可以承载2~4个Partitions），如果是从HDFS文件创建，默认为文件的Block数。

2、每个分区都有一个计算函数

Spark的RDD的计算函数是以分片为基本单位的，每个RDD都会实现compute函数，对具体的分片进行计算。

3、依赖于其他RDD

RDD的每次转换都会生成一个新的RDD，所以RDD之间就会形成类似于流水线一样的前后依赖关系。在部分分区数据丢失时，Spark可以通过这个依赖关系重新计算丢失的分区数据，而不是对RDD的所有分区进行重新计算。

4、(Key,Value)数据类型的RDD分区器

当前Spark中实现了两种类型的分区函数，一个是基于哈希的HashPartitioner，另外一个是基于范围的RangePartitioner。只有对于(Key,Value)的RDD，才会有Partitoner（分区），非(Key,Value)的RDD的Partitoner的值是None。Partitioner函数不但决定了RDD本身的分区数量，也决定了parent RDD Shuffle输出时的分区数量。

5、每个分区都有一个优先位置列表

优先位置列表会存储每个Partiton的优先位置，对于一个HDFS文件来说，就是每个Partition块的位置。按照“移动数据不如移动计算”的理念，Spark在进行任务调度的时候，会尽可能地将计算任务分配到其所要处理数据块的存储位置。