1.spark容错主要分为两个方面

  其一是集群

  再者为spark的应用程序。

  032 Spark容错特性_编程

2.Driver

  032 Spark容错特性_编程_02

  032 Spark容错特性_重启_03

  重要补充:  

    driver宕机:
      Spark On Yarn:总之,要重启
        client:只能重启job
        cluster:类似于MR的ApplicationMaster
      Spark On Standalone:不太一样
        client:只能重启
        cluster:如果没给下面的参数,就需要重启
          --supervise:当driver执行失败的时候,会自动重启

 

3.Executor

  032 Spark容错特性_编程_04

  032 Spark容错特性_应用程序_05

 

4.Task

  032 Spark容错特性_spark_06

 

5.在程序中应用(local模式)

  032 Spark容错特性_spark_07