spark on yarn 没有 Master

原创

mob649e8155edc4 2024-12-20 06:07:47 ©著作权

©著作权归作者所有：来自51CTO博客作者mob649e8155edc4的原创作品，请联系作者获取转载授权，否则将追究法律责任

如何在没有 Master 的情况下实现 Spark on YARN

在大数据处理的世界中，Apache Spark 是一个流行的框架，它能够有效地处理大量数据。当我们将 Spark 运行在 YARN（Yet Another Resource Negotiator）之上时，许多用户可能会遇到没有 Master 的情况。这篇文章将指导你如何在此环境下运行 Spark 应用。

流程概述

实现 Spark on YARN 没有 Master 的步骤大致如下：

步骤编号	步骤名称	描述
1	环境准备	安装并配置 Hadoop 和 YARN
2	上传 Spark 程序	将 Spark 应用程序上传到 HDFS
3	提交 Spark 应用	使用 spark-submit 命令提交作业
4	监控和调试	查看 Spark 运行状态和日志

接下来，我们逐步详细介绍每一个步骤。

1. 环境准备

首先，你需要确保你的计算环境中已经安装和配置了 Hadoop 和 YARN。以下是安装和配置的简单步骤：

# 更新系统
sudo apt-get update

# 安装 Hadoop（假设你已经安装了 Java）
sudo apt-get install hadoop

# 配置 Hadoop，主要文件包括 core-site.xml, hdfs-site.xml 和 yarn-site.xml
# 省略具体的配置内容，通常需要根据你的集群需求进行设置

这段代码的作用是安装 Hadoop，同时你需要根据集群的要求配置基础的设置文件。

2. 上传 Spark 程序

一旦环境准备好，就需要将你的 Spark 应用程序上传到 HDFS。假设你的代码文件是 my_spark_app.py，你可以使用以下代码：

# 创建 HDFS 中的目录
hadoop fs -mkdir /user/your_username/spark_apps

# 上传文件到 HDFS
hadoop fs -put my_spark_app.py /user/your_username/spark_apps/

这样，我们就将 Spark 应用程序上传到 HDFS 的指定路径。

3. 提交 Spark 应用

接下来，我们需要使用 spark-submit 命令来提交 Spark 应用。在这里，我们不需要指定 Master，因为我们希望在 YARN 上运行。

# 提交 Spark 应用
spark-submit \
  --deploy-mode cluster \  # 指定集群模式
  --master yarn \           # 指定 YARN 作为资源管理器
  --class your.main.Class \ # 指定主类
  /user/your_username/spark_apps/my_spark_app.py  # 指定应用文件

在这里，使用了如下参数：

--deploy-mode cluster：表示集群模式部署。
--master yarn：指定 YARN 作为资源管理器。
--class your.main.Class：如果是 jar 包需要指定主类。

通过提交此命令后，YARN 会接管你的工作并分配资源来执行 Spark 应用。

4. 监控和调试

Spark 提供了一些工具来帮助我们监控和调试集群中的应用。常用的监控界面是 YARN Resource Manager UI 和 Spark Web UI。你可以访问 YARN 的 Web 界面，查看所有正在运行的作业，并获得详细的日志信息。

# 访问 YARN Resource Manager UI
# 默认情况下，YARN 的 Web 界面地址是: http://<resource-manager-host>:8088/

通过 YARN 和 Spark 的 Web 界面，你可以监控作业的执行情况，比如内容的成功率、各个任务的执行时间等。

数据可视化

在这里，我们可以用饼状图展示 Spark 任务的资源占用情况，以及用甘特图展示整体的执行过程。

pie
    title Spark Tasks Resource Usage
    "CPU Usage": 50
    "Memory Usage": 30
    "Disk IO": 20

gantt
    title Spark Application Execution Flow
    dateFormat  YYYY-MM-DD
    section Initialization
    Prepare Environment      :a1, 2023-10-01, 1d
    Upload Spark App         :a2, after a1, 1d
    section Execution
    Submit Spark Application  :a3, after a2, 2d
    Monitor Application      :a4, after a3, 5d