YARN查看Job

YARN（Yet Another Resource Negotiator）是Hadoop生态系统中的一种资源管理和调度框架，它允许用户提交和管理各种类型的应用程序。在YARN中，一个应用程序通常由一个或多个任务组成，这些任务可以并行执行。本文将介绍如何使用YARN查看Job的相关信息。

流程图

以下是使用YARN查看Job的流程图：

flowchart TD
    A[开始] --> B[提交Job]
    B --> C[Job运行中]
    C --> D{是否需要查看Job信息}
    D -- 是 --> E[使用yarn命令查看Job]
    D -- 否 --> F[结束]
    E --> G[获取Job状态]
    E --> H[获取Job日志]
    E --> I[获取Job资源使用情况]
    G --> J[显示Job状态]
    H --> K[显示Job日志]
    I --> L[显示Job资源使用情况]

提交Job

在查看Job之前，首先需要提交一个Job。以下是使用YARN提交一个简单的MapReduce Job的示例：

yarn jar your-mapreduce-job.jar

使用yarn命令查看Job

在Job提交后，可以使用yarn命令查看Job的相关信息。以下是一些常用的yarn命令：

  1. 查看所有Job的状态：
yarn application -list
  1. 查看特定Job的状态：
yarn application -status <application_id>
  1. 查看Job的日志：
yarn logs -applicationId <application_id>
  1. 查看Job的资源使用情况：
yarn application -list -appTypes <job_type>

获取Job状态

使用yarn application -status <application_id>命令可以获取Job的状态。以下是示例输出：

Application Report :
    Application-Id : application_1598277128712_0001
    Application-Name : MyMapReduceJob
    Application-Type : MAPREDUCE
    User : your_username
    Queue : default
    Start-Time : 1598277185138
   Finish-Time : 1598277285138
    Progress : 100%
    RunningContainers : 0
    CompletedContainers : 2
    FailedContainers : 0
    KilledContainers : 0
    Total Resource Allocation : 2048 vcore 10240 MB

获取Job日志

使用yarn logs -applicationId <application_id>命令可以获取Job的日志。以下是示例输出：

18/08/09 08:35:47 INFO client.RMProxy: Connecting to ResourceManager at resourcemanager-host/192.168.1.1:8032
18/08/09 08:35:48 INFO mapreduce.Job: Running job: job_1598277128712_0001
18/08/09 08:35:51 INFO mapreduce.Job: Job job_1598277128712_0001 running on 2 nodes: ("node1","node2")
18/08/09 08:36:01 INFO mapreduce.Job: Job job_1598277128712_0001 completed successfully

获取Job资源使用情况

使用yarn application -list -appTypes <job_type>命令可以查看Job的资源使用情况。以下是示例输出：

Total number of applications:2
    Application-Id : application_1598277128712_0001
    Application-Name : MyMapReduceJob
    Application-Type : MAPREDUCE
    Queue : default
    User : your_username
    Started : 1598277185138
    Elapsed : 70
    Tracking URL : http://resourcemanager-host:8088/proxy/application_1598277128712_0001/
    Resource Usages : vcore=2 container=2 memory=8192 MB

结论

通过本文的介绍，您应该已经了解了如何使用YARN查看Job的相关信息。这包括提交Job、查看Job状态、获取Job日志和查看Job资源使用情况。这些信息对于监控和管理YARN上的Job至关重要。希望本文对您有所帮助！