一、Dashboard(仪表盘,总览页面)

【总览】

 

hdfs选举过程 hdfs webui_java

【集群操作】

hdfs选举过程 hdfs webui_ambari_02

【配置文件下载】

hdfs选举过程 hdfs webui_hadoop_03

【图表操作】

hdfs选举过程 hdfs webui_hdfs选举过程_04

【图表时间配置】

hdfs选举过程 hdfs webui_HDFS_05

【集群总体监控图表】

hdfs选举过程 hdfs webui_HDFS_06

Memory Usage:整个集群的内存使用情况,包括 cached,swapped,used,和shared。

Network usage:整个就群的网络流量,包括上行和下行;

CPU Usage:集群的CPU使用情况;

Cluster Load:集群整体加载信息,包括节点数目,总CPU个数,正在运行的进程

【HDFS层面】

【HDFS Disk Usage】

hdfs选举过程 hdfs webui_hdfs选举过程_07

左图:整个集群的磁盘使用情况。

右图:DFS的使用情况;non DFS的使用情况;磁盘实际剩余空间。

总共:100G空间。

如果配置了dfs.datanode.du.reserved = 30G。

那么,HDFS可以理所应当的占据70GB的空间。


这个时候,如果系统文件或者其他文件已经使用了40GB。

那么就意味着,最多给HDFS的空间只剩下60GB了!!

本来讲道理,HDFS有70GB的空间可以挥霍,但是现在空间只有60GB。

是不是说,有10GB应当给HDFS用的空间,却被其他东西使用了?

这个10GB的空间,就是Non - DFS!

如果dfs.datanode.du.reserved配置了0GB。

那么就意味着,只要不是HDFS使用的空间,都是NonDFS!!

【NameNode Heap】

hdfs选举过程 hdfs webui_ambari_08

 

NameNode的JVM堆使用情况。

【NameNode CPU WIO】

hdfs选举过程 hdfs webui_java_09

NameNode节点的CPU WIO。表示CPU空闲等待IO的情况,参数越高,说明CPU在长时间等待磁盘、网络等IO的操作而空闲。IO瓶颈较大。

【NameNode RPC】

hdfs选举过程 hdfs webui_hdfs选举过程_10

 RPC请求在队列中的平均滞留时间。

【NameNode Uptime】

hdfs选举过程 hdfs webui_java_11

NameNode累计上线时间,以及上线时间点。

【DataNodes Live】

hdfs选举过程 hdfs webui_java_12

DataNode的状态。

【HDFS Links】

hdfs选举过程 hdfs webui_hadoop_13

HDFS相关页面的快速链接。    

【Yarn 层面】

hdfs选举过程 hdfs webui_hadoop_14

YARN Memory:Yarn集群的内存使用率。

【ResourceManager Heap】

hdfs选举过程 hdfs webui_ambari_15

RM的JVM堆使用情况。

【ResourceManager Uptime】

hdfs选举过程 hdfs webui_hadoop_16

RM累计上线时间,以及上线时间点。

【NodeManagers Live】

NM的节点状态监控。

hdfs选举过程 hdfs webui_hadoop_17

【节点热力图】

hdfs选举过程 hdfs webui_ambari_18

【服务参数版本管理】

hdfs选举过程 hdfs webui_java_19

【查看操作】

hdfs选举过程 hdfs webui_java_20

【查看告警】

 

hdfs选举过程 hdfs webui_HDFS_21

二、服务面板

下面是HDFS的主面板,其他的类似。

 

hdfs选举过程 hdfs webui_java_22

三、参数配置、组、版本

hdfs选举过程 hdfs webui_java_23

【服务配置版本与组的时间上关系】 

hdfs选举过程 hdfs webui_hadoop_24

hdfs选举过程 hdfs webui_java_25

 

hdfs选举过程 hdfs webui_hadoop_26

可以把Default理解为主版本(master版本),默认所有的节点配置都是按照这个来。

可以对这个主版本创建一个分支,也就是创建一个group。group中存储额外override覆盖的参数。

group中的参数会在哪个节点中生效取决于该group中配置了哪些host。

在默认的Default组的config面板中,参数都可以直接修改,这里改的是master主版本的配置。

hdfs选举过程 hdfs webui_java_27

核心参数不允许Override。

hdfs选举过程 hdfs webui_hadoop_28

也可以Override这个参数,一旦点击,就会提示说在哪个group中改这个参数。

hdfs选举过程 hdfs webui_java_29

在分支组中的配置面板如下:

hdfs选举过程 hdfs webui_hadoop_30

hdfs选举过程 hdfs webui_hadoop_31

四、Host主机管理

主机列表视图:

hdfs选举过程 hdfs webui_java_32

主机视图:

 

hdfs选举过程 hdfs webui_hdfs选举过程_33

五、告警管理

告警列表视图:

hdfs选举过程 hdfs webui_ambari_34

告警详情:

 

hdfs选举过程 hdfs webui_java_35

六、Ambari管理

hdfs选举过程 hdfs webui_java_36

总体界面:

 

hdfs选举过程 hdfs webui_hadoop_37

 【自定义页面管理】

hdfs选举过程 hdfs webui_java_38

 【用户和用户组角色分配】

 

hdfs选举过程 hdfs webui_HDFS_39

【角色权限列表】

hdfs选举过程 hdfs webui_java_40

hdfs选举过程 hdfs webui_hdfs选举过程_41

hdfs选举过程 hdfs webui_ambari_42

hdfs选举过程 hdfs webui_ambari_43

七、扩展页面

【Yarn队列管理】 

hdfs选举过程 hdfs webui_hadoop_44

【HDFS】文件管理

hdfs选举过程 hdfs webui_hadoop_45

七、AMS(Ambari Metrics System)

AMS包括4个部分:

Metrics Monitors:在各个节点中收集系统级别的度量参数,然后推送给Metrics Collector。

Hadoop Sinks:内嵌在Hadoop的各个组件中,将Hadoop的度量参数推送给Metrics Collector。

Metrics Collector:一个守护进程,运行在特定的节点中,用来接收已经注册的“Publisher”的数据。

Grafana:开源的度量分析和可视化套件。数据源为Collector。

 

hdfs选举过程 hdfs webui_ambari_46

【AMS架构图】

hdfs选举过程 hdfs webui_java_47

【访问Grafana界面】

hdfs选举过程 hdfs webui_java_48

默认端口号是3000。

hdfs选举过程 hdfs webui_hdfs选举过程_49

【Grafana简单操作】

 

hdfs选举过程 hdfs webui_java_50

hdfs选举过程 hdfs webui_hdfs选举过程_51