1.命令找不到

环境变量配置的不正确.

2.权限问题

2.1 /home/hadoop目录权限

2.1 创建完hadoop用后/home/hadoop目录权限问题.

/home/Hadoop

2.2 秘钥文件权限

1.如下图的提示,是当前hadoop用的公钥没有添加到认证文件中去

hadoop 权限问题 hadoop没有权限配置文件_java

解决方法:将node1节点上的hadoop用户的公钥添加到认证文件中
[hadoop@node1 ~]$ chmod -R 755 .ssh/
[hadoop@node1 ~]$ cd .ssh/
[hadoop@node1 .ssh]$ chmod 644 *
[hadoop@node1 .ssh]$ chmod 600 id_rsa
[hadoop@node1 .ssh]$ chmod 600 id_rsa.pub
[hadoop@node1 .ssh]$

[hadoop@node1 .ssh]$cat id_rsa.pub >> authorized_keys //hadoop用户的公钥添加到认证文件中

此问题如果在node2和node3两个节点出现在的也需要按照node1节点上的解决方法解决。

2.如下图的权限问题,

Chmod:changing permissions

Chmod:changing permissions of .ssh / : Operation not permitted

hadoop 权限问题 hadoop没有权限配置文件_hadoop 权限问题_02

2.3 hadoop安装目录权限

1.如下图目录不能创建

hadoop 权限问题 hadoop没有权限配置文件_hadoop 权限问题_03

2.4 秘钥认证问题

cat id_rsa.pub >> authorized_keys 命令和ssk-copy –I 主机名等命令执行了多次,如果出现如下的情况,请将重复的秘钥删除下,一般删除早先出现的公钥内容.

hadoop 权限问题 hadoop没有权限配置文件_大数据_04

3.配置问题

配置中需要注意逗号,分号,大于号,小于号的英文输入形态.

hadoop 权限问题 hadoop没有权限配置文件_大数据_05


hadoop 权限问题 hadoop没有权限配置文件_linux_06


hadoop 权限问题 hadoop没有权限配置文件_hadoop_07


hadoop 权限问题 hadoop没有权限配置文件_hadoop 权限问题_08


hadoop 权限问题 hadoop没有权限配置文件_hadoop_09


hadoop 权限问题 hadoop没有权限配置文件_linux_10


hadoop 权限问题 hadoop没有权限配置文件_hadoop 权限问题_11


hadoop 权限问题 hadoop没有权限配置文件_linux_12


hadoop 权限问题 hadoop没有权限配置文件_大数据_13


hadoop 权限问题 hadoop没有权限配置文件_java_14


解决办法:

<property>
<name>yarn.nodemanager.pmem-check-enabled</name>
<value>false</value>
</property>
<property>
<name>yarn.nodemanager.vmem-check-enabled</name>
<value>false</value>
</property>

4.虚拟机问题

4.1客户端操作系统禁用CPU

5.集群问题

5.1 datanode问题

hadoop 权限问题 hadoop没有权限配置文件_linux_15

Hadoop Overview显示Livenode为0

hadoop 权限问题 hadoop没有权限配置文件_大数据_16

错误原因

hadoop 权限问题 hadoop没有权限配置文件_java_17


hadoop 权限问题 hadoop没有权限配置文件_大数据_18


查看防火墙是否关闭,防火墙没有关闭也会导致这样的问题.

hadoop 权限问题 hadoop没有权限配置文件_大数据_19


集群clusterid不一致问题

hadoop 权限问题 hadoop没有权限配置文件_hadoop_20


原因分析:

这个问题总要由于不消息进行了多次格式化(hdfs namenode -format)操作导致的,一个hadoop集群只能在安装时格式化一次.

解决办法:
将集群DataNode下的clusterid修改成和Namenode的clusterid一致即可,然后重启集群.
编辑/opt/bigdata/hadoop-3.1.2/hadoop/hdfs/data/current

hadoop 权限问题 hadoop没有权限配置文件_大数据_21

5.2 namenode问题

不能启动,一般是同学忘记进行格式化.和hadoop安装目录权限没有设置导致格式化不能成功.

hadoop 权限问题 hadoop没有权限配置文件_linux_22

5.3 hadoop配置复制问题

hadoop 权限问题 hadoop没有权限配置文件_java_23


hadoop 权限问题 hadoop没有权限配置文件_大数据_24


hadoop 权限问题 hadoop没有权限配置文件_hadoop_25

hadoop 权限问题 hadoop没有权限配置文件_linux_26


hadoop 权限问题 hadoop没有权限配置文件_linux_27

5.4 集群操作问题

hadoop 权限问题 hadoop没有权限配置文件_大数据_28

5.5 格式化问题

namenode多次格式化操作导致集群启动后再datanode的日志文件中有如下提示,naemnode clusterID和datanode clusterID不一致的问题.

hadoop 权限问题 hadoop没有权限配置文件_hadoop 权限问题_29


解决方法:修改datanode的clusterID和namenode clusterID一致

/opt/bigdata/hadoop-3.1.2/hadoop/hdfs/data/current

hadoop 权限问题 hadoop没有权限配置文件_hadoop_30

6.系统安装问题

6.1 虚拟机IP配置问题

1.) IPADDR ------经常出现拼写错误
2.)GATEWAY —经常出现拼写错误
3.) NETMASK ----经常出现拼写错误

经常出现拼写错误,导致执行systemctl restart network命令启动网卡时失败.

6.2 虚拟机出问题,重新安装本机操作系统.
6.3 电脑硬件bois中的虚拟化支持禁用
解决方法:
需要根据电脑的型号百度相应设置bois虚拟化支持的博客,按照博客自行解决.
ERROR org.apache.hadoop.yarn.server.resourcemanager.ResourceManager: RECEIVED SIGNAL 15: SIGT

重新搭建Hadoop集群,一切配置就绪后,启动集群后,在Master和所有的Slave节点上通过JPS命令都可以看到集群应该启动的进程都已经启动了。通过50070端口也可以查看到所有DataNode处于Live状态,而且可以正常往HDFS上传下载文件。
但是在8088端口查看不到任何Nodes的信息,提交任务到集群,任务一直卡在Accepted状态。
通过查看日志发现提示如下错误:
2016-03-15 15:51:01,740 ERROR org.apache.hadoop.yarn.server.resourcemanager.ResourceManager: RECEIVED SIGNAL 15: SIGTERM
2016-03-15 15:51:01,743 ERROR org.apache.hadoop.security.token.delegation.AbstractDelegationTokenSecretManager: ExpiredTokenRemover received java.lang.InterruptedException: sleep interrupted
2016-03-15 15:51:01,743 INFO org.mortbay.log: Stopped HttpServer2$SelectChannelConnectorWithSafeStartup@0.0.0.0:8088
2016-03-15 15:51:01,744 ERROR org.apache.hadoop.security.token.delegation.AbstractDelegationTokenSecretManager: ExpiredTokenRemover received java.lang.InterruptedException: sleep interrupted
2016-03-15 15:51:01,744 ERROR org.apache.hadoop.security.token.delegation.AbstractDelegationTokenSecretManager: ExpiredTokenRemover received java.lang.InterruptedException: sleep interrupted
解决方法:在yarn-site.xml添加如下配置参数:
即:指定yarn.resourcemanager.hostname为Master节点的IP。

<property>
     <name>yarn.resourcemanager.hostname</name>
     <value>192.168.0.100</value>
</property>