1.命令找不到
环境变量配置的不正确.
2.权限问题
2.1 /home/hadoop目录权限
2.1 创建完hadoop用后/home/hadoop目录权限问题.
/home/Hadoop
2.2 秘钥文件权限
1.如下图的提示,是当前hadoop用的公钥没有添加到认证文件中去
解决方法:将node1节点上的hadoop用户的公钥添加到认证文件中
[hadoop@node1 ~]$ chmod -R 755 .ssh/
[hadoop@node1 ~]$ cd .ssh/
[hadoop@node1 .ssh]$ chmod 644 *
[hadoop@node1 .ssh]$ chmod 600 id_rsa
[hadoop@node1 .ssh]$ chmod 600 id_rsa.pub
[hadoop@node1 .ssh]$
[hadoop@node1 .ssh]$cat id_rsa.pub >> authorized_keys //hadoop用户的公钥添加到认证文件中
此问题如果在node2和node3两个节点出现在的也需要按照node1节点上的解决方法解决。
2.如下图的权限问题,
Chmod:changing permissions
Chmod:changing permissions of .ssh /
: Operation not permitted
2.3 hadoop安装目录权限
1.如下图目录不能创建
2.4 秘钥认证问题
cat id_rsa.pub >> authorized_keys 命令和ssk-copy –I 主机名等命令执行了多次,如果出现如下的情况,请将重复的秘钥删除下,一般删除早先出现的公钥内容.
3.配置问题
配置中需要注意逗号,分号,大于号,小于号的英文输入形态.
解决办法:
<property>
<name>yarn.nodemanager.pmem-check-enabled</name>
<value>false</value>
</property>
<property>
<name>yarn.nodemanager.vmem-check-enabled</name>
<value>false</value>
</property>
4.虚拟机问题
4.1客户端操作系统禁用CPU
5.集群问题
5.1 datanode问题
Hadoop Overview显示Livenode为0
错误原因
查看防火墙是否关闭,防火墙没有关闭也会导致这样的问题.
集群clusterid不一致问题
原因分析:
这个问题总要由于不消息进行了多次格式化(hdfs namenode -format)操作导致的,一个hadoop集群只能在安装时格式化一次.
解决办法:
将集群DataNode下的clusterid修改成和Namenode的clusterid一致即可,然后重启集群.
编辑/opt/bigdata/hadoop-3.1.2/hadoop/hdfs/data/current
5.2 namenode问题
不能启动,一般是同学忘记进行格式化.和hadoop安装目录权限没有设置导致格式化不能成功.
5.3 hadoop配置复制问题
5.4 集群操作问题
5.5 格式化问题
namenode多次格式化操作导致集群启动后再datanode的日志文件中有如下提示,naemnode clusterID和datanode clusterID不一致的问题.
解决方法:修改datanode的clusterID和namenode clusterID一致
/opt/bigdata/hadoop-3.1.2/hadoop/hdfs/data/current
6.系统安装问题
6.1 虚拟机IP配置问题
1.) IPADDR ------经常出现拼写错误
2.)GATEWAY —经常出现拼写错误
3.) NETMASK ----经常出现拼写错误
经常出现拼写错误,导致执行systemctl restart network命令启动网卡时失败.
6.2 虚拟机出问题,重新安装本机操作系统.
6.3 电脑硬件bois中的虚拟化支持禁用
解决方法:
需要根据电脑的型号百度相应设置bois虚拟化支持的博客,按照博客自行解决.
ERROR org.apache.hadoop.yarn.server.resourcemanager.ResourceManager: RECEIVED SIGNAL 15: SIGT
重新搭建Hadoop集群,一切配置就绪后,启动集群后,在Master和所有的Slave节点上通过JPS命令都可以看到集群应该启动的进程都已经启动了。通过50070端口也可以查看到所有DataNode处于Live状态,而且可以正常往HDFS上传下载文件。
但是在8088端口查看不到任何Nodes的信息,提交任务到集群,任务一直卡在Accepted状态。
通过查看日志发现提示如下错误:
2016-03-15 15:51:01,740 ERROR org.apache.hadoop.yarn.server.resourcemanager.ResourceManager: RECEIVED SIGNAL 15: SIGTERM
2016-03-15 15:51:01,743 ERROR org.apache.hadoop.security.token.delegation.AbstractDelegationTokenSecretManager: ExpiredTokenRemover received java.lang.InterruptedException: sleep interrupted
2016-03-15 15:51:01,743 INFO org.mortbay.log: Stopped HttpServer2$SelectChannelConnectorWithSafeStartup@0.0.0.0:8088
2016-03-15 15:51:01,744 ERROR org.apache.hadoop.security.token.delegation.AbstractDelegationTokenSecretManager: ExpiredTokenRemover received java.lang.InterruptedException: sleep interrupted
2016-03-15 15:51:01,744 ERROR org.apache.hadoop.security.token.delegation.AbstractDelegationTokenSecretManager: ExpiredTokenRemover received java.lang.InterruptedException: sleep interrupted
解决方法:在yarn-site.xml添加如下配置参数:
即:指定yarn.resourcemanager.hostname为Master节点的IP。
<property>
<name>yarn.resourcemanager.hostname</name>
<value>192.168.0.100</value>
</property>