【日常踩坑】Windows下Hadoop的resourcemanager服务无法启动

今天下午本来打算用Hadoop跑点数据,但当我打开服务时候,发现resourcemanager服务没启动,这就有点难受了,昨天还好好的。。。。。。。。。。。

hadoop集群启动出现node3启动错误 hadoop nodemanager 启动不了_Org


那就格式化一下吧,执行下格式化命令:

hdfs namenode -format

然后,嗯。。。。。。。。有点尬

hadoop集群启动出现node3启动错误 hadoop nodemanager 启动不了_Org_02


datanode也死了。。。。。。。。

算了,还是看日志吧。。。。。。,按日志内容来看,namenode和datanode的clusterID不一致。突然想起来之前格式化了两次namenode,应该是由于namenode多次格式化造成了namenode和datanode的clusterID不一致!每次格式化时,namenode会更新clusterID,但是datanode只会在首次格式化时确定,因此就造成不一致现象。

那么将datanode和namenode中的VERSION 中的clusterID修改一致应该就可以了

hadoop集群启动出现node3启动错误 hadoop nodemanager 启动不了_Org_03


hadoop集群启动出现node3启动错误 hadoop nodemanager 启动不了_java_04


hadoop集群启动出现node3启动错误 hadoop nodemanager 启动不了_java_05


修改完毕,重启。

hadoop集群启动出现node3启动错误 hadoop nodemanager 启动不了_java_06


早知道一开始就看日志了。。。。。。。。

看下resourcemanager的日志报错

28年5月19日16:44:58 info http.httpserver2:httpserver.start()引发了非绑定IOException

java.net.bindException:使用中的端口:0.0.0.0:8088

在Org.Apache .Hadoop.http.httpServ2.2.OpenListNevices(httpServ2.2.java:940)

在Org.Apache .Hadoop.http.httpServ2.2启动(httpServ2.2.java:876)

在Org.Apache .Hadoop.Chr.WebApp.WebApppsBuilder。启动(WebApp.java:306)

在Org.Apache .Hadoop.Corn.Server .ReadMeMyAg.ReadMeChanaG.StadWebPAPP(ReadMeReader-java:954)

在Org.Apache .Hadoop.Chans.Serv.ReadMeMaRad.ReadMeChanaServer ServestART(ReadMeMaRada.java:1054)

在Org.Apache .Hadoop.Service .ActudioService .Stad.(ActudioService . Java:193)

在Org.Apache .Hadoop.Corn.Server . ReadMeChanAg.ReadMeChanaGr.MULL(ReadMeChanaGr.java:1188)

原因:java.net.bindException:地址已在使用中:bind

at sun.nio.ch.net.bind0(本机方法)

在Sun.Nio.CH.NET.Band(NET.java:433)

在Sun.Nio.CH.NET.Band(NET.java:425)

在Sun.Nio.C.ServCoCKChhannIMPL.Band(ServOrackChhanelIMPL.java:223)

在Sun.Nio.Ch.ServCotoKistAdvult.Band(ServoCotoAdvistor,Java:74)

在Org.MyBay.JeTy.Nio.ChansChhanelNoels.打开(选择通道连接器. Java:216)

在Org.Apache .Hadoop.http.httpServ2.2.OpenListNevices(httpServ2.2.java:934)

…6更多

28年5月19日16:44:58 info service.abstractservice:Service ResourceManager在启动状态下失败;原因:org.apache.hadoop.yarn.webapp.webappexception:启动HTTP服务器时出错

org.apache.hadoop.yarn.webapp.webappexception:启动HTTP服务器时出错

在Org.Apache .Hadoop.Chr.WebApp.WebApppsBuilder。启动(WebApp.java:310)

在Org.Apache .Hadoop.Corn.Server .ReadMeMyAg.ReadMeChanaG.StadWebPAPP(ReadMeReader-java:954)

在Org.Apache .Hadoop.Chans.Serv.ReadMeMaRad.ReadMeChanaServer ServestART(ReadMeMaRada.java:1054)

在Org.Apache .Hadoop.Service .ActudioService .Stad.(ActudioService . Java:193)

在Org.Apache .Hadoop.Corn.Server . ReadMeChanAg.ReadMeChanaGr.MULL(ReadMeChanaGr.java:1188)

原因:java.net.bindException:端口正在使用:0.0.0.0:8088

在Org.Apache .Hadoop.http.httpServ2.2.OpenListNevices(httpServ2.2.java:940)

在Org.Apache .Hadoop.http.httpServ2.2启动(httpServ2.2.java:876)

在Org.Apache .Hadoop.Chr.WebApp.WebApppsBuilder。启动(WebApp.java:306)

…4更多

原因:java.net.bindException:地址已在使用中:bind

at sun.nio.ch.net.bind0(本机方法)

在Sun.Nio.CH.NET.Band(NET.java:433)

在Sun.Nio.CH.NET.Band(NET.java:425)

在Sun.Nio.C.ServCoCKChhannIMPL.Band(ServOrackChhanelIMPL.java:223)

在Sun.Nio.Ch.ServCotoKistAdvult.Band(ServoCotoAdvistor,Java:74)

在Org.MyBay.JeTy.Nio.ChansChhanelNoels.打开(选择通道连接器. Java:216)

在Org.Apache .Hadoop.http.httpServ2.2.OpenListNevices(httpServ2.2.java:934)

…6更多

28年5月19日16:44:58信息工控机服务器:在8032上停止服务器

28年5月19日16:44:58信息IPC。服务器:停止8032上的IPC服务器侦听器

28年5月19日16:44:58信息IPC服务器:停止IPC服务器响应程序

28年5月19日16:44:58信息资源管理器。资源管理器:转换到待机状态

28年5月19日16:44:58警告amlauncher.applicationmasterlauncher:org.apache.hadoop.yarn.server.resourcemanager.amlauncher.applicationmasterlauncher$launcher线程中断。返回。

28年5月19日16:44:58信息工控机服务器:8030停止服务器

28年5月19日16:44:58信息IPC。服务器:在8030上停止IPC服务器侦听器

28年5月19日16:44:58信息IPC服务器:停止IPC服务器响应程序

28年5月19日16:44:58信息工控机服务器:8031停止服务器

28年5月19日16:44:58信息IPC。服务器:停止8031上的IPC服务器侦听器

28年5月19日16:44:58错误resourcemanager.resourcemanager:返回,中断:java.lang.InterruptedException

28年5月19日16:44:58 info util.abstractlivelinessmonitor:nmlivelinessmonitor线程中断

28年5月19日16:44:58信息IPC服务器:停止IPC服务器响应程序

28年5月19日16:44:58 info event.asyncDispatcher:asyncDispatcher正在排出以停止,i正在运行任何新事件。

28年5月19日16:44:58 info util.abstractlivelinessmonitor:amlivelinessmonitor线程中断

28年5月19日16:44:58 info util.abstractlivelinessmonitor:amlivelinessmonitor线程中断

28年5月19日16:44:58 info util.abstractlivelinessmonitor:org.apache.hadoop.yarn.server.resourcemanager.rmcontainer.containerAllocationExpirer线程中断

28年5月19日16:44:58错误委派。AbstractDelegationToKenSecretmanager:ExpiredTokenRemover已接收java.lang.InterruptedException:睡眠中断

28年5月19日16:44:58 info impl.metricssysystemimpl:正在停止ResourceManager度量系统…

28年5月19日16:44:58 info impl.metricssysystemimpl:resourcemanager metrics system已停止。

28年5月19日16:44:58 info impl.metricssysystemimpl:resourcemanager metrics system shutdown complete。

28年5月19日16:44:58 info event.asyncDispatcher:asyncDispatcher正在排出以停止,igo

貌似8088端口被占了,看看进程

hadoop集群启动出现node3启动错误 hadoop nodemanager 启动不了_Org_07


hadoop集群启动出现node3启动错误 hadoop nodemanager 启动不了_Hadoop_08

关闭这个进程,ok,终于搞定了,重启服务

hadoop集群启动出现node3启动错误 hadoop nodemanager 启动不了_java_09


嗯。。。。。。。。。。。。。。。。。。

查下进程

hadoop集群启动出现node3启动错误 hadoop nodemanager 启动不了_Org_10


又被占了。。。。。。。

这个QyFragment.exe是什么玩意,百度查了一下,才发现这是个爱奇艺的辅助程序。貌似昨天装了个爱奇艺,嗯。。。。。。。。。。。。。。。控制面板->卸载程序->爱奇艺卸载,还是腾讯视频好。重启服务,ok,完美,开始干活

hadoop集群启动出现node3启动错误 hadoop nodemanager 启动不了_Org_11


看来以后遇到问题要多看日志(ps:不建议各位以后下载爱奇艺)