总共需要配置5个文件

Hadoop伪分布50070端口无法访问 hadoop伪分布式的搭建_hdfs

1.配置 hadoop-env.sh

vi hadoop-env.sh,修改 JAVA_HOME 为之前那个参数(之前已经设置过)

2.配置core-site.xml

vi core-site.xml,在configuration中添加各配置项

配置默认采用的文件系统(由于存储层和运算层松耦合,要为它们指定使用hadoop原生的分布式文件系统hdfs。value填入的是URI,参数是 分布式集群中主节点的地址(主机名) : 指定端口号)

Hadoop伪分布50070端口无法访问 hadoop伪分布式的搭建_hadoop_02

3.配置 hdfs-site.xml

vi hdfs-site.xml,在data目录下创建tmp文件夹

(1)配置hadoop的公共目录,在data目录创建namenode和datanode文件夹

(指定hadoop进程运行中产生的数据存放的工作目录,NameNode、DataNode等就在本地工作目录下建子目录存放数据。但事实上在生产系统里,NameNode、DataNode等进程都应单独配置目录,而且配置的应该是磁盘挂载点,以方便挂载更多的磁盘扩展容量)

(value的参数仍与之前一样可以进入解压目录输入pwd查看)

Hadoop伪分布50070端口无法访问 hadoop伪分布式的搭建_xml_03


(2)配置hdfs的副本数

(客户端将文件存到hdfs的时候,会存放在多个副本。value一般指定3,但因为搭建的是伪分布式就只有一台机器,所以只能写1。)

Hadoop伪分布50070端口无法访问 hadoop伪分布式的搭建_xml_04

4.配置 mapred-site.xml

mv mapred-site.xml.template mapred-site.xml,将mapred-site.xml.template重命名为mapred-site.xml(也可以使用rename命令)

vi mapred-site.xml,指定MapReduce程序应该放在哪个资源调度集群上运行。若不指定为yarn,那么MapReduce程序就只会在本地运行而非在整个集群中运行。

Hadoop伪分布50070端口无法访问 hadoop伪分布式的搭建_xml_05

5.配置 yarn-site.xml

vi yarn-site.xml,要配置的参数有2个:

(1)指定yarn集群中的老大(就是本机)

配置yarn集群中的重节点,指定map产生的中间结果传递给reduce采用的机制是shuffle。

Hadoop伪分布50070端口无法访问 hadoop伪分布式的搭建_xml_06

6.配置slaves

vi slaves,把localhost改为hadoop001(主机名)

Hadoop伪分布50070端口无法访问 hadoop伪分布式的搭建_hdfs_07

7.配置环境变量PATH(在单例模式中已经配置过)

8.Namenode格式化

输入hdfs namenode -format

Hadoop伪分布50070端口无法访问 hadoop伪分布式的搭建_hdfs_08


出现这个说明格式化成功,如果出现error信息说明格式化失败,把data目录下的三个临时文件删除重新格式化即可。

9.启动

start-dfs.sh
start-yarn.sh

然后输入jps 查看已成功启动的进程。

Hadoop伪分布50070端口无法访问 hadoop伪分布式的搭建_hadoop_09


若出现这六个都没少则说明已全部成功启动了。

也可以通过访问http://192.168.127.128:50070/来监控伪分布式文件系统是否搭建成功。

Hadoop伪分布50070端口无法访问 hadoop伪分布式的搭建_分布式_10