在linux下解压:添加链接描述

centos 配置hadoop环境变量 配置hadoop的环境变量_大数据


解压代码为:tar -zxvf jdk-8u172-linux-x64.tar.gz

解压存在为当前的路径改主机名:vi /etc/sysconfig/network

centos 配置hadoop环境变量 配置hadoop的环境变量_hdfs_02


改映射文件完成地址****主机名映射:vi /etc/hosts

centos 配置hadoop环境变量 配置hadoop的环境变量_centos 配置hadoop环境变量_03


检查并生效看是否配置成功:

centos 配置hadoop环境变量 配置hadoop的环境变量_java_04


关闭防火墙,这样重启会再启动。

centos 配置hadoop环境变量 配置hadoop的环境变量_java_05


连接上一步关闭防火墙,这样重启不会再启动。

centos 配置hadoop环境变量 配置hadoop的环境变量_centos 配置hadoop环境变量_06


创建和删除文件夹目录

centos 配置hadoop环境变量 配置hadoop的环境变量_hdfs_07


jdk解压并复制到制定位置:

centos 配置hadoop环境变量 配置hadoop的环境变量_大数据_08


装完jdk看是否能够执行,再进去修改etc/profile文件,再source /etc/pofile生效。

centos 配置hadoop环境变量 配置hadoop的环境变量_hdfs_09


到这里java就是已经按转好了。

centos 配置hadoop环境变量 配置hadoop的环境变量_java_10


接下来就是hadoop,先把hadoop放在更目录下。然后执行(执行步骤和安装java一样,放在/usr/local/apps即可):

centos 配置hadoop环境变量 配置hadoop的环境变量_大数据_11


接下来解析这个hadoop(有三大组建,一个是yarn,一个是hdfs,两个是管理框架。而mapreduce是编程框架,需要yarn作为平台进行计算,也需要文件hdfs的管理支持获取数据。):

首先进去,就是bin目录;他是一些可执行文件;

etc就是一些hadoop配置文件(重要);

Sbin就是一些系统管理启动的命令(重要);

Include lib libexec 就是一些包,准确来说就是一些第三方的包;

Share是一些有maven打包好的东西,里面好有个webapps(位置在share的下一层Hadoop里)的结构,说明他可以由网业访问;

主要展示一些sbin管理命令(由./+名称执行):

centos 配置hadoop环境变量 配置hadoop的环境变量_hdfs_12


到etc下hadoop-evn.sh里面修改java路径,让hadoop知道使用那个java

centos 配置hadoop环境变量 配置hadoop的环境变量_hadoop_13


centos 配置hadoop环境变量 配置hadoop的环境变量_centos 配置hadoop环境变量_14


接下来修改一些hadoop运行的公共的配置(也就是以下的core-site.xml文件):

centos 配置hadoop环境变量 配置hadoop的环境变量_hadoop_15

<configuration>
<property>
  <name>fs.defaultFS</name>
  <value>hdfs://hadoop-server-00:9020</value>
</property>
<property>
  <name>hadoop.tmp.dir</name>
  <value>file:/usr/local/apps/hadoop-2.6.5/tmp</value>
</property>
</configuration>

参数详细解析:fs.defuaultFS是说hadoop文件系统默认用的那一钟文件系统;

hadoop.tem.dir是hadoop工作时产生的文件,工作的数据存放的位置;

centos 配置hadoop环境变量 配置hadoop的环境变量_java_16


然后改hdfs.site.xml这个文件:

centos 配置hadoop环境变量 配置hadoop的环境变量_centos 配置hadoop环境变量_17

<configuration>
<property>
 <name>dfs.replication</name>
 <value>3</value>
</property>
</configuration>

就是说你的数据要备份的数量,先设为1吧,毕竟才一台机器。

centos 配置hadoop环境变量 配置hadoop的环境变量_大数据_18


然后对mapreduce进行配置(先把名字改掉,不然文件不起作用);

centos 配置hadoop环境变量 配置hadoop的环境变量_hdfs_19


因为就是mapruduce是计算框架,没有环境,给它一个运行平台yarn

centos 配置hadoop环境变量 配置hadoop的环境变量_hdfs_20


接下来就要配置yarn的文件vi yarn-site.xml(接上一步供mr运行)讲了主节点是什么即resourcenamager.hostnanme制定的那个值,而下面的nodenamager是他mr的操作原理配置;<configuration> <property> <name>yarn.resourcemanager.hostname</name> <value>hadoop-server-00</value> </property> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> </configuration>

centos 配置hadoop环境变量 配置hadoop的环境变量_大数据_21


首先格式化,格式化

centos 配置hadoop环境变量 配置hadoop的环境变量_hadoop_22


hadoop下的/sbin下的命令hadoop-deamon.sh是守护进程。用来开启namenode,datanode,secondarynamenode等进程(手动开启)

centos 配置hadoop环境变量 配置hadoop的环境变量_centos 配置hadoop环境变量_23

centos 配置hadoop环境变量 配置hadoop的环境变量_java_24


接下来手动启动yarn进程:

也是在/sbin中:

进程为resourcenamager,nodenamager

指令为:./yarn-daemon.sh start resourcenamager

./yarn-daemon.sh start nodemanager

centos 配置hadoop环境变量 配置hadoop的环境变量_centos 配置hadoop环境变量_25


全部一次性启动hdfs服务进程:

指令: ./start-dfs.sh

centos 配置hadoop环境变量 配置hadoop的环境变量_java_26


下面就是讲解如何生成密钥对,让机器免密登陆: ssh-keygen

centos 配置hadoop环境变量 配置hadoop的环境变量_hdfs_27


接下来就是看你登陆到哪里去:后面跟的是你的主机名(这里是因为在/etc/hosts里面有过描写,就可以直接用主机名,不然就是要用ip地址)

指令·: ssh-copy-id hadoop-server-00

centos 配置hadoop环境变量 配置hadoop的环境变量_java_28


在这里插入代码片

centos 配置hadoop环境变量 配置hadoop的环境变量_centos 配置hadoop环境变量_29