up主-AnnaChen 安装包Centos镜像超过4G,某网盘要开会员才能上传,所有请同学自行下载,

参考版本是,CentOS-6.5-x86_64-bin-DVD1.iso 其他安装包,

包括教程通过网盘分享 链接: http://pan.baidu.com/s/1geK0t39 密码:43ak

配置Linux开发环境(hadoop-2.6.4)

镜像安装hadoop三节点_JAVA

镜像安装hadoop三节点_镜像安装hadoop三节点_02

镜像安装hadoop三节点_hadoop_03

镜像安装hadoop三节点_xml_04

镜像安装hadoop三节点_xml_05

镜像安装hadoop三节点_镜像安装hadoop三节点_06

镜像安装hadoop三节点_镜像安装hadoop三节点_07

三、安装jdk

打开一个虚拟机,右键单击桌面选择Open in Terminal,进入编辑

界面:

1.假设用户名是ac(获取root权限)

su 

cd  /etc

 vi  sudoers

i  进入编辑状态 

在root ALL=(ALL) ALL的下一行编辑

ac  ALL=(ALL) ALL 

镜像安装hadoop三节点_JAVA_08

 

ESC

   按Shift + :

   输入wq!

(2)创建hadoop文件夹

cd 

mkdir  hadoop

将jdk-7u79-linux-x64安装包复制到hadoop文件目录下(与windows环境下类似)。

(3)解压jdk-7u79-linux-x64.gz文件

cd

cd  hadoop 

tar  -zxvf  jdk-7u79-linux-x64.gz

(4)设置jdk环境变量

cd

cd  hadoop

su

gedit  /etc/profile

镜像安装hadoop三节点_JAVA_09

进入后在最后一行添加以下指令:

export JAVA_HOME=/home/ac/hadoop/jdk1.7.0_79

export PATH=$JAVA_HOME/bin:$PATH

export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

 

点击保存后关闭,输入以下指令使jdk生效:

source  /etc/profile

(5)检查jdk是否安装成功

java  -version

成功后显示如下信息:

java version "1.7.0_79"

Java(TM) SE Runtime Environment (build 1.7.0_79-b15)

Java HotSpot(TM) 64-Bit Server VM (build 24.79-b02, mixed mode)

镜像安装hadoop三节点_JAVA_10

四、创建集群

1.克隆虚拟机

将已经安装好jdk的虚拟机克隆两个,创建三个虚拟机的集群。

2.修改后hostname

su

vi  /etc/sysconfig/network

 

将三个虚拟机分别命名master、slave1、slave2

如图:(完成后重启虚拟机reboot)

镜像安装hadoop三节点_xml_11

3.将三个虚拟机的ip地址相互连接

首先必须确保虚拟机联网,如果NET模式连不上网,则选中桥接模式。

网络通畅后执行以下操作:

(1)分别对三个虚拟机执行指令ifconfig,查看各虚拟机ip地址

(2)在master中执行以下指令

su

cd  /etc

gedit  /etc/hosts

进入编辑界面后按“IP地址   hostname”填写信息,如图:

镜像安装hadoop三节点_xml_12

填写完后按Save按钮,关闭编辑页。

(3)将配置好的文件复制到slave1、slave2中

在master中执行以下指令:

scp  /etc/hosts  root@slave1:/etc/

scp  /etc/hosts  root@slave2:/etc/

 

(4)检查各虚拟机是否互联

在master中执行以下指令:

ping  slave1

ping  slave2

连通后显示如下:

镜像安装hadoop三节点_hadoop_13

 4.配置SSH无密钥登录

(1)关闭防火墙

对每个虚拟机进行如下操作:

su

chkconfig  iptables  off

执行后重启虚拟机: reboot

(2)关闭防火墙后在master下执行以下指令:

cd

ssh-keygen  –t  rsa

cd  .ssh

cat  id_rsa.pub  >>  authorized_keys

chmod  600  authorized_keys

scp  authorized_keys  ac@slave1:~/.ssh/

scp  authorized_keys  ac@slave2:~/.ssh/

镜像安装hadoop三节点_hadoop_14

(3)检查无密钥登录是否成功

ssh  slave1

ssh  slave2

ssh  master

成功后显示如下:

镜像安装hadoop三节点_镜像安装hadoop三节点_15

5.安装并配置hadoop-2.6.4(在master中)

(1)将hadoop-2.6.4.tar.gz安装包复制到hadoop文件目录下(与windows环境下类似)。

(2)解压hadoop-2.6.4.tar.gz

cd

cd  hadoop

tar  -zxvf  hadoop-2.6.4.tar.gz

(3)配置hadoop-2.6.4的各项文件

cd

cd  hadoop/hadoop-2.6.4

cd  etc/hadoop

gedit  hadoop-env.sh     

在最后一行添加:export JAVA_HOME=/home/ac/hadoop/jdk1.7.0_79

gedit  core-site.xml

添加代码:

<property>
        <name>fs.default.name</name>
        <value>hdfs://master:9000</value>
        <final>true</final>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/home/ac/hadoop/tmp</value>
    </property>
    <property>
        <name>ds.default.name</name>
        <value>hdfs://master:54310</value>
        <final>true</final>
</property>

 gedit  hdfs-site.xml

添加代码:

<property>
   <name>dfs.namenode.name.dir</name>
   <value>file:/home/ac/hadoop/dfs/name</value>
   <final>true</final>
</property>
<property>
   <name>dfs.datanode.data.dir</name>
   <value>file:/home/ac/hadoop/dfs/data</value>
   <final>true</final>
</property>
<property>
   <name>dfs.replication</name>
   <value>2</value>
</property>

 

gedit  mapred-site.xml

(注意:必须先复制mapred-site.xml.template文件更名为mapred-site.xml

添加代码:

<property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
</property>
<property>
    <name>mapreduce.jobhistory.address</name>
    <value>master:10020</value>
</property>
<property>
    <name>mapreduce.jobhistory.webapp.address</name>
    <value>master:19888</value>
</property>

gedit  yarn-site.xml

添加代码:

<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property>
<property>
       <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
    <value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>  
<property>
    <name>yarn.resourcemanager.hostname</name>
    <value>master</value>
</property>
<property>
    <name>yarn.resourcemanager.address</name>
    <value>master:8032</value>
</property>
<property>
    <name>yarn.resourcemanager.scheduler.address</name>
    <value>master:8030</value>
</property>
<property>
    <name>yarn.resourcemanager.resource-tracker.address</name>
    <value>master:8031</value>
</property>
<property>
    <name>yarn.resourcemanager.admin.address</name>
    <value>master:8033</value>
</property>
<property>
    <name>yarn.resourcemanager.webapp.address</name>
    <value>master:8088</value>
</property>
gedit master 
添加代码:
master
 
gedit  slaves
添加代码:
master
slave1
slave2
 
(4)将配置好的文件复制到slave1、slave2中
cd 
cd  hadoop
scp  -r  hadoop-2.6.4  slave1:~/hadoop
scp  -r  hadoop-2.6.4  slave2:~/hadoop
添加代码:
master
 
gedit  slaves
添加代码:
master
slave1
slave2
 
(4)将配置好的文件复制到slave1、slave2中
cd 
cd  hadoop
scp  -r  hadoop-2.6.4  slave1:~/hadoop
scp  -r  hadoop-2.6.4  slave2:~/hadoop

镜像安装hadoop三节点_镜像安装hadoop三节点_16

镜像安装hadoop三节点_镜像安装hadoop三节点_17