up主-AnnaChen 安装包Centos镜像超过4G,某网盘要开会员才能上传,所有请同学自行下载,
参考版本是,CentOS-6.5-x86_64-bin-DVD1.iso 其他安装包,
包括教程通过网盘分享 链接: http://pan.baidu.com/s/1geK0t39 密码:43ak
配置Linux开发环境(hadoop-2.6.4)
三、安装jdk
打开一个虚拟机,右键单击桌面选择Open in Terminal,进入编辑
界面:
1.假设用户名是ac(获取root权限)
su
cd /etc
vi sudoers
i 进入编辑状态
在root ALL=(ALL) ALL的下一行编辑
ac ALL=(ALL) ALL
按ESC键
按Shift + :
输入wq!
(2)创建hadoop文件夹
cd
mkdir hadoop
将jdk-7u79-linux-x64安装包复制到hadoop文件目录下(与windows环境下类似)。
(3)解压jdk-7u79-linux-x64.gz文件
cd
cd hadoop
tar -zxvf jdk-7u79-linux-x64.gz
(4)设置jdk环境变量
cd
cd hadoop
su
gedit /etc/profile
进入后在最后一行添加以下指令:
export JAVA_HOME=/home/ac/hadoop/jdk1.7.0_79
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
点击保存后关闭,输入以下指令使jdk生效:
source /etc/profile
(5)检查jdk是否安装成功
java -version
成功后显示如下信息:
java version "1.7.0_79"
Java(TM) SE Runtime Environment (build 1.7.0_79-b15)
Java HotSpot(TM) 64-Bit Server VM (build 24.79-b02, mixed mode)
四、创建集群
1.克隆虚拟机
将已经安装好jdk的虚拟机克隆两个,创建三个虚拟机的集群。
2.修改后hostname
su
vi /etc/sysconfig/network
将三个虚拟机分别命名master、slave1、slave2
如图:(完成后重启虚拟机reboot)
3.将三个虚拟机的ip地址相互连接
首先必须确保虚拟机联网,如果NET模式连不上网,则选中桥接模式。
网络通畅后执行以下操作:
(1)分别对三个虚拟机执行指令ifconfig,查看各虚拟机ip地址
(2)在master中执行以下指令
su
cd /etc
gedit /etc/hosts
进入编辑界面后按“IP地址 hostname”填写信息,如图:
填写完后按Save按钮,关闭编辑页。
(3)将配置好的文件复制到slave1、slave2中
在master中执行以下指令:
scp /etc/hosts root@slave1:/etc/
scp /etc/hosts root@slave2:/etc/
(4)检查各虚拟机是否互联
在master中执行以下指令:
ping slave1
ping slave2
连通后显示如下:
4.配置SSH无密钥登录
(1)关闭防火墙
对每个虚拟机进行如下操作:
su
chkconfig iptables off
执行后重启虚拟机: reboot
(2)关闭防火墙后在master下执行以下指令:
cd
ssh-keygen –t rsa
cd .ssh
cat id_rsa.pub >> authorized_keys
chmod 600 authorized_keys
scp authorized_keys ac@slave1:~/.ssh/
scp authorized_keys ac@slave2:~/.ssh/
(3)检查无密钥登录是否成功
ssh slave1
ssh slave2
ssh master
成功后显示如下:
5.安装并配置hadoop-2.6.4(在master中)
(1)将hadoop-2.6.4.tar.gz安装包复制到hadoop文件目录下(与windows环境下类似)。
(2)解压hadoop-2.6.4.tar.gz
cd
cd hadoop
tar -zxvf hadoop-2.6.4.tar.gz
(3)配置hadoop-2.6.4的各项文件
cd
cd hadoop/hadoop-2.6.4
cd etc/hadoop
gedit hadoop-env.sh
在最后一行添加:export JAVA_HOME=/home/ac/hadoop/jdk1.7.0_79
gedit core-site.xml
添加代码:
<property>
<name>fs.default.name</name>
<value>hdfs://master:9000</value>
<final>true</final>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/ac/hadoop/tmp</value>
</property>
<property>
<name>ds.default.name</name>
<value>hdfs://master:54310</value>
<final>true</final>
</property>
gedit hdfs-site.xml
添加代码:
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/home/ac/hadoop/dfs/name</value>
<final>true</final>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/home/ac/hadoop/dfs/data</value>
<final>true</final>
</property>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
gedit mapred-site.xml
(注意:必须先复制mapred-site.xml.template文件更名为mapred-site.xml)
添加代码:
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>mapreduce.jobhistory.address</name>
<value>master:10020</value>
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>master:19888</value>
</property>
gedit yarn-site.xml
添加代码:
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>master</value>
</property>
<property>
<name>yarn.resourcemanager.address</name>
<value>master:8032</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>master:8030</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>master:8031</value>
</property>
<property>
<name>yarn.resourcemanager.admin.address</name>
<value>master:8033</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address</name>
<value>master:8088</value>
</property>
gedit master
添加代码:
master
gedit slaves
添加代码:
master
slave1
slave2
(4)将配置好的文件复制到slave1、slave2中
cd
cd hadoop
scp -r hadoop-2.6.4 slave1:~/hadoop
scp -r hadoop-2.6.4 slave2:~/hadoop
添加代码:
master
gedit slaves
添加代码:
master
slave1
slave2
(4)将配置好的文件复制到slave1、slave2中
cd
cd hadoop
scp -r hadoop-2.6.4 slave1:~/hadoop
scp -r hadoop-2.6.4 slave2:~/hadoop