安装Hadoop的详细过程

(1)创建虚拟机Ubuntu2(可自定义)

hadoop中linux命令 linux hadoop_bash

内存大小可自定义(建议大一点较好)

hadoop中linux命令 linux hadoop_bash_02


hadoop中linux命令 linux hadoop_hadoop中linux命令_03


hadoop中linux命令 linux hadoop_hadoop_04


hadoop中linux命令 linux hadoop_hadoop_05


建议虚拟硬盘大一点

hadoop中linux命令 linux hadoop_hadoop_06


上述完成后先别启动,更改一下设置!

hadoop中linux命令 linux hadoop_hadoop_07


hadoop中linux命令 linux hadoop_hadoop中linux命令_08


存储 - 选择没有盘片,并添加已下载好的Ubuntu镜像

hadoop中linux命令 linux hadoop_hadoop中linux命令_09


在安装期间关闭网络,等安装完再启用

hadoop中linux命令 linux hadoop_hadoop_10


创建一个共享文件夹,并且记住这个文件夹的名字和路径!

hadoop中linux命令 linux hadoop_hadoop_11


hadoop中linux命令 linux hadoop_bash_12


hadoop中linux命令 linux hadoop_bash_13


hadoop中linux命令 linux hadoop_hadoop中linux命令_14


hadoop中linux命令 linux hadoop_hadoop_15


按住Alt键,右击鼠标往上拖,点击“新建分区表”

hadoop中linux命令 linux hadoop_bash_16


hadoop中linux命令 linux hadoop_bash_17


hadoop中linux命令 linux hadoop_hadoop_18


hadoop中linux命令 linux hadoop_hadoop_19


hadoop中linux命令 linux hadoop_hadoop中linux命令_20


hadoop中linux命令 linux hadoop_bash_21


hadoop中linux命令 linux hadoop_hadoop中linux命令_22

(2)安装完虚拟机后,点击“现在重启”,进入之后关掉虚拟机并打开网络

hadoop中linux命令 linux hadoop_hadoop_23


重新启动,点击设备,再点击安装增强功能,并输入密码

hadoop中linux命令 linux hadoop_xml_24


上述完成后,在中端运行下列命令(若运行不了,则重启虚拟机)

sudo apt-get install virtualbox-guest-dkms

(3)激活root用户(输入密码,为了安全起见密码最好设置成一样的)

sudo passwd root

(4)更新

sudo apt-get update

(5)安装ssh,配置ssh无密码登陆

sudo apt-get install openssh-server
ssh localhost
exit
cd .ssh
ssh-keygen -t rsa
cat ./id_rsa.pub>>./authorized_keys

(6)安装JDK

sudo apt-get install default-jre default-jdk

设置JAVA_HOME环境变量,在~/.bashrc中添加
export JAVA_HOME=/usr/lib/jvm/default-java
(可使用vi/vim/gedit三种文本编辑器)

gedit .bashrc

如图保存并推出:

hadoop中linux命令 linux hadoop_bash_25

source .bashrc  //运行这个文件

(7)安装Hadoop

su    //切换到root用户
cd /mnt
mkdir myshare   //创建文件夹
mount -t vboxsf share /mnt/myshare //挂载共享文件夹
cd myshare
ls
tar -zxf hadoop-2.7.6.tar.gz -C /usr/local //解压缩
su hadoop   //切换回hadoop
cd /usr/local
ls
sudo mv ./hadoop-2.7.6/ ./hadoop //将hadoop-2.7.6改名为hadoop
sudo chown -R hadoop ./hadoop

(7)测试hadoop单机配置

cd /usr/local/hadoop
mkdir ./input
cp ./etc/hadoop/.xml ./input // 将配置文件作为输入文件
./bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-
.jar grep ./input ./output ‘dfs[a-z.]+’
cat ./output/*

(8)为分布式部署

修改/usr/local/hadoop/etc/hadoop/目录下的core-side.xml和hdfs-side.xml

(从http://dblab.xmu.edu.cn/blog/install-hadoop/复制粘贴)

如图:

hadoop中linux命令 linux hadoop_bash_26


hadoop中linux命令 linux hadoop_xml_27

(9)格式化nameNode

cd /usr/local/hadoop
./bin/hdfs namenode –format

(10)开启NameNode和DataNode守护进程

cd /usr/local/hadoop
./sbin/

(11)测试是否启动成功:

jps

(12)关闭HDFS:

./sbin/