安装Hadoop的详细过程
(1)创建虚拟机Ubuntu2(可自定义)
内存大小可自定义(建议大一点较好)
建议虚拟硬盘大一点
上述完成后先别启动,更改一下设置!
存储 - 选择没有盘片,并添加已下载好的Ubuntu镜像
在安装期间关闭网络,等安装完再启用
创建一个共享文件夹,并且记住这个文件夹的名字和路径!
按住Alt键,右击鼠标往上拖,点击“新建分区表”
(2)安装完虚拟机后,点击“现在重启”,进入之后关掉虚拟机并打开网络
重新启动,点击设备,再点击安装增强功能,并输入密码
上述完成后,在中端运行下列命令(若运行不了,则重启虚拟机)
sudo apt-get install virtualbox-guest-dkms
(3)激活root用户(输入密码,为了安全起见密码最好设置成一样的)
sudo passwd root
(4)更新
sudo apt-get update
(5)安装ssh,配置ssh无密码登陆
sudo apt-get install openssh-server
ssh localhost
exit
cd .ssh
ssh-keygen -t rsa
cat ./id_rsa.pub>>./authorized_keys
(6)安装JDK
sudo apt-get install default-jre default-jdk
设置JAVA_HOME环境变量,在~/.bashrc中添加
export JAVA_HOME=/usr/lib/jvm/default-java
(可使用vi/vim/gedit三种文本编辑器)
gedit .bashrc
如图保存并推出:
source .bashrc //运行这个文件
(7)安装Hadoop
su //切换到root用户
cd /mnt
mkdir myshare //创建文件夹
mount -t vboxsf share /mnt/myshare //挂载共享文件夹
cd myshare
ls
tar -zxf hadoop-2.7.6.tar.gz -C /usr/local //解压缩
su hadoop //切换回hadoop
cd /usr/local
ls
sudo mv ./hadoop-2.7.6/ ./hadoop //将hadoop-2.7.6改名为hadoop
sudo chown -R hadoop ./hadoop
(7)测试hadoop单机配置
cd /usr/local/hadoop
mkdir ./input
cp ./etc/hadoop/.xml ./input // 将配置文件作为输入文件
./bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-.jar grep ./input ./output ‘dfs[a-z.]+’
cat ./output/*
(8)为分布式部署
修改/usr/local/hadoop/etc/hadoop/目录下的core-side.xml和hdfs-side.xml
(从http://dblab.xmu.edu.cn/blog/install-hadoop/复制粘贴)
如图:
(9)格式化nameNode
cd /usr/local/hadoop
./bin/hdfs namenode –format
(10)开启NameNode和DataNode守护进程
cd /usr/local/hadoop
./sbin/
(11)测试是否启动成功:
jps
(12)关闭HDFS:
./sbin/