简介:
- 单节点即默认模式。所谓默认模式,就是安装完jdk及hadoop,配置好相应的环境,即本地模式配置完成。 所有程序都在单个JVM上执行。
- 使用本地文件系统,而不是分布式文件系统。
- 无需运行任何守护进程(daemon),hadoop不会启动NameNode、DataNode等守护进程,Map()和Reduce()任务作为同一个进程的不同部分来执行的。
注意:命令前边有$符号则说明需要用普通用户,有#说明需要用root用户。
准备工作:
1、首先安装Linux操作系统。
2、新建一个普通用户(后序步骤可以使用普通用户完成的不要使用root用户。)
3、要准备Hadoop以及Jdk的安装包。
-------------------------------------------为了方便我下载了远程连接工具。Mobaxterm。
4、我在/home/betty下创建了soft文件夹,用来存放一些软件,以及软件的安装包。
$ mkdir soft
一、安装Java
1、首先要查看系统是否有自带java,如果有,请先卸载。
查看是否有其他版本Java: $ rpm -qa | grep java
卸载其他版本(需要使用root用户删除):# rpm -e --nodeps javaxxxxxxx
2、将压缩包解压到当前目录下。注意一定要使用普通用户!
$ tar -zxvf /home/betty/soft/jdk-8u162-linux-x64.tar.gz
3、创建软连接。目的是为了方便以后更换jdk版本时,不需要修改环境变量。
$ ln -s /home/betty/soft/jdk1.8.0_162 /home/betty/soft/jdk
4、删除安装包。
$ rm /home/betty/soft/jdk-8u162-linux-x64.tar.gz
5、配置环境变量。
配置环境变量有三种文件可修改(/etc/profile(需要使用root用户) ~/.bash_profile ~/.bashrc),在这里,我选择了~/.bashrc。
$ vi ~/.bashrc
【JAVA_HOME=/home/betty/soft/jdk
PATH=$JAVA_HOME/bin:$PATH
export JAVA_HOME PATH】
6、使配置文件生效。
重启机器
# reboot
或者也可以使用命令
$ source ~/.bashrc(如果更改的是/etc/profile文件,则需要使用root用户来执行source /etc/profile)
7、测试
$ java -version 回车
$ javac 回车
出现信息翻滚,即配置成功。
二、安装Hadoop
1、上传压缩包并进行解压(一定要使用普通用户)
$ tar -zxvf hadoop-2.7.3.tar.gz
2、创建软连接
$ ln -s /home/betty/soft/hadoop-2.7.3 /home/betty/soft/hadoop
3、删除安装包
$ rm /home/betty/soft/hadoop-2.7.3.tar.gz
4、配置环境变量
$ vim ~/.bashrc
【JAVA_HOME=/home/betty/soft/jdk
HADOOP_HOME=/home/betty/soft/hadoop
PATH=$JAVA_HOME/bin:$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
export JAVA_HOME PATH
】
加上之前配置的JAVA环境变量,就变成了这样。
5、使配置文件生效。
重启机器
# reboot
或者也可以使用命令
$ source ~/.bashrc(如果更改的是/etc/profile文件,则需要使用root用户来执行source ~/.bashrc)
6、测试
$ hdfs -version
7、测试mr圆周率
hadoop jar /home/betty/soft/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar pi 10 100000
如果失败则需要配置:/etc/hosts
# /etc/hosts
添加内容【192.168.85.141 dog1】
8、单节点模式配置成功。