一、 hadoop的配置

离开安全模式

 hadoop  dfsadmin  –safemode  leave

修改root用户密码

sudo passwd 设置root的密码

passwd 设置自己的密码

关闭ubuntu的防火墙: ufw disable

普通用户

一、添加hadoop用户组和hadoop用户

创建hadoop用户组：sudo addgroup hadoop

创建hadoop用户：  sudo adduser -ingroup hadoop hadoop

二、安装ssh

安装命令：sudo apt-get install openssh-server

启动服务：sudo /etc/init.d/ssh start

查看服务是否启动：ps -e | grep ssh

修改配置文件，允许root用户远程登陆：

打开"终端窗口"，输入"sudo gedit /etc/ssh/sshd_config"-->回车-->把配置文件中的"PermitRootLogin without-password"加一个"#"号,把它注释掉-->再增加一句"PermitRootLogin yes"-->保存，修改成功。

 

1、免密码登录

生成密钥

root@hadoop01:~/Hadoop# ssh-keygen -t rsa -P ""
将公钥追加到authorized_keys
root@hadoop01:~/.ssh# cat  ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
root@hadoop01:~/.ssh# ls
authorized_keys  id_rsa  id_rsa.pub
2、配置hadoop环境变量
root@hadoop01:/usr/bin# vi  /etc/profile
export JAVA_HOME=/home/hadoop/setup/jdk1.8.0_131
export HADOOP_HOME=/home/hadoop/setup/hadoop-2.7.3
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
oot@hadoop01:/usr/bin# source  /etc/ profile
查看环境：

root@hadoop01:/usr/bin# echo $PATH

 

3、配置Hadoop伪分布式的步骤（要修改5个文件）

（1）、hadoop-env.sh

 25行 export JAVA_HOME=/root/app/jdk1.8.0_131

 

（2）、core-site.xml

<configuration>

        <property>

指定HDFS老大（namenode）的通信地址 -->

            

<name>fs.defaultFS</name>
                <value>hdfs://hadoop01:9000</value>
        </property>
        <property>
指定hadoop运行时产生文件的存储路径 -->      
                <name>hadoop.tmp.dir</name>
                <value>/Hadoop/setup/tmp</value>
        </property>
</configuration>
 
 
 
（3）、hdfs-site.xml
<configuration>
        <property>
设置hdfs副本数量 -->
                <name>dfs.replication</name>
                <value>1</value>
        </property>
 
 
 
     <property> 
用于确定将HDFS文件系统的元信息保存在什么目录下-->
         <name>dfs.namenode.name.dir</name> 
         <value>file:/Hadoop/setup/dfs/name</value> 
    </property> 
     <property> 
用于确定将HDFS文件系统的数据保存在什么目录下-->
        <name>dfs.datanode.data.dir</name> 
         <value>file:/Hadoop/setup/dfs/data</value> 
     </property>
</configuration>
 
（4）、maprea-site.xml
<configuration>
通知框架MR使用YARN -->
        <property>
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
        </property>
</configuration>
 
（5）、yarn-site.xml
<configuration>
<!-- Site specific YARN configuration properties -->
        <property>
取数据的方式是mapreduce_shuffle -->
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
        </property>
 
 
        <property>
指定yarn的老大的地址（resourcemanager） -->
                <name>yarn.resourcemanager.hostname</name>
                <value>hadoop01</value>
        </property>
</configuration>
 
 
4、格式化hdfs
root@hadoop01:~/Hadoop/hadoop-2.7.3/etc/hadoop# hdfs namenode -format
 
5、启动hadoop
启动namenode和datanode:
启动yarn：start-yarn.sh
启动全部:：start-all.sh
start-all.sh 启动所有的Hadoop守护进程。包括NameNode、 Secondary NameNode、DataNode、JobTracker、 TaskTrack
stop-all.sh 停止所有的Hadoop守护进程。包括NameNode、 Secondary NameNode、DataNode、JobTracker、 TaskTrack
start-dfs.sh 启动Hadoop HDFS守护进程NameNode、SecondaryNameNode和DataNode
stop-dfs.sh 停止Hadoop HDFS守护进程NameNode、SecondaryNameNode和DataNode
hadoop-daemons.sh start namenode 单独启动NameNode守护进程
hadoop-daemons.sh stop namenode 单独停止NameNode守护进程
hadoop-daemons.sh start datanode 单独启动DataNode守护进程
hadoop-daemons.sh stop datanode 单独停止DataNode守护进程
hadoop-daemons.sh start secondarynamenode 单独启动SecondaryNameNode守护进程
hadoop-daemons.sh stop secondarynamenode 单独停止SecondaryNameNode守护进程
start-mapred.sh 启动Hadoop MapReduce守护进程JobTracker和TaskTracker
stop-mapred.sh 停止Hadoop MapReduce守护进程JobTracker和TaskTracker
hadoop-daemons.sh start jobtracker 单独启动JobTracker守护进程
hadoop-daemons.sh stop jobtracker 单独停止JobTracker守护进程
hadoop-daemons.sh start tasktracker 单独启动TaskTracker守护进程
hadoop-daemons.sh stop tasktracker 单独启动TaskTracker守护进程