Hadoop之2.x 搭建

• 上传hadoop安装包 上传到msater的/usr/local/soft/
  • hadoop-2.7.6.tar.gz

• 解压
  • tar -xvf hadoop-2.7.6.tar.gz

 

• 配置环境变量
  • vim /etc/profile
  • 增加hadoop环境变量，将bin和sbin都配置到PATh中

export JAVA_HOME=/usr/local/soft/jdk1.8.0_171
export HADOOP_HOME=/usr/local/soft/hadoop-2.7.6
export PATH=.:$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

• source /etc/profile

 

• 修改配置文件
  • hadoop 配置文件在/usr/local/soft/hadoop-2.7.6/etc/hadoop/
  • cd /usr/local/soft/hadoop-2.7.6/etc/hadoop/

• slaves ： 从节点列表（datanode）
• vim slaves
• 增加node1, node2  （你自己的从机名称）

 

 

• hadoop-env.sh ： Hadoop 环境配置文件
  • vim hadoop-env.sh
    • 修改JAVA_HOME （你自己的JAVA路径）

export JAVA_HOME=/usr/local/soft/jdk1.8.0_171

 

• core-site.xml ： hadoop核心配置文件
  • vim core-site.xml
    • 在configuration中间增加以下内容

<property>
<name>fs.defaultFS</name>
<value>hdfs://master:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/soft/hadoop-2.7.6/tmp</value>
</property>
<property>
<name>fs.trash.interval</name>
<value>1440</value>
</property>

 

• hdfs-site.xml ： hdfs配置文件
  • vim hdfs-site.xml
    • 在configuration中间增加以下内容

<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>

 

• yarn-site.xml： yarn配置文件
  • vim yarn-site.xml
    • 在configuration中间增加以下内容

<property>
<name>yarn.resourcemanager.hostname</name>
<value>master</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.log-aggregation-enable</name>
<value>true</value>
</property>
<property>
<name>yarn.log-aggregation.retain-seconds</name>
<value>604800</value>
</property>
<property>  
<name>yarn.nodemanager.resource.memory-mb</name>  
<value>20480</value>  
</property>  
<property>  
<name>yarn.scheduler.minimum-allocation-mb</name>  
<value>2048</value>  
</property>  
<property>  
<name>yarn.nodemanager.vmem-pmem-ratio</name>  
<value>2.1</value>  
</property>  

 

• mapred-site.xml： mapreduce配置文件
  • 重命名
    • mv  mapred-site.xml.template mapred-site.xml
    • vim mapred-site.xml
      • 在configuration中间增加以下内容

<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>  
<name>mapreduce.jobhistory.address</name>  
<value>master:10020</value>  
</property>  
<property>  
<name>mapreduce.jobhistory.webapp.address</name>  
<value>master:19888</value>  
</property>

 

• 将hadoop安装文件同步到子节点
  • scp -r /usr/local/soft/hadoop-2.7.6/ node1:/usr/local/soft/
  • scp -r /usr/local/soft/hadoop-2.7.6/ node2:/usr/local/soft/
  • scp -r /etc/profile node1:/etc/profile
  • scp -r /etc/profile node2:/etc/profile
• 在另外两台虚拟机分别运行
  • source /etc/profile

 

• 格式化namenode
  • cd /usr/local/soft/hadoop-2.7.6/bin
  • ./hdfs namenode -format

 

• 启动hadoop
  • start-all.sh

• 访问hdfs页面验证是否安装成功
  • http://master:50070

 

• 如果安装失败
  • stop-all.sh
• 再次重启的时候
  • 需要手动将每个节点的tmp目录删除: 所有节点都要删除
  • rm -rf /usr/local/soft/hadoop-2.7.6/tmp
  • 然后执行将namenode格式化
• 在主节点执行命令:
  • hdfs namenode -format
• 启动hadoop
  • start-all.sh