hadoop环境变量 HADOOP_USER_NAME hadoop环境变量搭建

转载

风华正茂的AI 2023-11-28 09:37:18

文章标签 hadoop xml bash 文章分类 Hadoop 大数据

进入Hadoop 主目录下

创建 mkdir opt 创建一个opt 目录

xftp上传文件

hadoop环境变量 HADOOP_USER_NAME hadoop环境变量搭建_bash

上传完成 ll 查看文件

tar：压缩、解压缩 tar -xzf 文件名（输文件名时可以输入前面几个字母后按Tab键） -C 目录

解压完成，配置环境变量

修改环境配置的文件

hadoop环境变量 HADOOP_USER_NAME hadoop环境变量搭建_hadoop_02

保存退出

更新环境变量

source ~/.bashrc

输入Java查看成功

Hadoop环境变量配置

切换到Hadoop下：

解压缩

配置环境变量

echo export HADOOP_HOME="pwd" >> ~/.bashrc

查看文件 cat bashrc

配置HADOOP_CONF_DIR

（1）配置PATH vi ~/.bashrc （删除上面的PATH，重新写入一个新的）

export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

更新配置文件：source ~/.bashrc

输入Hadoop 测试环境变量

配置静态文件：

切换到root 用户

查看网段：ifconfig

路径：vi /etc/sysconfig/network-scripts/ifcfg-ens33

修改BOOTPROTO=static onroot = yes

添加

IPADDR=192.168.33.110 （33设置成你的网段，最后随便设置，请牢记这个ip）
NETMASK=255.255.255.0
GATEWAY=192.168.33.2（这里的33也请改成你的网段）
DNS1=202.106.0.20

重启network systemctl restart network

重新登陆切换root用户

修改主机名

修改主机映射

hadoop环境变量 HADOOP_USER_NAME hadoop环境变量搭建_bash_09

保存退出，

重启 reboot

修改win下的映射

hadoop环境变量 HADOOP_USER_NAME hadoop环境变量搭建_bash_10

hadoop环境变量 HADOOP_USER_NAME hadoop环境变量搭建_xml_11

修改完成重新连接linux

进入配置目录：

（1）配置

在configuration添加以下内容然后保存退出

<property>
<name>fs.defaultFS</name>
<value>hdfs://python2:9000</value>
</property>

（1）配置hdfs-site.xml

在configuration添加以下内容然后保存退出

<property>
<name>dfs.replication</name>
<value>1</value>
</property>

<property>
<name>dfs.namenode.name.dir</name>
<value>file:///home/hadoop/opt/tmp/dfs/name</value>
</property>

<property>
<name>dfs.datanode.data.dir</name>
<value>file:///home/hadoop/opt/tmp/dfs/data</value>
</property>

<property>
<name>dfs.namenode.http-address</name>
<value>python2:50070</value>
</property>

（1）配置mapred-site.xmll

ll查看当前目录会发现没有mapred-site.xml文件，只有一个mapred-site.xml.template的文件，我们复制一份命名为mapred-site.xml： cp mapred-site.xml.template mapred-site.xml

在configuration添加以下内容然后保存退出

<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>

（1）配置yarn-site.xml

在configuration添加以下内容然后保存退出

<property>
<name>yarn.resourcemanager.hostname</name>
<value>python2</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>

（1）修改

slaves

配置datanode的主机名称

python 05

切换到root 用户下：

关闭防火墙

临时关闭：systemctl stop firewalld

永久关闭：systemctl disable firewalld

查看状态：systemctl status firewalld

关闭selinux

临时关闭：setenforce 0

永久关闭：vi /etc/selinux/config