hadoop设置环境变量ubuntu linux hadoop环境变量配置

1、centos克隆机，网卡配置

克隆机导致网卡直接变为eth1，

需要将vi   /etc/udev/rules.d/70-persistence-net.rules

address值记下来，将name由eth1改为eth0；

修改

将上面的address改到下面HWADDR。DEVICE改为eth0；

然后init6重启系统。就好了。

2、jdk的安装，环境变量配置

      1、上传tar包

      2、解压tar包

      3、配置环境变量

        

注意：配置中遇到的坑 /etc/profile 配置环境变量是系统变量 应用于每个用户。

          hadoop读取当前用户变量

         ~目录下 .bash_file 可以在这个里配置 用户的环境变量

          .bashrc 非登录的shell

          加入这个

if [ -f ~/.bashrc ]; then
    . ~/.bashrc
fi

           .bash_file会调用.bashrc中的配置

       

3、hadoop伪分布式搭建

        1、关闭防火墙

service iptables stop 本次开机有效，重启之后失效。

   chkconfig iptables off 开机不启动

   关闭selinux

   vi /etc/selinux/config

  

   2、修改主机名

    配置主机名：
    vi  /etc/sysconfig/network
    配置主机名和ip地址的映射
    vi /etc/hosts

        102.168.0.123 hadoop01

    重启后才生效。

   3、上传hadoop编译包

   4、配置及格式化namenode

    配置hadoop-2.6/etc/hadoop/core-site.xml

    添加一段配置如下：namenode访问地址rpc socket（TCP/IP）通信地址
  

<property>
        <name>fs.defaultFS</name>
        <value>hdfs://hadoop01:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/usr/hadoop-2.6.0/tmp-${user.name}</value>
    </property>

    配置hadoop2.6/etc/hadoop/slaves配置文件(文本文件 默认localhost)
     cc或者localhost

     配置hadoop2.6/etc/hadoop/hdfs-site.xml(namenode、datanode文件存储位置、数据块的副本参数)

    不配置默认value为3

<property>
        <name>dfs.replication</name>
        <value>1</value>
   </property>

   格式化namenode  只需要在初始化的时候执行一次

[root@cc hadoop2.6]# ./bin/hdfs namenode -format

        遇到的坑：初始化时报错，配置文件修改时编码问题。解决方法查看当前linux连接的编码修改utf-8，直接从windows修改配置文件，直接覆盖过去就好了。

    5、ssh免密配置

[root@hadoop01 cc]# ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
    [root@hadoop01 cc]# cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

  ssh-keygen代表生成密钥;-t(注意区分大小写)表示指定生成的密钥类型;dsa是dsa密钥认证的意思，即密钥类型;-P用 于提供密语;-f指定生成的密钥文件。
  .ssh表示ssh文件是隐藏的。这个命令会在.ssh文件夹下创建两个文件id_dsa及id_dsa.pub，这是SSH的一对私钥和公钥，类似于钥匙及锁，把id_dsa.pub(公钥)追加到授权的key里面去。

  后期做scp文件传输有用！

 

技巧：

        bin文件中命令：操作文件，sbin文件中： 启停命令。

        jps查看进程 java相关。

        bin/hadoop fs -xx 命令是hadoop1.0的命令；效果跟下边命令一致。

        2.0后命令为：bin/hdfs dfs -xxx,就是现在使用的命令。